分布式paas层组件(分布式架构组件)

分布式架构组件

1.微服务架构和分布式架构都属于分布式系统架构，但是它们的区别在于分层和粒度上。2.微服务架构是一种基于服务的解耦架构，将一个大型的系统拆分成多个小型的服务，每个服务都可以独立地进行开发和部署，服务之间通过接口进行通信和交互，实现了系统的松耦合。3.分布式架构是以节点为单位的架构，将一个大型的系统拆分成多个节点，每个节点都可以独立地运行，节点之间通过网络进行通信和数据交换，但不一定需要明确定义接口，节点之间的通信是基于网络的通信方式。4.因此，微服务架构更适合复杂、大规模的系统，而分布式架构适合于节点数量较少、交互比较简单的系统。

分布式架构解决方案

分布式网络拓扑结构一般呈网格状，和集中式网络结构不同，节点间不再是点一中心一点的通信方式，而是点一点的通信方式。通信方式的这种改变使得客户机/服务器的网络模型和网络的计算信息处理模型更易于分布式的实现。在分布式网络结构中，数据处理中心的概念已经淡化了，因为每一个网络站点既是网络服务对象又是网络服务提供者。

分布式架构的区别

不算分布式结构，因为客户端不做任何处理。

分布式架构组件包括

平台组件包含以下内容:

1.Mysql

传统关系型数据库，为Hive、Hue、Spark组件提供元数据存储服务。

2.Elasticsearch

兼有搜索引擎和NoSQL数据库功能的开源系统，基于JAVA/Lucene构建，开源、分布式、支持RESTful请求。

3.Flink

一个批处理和流处理结合的统一计算框架，提供数据分发以及并行化计算的流数据处理引擎。

4.Flume

一个分布式、可靠和高可用的海量日志聚合系统，支持在系统中定制各类数据发送方，用于收集数据；

同时，Flume提供对数据进行简单处理，并写入各种数据接受方(可定制)的能力。

5.HBase

提供海量数据存储功能，是一种构建在HDFS之上的分布式、面向列的存储系统。HDFS Hadoop分布式文件系统提供高吞吐量的数据访问，适合大规模数据集方面的应用。

6.Hive

建立在Hadoop基础上的开源的数据仓库，提供类似SQL的Hive Query Language语言操作结构化数据存储服务和基本的数据分析服务。

7.Hue

提供了图形化用户Web界面。Hue支持展示多种组件，目前支持HDFS、Hive、YARN/Mapreduce、Oozie、Solr、ZooKeeper。

8.Kafka

一个分布式的、分区的、多副本的实时消息发布和订阅系统。提供可扩展、高吞吐、低延迟、高可靠的消息分发服务。

9.Sqoop

实现与关系型数据库、文件系统之间交换数据和文件的数据加载工具；同时提供REST API接口，供第三方调度平台调用。

10.Mapreduce

提供快速并行处理大量数据的能力，是一种分布式数据处理模式和执行环境。

11.Oozie

提供了对开源Hadoop组件的任务编排、执行的功能。以Java Web应用程序的形式运行在Java servlet容器(如：Tomcat)中，并使用数据库来存储工作流定义、当前运行的工作流实例(含实例的状态和变量)。

12.Redis 一个开源的、高性能的key-value分布式存储数据库，支持丰富的数据类型，弥补了memcached这类key-value存储的不足，满足实时的高并发需求。

13.SmallFS

提供小文件后台合并功能，能够自动发现系统中的小文件(通过文件大小阈值判断)，在闲时进行合并，并把元数据存储到本地的LevelDB中，来降低NameNode压力，同时提供新的FileSystem接口，让用户能够透明的对这些小文件进行访问。

14.Solr

一个高性能，基于Lucene的全文检索服务器。Spark 基于内存进行计算的分布式计算框架。

15.Storm

提供分布式、高性能、高可靠、容错的实时计算平台，可以对海量数据进行实时处理。CQL提供的类SQL流处理语言，可以快速进行业务开发，缩短业务上线时间。

16.Yarn

资源管理系统，它是一个通用的资源模块，可以为各类应用程序进行资源管理和调度。

17.ZooKeeper

提供分布式、高可用性的协调服务能力。帮助系统避免单点故障，从而建立可靠的应用程序。

分布式架构设计

分布式系统架构简单的说是运行在多个处理器上的软件构架设计。

1、分布式系统是建立在网络之上的软件系统。正是因为软件的特性，所以分布式系统具有高度的内聚性和透明性。2、网络和分布式系统之间的区别更多的在于高层软件（特别是操作系统），而不是硬件。内聚性是指每一个数据库分布节点高度自治，有本地的数据库管理系统。3、架构，又名软件架构，是有关软件整体结构与组件的抽象描述，用于指导大型软件系统各个方面的设计。架构描述语言（ADL）用于描述软件的体系架构。

分布式架构组件有哪些

搭建一个完整的分布式系统，需要六个必要的组成部分：输入节点、输出节点、网络交换机、管理节点、控制软件和运维模块。

itc分布式综合管理平台是由分布式采集器、分布式输出盒、拼接中控、分布式综合管理平台、存储服务器以及分布式综合管理平台嵌入软件组合而成，实现管理平台采集、分配、传输、交换、显示、处理和控制功能。一个分布式综合管理平台可实现中控主机、高清矩阵、拼接处理器、局域网视频会议、KVM坐席协作、会议录播等众多系统功能。