共识服务器(共享服务器怎么设置)

阿里巴巴是用的什么服务器阿里巴巴是用的什么服务器的

转载:阿里巴巴为什么选择ApacheFlink？

本文主要整理自阿里巴巴计算平台事业部高级技术专家莫问在云起大会上的演讲。

一棵大树从一棵小树苗长成；小小橡实可能长成参天大树

随着人工智能时代的到来和数据量的爆炸，在典型的大数据业务场景中，最常见的数据业务方式是使用批处理技术处理全量数据和流计算处理实时增量数据。在大多数业务场景中，用户的业务逻辑在批处理和流处理中往往是相同的。但是，用户用于批处理和流处理的两套计算引擎是不同的。

因此，用户通常需要编写两套代码。无疑，这带来了一些额外的负担和成本。阿里巴巴的商品数据处理往往需要面对增量和全量两种不同的业务流程，所以阿里在想，我们能不能有一个统一的大数据引擎技术，用户只需要根据自己的业务逻辑开发一套代码就可以了。在这样不同的场景下，无论是全数据还是增量数据，还是实时处理，都可以有一套完整的解决方案支持，这也是阿里选择Flink的背景和初衷。

目前开源的大数据计算引擎有很多选择，如Storm、Samza、Flink、KafkaStream等。、以及Spark、Hive、Pig、Flink等批量处理。但是同时支持流处理和批处理的计算引擎只有两个选择:一个是ApacheSpark，一个是ApacheFlink。

技术、生态等多方面综合考虑。首先，Spark的技术思路是模拟基于批量的流量计算。另一方面，Flink使用基于流的计算来模拟批处理计算。

从技术发展的角度来看，用批处理来模拟流程存在一定的技术局限性，这种局限性可能很难突破。Flink基于流模拟批处理，在技术上具有更好的可扩展性。从长远来看，阿里决定将Flink作为统一通用的大数据引擎作为未来的选择。

Flink是一个统一的大数据计算引擎，具有低延迟、高吞吐量。在阿里巴巴的生产环境中，Flink的计算平台每秒可以处理数亿条消息或事件，延迟为毫秒级。同时，Flink提供了一次性的一致性语义。保证了数据的正确性。这样，Flink大数据引擎就可以提供金融数据处理能力。

弗林克在阿里的现状

基于ApacheFlink在阿里巴巴搭建的平台于2016年正式上线，从阿里巴巴的搜索和推荐两个场景实现。目前，包括阿里巴巴所有子公司在内的所有阿里巴巴业务都采用了基于Flink的实时计算平台。同时，Flink计算平台运行在开源的Hadoop集群上。Hadoop的YARN作为资源管理调度，HDFS作为数据存储。所以Flink可以和开源大数据软件Hadoop无缝对接。

目前，这个基于Flink的实时计算平台不仅服务于阿里巴巴集团，还通过阿里云的云产品API向整个开发者生态系统提供基于Flink的云产品支持。

Flink在阿里巴巴的大规模应用表现如何？

规模:一个系统是否成熟，规模是一个重要的指标。Flink最初推出阿里巴巴只有几百台服务器，现在已经达到上万台服务器，在全球屈指可数；

状态数据:基于Flink，内部积累的状态数据已经是PB规模；

事件:如今，每天在Flink的计算平台上处理的数据超过万亿条；

PS:高峰期每秒可承担超过4.72亿次访问，最典型的应用场景是阿里巴巴双11的大屏；

弗林克的发展之路

接下来，从开源技术的角度，我们来谈谈ApacheFlink是如何诞生，如何成长的。而阿里又是如何在这个成长的关键时刻进来的？你对它做过哪些贡献和支持？

Flink诞生于欧洲大数据研究项目平流层。这个项目是柏林工业大学的一个研究项目。早期，Flink做的是批量计算，但2014年，同温层的核心成员孵化了Flink，同年将Flink捐赠给Apache，后来成为Apache最顶尖的大数据项目。同时，Flink计算的主流方向被定位为流式，即使用流式计算来计算所有的大数据。这就是Flink技术诞生的背景。

2014年，Flink作为专注于流计算的大数据引擎，开始在开源大数据行业崭露头角。不同于Storm、SparkStreaming等流计算引擎，它不仅是一个高吞吐量、低延迟的计算引擎，还提供了许多高级功能。比如提供有状态计算，支持状态管理，支持数据语义的强一致性，支持事件时间，水印处理消息无序。

Flink核心概念和基本概念

Flink区别于其他流计算引擎的地方其实是状态管理。

是什么状态？比如开发一套流量计算系统或者任务做数据处理，可能经常需要对数据做统计，比如Sum，Count，Min，Max，这些值都需要存储。因为它们是不断更新的，所以这些值或变量可以理解为一种状态。如果数据源正在读取Kafka，RocketMQ，可能需要记录读取的位置并记录偏移量。这些偏移变量是要计算的状态。

Flink提供了内置的状态管理，可以将这些状态存储在Flink内部，而不需要存储在外部系统中。这样做有以下优点:第一，减少了计算引擎对外部系统的依赖和部署，运维更简单；其次，在性能上有了很大的提升:如果是通过外部访问，比如Redis，HBase必须通过网络和RPC访问。如果Flink在内部访问这些变量，它只通过自己的进程访问这些变量。同时，Flink会定期让这些状态的检查点持久化，并将检查点存储在分布式持久化系统中，比如HDFS。这样，当Flink的任务出错时，它会从最新的检查点恢复整个流的状态，然后继续运行它的流处理。对用户没有数据影响。

Flink如何保证在检查点恢复的过程中没有数据丢失或冗余？要保证计算准确？

原因是Flink使用了一套经典的Chandy-Lamport算法，其核心思想是将这种流计算视为一种流拓扑，在这种拓扑的头部有规律地插入来自源点的特殊屏障，并将屏障从上游广播到下游。当每个节点接收到所有栅栏时，它将拍摄状态快照。每个节点完成快照后，整个拓扑将被视为一个完整的检查点。接下来，无论发生什么故障，都会从最近的检查点恢复。

Flink使用这种经典算法来确保语义的强一致性。这也是Flink与其他无状态流计算引擎的核心区别。

以下是Flink解决无序问题的方法。比如星球大战的序列，如果按照上映时间来看，可能会发现故事在跳跃。

在流量计算上，和这个例子很像。所有消息的到达时间与源在线系统日志中实际发生的时间不一致。在流处理的过程中，希望消息按照它们在源端实际发生的顺序进行处理，而不是按照它们实际到达程序的时间。Flink提供了一些先进的事件时间和水印技术来解决乱序问题。以便用户可以有序地处理该消息。这是Flink的一个很重要的特点。

接下来介绍一下Flink起步时的核心概念和理念，这是Flink发展的第一阶段；第二阶段是2015年和2017年。这个阶段也是Flink发展和阿里巴巴介入的时候。故事源于2015年年中我们在搜索事业部做的一项调查。当时阿里有自己的批处理技术和流计算技术，既有自研的，也有开源的。但是，为了思考下一代大数据引擎的方向和未来趋势，我们对新技术做了大量的研究。

结合大量的研究成果，我们最终得出结论，解决一般大数据计算需求，整合批量流的计算引擎是大数据技术的发展方向，最终我们选择了Flink。

但2015年的Flink还不够成熟，规模和稳定性都没有付诸实践。最后我们决定在阿里成立Flink分公司，对Flink进行大量的修改和改进，以适应阿里巴巴的超大型业务场景。在这个过程中，我们团队不仅改进和优化了Flink的性能和稳定性，还在核心架构和功能上做了大量的创新和改进，并贡献给了社区，比如:Flink全新的分布式架构、增量式检查点机制、基于信用的网络流量控制机制和流式SQL。

阿里巴巴对Flink社区的贡献

我们来看两个设计案例。第一个是阿里巴巴重构了Flink的分布式架构，对Flink的作业调度和资源管理做了明确的分层和解耦。这样做的第一个好处是Flink可以在各种开源资源管理器上本地运行。这种分布式架构改进后，Flink可以原生运行在HadoopYarn和Kubernetes这两种最常见的资源管理系统上。同时将Flink的任务调度由集中式调度改为分布式调度，使Flink可以支持更大的集群，获得更好的资源隔离。

另一个是实现增量检查点机制，因为Flink提供了有状态计算和规则检查点机制。如果内部数据越来越多，检查点就会越来越大，最终可能导致做不下去。提供增量检查点后，Flink会自动找出哪些数据是增量更改的，哪些数据是修改的。同时，只有这些修改过的数据被持久化。这样检查点就不会随着时间的运行越来越难，整个系统的性能也会非常稳定，这也是我们贡献给社区的一个非常重要的特性。

经过2015-2017年对Flink流媒体能力的提升，Flink社区逐渐走向成熟。Flink也成为了流媒体领域最主流的计算引擎。因为Flink最开始是想做一个统一流式、批量处理的大数据引擎，这个工作在2018年就已经开始了。为了实现这一目标，阿里巴巴提出了新的统一API架构和统一SQL解决方案。同时，在流式计算的各种功能得到改进后，我们认为批量计算也需要各种改进。无论在任务调度层还是数据洗牌层，在容错性和易用性方面都有很多工作需要改进。

究其原因，这里有两个要点与大家分享:

●统一的API堆栈

●统一的SQL方案

我们来看看FlinkAPI栈的现状。研究过Flink或者用过Flink的开发者应该知道。Flink有两个基本的API，一个是数据流，一个是数据集。数据流API提供给流用户，数据集API提供给批量用户，但是这两个API的执行路径完全不同，甚至需要生成不同的任务来执行。所以这和统一API是冲突的，这也是不完善的，不是最终的解决方案。在运行时之上，应该有一个统一批量流程集成的基础API层，我们希望API层能够统一。

因此，我们将在新架构中采用一个DAG(有限非循环图)API作为批处理流的统一API层。对于这种有限无环图，批量计算和流量计算不需要明确表示。开发者只需要在不同的节点和不同的边定义不同的属性，就可以规划数据是流属性还是批属性。整个拓扑是一个统一的语义表达，可以集成批量流。整个计算不需要区分流量计算和批量计算，只需要表达自己的需求。有了这个API，Flink的API栈就统一了。

除了统一的基础API层和统一的API栈，SQL解决方案在上层也是统一的。而批处理SQL，我们可以认为有流计算和批处理计算的数据源，我们可以把这两个数据源模拟成数据表。可以认为流数据的数据源是一个不断更新的数据表，而批量数据的数据源可以认为是一个相对静态的表，没有更新的数据表。整个数据处理可以看作是SQL的一个查询，最终结果也可以模拟成一个结果表。

对于流计算，它的结果表是一个不断更新的结果表。对于批处理，其结果表是相当于一次更新的结果表。从整个SOL语义表达来看，flow和batch是可以统一的。此外，流SQL和批处理SQL都可以使用同一个查询来表示重用。通过这种方式，所有流批次都可以通过同一个查询进行优化或解析。甚至许多流和批处理操作符都可以重用。

弗林克的未来方向

首先，阿里巴巴要基于Flink的本质做一个全能的统一大数据计算引擎。放在生态和场景的地面上。目前Flink是主流的流计算引擎，很多互联网公司已经达成共识，Flink是大数据的未来，是最好的流计算引擎。接下来的重要任务是让Flink在批量计算上有所突破。在更多的场景下，已经成为主流的批量计算引擎。然后进行流量和批次的无缝切换，流量和批次的界限越来越模糊。使用Flink，在一个计算中，可以同时进行流量计算和批量计算。

第二个方向是Flink得到更多语言的生态支持，不仅仅是Java，Scala，还有Python和Go进行机器学习。未来希望用更丰富的语言开发Flink计算任务，描述计算逻辑，连接更多生态。

最后不得不说AI，因为很多大数据计算需求和数据量都在支撑非常热门的AI场景。所以我们会在完善Flink流批生态的基础上，继续往上走，完善上层Flink的机器学习算法库。同时，Flink会借鉴成熟的机器，深度学习融合。比如Flink上的Tensorflow，可以用来整合大数据的ETL数据处理和机器学习的特征计算、特征计算，以及训练的计算，让开发者同时享受多个生态系统带来的好处。

阿里巴巴云境是什么东西？

这个是阿里巴巴做的一款信息化系统产品，主要针对中小企业，它的服务器??硬件的支持，都是阿里放在云端的。相当于都是由阿里来帮你管理数据??，客户的硬件投入非常低，系统管理成本也很低，通常是以年费的形式来运行。

为什么阿里巴巴，腾讯等这些公司要把服务器放在美国？

为了让美国人民享受到阿里巴巴和腾讯的服务啊，另外国内的人到美国去，也是需要相关的服务的。

阿里巴巴属于哪个行业？

阿里巴巴主营属于电子商务，还包括互联网金融、电子支付、物流等。同时，阿里巴不断发展还涉及到更广的领域，比如传媒、物联网等。

阿里巴巴集团本家产业：阿里巴巴、淘宝、支付宝、阿里软件、阿里妈妈、口碑网、阿里云、中国雅虎、一淘网、淘宝商城、中国万网，聚划算、云峰基金、蚂蚁金服。

一般的网店需要多大的服务器？

不需要因为你申请的淘宝店是一个虚拟空间来着，在阿里巴巴自已建设的机房之中，可直接使用，无需自备服务器。直接装修店铺，上架商品即可

阿里千岛湖数据中心建在湖底吗？

是的，阿里巴巴的一个服务器中心就放在千岛湖湖底。阿里云千岛湖数据中心建筑面积30000平方米，共11层，可容纳至少5万台设备。作为水冷驱动的工业数据中心建设的模板，很有创新性和代表性。数据中心90%时间不需要电制冷，深层湖水通过完全密闭的管道流经数据中心，帮助服务器降温，再流经2.5公里的青溪新城中轴溪，作为城市景观呈现，自然冷却后又回到千岛湖。

串口服务器的工作原理

一、串口服务器的定义及简介：

串口服务器是为RS-232/485/422到TCP/IP之间完成数据转换的通讯接口转换器。提供RS-232/485/422终端串口与TCP/IP网络的数据双向透明传输，提供串口转网络功能，RS-232/485/422转网络的解决方案。可以让串口设备立即联接网络。

随着Internet的广泛普及，“让全部设备连接网络”已经成为全世界企业的共识。为了能跟上网络自动化的潮流，不至于失去竞争优势，必须建立高品位的数据采集、生产监控、即时成本管理的联网系统。利用基于TCP/IP的串口数据流传输的实现来控制管理的设备硬件，无需投资大量的人力、物力来进行管理、更换或者升级。

串口服务器就使得基于TCP/IP的串口数据流传输成为了可能，它能将多个串口设备连接并能将串口数据流进行选择和处理，把现有的RS 232接口的数据转化成IP端口的数据，然后进行IP化的管理，IP化的数据存取，这样就能将传统的串行数据送上流行的IP通道，而无需过早淘汰原有的设备，从而提高了现有设备的利用率，节约了投资，还可在既有的网络基础上简化布线复杂度。串口服务器完成的是一个面向连接的RS 232链路和面向无连接以太网之间的通信数据的存储控制，系统对各种数据进行处理，处理来自串口设备的串口数据流，并进行格式转换，使之成为可以在以太网中传播的数据帧；对来自以太网的数据帧进行判断，并转换成串行数据送达响应的串口设备。

二、串口服务器的特点：

内部集成 ARP，IP，TCP,HTTP，ICMP，SOCK5，UDP，DNS等协议。RS-485/422转换提供数据自动控制。RS-232/422/485三合一串行接口, 300-230.4KBPS波特率。支持动态IP（DHCP）和静态IP，支持网关和代理服务器，可以通过Internet传输数据。提供数据双向透明传输，用户不需要对原有系统做任何修改。所有串口内置600W防雷。10/100M以太网、自动侦测直连或交叉线。可以同时支持多个连接。

三、串口服务器工作方式及通讯模式：

工作方式：

1.服务器方式：在该工作方式下，串口联网服务器作为TCP服务器端，转换器在指定的TCP端口上监听平台程序的连接请求，该方式比较适合于一个转换器与多个平台程序建立连接（一个转换器不能同时与多个平台程序建立连接）。

2.客户端方式：在该工作方式下，串口联网服务器作为 TCP客户端，转换器上电时主动向平台程序请求连接，该方式比较适合于多个转换器同时向一个平台程序建立连接。

通讯模式：

1.点对点通讯模式：该模式下，转换器成对的使用，一个作为服务器端，一个作为客户端，两者之间建立连接，实现数据的双向透明传输。该模式适用于将两个串口设备之间的总线连接改造为 TCP/IP网络连接。

2.使用虚拟串口通讯模式：该模式下，一个或者多个转换器与一台电脑建立连接，实现数据的双向透明传输。由电脑上的虚拟串口软件管理下面的转换器，可以实现一个虚拟串口对应多个转换器， N个虚拟串口对应 M个转换器（ N<=M）。该模式适用于串口设备由电脑控制的 485总线或者 232设备连接。

3.基于网络通讯模式：该模式下，电脑上的应用程序基于SOCKET协议编写了通讯程序，在转换器设置上直接选择支持 SOCKET协议即可。

四、串口服务器应用领域：

它主要应用在门禁系统、考勤系统、售饭系统、 POS系统、楼宇自控系统、自助银行系统电信机房监控，电力监控等。

五、硬件系统及其模块：

1.硬件系统

硬件系统是实现整个系统功能的基础，是整个设计实现的关键。

整个串口服务器的关键在于串口数据包与TCP/IP数据报之间的转换以及双方数据因为速率不同而存在的速率匹配问题，在对串口服务器的实现过程中，也必须着重考虑所做的设计和所选择的器件是否能够完成这些功能。

（1）硬件系统组成模块

在制定设计方案和选定器件时遇到的技术难点是如何利用处理器对串口数据信息进行TCP/IP协议处理，使之变成可以在互联网上传输的IP数据包。目前解决这个问题很多时候采用32位MCU+ RTOS方案，这种方案是采用32位高档单片机，在RTOS（实时多任务操作系统）的平台上进行软件开发，在嵌入式系统中实现TCP/IP的协议处理。它的缺点是：单片机价格较高，开发周期较长；需要购买昂贵的RTOS开发软件，对开发人员的开发能力要求较高。

借鉴上述方案的优缺点，我们决定把串口服务器的硬件部分分为几个模块设计，这就是主处理模块、串口数据处理模块和以太网接口及控制模块等几大模块来共同完成串口服务器的功能。

在器件的选择上，选用Intel公司的801086芯片作为主处理模块的处理器芯片，它是一种非常适合于嵌入式应用的高性能、高集成度的16位微处理器，功耗低。由于考虑到串口数据速率较低而以太网的数据传输速率高所造成的两边速率不匹配的问题，我们决定采用符合总线规范的大容量存储器来作为数据存储器；由于主处理模块还涉及到数据线/地址线复用、串并转换、器件中断信号译码、时钟信号生成、控制信号接入等功能，若是选用不同的器件来完成，势必会造成许多诸如时延不均等问题，我们选用了一片大容量的高性能可编程逻辑器件来完成上述所提到的功能，这样的优点在于，我们保证了稳定性和高可靠性，并且可编程逻辑器件的可编程功能使得对于信号的处理的空间更大，且具有升级的优势。

以太网接口及控制模块在串口服务器的硬件里面起着很重要的作用，它所处理的是来自于以太网的IP数据包，考虑到通用性的原则，我们采用一片以太网控制芯片来完成这些功能，并在主处理模块中添加了一片AT24C01来存储以太网控制芯片状态。通过主处理模块对于以太网控制芯片数据及寄存器的读/写，我们可以完成对IP数据包的分析、解/压包的工作。

串口数据处理模块主要完成的是对于串口数据流的电平转换和数据格式的处理，判断串行数据的起始位及停止位，完成对数据和校验位的提取。一般的设计采用的是MAX232和一片UART的设计思想，这里我们也是遵从这种设计理念，不过我们采用的是集成了MAX232+UART功能的芯片，小尺寸、低成本、低功耗，而且采用与SPITM/QS-PITM/MICROWIRETM兼容的串行接口，节省线路板尺寸与微控制器的I/O端口。

这种模块化的方案的优点在于：采用高速度的16位微控制器，外围器件少，系统成本低；并且采用Intel公司的开发平台，可以大幅度地缩短开发周期并降低开发成本。

（2）硬件工作流程及应用架构

主处理器首先初始化网络及串口设备，当有数据从以太网传过来，处理器对数据报进行分析，如果是ARP（物理地址解析）数据包，则程序转入ARP处理程序；如果是IP数据包且传输层使用UDP，端口正确，则认为数据报正确，数据解包后，将数据部分通过端口所对应的串口输出。反之，如果从串口收到数据，则将数据按照UDP格式打包，送入以太网控制芯片，由其将数据输出到以太网中。可以知道，主处理模块主要处理TCP/IP的网络层和传输层，链路层部分由以太网控制芯片完成。应用层交付软件系统来处理，用户可以根据需求对收到的数据进行处理。

2.硬件系统模块

根据硬件系统的具体结构和不同功能，我们可以将硬件系统划分为下述的几大模块。

（1）主处理器模块

该模块是串口服务器的核心部分，主要由主处理器、可编程逻辑器件、数据及程序存储器等器件构成。

主处理模块完成的功能主要有：在串口数据和以太网IP数据之间建立数据链路；通过对以太网控制芯片的控制读写来实现对IP数据包的接收与发送；判别串行数据流的格式，完成对串口设备的选择以及对串行数据流格式的指定；控制串口数据流与IP数据包之间的速率控制，对数据进行缓冲处理；对UART和以太网控制芯片的寄存器进行读写操作，并存储转发器件状态；完成16位总线数据的串并行转换；完成总线地址锁存功能；完成对各个串口以及各个存储器件的片选功能；完成对各个串口的中断口的状态判别等功能。

（2）以太网接口及控制模块

这个模块主要由以太网接口部分和以太网控制部分构成。

以太网接口部分完成的是串口服务器与以太网接口电路的功能，控制器对所有模块均有控制作用，使整个接口电路能协调地配合后续电路完成以太网的收发功能。

以太网控制部分由收端和发端组成，在他们之间还有以太网状态检测和控制单元，以及收发协调控制器，见图5。由于以太网是半双工工作的，所以这个部分必须随时地监视以太网的状态，并且要根据需要对以太网进行控制，同时还要协调好内部收发端电路的工作状态。以太网检测单元和收发协调控制器就是完成这样的功能的。以太网状态检测单元与以太网接口的控制器接口，将接口的状态送到收发协调控制器，同时将协调控制器的控制信号进行处理，并送到以太网接口的控制器，以控制接口的状态。

在收端，接收到的串行数据流信号通过主处理模块进行串并转换和编码，以太网控制单元控制各部分协调，将产生的地址、数据、写信号送到RAM读写控制单元进行处理。相应的，发端的工作流程和收端相反。

共识到底是什么

建立共识当然不是一个新的概念。共识在人类开始群体生活之时便已存在。共识在日常生活中很常见，也是一种非常宝贵的东西。

从最基本的层面上说，共识只是一种让一个多样化团体在不发生冲突的情况下作出决策的方法。

1.共识达成的条件

根据Edward Shils的“共识理念”，共识的达成需以下三个条件:

团体成员共同接受法律、规则和规范

团体成员一致认可实施这些法规的机构

身份认同或团结意识，这样团体成员才会承认他们就达成的共识而言是平等的。

共识开始时作为社会运作的一个概念，但如今已成为计算机科学的重要组成部分。

在分布式账本中，共识机制是大部分(或全部)网络成员就某条数据或拟定交易的价值达成一致，并就此对账本进行更新的机制。换言之，共识机制是在参与节点之间管理一系列连贯事实的规则和程序。

2.共识机制如何运作？

不同共识机制中的参数会存在巨大差异，但是我们也找到一些参数。共识机制的基本决定参数如下：

去中心化治理：单一中央机构不能提供交易不可改变性。

节点结构:节点通过既定方式来交换信息，可分多个阶段或层级。

身份验证:此流程验证参与者的身份。

完整性:验证交易的完整性，如通过加密算法。

不可否认性:验证假定发送者确实发送了信息。

协助确保只有既定接收人才能读取信息。

容错性:即使某些节点或服务器失效或运行减慢，网络仍能高效、快速地运行。

性能:包括吞吐量、实时性、可扩展性和延迟。

共识算法允许关联机器连接起来进行工作，并在某些成员失效的情况下，工作仍能正常进行。这种容错能力是区块链和分布式账本的另一主要优势，并有内置冗余余量以作备用。

对于共识一个常见的课题是拜占庭将军问题，目前常见的共识机制有实用拜占庭容错算法（PBFT）、工作量证明（PoW）、股权证明（POS）、股权委托证明(DPOS)。

共识协议或共识平台是分布式账本技术的核心。用以建立共识的算法多种多样，并建基于性能、可扩展性、一致性、数据容量、治理、安全性和失效冗余等方面的要求。

最后仍要说一句：共识是宝贵的。