Flink入门Apache Flink介绍-元一软件

Apache Flink是什么在当代数据量激增的时代各种业务场景都有大量的业务数据产生对于这些不断产生的数据应该如何进行有效的处理成为当下大多数公司所面临的问题。随着雅虎对hadoop的开源越来越多的大数据处理技术开始涌入人们的视线例如目前比较流行的大数据处理引擎Apache Spark,基本上已经取代了MapReduce成为当前大数据处理的标准。但是随着数据的不断增长新技术的不断发展人们逐渐意识到对实时数据处理的重要性。相对于传统的数据处理模式流式数据处理有着更高的处理效率和成本控制能力。Flink 就是近年来在开源社区不断发展的技术中的能够同时支持高吞吐、低延迟、高性能的分布式处理框架。数据架构的演变如图所示传统的单体数据架构最大的特点便是 集中式数据存储大多数将架构分为计算层和存储层。单体架构的初期效率很高但是随着时间的推移业务越来越多系统逐渐变得很大越来越难以维护和升级数据库是唯一的准确数据源每个应用都需要访问数据库来获取对应的数据如果数据库发生改变或者出现问题则将对整个业务系统产生影响。后来随着微服务架构的出现企业开始采用微服务作为企业业务系统的架构体系。微服务架构的核心思想是一个应用是由多个小的、相互独立的微服务组成这些服务运行在自己的进程中开发和发布都没有依赖。不同的服务能依据不同的业务需求构建的不同的技术架构之上能够聚焦在有限的业务功能。如图微服务架构起初数据仓库主要还是构建在关系型数据库之上。例如Oracle、Mysql等数据库但是随着企业数据量的增长关系型数据库已经无法支撑大规模数据集的存储和分析因为越来越多的企业开始选择基于Hadoop构建企业级大数据平台。同时众多的Sql_on_hadhoop上构建不同类型的数据应用变得简单而高效。在构建企业数据仓库的过程中数据往往都是周期性的从业务系统中同步到大数据平台完成一系列的ETL转换动作之后最终形成了数据集市等应用。但是对于一些时间要求比较高的应用例如实时报表统计则必须有非常低的延时展示统计结果为此业界提出了一套Lambda架构方案来处理不同类型的数据。大数据lambada架构大数据平台中包含批量计算的Batch Layer和实时计算的Speed Layer通过在一套平台中将批计算和流计算整合在一起例如使用Hadoop MapReduce进行批量数据的处理使用Apache Storm进行实时数据的处理。这种架构在一定程度上解决了不同计算类型的问题但是带来的问题是框架太多会导致平台复杂度过高、运维成本高等。在一套资源管理平台中管理不同类型的计算框架使用也是非常困难的事情。后来随着Apache Spark的分布式内存处理框架的出现提出了将数据切分成微批的处理模式进行流式数据处理从而能够在一套计算框架内完成批量计算和流式计算。但因为Spark本身是基于批处理模式的原因并不能完美且高效的处理原生的数据流因此对流式计算支持的相对较弱可以说Spark的出现本质上是在一定程度上对Hadoop架构进行了一定的升级和优化。有状态流计算架构数据产生的本质其实是一条条真实存在的事件前面提到的不同的架构其实都是在一定程度违背了这种本质需要通过在一定时延的情况下对业务数据进行处理然后得到基于业务数据统计的准确结果。实际上基于流式计算技术局限性我们很难再数据产生的过程中进行计算并直接产生统计结果因为这不仅对系统有非常高的要求还必须要满足高性能、高吞吐、低延时等众多目标。基于有状态计算的方式最大的优势是不需要将原始数据重新从外部存储中拿出来从而进行全量计算因为这种计算方式的代价可能是非常高的。Flink通过实现Google Dataflow流式计算模型实现了高吞吐、低延迟、高性能兼具实时流式计算框架。同时Flink支持高度容错的状态管理防止状态在计算过程中因为系统异常而出现丢失Flink周期性地通过分布式快照技术Checkpoints实现状态的持久化维护使得即使在系统停机或者异常的情况下都能计算出正确的结果。Flink的具体优势有以下几点同时支持高吞吐、低延迟、高性能 Flink是目前开源社区中唯一一套集高吞吐、低延迟、高性能三者于一身的分布式流式数据处理框架。像Apache Spark也只能兼顾高吞吐和高性能特性主要因为在Spark Streaming流式计算中无法做到低延迟保障而流式计算框架Apache Storm只能支持低延迟和高性能特性但是无法满足高吞吐的要求。而满足高吞吐、低延迟、高性能这三个目标对分布式流式计算框架来说是非常重要的。支持事件时间Event Time概念 在流式计算领域中窗口计算的地位举足轻重但目前大多数框架窗口计算采用的都是系统时间Process Time也是事件传输到计算框架处理时系统主机的当前时间。Flink能够支持基于事件时间Event Time语义进行窗口计算也就是使用事件产生的时间这种基于事件驱动的机制使得事件即使乱序到达流系统也能够计算出精确的结果保持了事件原本产生时的时序性尽可能避免网络传输或硬件系统的影响。支持有状态计算 Flink在1.4版本中实现了状态管理所谓状态就是在流式计算过程中将算子的中间结果数据保存在内存或者文件系统中等下一个事件进入算子后可以从之前的状态中获取中间结果中计算当前的结果从而无须每次都基于全部的原始数据来统计结果这种方式极大地提升了系统的性能并降低了数据计算过程的资源消耗。对于数据量大且运算逻辑非常复杂的流式计算场景有状态计算发挥了非常重要的作用。支持高度灵活的窗口windows操作在流处理应用中数据是连续不断的需要通过窗口的方式对流数据进行一定范围的聚合计算例如统计在过去的1分钟内有多少用户点击某一网页在这种情况下我们必须定义一个窗口用来收集最近一分钟内的数据并对这个窗口内的数据进行再计算。Flink将窗口划分为基于Time、Count、Session以及Data-driven等类型的窗口操作窗口可以用灵活的触发条件定制化来达到对复杂的流传输模式的支持用户可以定义不同的窗口触发机制来满足不同的需求。基于轻量级分布式快照Snapshot实现的容错 Flink能够分布式运行在上千个节点上将一个大型计算任务的流程拆解成小的计算过程然后将tesk分布到并行节点上进行处理。在任务执行过程中能够自动发现事件处理过程中的错误而导致数据不一致的问题比如节点宕机、网路传输问题或是由于用户因为升级或修复问题而导致计算服务重启等。在这些情况下通过基于分布式快照技术的Checkpoints将执行过程中的状态信息进行持久化存储一旦任务出现异常停止Flink就能够从Checkpoints中进行任务的自动恢复以确保数据在处理过程中的一致性。基于JVM实现独立的内存管理 内存管理是所有计算框架需要重点考虑的部分尤其对于计算量比较大的计算场景数据在内存中该如何进行管理显得至关重要。针对内存管理Flink实现了自身管理内存的机制尽可能减少JVM GC对系统的影响。另外Flink通过序列化/反序列化方法将所有的数据对象转换成二进制在内存中存储降低数据存储的大小的同时能够更加有效地对内存空间进行利用降低GC带来的性能下降或任务异常的风险因此Flink较其他分布式处理的框架会显得更加稳定不会因为JVM GC等问题而影响整个应用的运行。Save Points保存点 对于7*24小时运行的流式应用数据源源不断地接入在一段时间内应用的终止有可能导致数据的丢失或者计算结果的不准确例如进行集群版本的升级、停机运维操作等操作。值得一提的是Flink通过Save Points技术将任务执行的快照保存在存储介质上当任务重启的时候可以直接从事先保存的Save Points恢复原有的计算状态使得任务继续按照停机之前的状态运行Save Points技术可以让用户更好地管理和运维实时流式应用。