从大型机到云原生-云计算大数据与虚拟化技术全景解读

从大型机到云原生 — 云计算、大数据与虚拟化技术全景解读你想过没有为什么我们如今可以用几行代码就让成千上万台服务器跑起来为什么一个手机 App 背后可能连接着价值数十亿的计算资源池这篇文章带你从头梳理云计算、大数据和虚拟化技术的来龙去脉。一、开篇当计算成为一种公用服务想象这样一个场景你打开水龙头就有水按开关就有电——你从不需要关心水厂在哪里、电厂怎么发电。那计算呢2006 年Google 提出了一个大胆的想法让计算能力也像水和电一样打开就用按需付费。这就是云计算的核心梦想。但这个梦想不是凭空产生的。它背后是40 多年计算模式的演变、是虚拟化技术的成熟、是大数据时代的需求倒逼。让我们从最源头开始。二、云计算从集中到分散、再从分散到集中2.1 计算模式演变的四个时代计算技术的发展史本质上是一部在更方便的使用方式和更强大的计算能力之间找平衡的历史。“在提供更强大计算能力的同时提供更加方便快捷的使用方式是贯穿整个计算技术发展的主线。”时代一60-70 年代 — 大型机时代集中式那时候的计算机是庞然大物。IBM 的大型机需要专门的恒温机房、专业团队维护。IBM 创始人托马斯·沃森曾说“全球大概只需要五台计算机就够了。”听起来很夸张但在当时一台大型机可以连接几十个终端大家分时共享。集中计算、分时共享是这个时代的特征。时代二80-90 年代 — PC 时代个人化微处理器的出现改变了世界。比尔·盖茨的梦想是 “让每一张桌子上都有一台电脑”。1981 年比尔·盖茨曾说“640KB 内存应该对任何人都够用了。”这是典型的个人计算时代——计算能力从机房走到了桌面。每个人都有自己的电脑但数据是孤岛资源是分散的。时代三95-06 年 — 互联网/网格/集群时代再集中PC 互联产生了互联网。当计算机连在一起人们开始思考能不能把分散的计算资源汇聚起来做更大事网格计算连接更多计算资源像电网一样调度集群用多台普通计算机构建大型机的计算能力数据中心成千上万台服务器集中存储和处理信息这个时代的特点是资源开始重新集中但方式还很原始。时代四2006 年至今 — 移动计算 云计算“更分散也更集中”这是一个看似矛盾却高度统一的时代“更分散”前端“更集中”后端智能手机、iPad巨型数据中心传感网络IoT云计算平台普适计算虚拟化资源池“每一粒沙子都应该是一台计算机”“计算像水电一样使用”“天下大势合久必分分久必合。否定之否定螺旋式上升。”2.2 什么是云计算—— 像用水电一样用计算定义逐句拆解“通过集中式远程计算资源池以按需分配方式为终端用户提供强大而廉价的计算服务能力。”集中式远程计算资源不在你的电脑里在云端——某个数据中心里计算资源池服务器、存储、网络被整合成一个巨大的池子按需分配你要多少就给你多少不用了就释放用户透明你不需要知道资源具体在哪台机器上像水电一样即插即用按使用量付费“Utility Computing” 的正确理解云计算常被称为Utility Computing。注意这里的Utility不是 “效用”effectiveness而是专指公用服务public utility——就像自来水公司、电力公司提供的服务一样。云计算八大特点特点说明① 透明的云端服务用户只管用不用管云里面怎么运作② 无限的计算资源弹性伸缩几乎没有上限③ 按需分配就像自助餐吃多少拿多少④ 资源共享企业不用自建数据中心降成本⑤ 快速部署新应用上线从数月缩短到分钟级⑥ 更新方便软件升级在云端完成用户零感知⑦ 绿色节能集中化管理比分散部署更高效⑧ 集计算技术之大成虚拟化、并行计算、分布式存储…通通用到2.3 云计算的分类按服务层面 — SPI 模型┌────────────────────────────────────┐ │ SaaS (Software) │ ← 给终端用户用的软件 │ 例腾讯云词典、Google Docs │ ├────────────────────────────────────┤ │ PaaS (Platform) │ ← 给开发者用的平台 │ 例Google AppEngine │ ├────────────────────────────────────┤ │ IaaS (Infrastructure) │ ← 接近裸机的计算资源 │ 例Amazon EC2 │ └────────────────────────────────────┘层次全称含义你用的是什么SaaSSoftware as a Service直接使用软件服务打开网页就用不用装PaaSPlatform as a Service使用开发/运行平台只管写代码服务器不用管IaaSInfrastructure as a Service租用服务器、存储、网络租台云电脑自己装系统三者关系IaaS 是地基 → PaaS 是框架 → SaaS 是精装修。按系统类型 — 四种部署模式类型服务对象优点缺点案例公有云全社会成本低、弹性好数据私密性难保证Amazon Web Services私有云组织内部数据安全可控建设成本高移动/公安/银行内部云社区云特定群体兼顾共享与安全范围有限NASA Nebula混合云多渠道灵活度最高管理复杂私有云公有云混搭 知识点NASA Nebula 社区云可以让研究人员几分钟内获得 IT 服务而此前需要数月。这正是云计算的核心优势——快速响应。2.4 云计算发展的推动力2.4.1 应用需求推动力① 大粒度应用——数据量爆炸式增长企业数据量什么概念中国移动全国500TB/天单个流量最大的省每天 65TB阿里巴巴日处理500TB总交易数据1500PB百度存储100-1000PB每天处理10-100PBYouTube每分钟13 小时视频上传每天10TB数据2011 年全世界产生了1.8ZB1.8 万亿 GB的数据。到 2020 年预测达到35ZB。② 小粒度应用——资源无法共享以淘宝为例后台约15 万台服务器不同应用负载差异巨大。购物节时数据库爆满平时很多服务器闲置。如果能在不同应用间灵活调配资源可省去约2/3 的服务器约 10 万台每台 3 万元计可节省约30 亿元2.4.2 技术发展推动力云计算不是凭空出现的它是多项技术成熟后的自然产物计算机虚拟化技术大规模并行计算分布式存储面向服务构架SOA计算机系统规模和处理能力的迅速扩大就像蒸汽机的出现不只是瓦特一个人的功劳而是冶金、机械、热力学等多领域共同进步的结果——云计算也是如此。2.5 云计算系统的组成与关键技术系统组成架构物理存储计算资源池成千上万台服务器 │ ▼ 虚拟化技术 虚拟资源池 │ ▼ 弹性资源调度管理 云计算应用与服务 ├── 小粒度应用资源共享比如 Web 应用 └── 大数据应用与服务比如数据分析 ▲ ┌─────┴─────┐ 分布式存储 并行计算框架 并行算法 查询分析 ▲ ┌─────┴─────┐ 云安全管理 云计算管理八大关键技术技术它解决什么问题虚拟化技术机器的安装、分配、调度、故障恢复云计算构架系统软硬件怎么搭才适合云资源调度资源自动分配、负载均衡、回收并行计算大数据怎么切分、并行算法怎么设计大数据存储数据分布式存储、共享访问、备份云安全访问安全、数据安全、私密性保护云计算应用面向各行业的应用技术节能散热数据中心电费、散热等工程问题“怎样才算是云计算系统”—— 两大必备特征一个系统至少需要具备第一个特征才能被称为云计算系统✅资源虚拟化 弹性调度以按需分配的方式为小粒度应用提供计算资源实现资源共享✅大数据存储处理 并行计算提供传统系统和用户终端无法完成的大规模计算能力2.6 云计算发展现状与趋势Google Cloud InfrastructurePaaS 型核心组件Scheduler任务调度器Chubby分布式锁服务GFSGoogle File System分布式文件系统MapReduce并行计算框架BigTable分布式数据库2003-2006 年Google 连续发表了 GFS、MapReduce、BigTable 三篇论文奠定了现代大数据技术的理论基础——这就是后来 Hadoop 的灵感来源。Amazon EC2IaaS 型核心组件EC2虚拟机实例、S3对象存储、EBS块存储、SimpleDB、SQS消息队列经典案例SmugMug照片分享把0.5PB数据存在 S3节省近100 万美元Animoto3 天内用户从 5000 人飙升至75 万人通过 EC2 启动3500 个虚拟实例成功扛住流量洪峰国内外云计算企业国际国内Google AppEngine中国移动 BigCloudAmazon AWS阿里飞天平台超2 万企业用户Microsoft Azure腾讯、百度IBM 私有云方案中兴通信、华为从电信向计算转型Cisco / HP / EMC / VMware万网三、大数据当数据多到存不下、算不动、管不了3.1 什么是大数据两个经典定义Wiki 百科定义Big data is a collection of data sets so large and complex that it becomes difficult to process using on-hand database management tools.直译大数据是一组太大、太复杂的数据集用现有的数据库管理工具已经难以处理。IDC 报告定义Big data technologies describe a new generation of technologies and architectures, designed to economically extract value from very large volumes of a wide variety of data, by enabling high-velocity capture, discovery, and/or analysis.强调三个关键词经济的方式economically、高速high-velocity、提取价值extract value。大数据不是数据大这么简单而是大到用传统手段搞不定需要用新方法来提取价值。3.2 为什么大数据如此重要时间事件意义2008 年《Nature》专刊讨论大数据学术界开始关注2009 年IDC 报告全世界数据0.8ZB数据宇宙概念诞生2020 年预测IDC全世界数据35ZB十年增长44 倍2012 年美国政府投入2 亿美元研发大数据技术上升到国家战略0.8ZB 的数据量是什么概念如果刻成 DVD堆起来可以够到地球到月球的距离。35ZB 的话可以够到地球到火星距离的一半。3.3 第四范式数据科学图灵奖得主Jim Gray2007 年最后一次演讲提出了一个影响深远的框架范式特征举例第一范式实验科学通过实验观察自然现象伽利略自由落体实验第二范式理论科学建立数学模型总结规律牛顿力学第三范式计算科学通过计算机模拟复杂现象天气预报模拟第四范式数据科学从海量数据中发现规律Google 流感趋势预测数据密集型科学发现将成为科学研究的第四范式。—— Jim Gray李国杰院士的经典论述“一个国家拥有数据的规模和运用数据的能力将成为综合国力的重要组成部分。计算机科学是关于算法的科学数据科学是关于数据的科学。”3.4 大数据处理技术发展的驱动力驱动力一数据量暴涨传统手段不够用场景数据量传统方法能否搞定中国移动江苏每月通话0.5-1 PBOracle 已经吃不消南京道路监控 3 年200 亿条、120TB传统数据库扛不住华大基因每天300 GB一年 100TB逐年递增淘宝交易14 PB日增 40-50TB需要分布式存储驱动力二没有通用解决方案云计算平台软件、虚拟化软件都有现成的但行业大数据处理应用——金融风控、医疗诊断、交通调度——没有通用的软件必须针对需求专门开发驱动力三计算能力跟不上存储增长磁盘容量增长了数十万倍但是延迟只提高了2 倍带宽只提高了50 倍100TB 的数据用单硬盘顺序读取需要217 小时 ≈ 9 天即使用百万元级别的高速磁盘阵列800MB/s也要1.5 天。驱动力四更多数据 → 更准确的事实大数据集上的简单算法往往比小数据集上的复杂算法产生更好的结果。举例2001 年一个问答研究——谁枪杀了亚伯拉罕·林肯数据量足够大时简单的模式匹配就能快速给出正确答案。数据量本身就是一种力量。3.5 大数据的类型与特征大数据的三个分类维度分类维度类型举例结构特征结构化 / 非结构化数据库表 vs 视频、图片获取方式动态流式 / 静态批处理实时日志 vs 离线历史数据关联特征简单关联 / 复杂关联键值对 vs 社交网络图数据大数据的 4V 特征逐个解读V英文中文深度理解V1Volume大容量TB→PB→EB→ZB传统数据库处理不了的规模V2Variety多样性不仅有数字表格还有文本、图片、视频、日志、传感器数据V3Velocity时效性数据产生的速度快要求处理速度也快——每秒几万条V4Veracity准确性数据多了噪声也多如何保证数据质量和真实性是核心挑战有的机构会给 4V 加上第 5 个 V——Value价值。大数据真正的价值不在于大而在于从中能提取出什么有用的东西。3.6 大数据研究的挑战与基本途径三大挑战挑战本质① 存储和计算量巨大单台机器存不下、算不动② 传统算法失效很多算法的时间复杂度随数据量增长不可接受③ 复杂数据关联图数据、社交网络关联分析复杂度指数级增长三个基本途径途径策略① 降低计算复杂度设计新算法② 降低数据尺度寻找与数据规模无关的算法抽样/近似计算③大数据并行化处理⭐最主要途径把数据分成小块多台机器并行计算主流技术MapReduceHadoop MapReduce是目前大数据并行处理的工业标准分而治之的并行思想高层编程模型你只需要写 Map 和 Reduce 函数自动化存储计算框架国内外巨头都在用Google、Amazon、Facebook、IBM、百度、淘宝、腾讯……四、虚拟化技术云计算和大数据的地基4.1 数据中心的困境在云计算普及之前企业的 IT 架构是这样的烟囱式结构每个部门或应用独享服务器——你建你的我建我的互不共享。就像每家每户都要自己打一口水井而不是用自来水管道。三大致命缺陷缺陷描述① 利用率低数据中心服务器平均使用率 30%却有大量服务器无法满足负载需求② 部署周期长新应用上线需要数周甚至数月预算→采购→安装→测试→上线黄花菜都凉了③ 成本线性增长服务器数量和管理成本与应用数量成正比IT 部门不堪重负“冰山模式”——看不见的成本才是大头看得见的花费30% 新基础设施 新应用开发 ┌─────────────────────────────────────┐ │ 看不见的花费70% │ │ 现有设施维护 人员支出 │ │ 电费、空调、运维工程师、升级…… │ └─────────────────────────────────────┘目标把这 70% 的运营支出省下来用到真正的创新上。数据中心发展路径非虚拟环境 → 虚拟环境 → 随需应变的数据中心 技术孤岛 通用技术平台 更高自动化 系统复杂 易于管理 更高灵活性 资源不共享 资源共享 更高效率 架构庞大 架构简单 僵化不灵活 随需应变4.2 虚拟化的本质虚拟化是表示计算机资源的抽象方法通过虚拟化可以用与访问抽象前资源一致的方法访问抽象后的资源。这种资源的抽象方法并不受实现、地理位置或底层资源的物理配置的限制。—— 维基百科拆解一下抽象方法把物理资源包装一下让你不用关心底层细节访问一致你操作虚拟机和操作物理机的感觉一样不受限制物理机在北京、虚拟机在广州——你感觉不到区别打个比方你住在酒店里你使用房间里的设施床、电视、洗手间——你不需要知道这些设施在楼层的哪个位置、水电管道怎么走的你只需要知道这个房间里有这些设施能用就行。虚拟化就是给程序提供这样一个酒店房间。4.3 虚拟化的常见类型基础设施虚拟化类型说明细分网络虚拟化把物理网络打包成虚拟网络VLAN虚拟局域网、VPN虚拟专用网存储虚拟化把分散的存储空间统一成一个虚拟存储池NAS网络附加存储、SAN存储区域网络系统虚拟化核心思想在一台物理机上虚拟出一台或多台虚拟机VM。PC/服务器虚拟化这是虚拟化最大的价值所在——企业可以在一台物理机上跑多个虚拟服务器桌面虚拟化你的桌面环境应用程序、文件放在远程服务器上你可以用任何设备PC、手机、平板远程访问。就像你的电脑在云上走到哪里都能用软件虚拟化类型说明代表高级语言虚拟化编译成中间代码跨平台运行JVMJava 虚拟机应用程序虚拟化把应用和操作系统解耦VMware ThinApp按层次分类自底向上 层次接口代表技术硬件级虚拟化ISA 指令集VMware、Xen、Virtual PC指令级虚拟化ISA 指令集Bochs、QEMU操作系统级虚拟化系统调用Docker容器程序库级虚拟化APIWINE在 Linux 跑 Windows 软件编程语言级虚拟化APIJVM、.NET CLR应用程序级虚拟化—VMware ThinApp看到 ⭐操作系统级虚拟化——这不就是现在的**容器技术Docker**吗对容器是操作系统级虚拟化的现代实现。4.4 服务器虚拟化关键技术 ⭐重点展开虚拟化体系结构┌─────────────────────────────────┐ │ VM1 VM2 VM3 │ ← 虚拟机 │ (Win) (Linux) (Ubuntu) │ ├─────────────────────────────────┤ │ VMM / Hypervisor │ ← 虚拟化管理器 ├─────────────────────────────────┤ │ 物理硬件CPU/内存/磁盘 │ ← 宿主机 └─────────────────────────────────┘三个关键角色角色说明VMMVirtual Machine Monitor也叫Hypervisor系统软件负责管理真实硬件资源为虚拟机提供接口VMVirtual Machine通过软件模拟的虚拟电脑有完整的硬件系统Host OS有些 VMM 安装在已有操作系统上这个操作系统就叫 Host OS三大虚拟化实现技术逐类深入技术一全虚拟化Full Virtualization原理传统 x86 CPU 有 4 个特权级 ┌────────────────────────────────────────┐ │ Ring 0最高 ← 操作系统内核 │ │ Ring 1 ← 操作系统服务 │ │ Ring 2 ← 操作系统服务 │ │ Ring 3最低 ← 应用程序 │ └────────────────────────────────────────┘ 全虚拟化时 ┌────────────────────────────────────────┐ │ Ring 0最高 ← HypervisorVMM │ ← 管硬件 │ Ring 1 ← Guest OS虚拟机系统 │ ← 发特权指令被拦截 │ Ring 2 │ │ Ring 3最低 ← 虚拟机里的应用程序 │ └────────────────────────────────────────┘核心机制二进制转换Binary Translation虚拟机里的操作系统Guest OS本来想在 Ring 0 运行但它被降级到 Ring 1 了。每当它发出一个特权指令比如关机、设置中断、I/O 操作Ring 0 上的 Hypervisor 会用二进制转换技术拦截并模拟执行这个指令。打个比方就像你在国外想说一句话但你说的话特权指令需要经过翻译Binary Translation才能被当地人听懂。每次对话都要翻译自然会慢一些。优缺点✅ 优点Guest OS 不需要任何修改——Windows、Linux 直接拿来就能当虚拟机❌ 缺点性能开销大——软件拦截每次特权指令都要消耗 CPU技术二泛虚拟化 / 半虚拟化Para-Virtualization原理Guest OS 知道自己是虚拟机主动配合 Hypervisor ┌────────────────────────────────────────┐ │ Ring 0最高 ← Guest OS已修改的内核│ ← 发 Hypercall │ Ring 1 │ │ │ Ring 2 │ │ │ Ring 3最低 ← 虚拟机里的应用程序 │ ├────────────────────────────────────────┤ │ HypervisorVMM在底层管硬件 │ └────────────────────────────────────────┘核心机制Hypercall全虚拟化的方案是你尽管发特令我帮你拦截处理——但这样效率低。泛虚拟化的思路是修改 Guest OS 的内核让它在需要执行特权操作时自己主动调用 Hypervisor 提供的接口Hypercall而不是被拦截。还是那个翻译的例子你现在学了几句当地话看到出租车就直接喊Taxi!Hypercall不用翻译了快了很多。但前提是你得学习当地话修改内核。代表产品Xen剑桥大学开发的开源项目优缺点✅ 优点省去拦截开销性能比全虚拟化好❌ 缺点必须修改操作系统内核——如果是 Windows你改不了它的内核源码所以 Windows 无法用作半虚拟化的 Guest OS技术三硬件辅助虚拟化Hardware-Assisted Virtualization原理CPU 多了一个hidden环 -1 ┌────────────────────────────────────────┐ │ -1 环 ← HypervisorVMM │ ← 硬件直接切换 │ Ring 0最高 ← Guest OS操作系统 │ ← 正常跑在 0 环 │ Ring 1 Ring 2 │ │ Ring 3最低 ← 虚拟机里的应用程序 │ └────────────────────────────────────────┘核心机制VMX Root / Non-Root 模式以 Intel VT-x 为例CPU 引入了两种操作模式VMX Root OperationVMM 运行在此VMX Non-Root OperationGuest OS 运行在此关键在于这两种模式各自都有自己的 Ring 0 ~ Ring 3。所以 Guest OS 在 Non-Root 模式下也可以跑在 Ring 0不受影响。当 Guest OS 需要执行特权指令时CPU 的硬件机制会自动将控制权切换到 VMX Root 模式下的 VMM。性能对比全虚拟化每条特权指令都软件拦截 →很慢半虚拟化改内核主动调用 →较快硬件辅助硬件原生切换 →几乎无额外开销优缺点✅ 优点性能极好Guest OS 不需修改❌ 缺点需要 CPU 支持Intel VT-x / AMD-V三种虚拟化技术横向大对比对比维度全虚拟化泛虚拟化半虚拟化硬件辅助虚拟化原理Binary Translation 拦截特权指令Hypercall 主动调用 VMMCPU 硬件自动切换模式性能❌ 较差软件开销大✅ 较好⭐ 最优改内核不需要❌ 必须修改 OS 内核不需要硬件依赖不需要特殊硬件不需要特殊硬件需要 Intel VT-x / AMD-V典型代表早期的 VMwareXenVMware ESXi / KVM适用场景旧硬件环境Linux 虚拟机可控内核现代生产环境VMM 的分类现代工业界更常用的分类方式类型说明代表Type-1裸金属型 / Bare-metalHypervisor 直接运行在硬件上没有宿主操作系统VMware ESXi、Xen、KVMType-2宿主型 / HostedHypervisor 运行在宿主操作系统之上VMware Workstation、VirtualBoxType-1 用于服务器性能好、隔离强Type-2 用于个人开发测试方便。4.5 VMM 的实现技术CPU 虚拟化指令分类非特权指令算术运算、逻辑运算等——不影响系统状态 → VMM直接执行特权指令关机、设置计时器、I/O 操作 ——会影响系统状态 → VMM需要模拟执行CPU 虚拟化的核心困难Guest OS 不能运行在物理硬件的 Ring 0会破坏 Host OS 或 VMM但 Guest OS 发出的很多线程是 Ring 0 级别的虚拟软件需要在不同优先级之间协调切换结果性能下降5%~40%硬件解决方案IntelVT-x/ AMDAMD-V——用 CPU 硬件本身来完成隔离避免软件开销。内存虚拟化核心问题多个虚拟机同时使用物理内存VMM 必须保证大家不互相干扰。传统方案影子页表Shadow Page Table虚拟机 A 以为自己用的是物理内存 0x0000 虚拟机 B 以为自己用的是物理内存 0x0000 但实际上 ┌── VMM 维护的影子页表 ──┐ │ VM A 虚拟地址 → 物理页 1 │ │ VM B 虚拟地址 → 物理页 2 │ └────────────────────────┘VMM 通过影子页表完成虚拟地址 → 客户物理地址 → 真实物理地址的两次映射。优点可以给不同虚拟机动态分配内存、支持换页到磁盘虚拟机的内存可以超过物理内存缺点操作系统频繁改页表 → 影子页表同步开销大硬件解决方案IntelEPTExtended Page Table/ AMDNPTNested Page Table——用硬件完成地址转换大大降低开销。I/O 虚拟化类型方法缺点宿主型 I/O 虚拟化使用宿主操作系统的 I/O 驱动性能开销大OS 没有资源隔离支持硬件 I/O 虚拟化I/O 设备直接连接到虚拟机需要硬件支持Intel VT-dIntel VT-d 技术允许虚拟机直接访问物理 I/O 设备几乎完全消除 I/O 虚拟化开销。4.6 主流虚拟化软件VMwareESX Server / ESXi不开源Type-1直接运行于硬件目前最广泛的企业级虚拟化平台Workstation / GSX ServerType-2需要 Host OS用于个人开发和测试Xen开源剑桥大学开发支持两种模式完全虚拟化半虚拟化亚马逊 AWS 早期大量使用 XenIntel VT 系列硬件支持技术功能VT-x处理器辅助虚拟化CPU 多了一个 -1 环VT-dI/O 辅助虚拟化直接 I/O 直通VT-c网络辅助虚拟化TXT可信执行技术Trusted Execution Technology4.7 拓展从虚拟机到云原生传统虚拟化给我们带来了虚拟机VM但**容器Container**是更轻量的选择。对比虚拟机容器隔离级别硬件级隔离每个 VM 有独立内核进程级隔离共享宿主机内核启动时间分钟级毫秒级镜像大小GB 级包含完整 OSMB 级仅应用依赖资源开销较大每个 VM 消耗 CPU/内存极轻量现代云计算层次数据中心硬件 ↓ 虚拟化VMware / KVM—— 传统虚拟化 ↓ 容器Docker—— 操作系统级虚拟化 ↓ 编排Kubernetes / K8s—— 自动部署、伸缩、管理 ↓ ServerlessFaaS / 函数计算—— 连容器都不用管了只管写代码这就是云原生Cloud Native的典型技术栈。五、三者的融合纽带篇末小结至此我们已经走完了云计算、大数据和虚拟化技术的全景旅程。它们之间的关系可以用一句话概括物联网采集数据 → 大数据提取价值 → 云计算提供弹性算力 → 虚拟化容器化是这一切的底层根基数据源头 数据处理 算力基础 ┌──────┐ ┌──────────┐ ┌──────────────┐ │ 物联网 │ → 海量数据 → │ 大数据 │ → 需求 → │ 云计算虚拟化│ │ 业务系统│ │ HDFS/MapReduce│ │ 弹性资源池 │ └──────┘ └──────────┘ └──────────────┘虚拟化是大数据和云计算的地基——没有它一台物理机只能跑一个 OS资源无法高效复用云计算是算力管道——让你按需获取虚拟化带来的资源池大数据是上层应用——利用云的弹性算力对海量数据进行处理和挖掘 核心概念速查概念一句话云计算像水电一样使用计算资源SaaS / PaaS / IaaS软件即服务 / 平台即服务 / 基础设施即服务公有云 / 私有云 / 社区云 / 混合云四种部署方式大数据 4VVolume / Variety / Velocity / Veracity第四范式实验 → 理论 → 计算 → 数据科学虚拟化计算机资源的抽象方法Hypervisor / VMM管理硬件、为虚拟机提供接口的管家全虚拟化二进制转换拦截特权指令不用改内核性能稍差泛虚拟化半虚拟化Hypercall 主动调用性能好但需改内核硬件辅助虚拟化-1 环 CPU 硬件切换性能最好Type-1 / Type-2裸金属型直接跑硬件上/ 宿主型跑在 OS 上下一篇预告当 Hadoop 还是个婴儿的时候——从 Nutch 搜索引擎到 Apache 顶级项目的成长史以及 YARN 和 HDFS HA 的核心原理分析。