Kubernetes 非共享存储详解：emptyDir 与 hostPath 从入门到实践

‍博主简介CSDN博客专家云计算领域优质创作者华为云开发者社区专家博主阿里云开发者社区专家博主交流社区运维交流社区 欢迎大家的加入 希望大家多多支持我们一起进步如果文章对你有帮助的话欢迎 点赞 评论 收藏 ⭐️ 加关注文章目录一、前言二、存储的两大类2.1 临时卷emptyDir2.2 宿主机卷hostPath2.3 选型对比速览三、存储两大类的实例展示3.1 临时卷emptyDir3.2 宿主机卷hostPath四、结束 - 总结 - 扩展一、前言在Kubernetes容器编排体系中存储管理是支撑有状态服务稳定运行的基石。根据数据是否跨节点共享存储可大体分为共享存储如NFS、CephFS、GlusterFS与非共享存储两大类。共享存储适用于多Pod并发读写、数据集中管理的场景但其依赖网络存在性能损耗和单点故障风险而非共享存储则将数据绑定在单个Pod或单台节点上具有低延迟、高吞吐、无网络开销的优势尤其适合缓存、临时计算、节点运维及高性能单机数据库等场景。本文聚焦于Kubernetes内置的两种非共享存储方案——emptyDir与hostPath深入剖析其实现原理、生命周期、适用边界及生产环境中的局限性帮助大家在存储选型时做出合理决策。二、存储的两大类在Kubernetes的非共享存储体系中原生提供的两类存储卷分别是临时卷Ephemeral Volume和宿主机卷HostPath Volume。前者以emptyDir为代表后者以hostPath为核心。两者的共同特征是数据不通过网络传输仅存在于本地节点但它们在生命周期、隔离性和使用场景上有着本质差异。2.1 临时卷emptyDiremptyDir是最基础的临时存储卷类型。当Pod被调度到某节点时Kubelet会在该节点的/var/lib/kubelet/pods/pod-id/volumes/目录下为Pod创建一个空目录并将其挂载至容器内的指定路径。该目录的生命周期与Pod完全一致——只要Pod在节点上运行目录就存在Pod被删除时目录及其数据会被永久清理。若Pod内容器发生崩溃重启非Pod删除目录中的数据会完整保留因为Pod本身并未销毁。在数据隔离方面同一个Pod内的多个容器可以同时挂载同一个emptyDir卷实现高效的容器间数据交换例如主业务容器将日志写入/var/logSidecar日志收集器读取该目录并转发至后端。不同Pod之间的emptyDir则完全隔离互不可见。其典型适用场景包括应用程序运行时产生的临时缓存文件如Nginx的/tmp目录、前端构建工具的中间产物同一Pod内多个容器通过本地文件系统进行通信的“中转站”需利用节点本地磁盘I/O性能的短暂计算任务如MapReduce中间结果。然而emptyDir的致命弱点是数据非持久化一旦Pod被删除数据便永久丢失。此外它受限于节点的本地磁盘容量若Pod未设置资源配额可能因写入大量数据而填满节点磁盘影响同一节点上的其他Pod。2.2 宿主机卷hostPathhostPath卷则将宿主机节点上的指定文件或目录直接挂载到容器内部。它跳过了Kubelet的临时目录管理直接暴露节点的底层文件系统。这种设计使得hostPath的生命周期与节点绑定——只要Pod运行在该节点上挂载路径即有效一旦Pod因故障、缩容或调度策略变更而漂移到其他节点数据便无法被新Pod继承。简单理解hostPath 就和 Docker 的-v绑定挂载一样直接把宿主机目录映射到容器。但 Kubernetes 是多节点集群Pod 如果持久化数据到 node2 的本地目录那么当 Pod 因故障、缩容或滚动更新被重建时调度器可能把它调度到 node1 或 node3此时新 Pod 的容器里挂载的是新节点上的目录之前 node2 的数据就彻底“失联”了。除非你额外用 nodeSelector 强行把 Pod 钉死在 node2否则数据不会自动跟随 Pod 迁移。与emptyDir不同hostPath的数据隔离性较差。若同一个节点上的多个Pod挂载了相同的宿主机目录它们将互相读写同一份数据这在某些场景下会带来非预期的数据冲突和安全隐患。hostPath主要用于以下有限的场景运维与监控Pod需要读取节点的系统日志如/var/log、cgroup文件或内核参数如/proc、/sys以实现监控代理或故障排查工具的功能网络与存储插件CNI网络插件如Calico、Flannel需要访问宿主机的网络配置目录如/etc/cni/net.dCSI存储插件需要挂载宿主机的设备文件如/dev本地单节点测试开发环境中用于快速验证持久化逻辑但严禁在生产环境中用于业务数据。hostPath的风险更为突出首先它将Pod与特定节点强绑定破坏了Kubernetes调度的灵活性其次容器内进程若拥有足够权限可能误删或破坏宿主机关键文件带来严重的安全隐患最后当节点发生故障时数据恢复难度极大。2.3 选型对比速览存储类型数据生命周期隔离性适用场景生产环境建议emptyDirPod生命周期容器间可共享Pod间隔离缓存、临时计算、Sidecar通信可用于临时数据禁止持久化hostPath节点生命周期弱隔离同节点Pod可互访节点运维、特权插件、单机调试强烈不推荐用于业务数据综上emptyDir和hostPath作为Kubernetes内置的非共享存储基元定位明确且不可互相替代。对于生产环境而言应严格遵循“临时数据用emptyDir节点系统数据用hostPath”的原则。当业务应用需要真正持久化存储时如数据库、消息队列、用户上传文件等上述两种内置卷均无法满足要求。此时应通过持久卷PersistentVolumePV与持久卷声明PersistentVolumeClaimPVC机制接入外部存储系统例如云厂商提供的块存储AWS EBS、阿里云云盘、分布式网络文件系统NFS、CephFS或高性能分布式块存储Ceph RBD。PV/PVC 将底层存储细节与 Pod 解耦使得存储资源能够独立于 Pod 生命周期存在并支持动态扩容、快照备份及跨节点数据迁移是生产环境持久化存储的标准解决方案。三、存储两大类的实例展示3.1 临时卷emptyDir编辑一个yaml进行测试vi empty.yamlapiVersion:v1kind:Podmetadata:name:emptydir-testnamespace:defaultspec:containers:-name:empty-test1image:nginx:1.24imagePullPolicy:IfNotPresentports:-containerPort:80protocol:TCPvolumeMounts:-name:emptydirmountPath:/test1-name:empty-test2image:busybox:latestimagePullPolicy:IfNotPresentcommand:[sh,-c,sleep 3600]volumeMounts:-name:emptydirmountPath:/test2volumes:-name:emptydiremptyDir:{}一个pod里面有两个容器主要测一下这两个容器之间数据互通创建podkubectl apply-fempty.yaml查看pod状态READY结果应该是2/2STATUS应该是Running这是正常启动了[rootk8s-master cunchu]# kubectl get podsNAME READY STATUS RESTARTS AGE emptydir-test2/2 Running07s测试写入数据# 往test1容器里的test1下创建个文件写入数据kubectlexecemptydir-test-cempty-test1 --bash-cecho test测试emptydir /test1/1.txt# 查看test1容器里的文件是否写入数据kubectlexecemptydir-test-cempty-test1 --bash-ccat /test1/1.txt# 查看test2容器里的test2下的这个文件kubectlexecemptydir-test-cempty-test2 --sh-ccat /test2/1.txt可以看到数据是写进来并且共享了但也仅限一个pod中的容器之间进行共享多个pod是无法进行数据共享的。也可以在宿主机查看数据需要去此pod所在的节点上进行查看地址例如cd /var/lib/kubelet/pods/${{pod id}}/volumes/kubernetes.io~empty-dir/emptydir/pod id的获取方式需要在主节点查看yaml进行获取kubectl get pod emptydir-test -o yaml | grep -i uid################# master节点执行 ################## 先确认此pod是在哪个节点上运行的kubectl get pods-owide# 查看此pod的uidkubectl get pod emptydir-test-oyaml|grep-iuid################# node2节点执行 ################## 进入运行的节点并切换到执行目录cd/var/lib/kubelet/pods/1cf5ced0-89e3-4181-b6d2-c8b0e2e960a6/volumes/kubernetes.io~empty-dir/emptydir/# 查看是否有1.txt文件ls# 查看文件内容是否一致cat1.txt3.2 宿主机卷hostPath编辑一个yaml进行测试vi hostpath.yamlapiVersion:v1kind:Podmetadata:name:hostpath-testnamespace:defaultspec:terminationGracePeriodSeconds:30containers:-name:testimage:nginx:1.24imagePullPolicy:IfNotPresentports:-containerPort:80protocol:TCPvolumeMounts:-name:host-testmountPath:/host-testvolumes:-name:host-testhostPath:path:/data/host-test# 宿主机上的绝对路径type:DirectoryOrCreate# 检查类型容器里的路径为/host-test容器外的挂载路径为/data/host-test测试数据是否会同步到宿主机type 常用参数解析在使用hostPath时建议明确指定type以增强防御性编程DirectoryOrCreate如果宿主机上不存在此路径K8s 会自动帮你创建一个空目录权限为 0755。Directory宿主机上必须已存在该目录否则 Pod 启动失败。FileOrCreate如果宿主机不存在此文件自动创建空文件。File宿主机必须存在该文件。创建podkubectl apply-fhostpath.yaml查看pod状态READY结果应该是1/1STATUS应该是Running这是正常启动了[rootk8s-master cunchu]# kubectl get podsNAME READY STATUS RESTARTS AGE hostpath-test1/1 Running055s测试写入数据# 往test容器里的host-test下创建个文件写入数据kubectlexechostpath-test-ctest--bash-cecho 测试hostpath方式挂载 /host-test/cs.txt# 查看test容器里的文件是否写入数据kubectlexechostpath-test-ctest--bash-ccat /host-test/cs.txt可以看到数据是写进来了然后我们再去宿主机上查看是否写入数据查看运行在哪个节点上kubectl get pods-owide看到在node2节点上去node2节点查看/data/host-test下是否有文件和数据cd/data/host-testlscatcs.txt四、结束 - 总结 - 扩展总结本文介绍的emptyDir和hostPath是Kubernetes内置的基础存储适用于临时缓存和节点运维等场景。但它们都无法满足Pod跨节点迁移时的数据持久化需求。扩展在生产环境中对于数据库、消息队列等有状态服务应使用PV持久卷和 PVC持久卷声明机制对接后端存储如NFS、Ceph或云厂商云盘以实现存储资源与Pod生命周期的解耦。关于PV/PVC的详细实践我将在后续文章中深入探讨届时可查看文章Kubernetes 共享存储PV、PVC、StorageClass 详解及使用。