CentOS7上K8s+Rancher高可用集群部署实战拆解

1. 这不是“一键”而是把四步压缩成一个脚本CentOS7上K8sRancher部署的真实逻辑你搜到的标题里写着“一键安装”点进去却发现要手动敲七八条命令、改三处配置、等五次服务启动——这根本不是一键是把“一整套操作流程”包装成“一键”的营销话术。我干了十年基础设施交付给金融、制造、政务客户搭过上百套K8s环境最常被问的问题就是“能不能真的一键别让我配防火墙、关SELinux、调内核参数。”答案很实在能但必须先理解每一步在干什么否则“一键”跑通了三天后集群就崩在莫名其妙的证书过期或etcd通信中断上。这篇记录是我上周在客户现场用三台物理服务器非云主机从零部署高可用K8s集群并接入Rancher v2.7.12的真实过程。它不叫“教程”叫“拆解”——我把所有被脚本隐藏的细节、所有被文档省略的判断依据、所有踩过的坑都摊开来讲。关键词就四个CentOS7、K8s、Rancher、集群没有虚的全是实操中必须面对的硬骨头。为什么必须强调CentOS7因为它的内核版本3.10.0-1160对cgroup v2支持不完整Docker默认用systemd cgroup driver会和kubelet冲突它的firewalld规则一旦没清干净NodePort服务永远访问不了它的/etc/resolv.conf里如果残留了公司内网DNSCoreDNS Pod会卡在ContainerCreating状态——这些都不是“装完就完事”的问题是集群上线后半夜三点电话响起来的根源。所以所谓“一键”本质是把四件不可跳过的事打包执行环境预检 → 基础组件安装 → K8s集群初始化 → Rancher纳管与验证。下面每一节我都按这个逻辑展开告诉你命令背后发生了什么、为什么必须这么写、不这么写会出什么错。你不需要背命令但得知道哪一行删了集群就起不来。2. 环境预检90%的失败源于这一步被跳过很多人直接复制yum install docker-ce就开始跑结果卡在kubeadm init报错[ERROR SystemVerification]. 这不是K8s的锅是你没让系统“准备好”。CentOS7的默认配置天生和容器编排有冲突。我把它拆成三个硬性检查项缺一不可。2.1 内核与模块cgroup驱动必须统一K8s 1.24已弃用Docker作为默认运行时但Rancher v2.7.x仍深度依赖Docker镜像构建和registry管理所以Docker仍是事实标准。而Docker在CentOS7上默认使用cgroupfs驱动kubelet却要求systemd驱动——两者打架Pod直接起不来。验证方式很简单# 查看Docker当前cgroup驱动 docker info | grep Cgroup Driver # 查看kubelet期望的驱动需先装kubeadm kubeadm config images list --kubernetes-version v1.23.17 | head -1 # 输出类似k8s.gcr.io/kube-apiserver:v1.23.17 → 表明此版本kubelet要求systemd解决方案不是换驱动而是强制Docker使用systemd。关键在于/etc/docker/daemon.json的写法{ exec-opts: [native.cgroupdriversystemd], registry-mirrors: [https://1jk30jsb.mirror.aliyuncs.com], log-driver: json-file, log-opts: { max-size: 100m, max-file: 3 } }注意exec-opts必须是数组格式不是字符串native.cgroupdriversystemd不能写成cgroup-driversystemd后者无效。我见过三次因多了一个字母导致systemctl restart docker后docker info仍显示cgroupfs最后发现是JSON语法错误被静默忽略。2.2 网络与防火墙不是“关掉”而是“精准放行”systemctl stop firewalld systemctl disable firewalld是最偷懒也最危险的做法。生产环境不可能裸奔。正确做法是只开放K8s必需端口并确保节点间互通端口协议用途必须开放节点6443TCPkube-apiserver所有节点Master/Worker10250TCPkubelet API所有节点2379-2380TCPetcd server clientMaster节点之间30000-32767TCPNodePort服务所有Worker节点执行命令# 开放API Server端口所有节点 firewall-cmd --permanent --add-port6443/tcp # 开放kubelet端口所有节点 firewall-cmd --permanent --add-port10250/tcp # 开放etcd端口仅Master节点执行 firewall-cmd --permanent --add-port2379-2380/tcp # 开放NodePort范围所有Worker节点 firewall-cmd --permanent --add-port30000-32767/tcp # 重载规则 firewall-cmd --reload提示firewall-cmd --list-ports可实时查看已开放端口。若执行后仍无法访问检查firewall-cmd --state是否为running而非not running——有些环境firewalld服务未启动disable后反而无法reload。2.3 主机名与DNSK8s集群的“身份证”系统K8s集群内所有组件通过主机名互相发现。CentOS7默认主机名是localhost.localdomainkubeadm init会拒绝初始化[ERROR Hostname]: hostname localhost could not be reached [ERROR Hostname]: hostname localhost lookup localhost on 127.0.0.1:53: no such host必须为每台机器设置唯一、可解析、无下划线的主机名# 在每台机器上执行以master为例 hostnamectl set-hostname k8s-master-01 # 编辑hosts文件确保本机名能解析 echo 127.0.0.1 k8s-master-01 /etc/hosts # 检查是否生效 hostname -f # 应输出 k8s-master-01 ping -c 1 k8s-master-01 # 必须通注意hostname -f输出的FQDN完全限定域名必须和/etc/hosts中定义的完全一致。我遇到过一次故障hostname -f返回k8s-master-01.local但/etc/hosts写的是k8s-master-01导致etcd集群初始化时证书CN不匹配整个集群无法加入。3. 基础组件安装Docker Kubernetes二进制包的版本锁死策略网上教程常写yum install -y kubeadm kubelet kubectl看似简单实则埋雷。CentOS7的yum源里kubeadm版本往往滞后而Rancher v2.7.12明确要求K8s版本为v1.23.xLTS长期支持版。必须手动指定版本否则kubeadm init会报错[ERROR ImagePull]: failed to pull image k8s.gcr.io/kube-apiserver:v1.24.0——因为Rancher UI里选的K8s版本和本地kubeadm不匹配。3.1 Docker安装阿里云镜像源的三个关键替换CentOS7默认repo指向过期的download.docker.com国内下载极慢且常404。必须切换为阿里云源并注意三个易错点Base.repo必须替换为阿里云CentOS7源非CentOS8# 备份原repo mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup # 下载阿里云CentOS7源注意路径中的7 wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repoEPEL源必须启用否则yum-utils等工具无法安装# 阿里云EPEL-7源 wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repoDocker CE源必须指定为stable版避免安装test版yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo # 列出可用版本关键 yum list docker-ce --showduplicates | sort -r # 安装指定版本Rancher v2.7.12兼容性最佳 yum install -y docker-ce-20.10.24-3.el7提示docker-ce-20.10.24是经Rancher官方验证的稳定版。若安装最新版23.x可能因containerd版本过高导致kubeadm init时cri检测失败。3.2 Kubernetes组件安装精确到patch号的版本控制Rancher v2.7.12的K8s版本矩阵明确标注仅支持v1.23.17。必须严格锁定# 添加kubernetes阿里云源 cat EOF /etc/yum.repos.d/kubernetes.repo [kubernetes] nameKubernetes baseurlhttps://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/ enabled1 gpgcheck1 repo_gpgcheck1 gpgkeyhttps://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg EOF # 清理缓存 yum clean all yum makecache # 安装指定版本注意patch号 yum install -y kubelet-1.23.17-0 kubeadm-1.23.17-0 kubectl-1.23.17-0 # 设置开机自启但先不启动 systemctl enable kubelet注意kubelet服务此时绝不能启动kubeadm init前启动会导致/var/lib/kubelet目录被占用初始化失败。这是新手最高频错误——systemctl start kubelet后kubeadm init直接报错[ERROR Port-10250]。4. K8s集群初始化kubeadm init的七项核心参数解析kubeadm init不是黑盒命令每个参数都对应集群的一个关键能力。跳过任何一项后续Rancher纳管都会出问题。4.1 初始化命令全貌与参数含义这是我在生产环境使用的完整命令Master节点执行kubeadm init \ --kubernetes-versionv1.23.17 \ --pod-network-cidr10.244.0.0/16 \ --service-cidr10.96.0.0/12 \ --apiserver-advertise-address192.168.1.100 \ --control-plane-endpointk8s-api.internal \ --upload-certs \ --ignore-preflight-errorsSwap逐项解释其不可替代性--kubernetes-versionv1.23.17强制使用Rancher兼容版本避免自动升级到v1.24。--pod-network-cidr10.244.0.0/16Flannel网络插件的硬性要求。若此处设为10.240.0.0/16Flannel DaemonSet启动后会报错Failed to create SubnetManager: error retrieving pod spec。--service-cidr10.96.0.0/12Service IP段必须与Pod网段不重叠。10.96.0.0/12覆盖10.96.0.0到10.103.255.255足够大。--apiserver-advertise-address192.168.1.100API Server实际监听的IP。必须是节点真实IP不能是127.0.0.1或0.0.0.0。若填错Worker节点加入时无法连接。--control-plane-endpointk8s-api.internal高可用入口域名。即使单Master也建议设置为后续扩容留接口。需提前在/etc/hosts中解析echo 192.168.1.100 k8s-api.internal /etc/hosts--upload-certs生成并上传etcd证书使kubeadm join时能自动分发证书避免手动拷贝。--ignore-preflight-errorsSwapCentOS7默认开启swapkubeadm会拒绝初始化。生产环境应关闭swap但测试环境可临时忽略。4.2 初始化后的关键配置让kubectl真正可用kubeadm init成功后终端会输出三段关键信息。必须立即执行# 1. 配置kubectl仅当前用户 mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config # 2. 部署CNI网络插件Flannel kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml # 3. 验证Pod状态等待CoreDNS Running watch kubectl get pods -A注意kube-flannel.yml必须从coreos/flannel官方仓库获取而非其他镜像站。我试过某国内镜像站的flannel YAML其中image: quay.io/coreos/flannel:v0.17.0被替换为registry.cn-hangzhou.aliyuncs.com/google_containers/flannel:v0.17.0结果拉取失败——因为阿里云镜像站未同步该tag。永远用原始URL宁可加代理也不换镜像源。5. Rancher部署与集群纳管从单点服务到可视化平台的跨越Rancher不是K8s的替代品而是它的“操作系统界面”。它把kubectl的复杂命令变成Web界面上的点击操作。但部署Rancher本身就是一次对K8s集群健康度的终极检验。5.1 Rancher Server部署Docker模式的生产级配置虽然Rancher支持Helm Chart部署到K8s集群内但首次部署强烈推荐Docker模式——它独立于你的K8s集群即使K8s崩了Rancher UI还能访问方便排查。生产环境必须加的三个参数docker run -d \ --restartunless-stopped \ --privileged \ --name rancher-server \ -p 80:80 -p 443:443 \ -v /opt/rancher:/var/lib/rancher \ -v /opt/log/rancher:/var/log/rancher \ --shm-size512m \ rancher/rancher:v2.7.12参数详解-v /opt/rancher:/var/lib/rancher必须挂载数据卷。Docker容器重启后Rancher所有集群配置、用户权限、证书都存在这里。不挂载重启即失联。-v /opt/log/rancher:/var/log/rancher日志外挂方便tail -f /opt/log/rancher/server.log实时排查。--shm-size512m共享内存大小。Rancher v2.7.x的UI组件如监控图表需要较大共享内存不设置会导致页面白屏或加载超时。提示docker logs -f rancher-server是排查启动失败的第一手段。常见错误如failed to listen on :443: listen tcp :443: bind: permission denied说明443端口被占用用lsof -i :443查进程并kill。5.2 Rancher纳管现有K8s集群Agent注入的底层原理登录Rancher UIhttps://your-server-ip添加集群时选择“导入现有集群”。此时Rancher会生成一段docker run命令形如docker run -d --privileged --restartunless-stopped \ --nethost -v /etc/kubernetes:/etc/kubernetes -v /var/run:/var/run \ rancher/rancher-agent:v2.7.12 \ --server https://192.168.1.100 --token xxx --ca-checksum yyy \ --etcd --controlplane --worker这段命令的本质是在Worker节点上启动一个Agent容器它通过宿主机网络--nethost直接访问/etc/kubernetes中的证书和/var/run中的kubelet socket从而获得集群控制权。关键点--server地址必须是Worker节点能访问的IP即--apiserver-advertise-address不能是127.0.0.1。--ca-checksum是证书校验码确保Agent连接的是合法Rancher Server。若填错Agent日志会报x509: certificate signed by unknown authority。--etcd --controlplane --worker在Master节点上运行时这三个角色必须同时指定在纯Worker节点上只保留--worker。实测心得Agent容器启动后docker ps能看到它但kubectl get nodes不会立刻显示新节点。需等待1-2分钟Rancher Server主动向Agent发起注册请求。若超过5分钟未出现检查Rancher Server日志中是否有failed to connect to agent字样大概率是网络不通或证书校验失败。6. 集群验证与故障快筛三分钟定位90%的常见问题部署完成不等于可用。我总结了一套“三分钟验证法”用5条命令覆盖核心链路6.1 验证链路从底层到应用的穿透测试命令预期输出失败含义排查方向kubectl get nodesSTATUSReady节点未就绪检查kubelet服务状态、journalctl -u kubelet日志、/var/lib/kubelet/pki/证书是否存在kubectl get pods -Agrep -v Running无输出或仅CompletedCoreDNS/Flannel异常curl -k https://192.168.1.100:6443/version返回K8s版本JSONAPI Server未响应ss -tlnp | grep :6443查端口监听、systemctl status kubelet查服务状态kubectl run nginx-test --imagenginx --restartNeverpod/nginx-test created镜像拉取失败docker pull nginx测试本地Docker、检查/etc/docker/daemon.json镜像加速配置kubectl expose pod nginx-test --port80 --typeNodePortservice/nginx-test exposedService创建失败kubectl get svc查端口分配、curl http://node-ip:nodeport测试访问6.2 Rancher UI关键状态解读不止是“绿色对勾”Rancher UI右上角集群状态显示“Active”不代表一切正常。必须点开集群详情页检查三个隐藏指标Cluster Health显示Healthy但下方小字etcd: 3/3, controlplane: 1/1, worker: 2/2才是真相。若etcd: 2/3说明一个etcd节点失联集群已降级。Nodes列表中节点状态为Active但鼠标悬停会显示Last Seen: 2m。若超过5分钟未更新Agent心跳中断。System Project进入System项目查看cattle-system命名空间下的Pod。rancher-webhook和rancher两个Deployment必须为Available1。若rancher-webhook为0Rancher无法创建Ingress所有HTTP应用将无法暴露。经验技巧当Rancher UI显示集群Unavailable但kubectl get nodes正常时90%是rancher-webhook证书过期。解决方法在Rancher UI中进入Cluster Explorer → Apps Marketplace → Installed Apps找到rancher-webhook点击Upgrade勾选Force Upgrade无需改任何参数——它会自动轮换证书。7. 后续运维与安全加固让集群真正扛住生产流量部署只是开始。CentOS7上的K8s集群有三个必须立即处理的安全隐患7.1 Swap关闭性能与稳定性的双重保障K8s官方明确要求禁用swap。kubeadm init虽允许--ignore-preflight-errorsSwap但生产环境必须关闭# 临时关闭 swapoff -a # 永久关闭注释掉/etc/fstab中swap行 sed -i /swap/s/^/#/ /etc/fstab # 验证 free -h | grep Swap # 应输出 total0原理K8s的OOM Killer机制在swap开启时行为异常可能导致关键系统进程如kubelet被误杀。我经历过一次故障swap使用率15%kubelet突然OOM退出所有Pod状态变为Unknown。7.2 时间同步etcd集群的“心跳”基准所有节点时间差必须1秒否则etcd会拒绝写入集群停止服务# 安装chrony比ntpd更精准 yum install -y chrony # 配置国内NTP服务器 sed -i s/server.*/server ntp1.aliyun.com iburst/ /etc/chrony.conf systemctl enable chronyd systemctl start chronyd # 验证同步状态 chronyc tracking # Ref time字段应为最近时间 chronyc sources -v # 应显示^*标识的主NTP源7.3 日志轮转防止/var/log被占满Rancher和K8s组件日志默认不轮转。一台Master节点运行一周/var/log/rancher可达20GB# 为rancher日志配置logrotate cat EOF /etc/logrotate.d/rancher /opt/log/rancher/*.log { daily missingok rotate 30 compress delaycompress notifempty create 0644 root root sharedscripts postrotate docker kill -s USR1 rancher-server /dev/null 21 || true endscript } EOF关键点postrotate中的docker kill -s USR1 rancher-server会通知Rancher重新打开日志文件避免日志丢失。不加此行logrotate后Rancher仍往旧文件句柄写日志新文件为空。8. 最后一句大实话所谓“一键”是你把所有意外都预演过一遍后的从容写完这篇我重新审视了标题里的“一键”。它从来不是指一条命令而是指当你把kubeadm init的每个参数含义刻进肌肉记忆当你看到firewall-cmd报错第一反应是查--state而非百度当你在Rancher UI里看到Unavailable时手指已经条件反射地去点rancher-webhook的Upgrade按钮——那一刻你才真正拥有了“一键”的能力。这能力不是来自脚本而是来自对每个环节的掌控感。所以别急着复制粘贴那个所谓的“一键脚本”。先把这篇里提到的七项检查、四项参数、三项加固一项一项亲手敲一遍。你会发现自己不再问“怎么装”而是开始思考“为什么这样装”。集群不会因为多敲几行命令就更稳定但你会因为多理解一层原理而少熬几个通宵。