# K8s集群监控K8s容器网络追踪对接实操

# K8s集群监控K8s容器网络追踪对接实操技术栈Kubernetes v1.32.13 Rocky Linux 8.6 OpenTelemetry Operator Java Agent Sidecar/Init Container操作环境 / 对接原理 / 详细步骤 / 完整命令 / 配置文件 / 验证流程 / 排错方案# K8s集群监控K8s容器网络追踪对接实操## 操作环境- K8s 集群版本 v1.32.13应用部署于 default 命名空间- 链路追踪后端 Jaeger v1.55.x OpenTelemetry Collector部署于 observability- 容器运行时 Containerd 1.7.xDocker 镜像- 接入方式Init Container 挂载 Agent、Sidecar 采集、环境变量注入、Admission Webhook 自动注入- 多语言Java字节码增强、Go/Node.js/Python/.NETSDK 埋点- Agent 版本OpenTelemetry Java Agent v2.1.0、SkyWalking Agent v9.7.0、Pinpoint Agent v2.5.3## 对接原理容器应用追踪适配是将链路追踪 Agent/SDK 集成到 K8s 容器化应用中的一系列技术方案。核心接入方式包括Init Container初始化容器下载并挂载 Agent 到共享卷应用容器通过 -javaagent 加载、Sidecar边车容器运行采集器通过共享卷或网络与应用通信、环境变量注入通过 JAVA_TOOL_OPTIONS/OTEL_* 环境变量自动激活 Agent、Admission WebhookMutatingWebhook 自动为 Pod 注入 Init Container/Agent/环境变量无需修改应用配置。Java 应用通过字节码增强Java Agent实现无侵入埋点自动拦截 Spring/Tomcat/DB/Cache/MQ 等组件。Go/Node.js/Python/.NET 应用通过 OpenTelemetry SDK 手动或半自动埋点。多容器 Pod 需确保 Agent 挂载到正确容器TraceID 在容器间通过共享卷或网络传递。K8s 中通过 ConfigMap 管理 Agent 配置Secret 管理追踪后端凭据Resource 限制控制 Agent 资源开销。## 详细步骤**1. 容器追踪基础接入**bash# 最简方式OpenTelemetry Operator 自动注入kubectl label namespace default instrumentation.opentelemetry.io/inject-javatrue# 部署应用无需修改kubectl apply -f order-service.yaml# 验证kubectl logs deployment/order-service | grep -i opentelemetry**2. 容器追踪验证**bash# 检查 Pod 注入情况kubectl get pod -l apporder-service -o yaml | grep -A10 initContainers# 检查环境变量kubectl exec deployment/order-service -- env | grep OTEL | sort# 发送请求curl http://order-service:8080/api/test# Jaeger UI 查看 Trace## 验证流程bash# 1. 验证 Agent 注入kubectl get pod -l apporder-service -o jsonpath{.items[*].spec.initContainers[*].name}# 显示 Agent Init Container 名称# 2. 验证 Agent 加载kubectl logs deployment/order-service | grep -iE opentelemetry|skywalking|pinpoint|agent# 显示 Agent 启动日志# 3. 验证环境变量kubectl exec deployment/order-service -- env | grep -E OTEL|SW_|PINPOINT|JAVA_TOOL | sort# 显示追踪相关环境变量# 4. 验证 Trace 上报curl http://order-service:8080/api/test# Jaeger/SkyWalking/Zipkin UI 搜索 order-service有 Trace 数据# 5. 验证跨服务调用链# 调用入口服务检查完整调用链包含所有服务# 6. 验证资源使用kubectl top pod -l apporder-service# Agent 开销在合理范围内CPU5%, 内存200MB## 排错方案- Agent 不加载检查 JAVA_TOOL_OPTIONS 环境变量Agent jar 是否正确挂载到共享卷Init Container 是否成功执行应用启动命令是否覆盖 JAVA_TOOL_OPTIONS- 应用启动失败检查 Agent 版本与 JDK 版本兼容性Agent 与其他 Java Agent 冲突如 Arthas/JRebel增加启动超时时间查看启动错误日志- OOM 内存溢出增加容器内存 limits限制 Agent JVM 内存OTEL_JAVAAGENT_JVM_ARGS降低采样率减少 Span 标签禁用 Metrics/Logs 导出- Trace 不上报检查 OTEL_EXPORTER_OTLP_ENDPOINT/SW_AGENT_COLLECTOR_BACKEND_SERVICES 地址网络是否可达kubectl exec curl 测试Collector/后端是否正常采样率是否为0- Init Container 失败检查 Agent 镜像是否可拉取cp 命令路径是否正确共享卷挂载路径是否一致Init Container 资源是否充足- Sidecar 端口冲突检查 Sidecar 容器端口是否与主应用冲突修改 Collector 配置端口检查 Pod 内 localhost 通信- 自动注入不生效检查命名空间/Pod 注解是否正确Operator 是否正常运行MutatingWebhookConfiguration 是否存在Pod 是否在注入后创建需重启- 性能开销大降低采样率使用异步批量上报禁用不需要的插件限制 Agent 资源使用 DaemonSet Collector 聚合减少连接按需启用 Metrics/Logs