三步跑通 MediaPipe Hands：单帧视频实时定位 21 个手部关键点

三步跑通 MediaPipe Hands单帧视频实时定位 21 个手部关键点【免费下载链接】mediapipeCross-platform, customizable ML solutions for live and streaming media.项目地址: https://gitcode.com/GitHub_Trending/med/mediapipe想让你的摄像头看懂手势MediaPipe Hands 只需一帧画面就能输出每只手 21 个三维关键点双手同时跟踪不在话下。做手势控制、手语转文字、AR 捏取物体从它入手最快。 快速上手两条命令装好八行代码跑起来安装与环境准备先装 Python 包会自动带上 OpenCV 等依赖pip install mediapipe想看官方示例源码的话把仓库拉下来git clone https://gitcode.com/GitHub_Trending/med/mediapipe最小可运行示例下面这段是仓库文档里的最短版本任何一张含手的图片都能跑import cv2, mediapipe as mp mp_hands mp.solutions.hands with mp_hands.Hands(max_num_hands2) as hands: image cv2.imread(hand.jpg) rgb cv2.cvtColor(image, cv2.COLOR_BGR2RGB) results hands.process(rgb) print(hands:, len(results.multi_hand_landmarks))输出每只手的 21 个关键点坐标。把图片换成摄像头逐帧输入就是实时手部追踪不需要额外写任何滤波代码。✋ 它凭什么好用三个能力直接决定你能做什么单帧定位 21 个三维关键点。你拿到的不是平面坐标而是带深度的 3D 位置。用它算指节弯曲角度、判断石头剪刀布、还原手在空间里的远近全都能做不用再自己从 2D 图里瞎猜。双手同时跟踪甩手不断线。内部是两个模型接力掌部检测模型先锁定手掌关键点模型再在裁剪区域里精修首帧之后靠上一帧结果定位只有彻底丢手才重新全图检测。所以双手快速挥动、部分被遮挡时追踪线条依然稳。一套接口多平台通用。Python、Android、iOS、JS 官方都支持 Hands 能力接口命名基本一致。先用 Python 验证手势逻辑再挪到手机 App 上业务代码几乎不用改。真实场景拆解手势控制抬起四根手指页面自动翻页讲 PPT 不再需要翻页笔。摄像头前摆一个4的手势程序数到 4 就切到下一页换成挥手手势还能控制角色移动。检测到的手指姿态就是触发条件延迟低到肉眼无感。AR 与手语不碰屏幕也能抓住虚拟物体在 AR 里让拇指和食指对准虚拟按钮做捏合动作直接打开它、拖动它空中虚拟键盘也一样指尖划过就是打字。同一套 21 点数据接上手语词库听障用户比一个手势屏幕上实时跳出文字交流门槛一下就低了。进阶与生态训练你自己的手势识别模型如果岩石、剪刀、布不够用MediaPipe Model Maker 里的手势识别器能把几百张照片变成你自己的手势分类器。示例目录 mediapipe/model_maker/python/vision/gesture_recognizer/ 里有完整演示脚本gesture_recognizer_demo.pytestdata 自带各手势的真实训练样本比如这张rock手势照把样本换成你自己拍的照片跑一遍训练完直接导出 tflite 模型上设备。看懂流水线图文件 模块 示例整条追踪流水线就是可读可改的图文件mediapipe/graphs/hand_tracking/ 里有桌面端和手机端现成的 pbtxt核心关键点模型在 mediapipe/modules/hand_landmark/可运行的桌面示例在mediapipe/examples/desktop/hand_tracking/。想加自己的绘制或滤波逻辑从改图文件下手最顺。完整中文文档入口是 docs/solutions/hands.md。MediaPipe Hands 把最难的检测与追踪做了你只需要决定拿到 21 个点之后干什么。它不挑硬件普通电脑和手机都跑得起源码全部开放。建议下一步先跑通上面那 8 行示例对着自己的摄像头验证一遍然后去mediapipe/model_maker/python/vision/gesture_recognizer/目录试训一个自己的手势模型想深入原理就打开mediapipe/graphs/hand_tracking/里的图文件逐节点看。【免费下载链接】mediapipeCross-platform, customizable ML solutions for live and streaming media.项目地址: https://gitcode.com/GitHub_Trending/med/mediapipe创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考