简介本资源是一个面向智能医疗与计算机视觉初学者的跌倒检测实战项目聚焦老年人居家安全监测场景通过Mediapipe实时提取人体3D关键点并结合KNN算法实现跌倒状态分类。资源包共9个文件7.98MB含3个核心Python脚本姿态检测、模型训练、推理部署、2个标注数据集CSVnormal_point.csv与fall_point.csv、1个训练好的KNN模型PoseKeypoint.joblib、1个实测跌倒视频Fall_Trim.mp4、1个效果演示动图result.gif及1份结构清晰的README说明文档。已有259人学习下载内容覆盖从Mediapipe模型加载、3D骨架坐标归一化预处理、K值调优与距离度量设计到完整端到端推理流程附带可直接运行的训练与检测脚本便于快速复现、调试与二次开发。1. 项目缘起一个被低估的居家安全刚需前阵子有个朋友跟我聊起说他家里老人独居最担心的就是万一在卫生间或者客厅不小心摔倒身边没人手机又不在手边那后果不堪设想。他问我现在AI这么火有没有什么技术方案能低成本地解决这个问题我脑子里第一个蹦出来的就是“跌倒检测”。这其实不是什么新概念但过去要么依赖昂贵的可穿戴设备比如智能手表、跌倒报警器要么就是基于深度摄像头的复杂方案成本和部署门槛都太高。直到我最近上手实践了一个项目用普通的RGB摄像头比如电脑自带的或者一个便宜的USB摄像头结合Mediapipe和KNN算法就能实现一个相当可靠的实时跌倒检测系统。这个项目的核心思路非常清晰用Mediapipe从视频流里实时提取出人体的3D骨架关键点然后用一个轻量级的KNN分类器根据这些关键点的空间姿态变化来判断人体是否处于“跌倒”状态。听起来是不是挺酷的它完美避开了对特殊硬件的依赖也绕开了训练一个庞大深度学习模型所需要的海量数据和计算资源。今天我就把这个项目的完整实现思路、核心代码拆解、以及我在调试过程中踩过的那些“坑”毫无保留地分享出来。无论你是想为家人做一个安防小工具还是对计算机视觉和机器学习结合的实际应用感兴趣这篇文章都能给你一份可以直接“抄作业”的实战指南。2. 技术选型背后的逻辑为什么是Mediapipe KNN在动手之前我们先得把“为什么这么选”搞清楚。技术选型不是拍脑袋每一个选择背后都有其权衡和理由。2.1 Mediapipe轻量且强大的姿态估计引擎市面上做人体姿态估计的库不少比如OpenPose、AlphaPose等。为什么偏偏选Mediapipe第一是轻量与高效。Mediapipe由Google开发其设计初衷就是用于移动端和边缘设备的实时多媒体处理。它的姿态估计模型BlazePose在精度和速度之间取得了非常好的平衡。在我的实测中在一台普通的消费级CPU上处理单帧图像也能达到接近实时的速度20-30 FPS这对于需要持续监控的跌倒检测应用来说至关重要。你总不希望系统延迟好几秒才报警吧第二是输出丰富。Mediapipe Pose模块不仅能提供传统的2D关键点坐标x, y还能提供带置信度的3D关键点坐标x, y, z以及一个可见性分数。这个“z”值深度虽然是一个相对值而非绝对的物理距离但它对于判断人体的空间姿态如是否平躺、侧卧具有决定性意义。这是很多纯2D方案无法比拟的优势。第三是开箱即用集成简单。Mediapipe提供了Python、JavaScript等多种语言的API几行代码就能跑起来一个姿态估计的Demo大大降低了开发门槛。我们不需要从零开始训练模型可以直接利用其强大的预训练模型。注意Mediapipe的3D坐标是“相机中心”坐标系下的Z轴指向相机。Z值越大表示离相机越远。这个相对深度信息对我们判断身体与地面的夹角已经足够了。2.2 KNN算法小样本场景下的分类利器有了骨架关键点数据我们怎么判断“跌倒”呢最直接的想法可能是训练一个深度学习分类器如CNNLSTM。但这需要大量标注好的“跌倒”和“非跌倒”视频数据收集和标注成本极高。这时KNNK-Nearest NeighborsK最近邻算法的优势就体现出来了。KNN的核心思想极其朴素在特征空间中如果一个样本的K个最相似的邻居中的大多数属于某一个类别则该样本也属于这个类别。它不需要显式的训练过程或者说它的“训练”只是把数据存储起来非常适合我们这种小样本、特征维度明确的场景。我们的特征是什么就是Mediapipe提取出的、经过处理的关键点数据例如关节角度、躯干与地面的夹角、关键点高度差等。我们只需要人工采集或模拟一小段“跌倒”和“正常活动”行走、坐下、站立的视频提取出特征并打好标签就能构建一个可用的分类模型。选择KNN的三大理由实现简单算法逻辑清晰自己手写一个基础版也不难用scikit-learn的话更是几行代码的事。无需复杂训练省去了漫长的模型训练和调参时间快速验证想法。解释性强如果分类出错我们可以很容易地回溯看看是哪些“邻居”导致了误判便于分析和优化特征。当然KNN也有缺点比如预测时计算开销随数据量增大而增加但我们的场景数据量不大以及对特征缩放敏感。这些我们在后续实现中都会针对性处理。3. 系统架构与核心流程拆解整个项目的流水线可以清晰地分为四个阶段数据采集与标注 - 特征工程 - 模型训练 - 实时检测与报警。下面我们逐一深入。3.1 数据准备模拟与采集真实姿态理想的数据应该包含各种跌倒姿态前扑、后仰、侧摔和各种正常姿态走、跑、坐、蹲、弯腰。对于个人项目我们可以通过以下方式获取模拟拍摄在确保安全的前提下如在地垫上自己或请朋友模拟跌倒动作用摄像头录制视频。注意从不同角度正面、侧面录制一些以增加模型的鲁棒性。使用公开数据集虽然完全匹配的少但可以寻找包含“跌倒”动作的视频数据集如UR Fall Detection Dataset。不过我们的方案更依赖自身提取的骨架特征所以对原始视频背景要求不高。关键点提取与保存这是核心步骤。我们写一个脚本用Mediapipe处理每一帧视频提取33个3D关键点坐标并根据当前动作手动或半自动地打上标签“fall”或“normal”。import cv2 import mediapipe as mp import numpy as np import pandas as pd mp_pose mp.solutions.pose pose mp_pose.Pose(static_image_modeFalse, model_complexity1, enable_segmentationFalse, min_detection_confidence0.5) def extract_landmarks_from_video(video_path, label): cap cv2.VideoCapture(video_path) all_landmarks [] while cap.isOpened(): ret, frame cap.read() if not ret: break # 转换颜色空间Mediapipe需要RGB image_rgb cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) results pose.process(image_rgb) if results.pose_landmarks: # 提取33个关键点的x, y, z坐标共99个特征 landmarks [] for lm in results.pose_landmarks.landmark: landmarks.extend([lm.x, lm.y, lm.z]) # 注意这里x,y,z是归一化坐标 landmarks.append(label) # 在特征向量末尾添加标签 all_landmarks.append(landmarks) cap.release() return np.array(all_landmarks) # 示例处理跌倒视频和正常视频 fall_data extract_landmarks_from_video(fall_video.mp4, label1) # 1代表跌倒 normal_data extract_landmarks_from_video(normal_video.mp4, label0) # 0代表正常 # 合并数据并保存 all_data np.vstack([fall_data, normal_data]) df pd.DataFrame(all_data) # 最后一列是标签前面99列是特征 df.columns [ff{i} for i in range(99)] [label] df.to_csv(pose_landmark_dataset.csv, indexFalse)3.2 特征工程从原始坐标到有效特征直接把99个坐标33个点*3维扔给KNN效果通常不好因为存在大量冗余和噪声。我们需要设计更能表征“跌倒”本质的特征。这里我分享几个经过实践验证有效的特征躯干倾斜角这是最核心的特征。通过计算肩膀中点和臀部中点连线与垂直方向的夹角。跌倒时这个夹角会急剧增大。# 假设 landmarks 是包含33个点(x,y,z)的列表 # 左肩: 11, 右肩: 12, 左髋: 23, 右髋: 24 (Mediapipe索引) shoulder_center (landmarks[11] landmarks[12]) / 2 hip_center (landmarks[23] landmarks[24]) / 2 # 计算向量 torso_vector hip_center - shoulder_center # 从肩到髋的向量 # 计算与垂直向量 (0, -1, 0) 在YZ平面上的夹角忽略X轴左右倾斜 vertical_vec np.array([0, -1, 0]) # 取 torso_vector 的 Y和Z 分量 torso_vec_yz np.array([torso_vector[1], torso_vector[2]]) dot_product np.dot(torso_vec_yz, vertical_vec) norm_product np.linalg.norm(torso_vec_yz) * np.linalg.norm(vertical_vec) torso_angle np.degrees(np.arccos(dot_product / norm_product))身体重心高度归一化计算所有关键点或躯干关键点的平均Y坐标。跌倒时身体重心会迅速降低。需要根据人的身高进行归一化或者使用其变化率。avg_y np.mean([lm.y for lm in landmarks])关键点速度/加速度计算特定点如头部、臀部在连续帧间的位移变化。突然的、大幅度的向下运动是跌倒的强信号。关节角度例如膝盖弯曲角、肘关节角。跌倒过程中关节角度变化模式与正常行走、坐下不同。支撑面特征通过脚踝、脚尖关键点的位置判断支撑是否稳定。但仅用2D图像判断支撑面比较困难。在实际项目中我选取了躯干倾斜角、头部高度归一化、臀部高度归一化以及左右肩与左右髋在垂直方向上的最大高度差用于检测侧摔这四个特征构成了一个4维的特征向量。这个低维特征向量不仅计算快而且对KNN非常友好。实操心得特征工程是项目成败的关键。一开始我尝试用全部99个坐标结果KNN模型对噪声非常敏感在摄像头前稍微晃一下就可能误报。后来聚焦到“躯干倾斜角”这个物理意义明确的特征上效果立竿见影。记住好的特征应具备强区分度、低冗余和明确的物理意义。3.3 模型训练KNN的调优与陷阱有了特征数据和标签我们就可以训练KNN分类器了。这里我用scikit-learn演示。import pandas as pd from sklearn.model_selection import train_test_split from sklearn.neighbors import KNeighborsClassifier from sklearn.preprocessing import StandardScaler from sklearn.metrics import classification_report # 1. 加载数据 df pd.read_csv(pose_feature_dataset.csv) # 这个CSV包含我们 engineered features X df.drop(label, axis1).values y df[label].values # 2. 数据标准化这是KNN的必须步骤 scaler StandardScaler() X_scaled scaler.fit_transform(X) # 3. 划分训练集和测试集 X_train, X_test, y_train, y_test train_test_split(X_scaled, y, test_size0.2, random_state42) # 4. 训练KNN模型 # 关键参数n_neighbors (K值), weights (uniform或distance), metric (距离度量如euclidean欧氏距离) knn KNeighborsClassifier(n_neighbors5, weightsdistance, metriceuclidean) knn.fit(X_train, y_train) # 5. 评估 y_pred knn.predict(X_test) print(classification_report(y_test, y_pred)) # 6. 保存模型和标准化器用于后续实时检测 import joblib joblib.dump(knn, fall_detection_knn_model.pkl) joblib.dump(scaler, feature_scaler.pkl)几个关键的调优点和踩坑记录K值选择K太小如1容易过拟合对噪声敏感K太大会使分类边界模糊。我通过交叉验证发现在这个任务中K3或5效果较好。可以用GridSearchCV搜索最佳K值。距离权重weightsdistance意味着更近的邻居投票权重更高这通常比uniform一票一权效果更好。特征标准化这是重中之重因为我们的特征如角度、高度量纲和数值范围不同。如果不做标准化数值大的特征如像素坐标会完全主导距离计算导致模型失效。StandardScalerZ-score标准化是标准操作。类别不平衡如果“正常”帧远多于“跌倒”帧模型会偏向多数类。需要确保数据集中两类样本数量大致平衡或者使用class_weight参数。3.4 实时检测与报警逻辑训练好模型后我们就可以搭建一个实时检测的Pipeline了。这个流程是持续循环的捕获帧从摄像头读取一帧图像。姿态估计送入Mediapipe获取33个3D关键点。特征提取从关键点中实时计算我们定义好的那几个特征如躯干倾斜角。特征标准化使用之前保存的scaler对实时提取的特征进行同样的标准化变换。分类预测将标准化后的特征向量输入KNN模型得到预测标签0或1。决策与报警不要单帧决策这是减少误报的关键。我采用了一个“时间窗口投票”机制维护一个最近N帧比如15帧约0.5秒的预测结果队列。当队列中“跌倒”标签的比例超过一个阈值如70%并且当前帧的躯干倾斜角也超过一个物理阈值如60度才最终触发“跌倒”报警。这样可以过滤掉瞬间的误检测如快速弯腰捡东西。报警输出触发报警后可以在画面上显示醒目的警示框和文字并发出声音警报或者通过网络请求通知预设的联系人。import cv2 import mediapipe as mp import numpy as np import joblib from collections import deque # 加载模型和标准化器 knn joblib.load(fall_detection_knn_model.pkl) scaler joblib.load(feature_scaler.pkl) mp_pose mp.solutions.pose pose mp_pose.Pose() mp_drawing mp.solutions.drawing_utils # 初始化预测队列 prediction_window deque(maxlen15) alert_threshold 0.7 # 窗口内跌倒帧比例阈值 angle_threshold 60 # 躯干角度阈值 cap cv2.VideoCapture(0) # 打开摄像头 while cap.isOpened(): ret, frame cap.read() if not ret: break image_rgb cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) results pose.process(image_rgb) alert_text Status: Normal if results.pose_landmarks: # 绘制骨架 mp_drawing.draw_landmarks(frame, results.pose_landmarks, mp_pose.POSE_CONNECTIONS) # 1. 提取关键点 landmarks results.pose_landmarks.landmark # 2. 计算特征例如这里只计算躯干倾斜角作为示例特征 # 注意需要将landmark的归一化坐标转换为可用于计算角度的形式 # 这里简化处理实际应使用3.2节中的方法计算多个特征 shoulder_center np.array([(landmarks[11].x landmarks[12].x)/2, (landmarks[11].y landmarks[12].y)/2, (landmarks[11].z landmarks[12].z)/2]) hip_center np.array([(landmarks[23].x landmarks[24].x)/2, (landmarks[23].y landmarks[24].y)/2, (landmarks[23].z landmarks[24].z)/2]) torso_vec hip_center - shoulder_center # 计算角度简化版实际应在YZ平面计算 torso_angle np.degrees(np.arccos(torso_vec[1] / (np.linalg.norm(torso_vec) 1e-10))) # 构建特征向量这里只用了一个角度实际应用应使用训练时用的所有特征 current_feature np.array([[torso_angle]]) # 实际应为多维如 [angle, height, ...] # 3. 标准化特征 current_feature_scaled scaler.transform(current_feature) # 4. 预测 prediction knn.predict(current_feature_scaled)[0] prediction_window.append(prediction) # 5. 基于时间窗口的决策 if len(prediction_window) prediction_window.maxlen: fall_ratio sum(prediction_window) / len(prediction_window) if fall_ratio alert_threshold and torso_angle angle_threshold: alert_text ALERT: FALL DETECTED! # 触发报警动作播放声音、发送通知等 # 例如cv2.putText(frame, !!! FALL !!!, ...) # 在画面上显示角度和状态 cv2.putText(frame, fTorso Angle: {torso_angle:.1f}, (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 255, 0), 2) cv2.putText(frame, alert_text, (10, 60), cv2.FONT_HERSHEY_SIMPLEX, 0.9, (0, 0, 255) if ALERT in alert_text else (0, 255, 0), 2) cv2.imshow(Fall Detection, frame) if cv2.waitKey(1) 0xFF ord(q): break cap.release() cv2.destroyAllWindows()4. 实战中的挑战与优化策略把流程跑通只是第一步要让这个系统真正可靠还需要解决一系列实际问题。4.1 Mediapipe的稳定性与误检处理Mediapipe在光照良好、人物全身可见且无严重遮挡时表现优异。但在实际家居环境中挑战很多遮挡问题人被家具部分遮挡如走过桌子后面、躺下时肢体被自身遮挡。这会导致关键点丢失或位置跳变。策略使用关键点的“可见性visibility”分数进行过滤。对于置信度过低的关键点在特征计算中予以忽略或使用插值如用上一帧的位置。策略关注那些不易被遮挡的“核心关键点”如鼻、肩、髋。即使四肢点丢失靠核心点也能做初步判断。多人场景如果画面中出现多人Mediapipe默认只检测最显著的一人。对于家庭监控这通常够用。如果需要检测多人可以启用model_complexity2并处理多个pose_landmarks但计算开销会增大。快速运动模糊跌倒是一个快速过程可能导致图像模糊影响检测精度。策略除了单帧特征更要依赖我在3.4节提到的时间窗口投票机制。一帧的误判不会触发报警系统看的是短时间内的趋势。4.2 特征工程的再优化应对边界情况最初的特征集躯干角、高度能处理大部分向前后跌倒的情况但对于“缓慢滑倒”或“靠着墙坐下”这类边界情况容易误判。我的优化方法是引入运动历史信息作为特征速度特征计算臀部关键点在连续帧间Y坐标的变化率。一个快速的负向速度向下运动是跌倒的强特征而缓慢下降可能是坐下。加速度特征速度的变化率。跌倒开始瞬间的加速度会有一个峰值。姿态持续性计算“疑似跌倒姿态”如躯干角45度持续的帧数。短暂的倾斜是弯腰持续的倾斜才可能是跌倒或躺下。将这些动态特征与静态空间特征结合能大幅提升模型对复杂场景的判别能力。4.3 降低误报融合多源信息的决策逻辑误报False Positive是安防系统的大敌。除了上述的时间窗口滤波还可以区域限制只检测特定区域如客厅地毯区域、卫生间。通过设定一个ROIRegion of Interest忽略其他区域的运动可以有效减少宠物、窗帘晃动等干扰。姿态白名单明确定义一些绝不会是跌倒的正常姿态如“完全站立”躯干角20度且高度正常、“标准坐姿”躯干角较大但臀部高度很低且稳定。当系统检测到这些姿态时即使时间窗口内有跌倒信号也予以否决。报警延迟与确认触发报警条件后不立即发出远程通知而是先启动本地声光报警。如果人在一段时间内如10秒自行起身系统检测到姿态恢复则取消远程报警。这给了人一个反应时间避免因误报造成不必要的恐慌。4.4 性能优化与部署考量在树莓派或旧笔记本上部署时性能是关键。降低处理帧率对于跌倒检测不需要很高的帧率。将视频流处理降至5-10 FPS可以显著降低CPU占用。降低Mediapipe模型复杂度model_complexity参数设为0最轻量或1均衡而不是2最重。特征计算优化只计算必要的特征避免在实时循环中进行复杂的矩阵运算。使用多进程将图像采集、姿态估计、特征计算与分类、UI显示放在不同的进程中利用多核CPU能力。5. 项目源码结构与扩展方向一个完整的项目源码通常包含以下模块我建议这样组织fall_detection_project/ ├── data/ │ ├── raw_videos/ # 存放原始采集的视频 │ └── processed/ # 存放提取好的特征CSV文件 ├── src/ │ ├── data_preprocessing.py # 视频处理、关键点提取、特征工程脚本 │ ├── train_model.py # 数据加载、标准化、训练KNN模型并保存 │ ├── realtime_detection.py # 主程序实时摄像头跌倒检测 │ └── utils.py # 公共函数如角度计算、报警逻辑 ├── models/ │ ├── knn_model.pkl # 训练好的KNN模型 │ └── scaler.pkl # 特征标准化器 ├── requirements.txt # 项目依赖包列表 └── README.md # 项目说明文档关于扩展方向这个项目还有很大的潜力可挖集成与报警将Python检测程序作为一个服务当检测到跌倒时调用网络API如发送邮件、微信消息、触发智能家居的灯光闪烁或拨打本地电话进行报警。模型升级当收集到足够多的数据后可以尝试更复杂的模型如轻量级的神经网络如MobileNetV2 LSTM或许能获得更好的性能。但KNN方案在数据量少时始终是一个快速可靠的起点。多视角融合如果条件允许在房间对角部署两个摄像头利用多视角信息可以更准确地判断3D姿态极大减少遮挡带来的问题。加入行为识别不仅可以检测跌倒还可以扩展识别“挥手求救”、“长时间静止”等异常行为成为一个更全面的老人看护系统。回过头看这个项目最吸引我的地方在于它用非常务实的技术组合Mediapipe解决感知KNN解决小样本分类低成本地解决了一个真实的痛点。它不需要你精通深度学习全部理论但需要你深刻理解问题本身并能有创意地运用工具。从Mediapipe的坐标里算出那个关键的“躯干倾斜角”再到用时间窗口滤掉偶发的误报每一步都充满了工程化的思考。本文还有配套的精品资源点击获取
