返回项目列表
ARCHIVE / 02 Robotics
基于多模态控制的康复机器人系统开发
基于 FR10 协作机器人、Femto 深度相机与 ROS2，集成人体三维关键点定位、坐标变换、轨迹生成、语音指令解析、机器人控制与六维力/力矩监测。
项目概览
项目面向康复按摩场景，基于 FR10 协作机器人、Femto 深度相机与 ROS2，构建集人体定位、指令解析、轨迹生成、机器人运动执行及末端力传感监测于一体的康复机器人系统。
核心技术
- 基于 C++ 与 FAIRINO SDK 完成 FR10 控制器连接、逆运动学求解及运动接口调用，实现目标点移动、复位、按压、平移与暂停等控制逻辑；
- 建立相机坐标系到机器人工作坐标系的坐标变换，并通过 JSON 配置起点、终点、途经点及动作类型，实现自定义与预设按摩路径；
- 集成 Femto 深度相机与 RTMPose ONNX 模型，检测人体、面部及手足共 133 个关键点，提取 17 个主要人体关节点的三维坐标，并结合深度图获得路径表面关键点；
- 基于 ROS2 传输视觉坐标、路径点与结构化语音指令，融合 sherpa-onnx 语音识别与大模型指令编码，并使用 Qt 多线程界面完成参数设置、工艺选择、控制操作及六维力/力矩数据展示。
个人职责
项目负责人，主要负责 FR10 控制、坐标变换、轨迹生成、ROS2 通信与系统集成，并参与视觉定位和人机交互模块集成。
公开说明
网站仅展示经水印和公开安全处理的模型演示、技术路线与控制界面；不包含真实患者数据或可识别人员信息。
PROJECT MEDIA
项目影像
以下内容为已加水印并完成公开版处理的项目记录。
系统技术路线：连接多模态输入、路径生成、机器人控制与力传感监测。
视觉控制界面：显示模型关键点、深度信息与关节坐标。
手动控制界面：集中配置位置、运动方式、工艺与力传感数据。
语音控制界面：将识别到的自然语言指令转换为结构化控制信息。
模型演示：机器人依据界面配置执行肩颈区域运动流程。视频已移除音轨。
项目成果
- 获中国大学生机械工程创新创意大赛毕业设计赛项省级二等奖
- 多模态机器人控制系统由本人以独立作者身份开源，GitHub 30+ Stars