本发明涉及基于手物自然交互的手部功能障碍虚拟康复系统，属于虚拟现实服务技术领域。基于手物自然交互的手部功能障碍虚拟康复系统，包括用于建立和显示虚拟康复训练场景并完成骨架数据、图像信息和肌电信号的预处理、分析与识别的处理器模块、手部康复器械箱、信号采集装置、手物交互动作识别模块、虚拟康复训练场景显示和反馈模块以及评价模块。本发明的康复系统创新性的将患者日常性手部动作、康复器械和虚拟场景相结合，通过对骨架、图像和肌电信号进行多元特征提取和多规则学习，实现手‑物交互动作识别，判断作业训练任务完成情况，进而达到手功能精准康复的目的。
