本发明公开基于单双目融合的远程增强现实随动感知系统及方法，属于智能工程机械领域，所述系统包括用于采集施工场景的RGB信息和深度数据并通过无线传输技术发送到服务器端边缘端单双目融合随动智能感知模块、服务器端智能处理模块以及用户端增强现实模块；所述服务器端智能处理模块用于执行铲斗姿态估计、铲斗斗尖定位、精准环境感知以及增强现实所需的计算；所述用户端增强现实模块包括三维显示设备和操纵台，三维显示设备用于显示服务器端算法处理模块处理的三维信息融合图像，操纵台用于控制施工现场的工程机械作业。本发明以远程随动智能感知技术为基础，能够解决操作者的临场感和距离感缺失等问题。
