本发明提供一种基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法及系统,该方法包括采集鱼体视频,抽取鱼体的运动子图序列;基于关键帧算法,对一个时段鱼体的运动子图序列进行检测,得到运动鱼体的关键帧子图序列;将关键帧子图序列输入到语义分割网络模型中,在模型中对鱼体部件做分割处理,输出具有语义信息的子图序列;对输出的具有语义信息的子图序列进行处理,得到鱼的体态朝向角度值,并映射到二维空间;分析体态朝向角度作为判据,判定鱼的运动方向,给变化的动作帧添加语义动作标签。本发明利用视频分析技术,监测鱼体动作变化,为进一步实现自动化水产养殖,监测鱼体异常行为,实现早期预警,避免大规模病死提供了有效途径。