为解决这些难题，北方大动物研究基地联合清华大学自动化系和清华大学医学院，提出了一种利用动物三维铰链网格模型进行多动物社交运动三维重建的方法，此方法首次实现了对巴马小型猪的三维社交运动建模。合作团队搭建了10个监控相机的多视角行为检测系统，并设计了三阶段的运动重建算法。在第一阶段，构建了新的巴马小型猪姿态数据集，用深度神经网络实现了对猪的二维轮廓与关键点检测；在第二阶段，提出了一种基于稀疏图极大团枚举算法的多视图匹配算法，在空间和时间层面对猪的二维信息进行关联；在第三阶段，提出了一种猪的三维铰链网格模型，并构建了高效模型拟合方法，实现了在有遮挡情况下的轮廓优化。实验表明，此方法比传统的基于关键点三角化的方法更加准确和鲁棒，比基于体素的三维姿态估计方法更加节省标注成本与训练资源，并且可适用于各种年龄段的猪的运动估计。该系统在单个小鼠上也首次取得了与以往最好方法 DANNCE 相媲美的末端肢体模拟精度。

    相关成果在2023年11月23日发表于Nature Communications，清华大学自动化系博士安亮为该论文第一作者，清华大学自动化系刘烨斌教授、医学院贾怡昌教授、中国科学院动物所海棠博士为该论文通讯作者，中国科学院动物研究所任吉龙博士和清华大学自动化系于涛助理研究员参与了研究。

多个体3D运动捕获和重建

    文章链接：https://doi.org/10.1038/s41467-023-43483-w