创新作品名称：双目测距机器人

高沈童

摘要：随着工业 4.0 时代的到来，大量的人工智能产品涌入人们的生产生活中，最常见的有 VR 眼镜、智能家居、无人超市等，在这些产品身上随处可见立体视觉的身影。立体视觉是计算机视觉的一个重要分支。双目立体视觉的基本原理是通过两个或者多个视点观察同一景物并获取不同视角下的图像，利用三角测量原理计算图像像素间的位置偏差以提取三维信息。双目立体视觉可以对人类视觉处理景物的技术进行直接模拟，也可以在不同条件下对景物的立体信息进行测量，随着国内外研究水平、微处理器和集成电子技术的飞速发展，双目立体视觉技术已经广泛应用到生活的各个方面，尤其是在高精度需求场景下的精准定量感知和对不可见物感知方面更能体现出其特有的优势。例如临床医学、航天航空、军事、工业生产等方面。本课题利用小车作为平台，利用两台摄像机进行图像获取，利用树莓派进行图像处理并最终得出精确数据。在本课题中，由于我个人比较热爱军事方面，在了解到无人化信息作战是未来军事发展的一个趋势之后，我于是打算做一个可以运用双目测距技术自动瞄准并射击的小车。本课题利用小车作为平台，利用两台摄像机进行图像获取，利用树莓派进行图像处理并最终得出精确数据，经过计算抛物线最终使用水弹枪精准打击目标。

关键词：双目测距机器视觉

一、课题来源（选题依据）：

随着工业 4.0 时代的到来，大量的人工智能产品涌入人们的生产生活中，最常见的有 VR 眼镜、智能家居、无人超市等，在这些产品身上随处可见立体视觉的身影。立体视觉是计算机视觉的一个重要分支。立体视觉的基本原理是通过两个或者多个视点观察同一景物并获取不同视角下的图像，利用三角测量原理计算图像像素间的位置偏差以提取三维信息【1】。双目立体视觉可以对人类视觉处理景物的技术进行直接模拟，也可以在不同条件下对景物的立体信息进行测量，随着国内外研究水平、微处理器和集成电子技术的飞速发展，双目立体视觉技术已经广泛应用到生活的各个方面，尤其是在高精度需求场景下的精准定量感知和对不可见物感知方面更能体现出其特有的优势。例如临床医学、航天航空、军事、工业生产等方面。

在医学方面，面向神经外科的定向手术机器人辅助系统已逐步投入实用，该系统由手术机器人、手术规划仿真系统和双目视觉定位系统组成，具有广阔的应用前景。同时随着5G通信技术的发展，远程手术已成为现实，双目视觉可以提供三维信息，帮助医生更准确高效的完成操作。

2012年，英国中西部沃弗汉普顿郡的新十字医院（New Cross Hospital）外科机器人达芬奇（Da Vinci Robot）在两名外科医生“协助”下首次完成了一项心脏手术。为25岁的女患者纳塔莉·琼斯（Natalie Jones）修复了心脏。

图1 双目视觉系统协助医生手术

图1

二、课题研究的目的和意义：

双目测距是仿照人类利用双眼来感知距离，用两台处于不同位置的摄像机来代替人的双眼。机器视觉通过计算机获取到数字化的目标图像信息，比人眼获取的信息更加准确，便于处理，直接通过图像提取到人类需要的信息。由于机器视觉所具备的特点，基于图像的双目测距技术才能发展起来。双目测距技术的发展得到了专家学者的诸多关注，其实施简易、非接触性测量等优点使其具有广阔的应用前景。

随着国内外研究水平、微处理器和集成电子技术的飞速发展，双目测距已经取得了很大的进展和不错的研究成果，但是依旧在一些方向上尚待发展，如：减少处理时间，提高系统的运行实时性；对双目视觉的实用化和便携化的尝试；与机器人更有效的交互提高双目视觉的探测效率等。

于是，我们做课题的目的就出现了：

1、在双目测距领域的实时性方向做出尝试，实现高效的双目测距算法，提高算法处理效率，实时目标距离检测。

2、在嵌入式系统上构建实时测距算法，对目标进行实时的双目测距，具有重要的应用前景和市场价值。

3、结合机器人一起构建一个具备三维环境感知的任务平台，具备广泛的应用场景。

我一开始想到这个课题是因为我看到一个新闻：是上海的一个医生远程操纵一台医疗机器人，由机器人操刀远在千里之外的新疆病患的手术，并大获成功。这和传统挂念上的手术大相径庭，所以，我开始了解这方面的知识，并认识到随着机器视觉技术的发展，原本一些“不可能实现的无人操作”得以实现。例如，传统的外科手术需要把一个内窥镜塞入患者体内，只能有一个摄像头，无法获取其深度信息，且由于镜面反射特点，医生不得不把所看到的图像“反过来”才能得到正确的信息，可以说，传统的医疗机器人只能凭借医生的“经验”进行手术。而双目测距技术则能更好的获取其深度信息，从而获得病患体内全方面的信息，更加便于医生去进行操作。在进行深入研究后我意识到这一领域发展前景巨大，于是我便开始了解手术机器人的相关知识，并最终决定制作目前在机器视觉模块主流的双目测距技术。

三、相关研究的国内外研究现状、发展水平以及存在的问题（附参考文献）：

双目立体视觉一直是计算机视觉的一个重要组成部分。20 世纪 60 年代中期 Roberts 通过分析三维场景下的景物并将其融入到计算机视觉中，从而开创了对立体视觉的研究。80 年代，Marr 通过对立体视觉基本理论的研究，提出了一套完整的基于立体视觉的计算系统框架，应用在双目匹配上，通过两幅有视差的平面图产生具有深度信息的立体图形，奠定了双目立体视觉发展的理论基础【2】。1982 年 Barand 在 Marr 的系统框架下，提出了双目立体视觉的计算理论和步骤。20 世纪 90 年代以来，随着各学科的发展和相互融合，双目立体视觉技术得到了广泛的研究与发展，包括在相机标定、特征点提取、立体匹配等重要方面取得了重大突破，对后续双目立体视觉的研究和发展有着里程碑式的意义。

2007 年意大利 S.Bahadori 科研团队【3】开发了一套在动态变化环境下的实时定位跟踪系统，通过分析左摄像机图像及两图像间像素差异，进行立体匹配，恢复动态背景。通过该系统可以精确地检测定位到在房间或走廊移动的行人和摆放物体的三维坐标。

2015 年 Intel 公司发布了 RealSense3D 产品，包括一套感知计算解决方案和RealSense3D 摄像头，如图 1- 2 所示。其主要利用双目相机和主动投射红外光相结合的技术实现对物体深度信息的提取，RealSense3D 能够准确检测和跟踪运动目标，并实时恢复深度信息。但是其所采用的红外光容易降低其深度信息的精度。

图1

浙江大学针对物体的动态情况提出了与之相适应的双目视觉解决方案。该方案完全利用透视成像，只提取少量的特征点，处理量少，实时性高，有利于提高检测精度和效率。

中国科学院对Ｈ维立体重建方面进行了研究，利用表面三角形及三维点拼接等相关技术对场景进行三维重建，可实现对重建后场景的任意角度观察。【4】

四．硬件部分

以下为主要的硬件设计板块：

电路控制板块部分（本块所有模块都由部件3：树莓派控制）

电源控制模块（涉及部件：7）

用于控制电源开关，长时间用直接切断电源的方式停止树莓派及各部件的运行容易损坏电路，需要一个开关，

开关控制逻辑

电源供电模块（涉及部件：5，6）

由于不同模板所需的电压不同（电机12V，其余控制模板3V）因此添加变压器以达到分别供电的目的，电池采用的是锂电池，续航较长

舵机驱动模块（涉及部件：1，10）

用过树莓派发出的短波长波控制云台的转动以及将图片信息传入树莓派

交互控制模块（涉及部件：2，13）

用于让树莓派接收摇柄信号，从而控制各部分运作

PS2手柄通信时序与协议

电机驱动模块（涉及部件：4，8）

通过利用PWM波可以分别控制左右电机控制电机进行正转反转，而后和履带相连，从而达到变速，转向等目的，可以更好地移动机器抓取目标物的特征点进行测距

不同角度的硬件排布

利用铜柱，螺丝将各部件固定，再用导线和焊接技术讲各部分的电路按照原先的电路设计连接起来，其中还要考虑其是否会影响到小车运动，下面的透明板则是采用的亚克力板，既有一定的强度方便钻孔得到想要的形状。具体的排布构图如上图所示，具体的电路设计图如下：

2.摄像机原理图（涉及部件：9）

下图为摄像机俯视图，通过摄像机来测定视差角的核心关键就是将成像面后置，然后分别将两个成像面所得的图片建立像素坐标系，再和镜头的光轴的坐标进行比对，建立世界坐标系，得出实际物体的世界坐标，从而计算出实际物体和摄像机之间的距离。在这里我们对摄像机进行了标定，由于时间和技术有限，在这里我并没有对摄像机标定的原理进行学习，而是跟随网络上教程中的流程【5】在Matlab对摄像机进行的标定，最后的误差小于0.05，符合要求，具有实用意义。

Matlab内所得图像

3.舵机控制部分（涉及部件：10）

舵机拆解图

由两个舵机组成，两个舵机分别控制相机的竖直和水平方向上的转动，树莓派通过控制PWM波的宽窄控制舵机的旋转，从而达到控制摄像机的目的。

总装图

成品图

五．软件设计

软件设计主要采用的是python语言，具体的算法我已经在上文“摄像机原理”中解释了。本机软件用树莓派自带操作系统Raspberry Pi ，在系统上安装opencv计算机视觉库，和python 3.7。软件用pycharm编程。

六、研究成果和创新点：

实现指标：

每秒处理5帧图像

5米内测距精度<0.2米

创新点：

在小型嵌入式系统上实现双目测距应用，具备实用价值

设计通用的立体匹配新算法和匹配策略，提出更有效的匹配准则和算法

结合机器人构建具备三维感知能力的任务平台

七 . 课题总结未来展望和相关研究

本课题旨在为我将来制作医疗机器人打下基础，但由于技术和条件有限，本课题所做的机器人并未做出和医疗方面有关的相关功能。但是外设模块（水弹枪）的成功运行和精确打击目标足以证明双目视觉技术所测得的数据具有时效性和应用价值。除此之外，我也对医疗机器人进行了研究，通过和上海交通大学金亚秋院士的深入交流以及对相关文献的研究【6】【7】【8】，我了解了双目测距技术在医疗机器人的一些应用现状：

双目测距技术凭借其建立3D模型的本领为微创手术提供了可能，目前最为先进的微创手术甚至只需要选取少至四个点在患者身体上打孔并把手术器械，摄像头等置入患者体内，医生就可以根据双目视觉技术测得的患者体内3D模型快速了解到患者的状况并完成手术。其创口小，恢复速度快的特点可以说离不开双目视觉技术的支持。但是该技术日前面临的一大问题是患者体内的情况并不是一成不变的，由于人体的柔软性，伤患体内状况每时每刻都随着医疗器械的移动而改变，对医生的临床判断能力和双目视觉技术的实时性都给予了巨大的挑战。因此，双目视觉技术日前仅在骨科等一些较硬部位的手术发展前途较为明朗。

综上，本课题对于我来说真的受益匪浅，我既完成了双目视觉技术又对医疗机器人有了一些了解，本课题可以说是为我将来进军医疗手术机器人埋下了一个大伏笔。

八．参考文献：

【1】胡龙. 基于双目立体视觉的旋转体三维重建技术研究[D]. 大连理工大学, 2007.

【2】隋婧, 金伟其. 双目立体视觉技术的实现及其进展[J]. 电子技术应用, 2004, 30(10):4-6.

【3】Bahadori S, Iocchi L, Leone G R, et al. Real-time people localization and tracking through fixed stereo

vision[J]. Applied Intelligence, 2007, 26(2):83-97.

【4】张惠杰. 基于双目视觉的嵌入式测距系统的研究[D]. 福州大学,2013.

【5】摄像机标定+畸变校正_王强_CASIA的博客-CSDN博客_opencv摄像头标定.

【6】刘毅孙磊青樊瑜波骨科机器人的行业概况与发展 1.北京航空航天大学生物与医学工程学院 2.美中互利医疗有限公司.

【7】张成李超韩向东高武长骨科手术机器人临床应用综述淄博市第七人民医院足踝外科.

【8】孙硕微创手术机器人操作的虚拟训练仿真及自主学研究哈尔滨工业大学.

序号	图片	名称
1		舵机控制模块
2		红外线信号接受模块
3		树莓派
4		电机控制模板
5		电池盒
6		变压器
7		继电器
8		电机
9		摄像头
10		舵机
11		红外线发射器
12		水弹枪
13		遥控手柄