|
双眼（yǎn）可（kě）以（yǐ）测（cè）距和建（jiàn）立立体环境，双（shuāng）摄像头可以吗？答（dá）案是可以！ 这方面一直是（shì）计算机视觉的研究热点（diǎn），并且（qiě）已经（jīng）有了不错的成果！本人研（yán）究（jiū）生阶（jiē）段主要（yào）做三维重建，简（jiǎn）单写一些（xiē）自（zì）己所（suǒ）了解的。 首先三维和二（èr）维的区别，这个大（dà）家都容易理解，二维（wéi）只有x、y两（liǎng）个（gè）轴，比如一张素描画，我（wǒ）们整体的感觉是“平”的，而三维则是多了一个z轴的（de）维（wéi）度，这个z轴的（de）直观理解就是点离我（wǒ）们的距离（lí），也即 “depth(深（shēn）度)”。 再（zài）来看看（kàn）我们人眼，人眼是一（yī）个典型的（de）双目系统，大家（jiā）可以做（zuò）个小实验：闭（bì）上一只眼（yǎn）睛，然后左右（yòu）手分别拿着一（yī）只笔，试着让笔尖相碰，哈哈，是（shì）不是有怀疑人生（shēng）的感觉？ 我（wǒ）们分（fèn）别用左（zuǒ）右（yòu）眼看同一个（gè）物体，可以（yǐ）清楚地感（gǎn）觉到（dào）图像（xiàng）的差异，这个差异就是（shì）我们（men）形成三（sān）维视觉的基础，有了这左（zuǒ）右眼（yǎn）图像的差异，配合大（dà）脑强大的识别匹配（pèi）能（néng）力，我们就能基（jī）本确定物体离我们的（de）距离，也即（jí）之前说的（de）"深度"，上个实验（yàn）中我们只睁开一只眼睛，虽（suī）然能清楚的看到左右手中的（de）笔，但是大脑没法得出深度信息，所以你在“上（shàng）下左（zuǒ）右”方向上能准确定位，但是“前后”方（fāng）向上（shàng）却无能为力（lì）。 现在来说说左右图像的“差异”到“深度”的转换，这里可能（néng）需要一点点（diǎn）空间几何知识，其实也（yě）很简（jiǎn）单
物体上的点（diǎn）p12分别对应左（zuǒ）右（yòu）图像上（shàng）点p1和p2，求解p1、p2、p12构成的三角（jiǎo）形（xíng），我们就能得到点p12的坐标（biāo），也就能得到（dào）p12的深（shēn）度。这个计算对于人脑来说是小（xiǎo）case，我（wǒ）们更多地（dì）依赖经（jīng）验和强大的脑（nǎo）补能力，虽然我们不能计算出某（mǒu）个物体离（lí）我（wǒ）们的精确（què）距离，我们却（què）能（néng）非常准确地建立物体距离的相对（duì）关系，即（jí）哪个（gè）物体在（zài）前，哪个在（zài）后，这（zhè）对日常生活已（yǐ）经足够了。 而（ér）我们做工程上（shàng）的双目视觉三维重建，核心目标就是解上图所示的（de）三角形，相机可以抽（chōu）象（xiàng）成一个（gè）简单（dān）的透（tòu）视系统：
空（kōng）间点p经过相机成像，映射到（dào）图像上点(x,y)，其中Oc是相（xiàng）机（jī）光心，WCS、DCS、ICS分（fèn）别是世界坐标系（xì）、设备(相机)坐标系、图（tú）像坐（zuò）标系。空间点p到相（xiàng）机图（tú）像上点的几（jǐ）何变换可以用相机（jī）内参来描述（shù），具体公式就不说了（le），可以（yǐ）简单（dān）地理解为相机拍照是对点的几何坐标（biāo）变（biàn）换，而（ér）相机（jī）内参（cān）就是（shì）决定（dìng）这（zhè）个（gè）变换的一些参数。 继续看（kàn）之前的光学三角关（guān）系（xì）图，O1、O2分别是（shì）左右相（xiàng）机的光（guāng）心，现（xiàn）在我（wǒ）们（men）要做的就是（shì）确定这两个相机（jī）的相对位置关系：可以用旋转矩阵R和平移向量T来描述，确定了R和T，两个相机的位置关系就确定了，这个（gè）步骤叫做相机（jī）的外参标定。一（yī）般的做法是用三维重建的逆过程来做，即由一系列已知（zhī）的p1、p2和（hé）p12来（lái）求解光学三角形，估计出最（zuì）优的R、T。简而言之，外参标定确定相机之间的相对位置（zhì）关系。 好了，现在我们（men）只（zhī）需要（yào）知道p1、p2的坐标，我们就能轻松算出p12的坐标，完成三维重建。我们把p1、p2称为一个点对(pair)，他们是同一（yī）个空间点在不同相机（jī）中的成（chéng）像点。寻找这样的点（diǎn）对（duì）的过程称（chēng）为（wéi）立（lì）体匹配，它是三（sān）维（wéi）重建最关键（jiàn），也可以说（shuō）是最难的一（yī）步。我们都玩过“大家来（lái）找茬”，找（zhǎo）的是两幅图的不同点，而立体（tǐ）匹配则是找“相同（tóng）点（diǎn）”。对人脑来说，这个（gè）问题太easy了（le），给你同一个物体的两幅图（tú），你能轻松找出（chū）一副图（tú）像上（shàng）的点在另一幅图（tú）像中（zhōng）的对应点，因为我们（men）人（rén）脑的物体识别、分（fèn）割（gē）、特征（zhēng）提取等（děng）等能力实在太强（qiáng）了，而且（qiě）性（xìng）能特别高，估（gū）计几岁（suì）的小孩就能秒（miǎo）杀（shā）现有的最好的算法。 常（cháng）规的匹（pǐ）配算法一般通过（guò）特征点来做（zuò），即分（fèn）别提取左右图像的特征点(常用sift算（suàn）法)，然（rán）后（hòu）基于特征点（diǎn）配（pèi）合对极几何等约束条件进行匹配。不过这类匹配算法精度都（dōu）不（bú）是太高，所以人们又想了其它一些方（fāng）法来辅助匹配，结构（gòu）光方法是目前用的（de）比较多的，原（yuán）理不难理解，就是向目标（biāo）物体投射编码的光，然后对相机图像进行解码（mǎ），从而得到点对，举个简（jiǎn）单的（de）例子（zǐ），我们把一个小方（fāng）块的图（tú）案用投影仪投到物体表面，然后识（shí）别（bié）左右（yòu）相机图像中的小方（fāng）块，如果（guǒ）这个（gè）小方块很（hěn）小，看作（zuò）一个点，那（nà）么（me）我们就得到了一个点对。 贴个线结构光的示（shì）意图：
这个示意（yì）图（tú）里面只（zhī）有一个相（xiàng）机，其实投（tóu）影仪是可以看（kàn）作（zuò）相（xiàng）机（jī）的：投出的（de）光（guāng）图案照射在物体表面相当于被拍照的（de）物体，而投影仪的输入图像则相（xiàng）当于相机（jī）拍出来的照片，所以（yǐ）投影（yǐng）仪也是当作相（xiàng）机并用同样的方法（fǎ）来标（biāo）定内外参，即上图本质（zhì）上也是双（shuāng）目视觉系统。 总结一下，双目视觉三维重（chóng）建的基本过程：相机内参、外（wài）参标定 -> 立体（tǐ）匹配 -> 光学三角形求解，这里面（miàn）最（zuì）核心、也最影响重建（jiàn）效果（guǒ）的就是立（lì）体匹配。 贴几（jǐ）张本人实验的图(用的最基本的格雷码结构光)：
以（yǐ）上说的（de）都是双（shuāng）目视（shì）觉三维重建，实际上（shàng）还有其（qí）它一些重（chóng）建方法，如早期的探针法，简单粗暴，直接拿探针在物体表面移动，一个点一个点测坐标；还（hái）有一类通过（guò）直接测距来（lái）进行（háng）三（sān）维（wéi）重建（jiàn），如超声波（bō）、TOF，即对物体表面逐点用声、光程差来测距，从而得到三维点云；光学方（fāng）法分为主动和（hé）被动两大类（lèi），主（zhǔ）动和被动指的是是否（fǒu）向物体表面投光（guāng），主（zhǔ）动方（fāng）法有激光扫描、相位测（cè）量以及我毕设的研究课（kè）题结构光方（fāng）法等，被动方法有单目视觉(如阴影法)和上文所（suǒ）述的立体视差方（fāng）法等等。 目前还有（yǒu）一类三维重建方法非（fēi）常火（huǒ）：SFM(Structure from Motion)，这类方（fāng）法的特（tè）点（diǎn）是不需要相机参数，仅仅根据一系（xì）列图像（xiàng）就能（néng）进行三维重建，也就是（shì）说，你（nǐ）随（suí）便拿个手机对着物体拍一些图片就能重建（jiàn）这个（gè）物体（tǐ）的三维（wéi）模型，大家可以（yǐ）去体验下AutoDesk公司的Autodesk 123D Catch，除了近距离物体（tǐ）的三维重建，SFM还有更激动人心（xīn）的应用：大型场景三（sān）维重建，感兴（xìng）趣的可以看看这个Building Rome in a Day，他（tā）们在flickr上搜索两（liǎng）百万张罗（luó）马的照（zhào）片，通过亚马逊提供的计（jì）算服务（wù），最终得出整个城市的三维（wéi）模型，是不是又有云计算、大数据（jù）的感觉（jiào）。。。这（zhè）波人（rén）貌似有（yǒu）几个是（shì）Google Earth团队的。 原理上其实也（yě）不难理（lǐ）解：从特征点对入手，反（fǎn）向（xiàng）求解出相机的内（nèi）外参(选定一个相机作为世（shì）界（jiè）坐标系)，然后重（chóng）建更多的（de）点。 大家应（yīng）该对电影《普罗米（mǐ）修斯（sī）》里面的用于洞穴（xué）建模的（de）飞行器印象深刻：
|
