一对做过立体校正后的双目图像而下面左图是OpenCV的SGBM算法得到的视差图，右边则是通过我今天要介绍的算法处理后的视差图。看了它们后，我想你应该对什么叫做”化腐朽为神奇“有了深刻印象了吧。
左：SGBM算法结果右：今日介绍的算法结果那么如此神奇的效果，是如何做到的呢？在复杂的问题进行空间转换，变换为小规模的易解问题的思想：
FastBilateral-SpaceStereo算法思想总结这个算法的优点我们已经讲过了，在此不再赘述。然而它也有明显的缺点。首先是其匹配代价函数过于简单，上面公式中第二项是就是匹配代价项，也即是数据项。为了尽可能简单快速求解，作者采用了下面这样非常简单的形式：
简化的立体匹配代价函数图示如下：
图示这种简化问题的思路然而，正是因为其形式非常简单，因此效果也不够好，很容易出现大大小小的错误。FastBilateral-SpaceStereo算法的另外一个问题是，作者把上述代价映射到了双边空间，用一种叫做L-BFGS的方法进行求解，这是Broyden,Fletcher,Goldfarb,Shanno这几位数学家发明的优化算法，他们名字的首字母组合就是BFGS。这是一种迭代式的求解方法，它的求解速度是比较慢的。
FBS思想在作者论文中开篇就用下面这幅图来说明了这个思想：
利用FBS优化视差图我一开始给大家呈现的关于猫猫的视差图（下面右图)，就是用FBS处理了SGBM算法的结果(左图)后得到的，这也是我最喜欢的FBS的用法：
左：SGBM算法结果右：FBS优化左图的结果FBS的优秀之处在于它不仅仅可以用于优化初始的视差图，还能做得更多，比如视差图或深度图图的超分辨率重建。这里有一个低质量的输入视差图y，以及一个参考图像R，通过FBS可以得到高质量的输出图像x，其中x相对于参考图像R满足双边平滑的特性，且其边缘贴合参考图像的边缘，同时x还与输入图像y尽可能相似。
在图像超分钟应用FBS另外一个有趣的应用是用户引导的灰度图像上色。这里也有低质量的输入图像y，即用户指定的最终色彩图像的骨架，原始的灰度图像则作为参考图像。再指定一个置信度图c，我们一样通过FBS求解输出彩色图像x，并且要求x自身相对参考图像来说是双边平滑的，同时还在高置信度的区域和用户输入y尽可能一致。
在图像上色中应用FBS看出来了吧？FBS算法可以用于优化任意的输入图像，只要给出了一个参考图像和一个目标图像，它就会努力的让输出图像既能够按照参考图像来双边平滑，又能够非常接近目标图像，所以这是一种非常通用的算法。那么在下一节中，我们从原理上理解一下FBS算法。
二.FBS算法的应用目标和原理
2.1FBS算法要解决的问题
用数学公式更加严谨的说明一下FBS吧。我们的目标是求解一个未知的图像x，它本身相对于参考图像R是双边平滑的(下式第1项)，但在高置信度的区域又是和输入的目标图像t又是非常接近的。
FBS试图优化的全局代价函数刚才给过的这张图，清晰的展示了上面公式的4张图。左上图为目标图像t，是由一个立体匹配算法得到的初始视差图。而右上图是输出图x，是经过FBS优化得到的结果。左下图是置信度图c，右下图则是输入的参考图像R，上面公式中的W就是由输入参考图像R计算而来的。
FBS应用到视差后处理优化的示例
2.2将问题转换到双边空间
求解上述的最小化的问题非常复杂，于是我们沿用上一次讲到的思想，将问题转换到双边空间中去求解。不过，FBS和FastBilateralStereo算法在双边空间中的表达式有关键的区别：
在双边空间中比较FBS及FastBilateral-Space算法可以看到，FBS在双边空间中的求解非常简单，直接求解一个线性等式Ay=b即可，这是因为FBS不再需要承担做立体匹配的职责，它只需要保证优化后的视差图满足双边平滑以及与初始视差图尽可能相似即可。当在双边空间中求得了y，接下来就再用下面的公式把结果转换为像素空间，就可以得到像素空间中的优化后的视差图了：
看起来是不是很简单？所以上面公式中最关键的就是要找出公式(6)中A和b及c的表达式，作者论文中已经给出：
下面我们再解释一下上面几个公式中的各个变量：
三.FBS的应用效果
让我先展示一些作者论文中的FBS的效果吧。首先我们看看一个当时最优秀的立体匹配算法MC-CNN的结果，这是第一代基于深度学习的立体匹配算法。下面是MiddleBurry立体匹配数据集中的一幅图，从下图中看来，它在很多边缘细节上还是出现了错误和瑕疵：
用FBS优化MC-CNN算法结果大大减少了错误下面是另外一张，很明显MC-CNN出现了很多瑕疵，尤其是近距离处出现很多匹配错误
下面是经过FBS优化后的结果，很明显视觉效果好了不少，MAE和RMSE也少了很多！
用FBS优化MC-CNN算法结果大大减少了错误
四.可导性与深度学习
深度学习用于优化复杂的目标函数直接优化上述函数是很困难的，所以实际中一般会采用小批量随机梯度下降法来求解
在反向传播中要求FBS可导在FBS之前有很多全局能量优化的算法，都很难做到这一点。幸运的是，作者证明了FBS是可以用于反向传播的，我们把FBS看做下面这样的函数
那么反向传播需要求解它对于输入的两幅图像的偏导数：
作者在论文中给出了两个偏导数的公式：
作者给了一个例子，来说明引入了FBS到网络中的好处，首先是用Deeplab进行分割后的粗糙结果：
DenseCRF优化DeepLab算法结果的展示如果我们将DenseCRF替换为FBS加入到网络中，可以看到效果相似，但速度是11倍快！
FBS优化DeepLab算法结果的展示
五.总结
输出图像的两大特性然后是作者将上述复杂的公式，转换到了双边空间中，降低问题规模，用于快速求解，而在今天所说的FBS算法中，作者又将这种思想进行了更深层次的应用。
我们当前的进度
审核编辑：李倩
原文标题：立体匹配：经典算法FastBilateralSolver
长沙市望城经济技术开发区航空路6号手机智能终端产业园2号厂房3层（0731-88081133）