双目概述.md

Visual Perception for Autonomous Driving

双目匹配

手工设计的特征　　　匹配代价 　

1. 像素差的绝对值（SAD, Sum of Absolute Differences） 
2. 像素差的平方和（SSD, Sum of Squared Differences）
3. 图像的相关性（NCC, Normalized Cross Correlation） 
4. Census 局部空间结构 汉明距离 匹配代价 
5. AD + Census
6. SD + Census
7. ...

卷积网络学习的特征　匹配代价

Stereo Matching by Training a Convolutional Neural Network to Compare Image Patches 

卷积网络双目匹配

输入：两个图像块
输出：匹配代价 Match Cost

Network I

two img --->two CNN ----> 连接(concatenate)----> 全连接 ----->相似性得分(similarity score)

Small patch size 
“Big” network(~600K) 
Binary prediction

Network II

two img --->two CNN ---->标准化(normalizer)----->点乘(dot product) ----->相似性得分(similarity score)

Dot-product 
Small network
Hinge loss

Network III

two img --->two CNN(共享权重)---------->相关性----->
Full content 
Dot-product 
Larger patch 
Log loss

Dataset 数据集 Stereo Datasets

middlebury数据集

Middlebury 数据集

KITTI Vision Benchmark Suite数据集

KITTI 数据集

训练

1. 预处理，数据增强  Preprocessing, data-augmentation
2. 网络：  梯度聚合  network: gradient aggregated 
3. SGD;  Batch Normalization 批量化 

Refinement in practice Smoothing 平滑

代价聚合  Cost-aggregation 
    1.平均邻近位置 Averaging neighboring locations
    2.奇特的“邻居” 外点(遮挡点+不稳定)
全局能量函数
SGM(Stereo Processing by Semi-Global Matching and Mutual Information) 

CRF  
dynamic programming

Border fixing(CNN) 
Left-right consistency 
Further smooth 
Outlier detector

三角测量

深度与视差成反比　Depth is inversely　proportional to disparity

Z = fB/d 
  z:深度
  f:相机焦距
  d:像素点视差
Y = (u - cy)*Z/f
X = (v - cx)*Z/f