Chapter7多传感器融合Outline引言多传感器信息融合基础理论多传感器后融合技术多传感器前融合技术本章小结引言必然性不同车载传感器的原理、功能各异，不同传感器在不同的场景下发挥着各自优势，其获取的信息各不相同，不能相互替代。由于每个传感器的差异，仅通过增加单一传感器数量并不能从根本上解决问题。实现自动驾驶，就需要多个传感器相互配合，共同构成自动驾驶汽车的感知系统。综上考虑，多传感器融合可发挥各传感器的优势，使采集的信息有一定的冗余度，即使某个传感器出现问题也不会影响行车安全，显著提高系统的容错性，从而保证决策的快速性和准确性，这是自动驾驶的必然趋势。引言挑战与问题（1）数据对准。（2）传感器观测数据的不确定性。（3）数据关联。（4）不完整、不一致以及虚假数据。引言对车载系统的要求多传感器融合对车载系统的要求主要包括如下两个方面：（1）统一的同步时钟，保证传感器信息的时间信息的一致性和正确性；（2）准确的多传感器标定，保证相同时间下不同传感器信息的空间一致性。多传感器信息融合基础理论多传感器信息融合概述传感器数据融合是针对一个系统使用多个（种）传感器这一特定问题而提出的信息处理方法，可发挥多个（种）传感器的联合优势，消除单一传感器的局限性。其把分布在不同位置的多个同类或不同类传感器所提供的数据资源加以综合，采用使计算机技术对其进行分析，加以互补，实现最佳协同效果，获得对被观测对象的一致性解释与描述，提高系统的容错性，从而提高系统决策、规划、反应的快速性和正确性，使系统获得更充分的信息。多传感器信息融合概述在自动驾驶汽车系统中使用多传感器融合技术主要有如下优势：（1）提高系统感知的准确度。多种传感器联合互补，可避免单一传感器的局限性，最大程度发挥各个（种）传感器的优势；（2）增加系统的感知维度，提高系统的可靠性和鲁棒性。多传感器融合可带来一定的信息冗余度，即使某一个传感器出现故障，系统仍可在一定范围内继续正常工作；（3）增强环境适应能力。应用多传感器融合技术采集的信息具有明显的特征互补性，对空间和时间的覆盖范围更广，弥补了单一传感器对空间的分辨率和环境的语义不确定性。（4）有效减少成本。融合可以实现多个价格低廉的传感器代替价格昂贵的传感器设备，在保证性能的基础上又可以降低成本预算。多传感器信息融合概述传感器融合过程如下：（1）多个（种）传感器独立工作获得观测数据；（2）对各传感器数据（RGB图像、点云数据等）进行预处理；（3）对处理数据进行特征提取变换，并对其进行模式识别处理，获取对观测对象的描述信息；（4）在数据融合中心按照一定的准则进行数据关联；（5）使用足够优化的算法对各传感器数据进行融合，获得对观测对象的一致性描述和解释。多传感器融合结构根据传感器信息在不同信息层次上的融合，可以将多传感器信息融合划分为Low-level融合、High-level融合和混合融合结构。其中Low-level融合体系结构包括数据级融合和特征级融合，是一种集中式融合结构，High-level融合体系结构是一种决策级别融合，可以是集中式融合或者分布式融合，混合融合结构是多种Low-level和High-level融合结构组合而成。Low-level融合Low-level融合体系结构是一种较低信息层次上的融合，是集中式融合结构。集中式融合结构将各传感器获得的原始数据直接送到数据融合中心，进行数据对准、数据关联、预测等，在传感器端不需要任何处理，可以实现实时融合，其结构示意图如右图所示。Low-level融合数据级融合又称为像素级融合，是最低层次的融合，直接对传感器的观测数据进行融合处理，然后基于融合后的结果进行特征提取和判断决策，其结构如右图所示。Low-level融合根据融合内容，数据级融合又可以分为图像级融合、目标级融合和信号级融合。图像级融合以视觉为主体，将雷达输出的整体信息进行图像特征转化，与视觉系统的图像输出进行融合；目标级融合是对视觉和雷达的输出进行综合可信度加权，配合精度标定信息进行自适应的搜索匹配后融合输出；信号级融合是对视觉和雷达传感器ECU传出的数据源进行融合。...
