账号:
密码:
CTIMES / 文章 /   
使用各类感测器开发视觉系统:在嵌入式应用中整合图像、雷达、ToF感测器
 

【作者: 萊迪思半導體】2019年11月13日 星期三

浏览人次:【1112】
  

无人机、智慧汽车、扩增实境或虚拟实境(AR/VR)头戴式装置都使用多个图像感测器,而且通常是用不同类型的感测器来采集周边环境相关的资料。为了传输系统所需的图像资料,每个感测器都需要连接到系统的应用处理器(AP),这为嵌入式工程师带来了诸多设计挑战。


首先,AP可连接的感测器I/O埠数量有限,所以必须谨慎分配,确保所有需要连接至AP的独立元件都有埠可用。此外,无人机和AR/VR头戴式装置体积相对较小并且使用电池供电,所以这些应用中的元件尺寸必须尽可能小,功耗尽可能低。


解决应用处理器I/O埠不足的方法之一是使用MIPI摄影机序列介面-2(CSI-2)规范中定义的虚拟通道,它能够将多达16个感测器资料串流整合为单个资料串流,仅占用一个I/O埠就能将资料发送到AP。实现虚拟通道的首选硬体平台是现场可程式化逻辑闸阵列(FPGA)。其他的硬体平台则需要很长时间来设计,并且可能无法满足无人机或AR/VR头戴式装置等应用所需的低功耗特性。可能有人会说FPGA占用空间太大、功耗太高,作为虚拟通道的平台不太可行。然而,半导体设计和制造方面的进步已经催生出新一代尺寸更小、功耗更低的FPGA。


行业现状

消费领域对无人机、智慧汽车和AR/VR头戴式装置等产品的需求与日俱增,极大推动了感测器市场的发展。市场研究机构Semico Research认为汽车(年均复合增长率27%)、无人机(年均复合增长率27%)和AR/VR头戴式装置(年均复合增长率166%)等应用是推动感测器市场增长的主要动力,并预测截至2022年,半导体OEM厂商每年的图像感测器出货量将超过15亿片。


上述应用均需要多个感测器采集环境资料。例如一辆智慧汽车会在後视和环视摄影机系统中使用多个高清图像感测器,使用雷射雷达感测器用於目标侦测,使用雷达感测器实现盲点监控。



图1 : 如今的智慧汽车需要各类感测器(雷达/光学雷达、图像、ToF感测器等)实现紧急?车、後视摄影机和碰撞规避等应用。
图1 : 如今的智慧汽车需要各类感测器(雷达/光学雷达、图像、ToF感测器等)实现紧急?车、後视摄影机和碰撞规避等应用。

感测器数量激增也带来了难题,因为所有这些感测器都需要向汽车的AP发送资料,而AP的I/O埠数量有限。感测器变多还会增加设备电路板上连接到AP的线路密度,对於头戴式装置这样的小型设备而言,无疑在设计尺寸方面带来了更多挑战。


解决应用处理器I/O埠不足的一个方法是使用虚拟通道。它能够将多个感测器的影像串流整合为单个资料串流,然後仅占用一个I/O埠就能将资料发送到AP。目前将摄影机感测器连接至AP的常用标准是由MIPI联盟开发的MIPI摄影机序列介面-2(CSI-2)。CSI-2 可以通过CSI-2虚拟通道功能,将多达16个不同的资料串流整合为单个资料串流。然而将多个不同类型的图像感测器的资料串流合并为单个影像串流仍然面临多方面的挑战。


实现虚拟通道面临的挑战

将来自同种感测器的资料合并到一个通道中并不复杂。两个感测器可以进行同步并将其资料串流连接,作为一张宽度为两倍的图像发送到AP。主要的挑战在於合并不同感测器的资料串流。例如,无人机可以在白天工作时使用高解析度图像感测器侦测物体,在晚上使用较低解析度的红外线感测器来采集物体的热成像以侦测物件。这些感测器的画面播放速率、解析度和频宽各不相同,无法同步。为了追踪不同的影像串流,每个CSI-2资料包需要用虚拟通道识别码进行标记,方便AP根据需要处理每个资料包。



图2 : 虚拟通道将来自多个不同类型感测器的资料串流合并以节约I/O埠,处理来自不同感测器的资料串流,需要同步时脉速率和输出频率。
图2 : 虚拟通道将来自多个不同类型感测器的资料串流合并以节约I/O埠,处理来自不同感测器的资料串流,需要同步时脉速率和输出频率。

除了标记资料包之外,合并来自不同类型感测器的资料串流,还需要同步感测器资料有效负载。如果感测器以不同的时脉速率运行,则每个感测器需要保持单独的时钟域。然後在传输到AP之前将这些时钟域进行同步。


虚拟通道需要专门的硬体桥接处理

通过硬体实现支援虚拟通道的桥接解决方案可以解决上述问题。使用专用的虚拟通道桥接意味着所有图像感测器都连接到桥接I/O埠,然後再通过单个埠连接到AP,释放宝贵的AP埠以支援其他周边元件。这也解决了设备电路板上感测器与AP之间存在过多连接而产生的设计尺寸难题;桥接方案将这些线路合并连接到AP。



图3 : 为了最大限度地减少连接感测器和AP的I/O埠,支援虚拟通道的硬体桥接方案整合了多个感测器资料串流,通过单个I/O埠进行传输。
图3 : 为了最大限度地减少连接感测器和AP的I/O埠,支援虚拟通道的硬体桥接方案整合了多个感测器资料串流,通过单个I/O埠进行传输。

FPGA可以为每个感测器输入实现并行的资料通道,每个通道都有自己的时钟域。如图3所示,这些时钟域在虚拟通道的合并阶段同步,从而减轻了AP的处理负担。


基於PLD的虚拟通道硬体的优点

在硬体上实现虚拟通道,FPGA是最可靠的IC平台。FPGA具有灵活的I/O埠,可支援各种介面,并且拥有可以使用硬体描述语言(如Verilog)程式设计的大型逻辑阵列。与需要冗长设计和QA流程的ASIC不同,FPGA在生产时已通过QA验证,可以在几天或几周内完成设计。然而人们通常认为传统的FPGA体积庞大,耗电量高,并不适合功耗有限的嵌入式应用。但FPGA已今非昔比。


莱迪思半导体的CrossLink系列FPGA为使用虚拟通道的影像桥接应用提供了性能、尺寸和功耗的组合。该系列可提供两个4通道MIPI D-PHY收发器,每个PHY速率高达6 Gbps,尺寸最小仅为6 mm2。它们支援多达15个可程式化设计源同步差分I/O对,如MIPI-D-PHY、LVDS、sub-LVDS,甚至单端并行CMOS;在许多应用中功耗不到100 mW。CrossLink FPGA系列支援睡眠模式,减少待机时的功耗。莱迪思还提供全面的软体IP函式库,协助客户更快地实现不同类型的桥接解决方案。


总结

MIPI摄影机序列介面-2(CSI-2)规范的虚拟通道可协助嵌入式工程师在单个I/O埠上整合多个感测器资料串流,从而减少使用大量图像感测器应用的总体设计尺寸和功耗。凭藉着可重新程式设计特性以及性能和尺寸上的优势,莱迪思半导体的CrossLink系列低功耗FPGA可以让客户快速、轻松地为其设计新增对虚拟通道的支援。


相关文章
透过即时网路实现同步多轴运动控制
内建杂讯过滤功能加速度感测器
汽车乙太网路中的故障排除
预认证互联简化IoT应用
一个智慧输送机。无限的可能性。
comments powered by Disqus
相关讨论
  相关新品
Arduino Motor Shield
原厂/品牌:RS
供应商:RS
產品類別:
mbed
原厂/品牌:RS
供应商:RS
產品類別:
Raspberry Pi
原厂/品牌:RS
供应商:RS
產品類別:
  相关新闻
» IC设计领域奥林匹克大会 台湾论文获选量为全球第四
» ST强化智慧制造布局 满足市场状态监测与预测性维护需求
» 强化物联网与工业设备效能 ST推出高效能MCU
» 台湾生医晶片产业链强强联手 打造卵巢癌检测新利器
» 勤业众信估2019 年半导体业总收入5,150亿元 亚太地区稳居最大消费市场
  相关产品
» 笙泉科技推出新一代MG82F6D17 MCU
» 意法半导体生态系统扩充功能支援微控制器以USB-C作为标准介面
» 安森美半导体与NVIDIA合作开展基於云端的自动驾驶汽车仿真
» 高通推出全新单晶片DDFA放大器解决方案
» Microchip推出MPLAB Harmony 3.0为PIC和SAM微控制器提供统一的软体开发平台
  相关资源
» Power Management Solutions for Altera FPGAs

AD


刊登廣告 新聞信箱 读者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2019 远播信息股份有限公司版权所有 Powered by O3
地址:台北市中山北路三段29号11楼 / 电话 (02)2585-5526 / E-Mail: webmaster@ctimes.com.tw