账号:
密码:
CTIMES / 文章 /   
CMOS影像感测器如何把手机变单眼
新架构+新演算法

【作者: 籃貫銘】2020年04月06日 星期一

浏览人次:【2640】
  

百倍变焦、亿万画素,还可拍摄8K的影片,而且几??克服了夜间低光源的拍摄困难。CMOS影像感测器究竟如何把智慧手机变成单眼相机?


智慧手机的相机功能可以有多强?三星电子(Samsung)近期发表的最新旗舰型5G手机,树立了一个新典范。该款新手机的拍摄画素来到了1亿800万的等级,可拍摄8K的影片,而且最大的变焦数来到了史无前例的100倍,更惊人的是,几??克服了夜间低光源的拍摄困难,实现了随时、随地、随身的高品质摄影的可能。


达成这个目标背後的功臣,就是先进的CMOS影像感测器技术,而三星所使用的,是一个名为「ISOCELL」的影像感测器系统。该产品是三星自行研发的CMOS影像感测技术,目前最新的一代为「ISOCELL Bright HM1」。


在2018年初,三星宣布了新一代的ISOCELL(Fast 2L3版本)技术更新,而这次的更新是一个重大的升级,因为三星正式将3层堆叠架构运用在CMOS影像感测器上。


异质整合 CMOS进入感测+逻辑+DRAM时代

在此之前,一般的CMOS感测器是采两层的结构,也就是把产生光感讯号的画素阵列(pixel array)感测器,以及进行电子与数位讯号转换的逻辑运算器进行堆叠,藉此加快运算的速度,并减少DRAM的使用。



图一 : 三星把DRAM整合至影像感测器之中,完成了一种三层的架构。(source:三星)
图一 : 三星把DRAM整合至影像感测器之中,完成了一种三层的架构。(source:三星)

这种双层的结构对於实际的影像拍摄来了诸多的好处,最明显的就是实现了超高的画素(image readouts)读取性能,并让电子快门的即时取景,与顺畅的超级慢动作成为可能。


站在这个基础上,三星进一步把DRAM整合至感测器的结构之中。他们把2GB的LPDDR4 DRAM置於逻辑层之下,完成了一种三层的架构,并带来了超高速的的影像拍摄性能。


由於整合了2GB的DRAM,感测器可以在把数据传送到处理器之前,暂时储存大量的影像资讯,所产生的结果就是超高速的电子影像快门,以及清晰无比的录影功能,对於拍摄者而言,就是更强大的照相能力,以及超高解析的影片拍摄。最明显的改进,就是消除了过去CMOS感测器的照片变形与所谓的果冻现象(Rolling shutter)。


另一方面,高速快门与瞬时储存多重画帧(multiple frames)的性能,就能支援3D降噪(Noise Reduction)以及更高阶的高动态范围成像(HDR)。而这对经常需要在室内拍摄的手机来说,是非常重要的提升。


事实上,三星并不是第一个使用三层式堆叠技术的业者,早在2017年,Sony就发表了三层式的堆叠CMOS影像感测器技术。但是不同於三星,Sony的DRAM层是为在中间,画素感测在前,逻辑电路则是在後。此设计同样达成了高画素与更快的影像帧数,让智慧手机的拍摄有了全新的思考。


近期,Sony则是进一步把堆叠式CMOS影像感测器技术拓展至工业领域上。他们与Prophesee合作开发的新一代事件导向(Event-based)CMOS视觉感测器,就是把光学画素阵列感测器堆叠在逻辑处理器之上,并以铜垫(copper pads)连接的方式取代过去采TSV的作法。透过这个堆叠的架构,Sony实现了业界最小的画素尺寸(1 4.86μm),和最高的HDR的性能(1 124dB)。



图二 : Sony的DRAM层是为在中间,画素感测在前,逻辑电路则是在後。
图二 : Sony的DRAM层是为在中间,画素感测在前,逻辑电路则是在後。

一直以来,Prophesee的事件导向影像感测技术,就是以高光学资料读取量与快速的画素反应着称,再与Sony高敏感与低杂讯的CMOS影像感测器结合,两者合一,则是产生了兼具速度与质量的影像感测产品。而采用堆叠的结构,则又更进一步缩减了晶片的面积,这对於物联时代寸土寸金的产品体积来说,十分有经济效益,尤其是机器视觉与安全监控等应用。



图三 : 采用堆叠的结构,则又更进一步缩减了晶片的面积。
图三 : 采用堆叠的结构,则又更进一步缩减了晶片的面积。

先进软体演算赞力 画素与解析力倍增

而尽管堆叠的架构能为影像资料的运算与晶片体积带来突破,但影像本身的质量则是完全取决於感测技术对光感的画素反应,要有更细致与更大量的画素,就要在画素层的技术着手,让光感反应更敏感,同时画素资料更细致。


以Sony为例,就是采用背照式(Back-illuminated)的影像感测结构,再搭配自主研发的专属画素结构(proprietary pixel structure)技术,达成了优越的敏感度,同时也改善了过去画素微小化的缺陷。



图四 : 背照式(Back-illuminated)的影像感测结构。
图四 : 背照式(Back-illuminated)的影像感测结构。

透过这个技术,Sony把画素微缩至2.74 μm,并维持了元件的敏感度以及色彩饱和度,也由於采用後照式的形式,感测器得以针对更广的区域进行侦测与量测,这意味着能够产生更多更精细的讯号,所以整体的解析度也较前照式架构增加了1.7倍。


至於三星则是运用独家的画素模拟技术「Teracell」,来突破实体感测画素无法增加的困境,他们透过特殊的演算法,让画素以四个为一组的形式安排在影像感测器的彩色滤光片。


当处於低光源的拍摄时,演算法就会把四个画素模拟成一个,让画素变大;反之,在明亮的环境时,则使用称之为「再马赛克(re-mosaic)」演算法,把原本的画素再分割成四格,藉此产生更高解析度的照片。这个技术不仅改善了明暗成像的性能,同时也增加了HDR在高对比环境中的拍照能力,等於全面提升了手机的拍摄能力。


而三星最新一代的ISOCELL Bright HM1,则是更进一步采用了新的「Nonacell」技术,它其实是Teracell的升级版。不同於前代使用四画素(2 x 2)一组的结构,新的Nonacell则是使用9画素(3 x 3)一组的结构,把拍摄画素一举推升到了1亿800万的等级,同时新的感测器的画素尺寸则是缩小至0.8μm,意味着能够对光感测讯号有更细致的敏感度,在明暗两端的拍摄也更加突出。


结语

就系统设计的观点,CMOS影像感测器本身的体积只能有减无增,并不允许其占用过多的装置空间。而在这个前提下,想要达成更隹的拍摄品质,就只能从制程与设计结构来改善。


但若从应用的角度切入,则拍照与摄影其实是软硬体协同产出的结果,所以想要突破目前的成像限制,更多的光学工程设计与软体优化的技术也是不可或缺的,例如AI与人工智慧的导入等,都是可用之策。


所以对於系统开发商来说,寻求先进的影像感测器方案固然是一个明显的对策,但思考进一步结合第三方的光学设计与优质的软体协助,从整体性的影像拍摄体验进行改良,才会是最隹对策,而这也是前述这两家业者能够持续领先的原因所在。


相关文章
确保加工精度 机器手臂预诊维修的导入关键
医比压压
RISC-V前进AIoT 商用生态系成形
让智慧型手机和自驾交通工具看见不可见
巨量转移有解 Micro LED拚2022年量产
comments powered by Disqus
相关讨论
  相关新品
Platform Manager Devices
原厂/品牌:Lattice
供应商:Lattice
產品類別:Power
Power Manager II Hercules Development Kit
原厂/品牌:Lattice
供应商:Lattice
產品類別:Power
Processor PM Development Kit
原厂/品牌:Lattice
供应商:Lattice
產品類別:Power
  相关新闻
» 考古未来解密科技宝藏 互动体验拓展新视界
» 三星Galaxy Note20 Ultra采用恩智浦安全UWB技术
» IIR HiRel 与 NASA毅力号火星探测车共创里程碑
» 三星携手友达 推出8K无边框顶级LCD电视
» Mentor与三星Foundry合作 提高产品良率并简化记忆体测试
  相关产品
» 安勤新款嵌入式电子纸显示器更新即时便利 都市绿能再升级
» 瑞萨新款光隔离型三角积分调变器适用於工业自动化应用
» 三星推出8TB消费级固态硬碟 结合HDD级大容量与SSD高性能
» Vicor发布新款ZVS 降压稳压器 PI3323/PI3325
» Vicor 美商怀格科技推出符合 6U VITA-62 标准的全新电源供应器
  相关资源
» Power Management Solutions for Altera FPGAs

AD


刊登廣告 新聞信箱 读者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2020 远播信息股份有限公司版权所有 Powered by O3
地址:台北市中山北路三段29号11楼 / 电话 (02)2585-5526 / E-Mail: webmaster@ctimes.com.tw