作为一年一度的AI行业盛会,2022世界人工智能大会(WAIC)于9月1日至3日在上海成功举办,带来了众多关于AI技术创新、产业应用与价值创造的新思路、新实践。作为当下具增长潜力的人工智能应用赛道之一,AI视觉感知的相关技术与企业在会上受到广泛关注,人工智能视觉感知芯片研发及基础算力平台公司爱芯元智的展台前也人头攒动,其自研核心技术AI-ISP的中文名“爱芯智眸®”正式公布,基于爱芯智眸®AI-ISP打造的暗箱实验室在现场格外吸睛。
大幅提升暗光场景成像性能,爱芯智眸®AI-ISP的“绝技”
当影像成为记录生活的重要方式,人们对图片和视频画质的追求越来越高,这也对ISP芯片提出了更高的要求。
如同人类视觉和成像设备之间的“翻译”,ISP(图像信号处理器)负责对前端图像传感器的输出信号进行优化处理,让数字图像尽可能接近人眼看到的实景,甚至呈现出更好的效果。由于与其配套使用的镜头和传感器在物理学上已接近极限,传统ISP整体技术触及“天花板”,尤其在暗光和高动态场景下,图像失真和信息损失不可避免。
在此背景下,爱芯元智创新性地将AI引入ISP,利用爱芯智眸®AI-ISP技术在多种视觉处理场景下带来了成像画质的显著提升。据悉,爱芯智眸®AI-ISP了传统ISP纯硬件通路的设计方式,通过将ISP中的几个关键硬件模块抽离并用AI算法取而代之,例如对去噪的3DNR、demosaic等功能进行AI化,将有限的算力集中在了关键、人眼可知的功能中,实现整个AIISP的效果。而通过迭代AI模型,在芯片已经回片、硬件无法提升和优化的情况下,爱芯智眸®AI-ISP也依然可以训练AI的降噪模型和高动态模型,由此不断提升图像处理质量。
当前,暗光场景是AI-ISP与传统ISP大的区别场景,爱芯元智也在此次WAIC2022展台现场设置暗箱实验室,通过实时对比测试,展现爱芯智眸®AI-ISP低照度环境下的优异成像表现。可以看到,在极低照度环境下,植入爱芯智眸®AI-ISP的暗光相机依然可以清晰拍摄暗箱中的玩偶,且在色彩还原、暗光降噪等方面表现突出。而在优秀的暗光处理能力之外,爱芯智眸®AI-ISP也在高光抑制、解析力提升、伪纹伪色处理等方面都比传统ISP更具优势。
值得一提的是,不同于芯片行业中单一的算法研究,爱芯元智对AI-ISP的研究还包括提供算法、大算力和复合精度的NPU,联合设计下的内存使用及模块间通信,以及AI-ISP在实践中所需要的完整工具链和交付方案,而这些都是决定AI-ISP能否真正投入商用的关键。目前,爱芯元智作为一个将AI-ISP技术在芯片上实现商业化落地并规模量产的公司,已实现两代端侧边缘侧AI芯片成功量产。
深入端侧边缘侧场景,爱芯智眸®AI-ISP持续拓宽视界
近年来,AI算力逐渐在端侧和边缘侧得到释放,AI视觉技术也在物联网端侧边缘侧有了越来越多的应用场景,包括智慧城市、智能交通,以及智能手机、运动摄像头等消费侧产品等等。从广阔的应用场景出发,爱芯元智自成立起便重点布局端侧边缘侧AI芯片的设计研发,爱芯智眸®AI-ISP核心技术也基于芯片产品的量产在众多端侧边缘侧图像处理与应用中展露价值,助力提升成像性能。
其中,随着广大手机用户对高质量移动影像需求的提升,智能手机成为AI-ISP优先落地的场景之一,爱芯元智打造的影像专用芯片AX170A即在今年初通过某头部手机客户验收并进入商用阶段,标志着爱芯元智系列产品在消费领域的成功落地。现场,爱芯元智也展示了该款手机基于AX170A的“夜景增强”拍摄效果,通过直观对比可发现,即使在夜晚低照度下,该款手机也能呈现细腻的高清影像,拥有了比人眼更好的夜视能力。
除了智能手机等终端消费电子设备,爱芯智眸®AI-ISP也正在智慧城市、智能交通等领域提高相关场景的成像质量。如在智慧城市领域,爱芯元智在展会现场带来了业界一款AI-ISP双光融合产品实测效果展示,其可以实现高色彩保真,在0.01lux低照度下重现原生自然细节;智能交通领域,爱芯元智展出的黑光BSD智能摄像机则可以在夜晚暗光场景下智能检测车辆盲区的人、车、骑行者、路沿、栏杆等障碍物,通过预警及报警助力行车安全。
在用AI大幅提升端侧边缘侧智能设备的感知成像能力的同时,爱芯智眸®AI-ISP也在应用成本上更具优势。基于AI模型的灵活性,爱芯智眸®AI-ISP的技术覆盖场景相对广泛,如可用一颗芯片实现对智慧城市和智能手机这两个完全不同领域的市场覆盖,大大降低用户端的AI综合应用成本。
“爱芯智眸®”,意在发挥视觉感知技术优势,让AI-ISP赋能不同智能终端,带来突破传统瓶颈的优异画质。此次于WAIC2022正式发布AI-ISP中文名并带来系列应用场景展示,爱芯元智表达了于AI视觉感知领域继续发展超越的决心。面对AI-ISP这一成像领域未来重要的风口之一,爱芯元智也将探索技术创新并注重提升产业赋能价值,积极开拓更广阔的市场发展空间,用视界改变世界。