国内厂商,去搞AI ISP芯片了

钛度号
ISP芯片越来越被重视,与AI硬件的发展,尤其是AI眼镜离不开关系。

文 | 半导体产业纵横

最近,有消息称字节在研某款 AI 智能眼镜正在考虑采用恒玄 2800 + 研极微的 ISP 芯片方案(但这不代表是最终方案)。

对于AI眼镜来说,SoC的选择往往决定了产品的体验上限,比如Meta-Rayban 采用的是高通AR1的芯片方案。但实际上,为了满足AI智能眼镜拍摄的功能需求,则还需要外挂一块 ISP 芯片。

其实,越来越多的厂商在开卷ISP芯片,并且在AI的需求下,很多芯片企业开始推出AI ISP芯片。

ISP芯片,开始被重视

ISP芯片不是一个新鲜事物。

ISP是Image Signal Processor的简称,即图像信号处理器。主要用于对图像传感器采集到的原始图像信号进行处理。

在图像处理这块,大家更熟知的是CMOS图像传感器。CIS芯片功能相当于人类的视网膜,用来捕捉光线。而ISP,相当于大脑皮层中对应视觉处理的那一部分,用于处理图像。CIS和ISP凑在一起完成视觉感知的任务。

2021年有一阵手机厂商自研芯片潮,都不约而同的选择了ISP芯片。

vivo在2021年9月推出了自研独立ISP芯片V1,到目前已经推出了三代ISP芯片;小米推出了ISP澎湃C1,与小米MIX FOLD折叠屏手机同时发布。

都选择自研ISP芯片,正是因为ISP对于图像改善的影响非常大。在同等CMOS的条件下,好的ISP芯片对图像质量的改善空间可达 10%~15%。

ISP芯片越来越被重视,与AI硬件的发展,尤其是AI眼镜离不开关系。

需要了解的是,ISP 芯片分为集成和独立两种。集成ISP是指将ISP集成在SoC处理器中,比如高通骁龙系列、英伟达 Tegra 系列处理器内部都集成有ISP 芯片。

独立ISP芯片则是独立于SoC处理器而存在的,也就是外挂形式。虽然成本更高,但优势明显。除了运算能力、成像质量更优秀外,因 ISP 带有可编程性,一般的独立 ISP 芯片都是手机商向 ISP 提供商定制的,所以与相机其他组件的契合度更佳,成像也有属于自己的特色。

前文提到AI眼镜中,使用最多的是高通AR1芯片,其早就已经实现手机级别的ISP。从已经流出的产品配置信息来看,小米AI眼镜也是采用骁龙AR1双ISP芯片+索尼IMX681传感器的组合。

但高通AR1芯片的价格还是太高了。现在,厂商在评估AI眼镜时,以恒玄为代表的MCU外加MTK或ISP也是一个不错的方案。外挂ISP 芯片的方案,相比于高通 AR1 芯片具备高性价比,低功耗长续航的特点。

并且,XR Vision Pro报道,调校ISP芯片也可以达到接近于高通AR1实现的拍摄效果,该方案的成本是高通 AR1 芯片方案的几分之一,整体 AI 智能眼镜的BOM成本可以控制在千元以内,产品零售价可以做到 1500 以内。

影目科技X系列和闪极AI“拍拍镜”AI眼镜都搭载了紫光展锐W517芯片;雷神科技的AI眼镜采用了多种技术路线,其中也包括MCU级SoC+ISP方案等。整体来看,MCU级SoC+ISP方案可能更受到一些新兴厂商青睐。

一位熟悉产业链上下游的投资人透露,预计今年年底恒玄会推出主控芯片加上ISP集成的SoC,这套方案的价格更便宜,功耗也能控制得更好,会比AR1更适合用在AI眼镜上,华为就在等这套方案。

都有谁在做ISP芯片?

带上镜头的AI眼镜,需要大量的图片计算,所有这也是ISP暴涨的主要原因。

我们细数国内ISP企业,各家有各家的看点。

先看海思,海思的芯片实力很强,一般做的是集成ISP。从麒麟950开始,海思的SoC芯片中开始集成自研的ISP模块。以Hi3559A为例,我们可以看一下其ISP整体的结构。

3559A是一个通用ISP,所以功能很全,如果用FPGA去实现这些,估计没有几个能做出来,ISP的特殊点就是针对不同的镜头、环境、Sensor等不同去调整需要实现的算法。

在ISP芯片方面,因为智能手机对于成像要求越来越高,高通和联发科的ISP实力也是很强的。国内有一家企业与联发科关系匪浅,专门做的是ISP芯片,那就是星宸科技。

星宸科技的ISP芯片广泛应用于智能安防、智能车载、视频对讲等领域,其产品线丰富,涵盖了IPC SoC(网络摄像机芯片)、NVR SoC(网络视频录像机芯片)以及USB视频会议摄像头芯片等。

星宸科技的第一大股东是SigmaStar,而SigmaStar由联发科间接持股100%。因此,星宸科技的控股股东是联发科。虽然联发科已明确表示不谋求星宸科技的控制权,但是星宸科技的多名管理层及核心技术人员出自联发科系统,例如董事陈恒真、监事蔡秉宪等曾在联发科任职。

现在星宸科技在智能眼镜里的进展也很快,据了解,其智能眼镜芯片 SSC309QL 正与多家品牌客户对接测试,集成了自研的ISP 4.0 及 NPU,在视觉处理和各类多态大模型的适配上提升比较大。

富瀚微的ISP产品主要应用在安防监控、车载摄像头等。CES2025上发布了智能眼镜芯片MC6350。其中集成了富瀚微自研的AI ISP,在暗光下表现不错,解决目前主流智能眼镜产品在暗光下拍摄效果不佳的问题。

当然也有前文提到的恒玄科技,恒玄科技ISP 芯片主要特点是能够与音频处理技术紧密结合,其在研智能眼镜专用 SoC 项目,主打单芯片集成低功耗 ISP 技术。

擅长暗光环境的AI ISP兴起

AI ISP的核心在于,将人工智能算法与ISP技术深度融合。

通过集成深度学习、机器学习等AI算法,AI ISP能够实现对图像内容的智能分析和处理,如物体识别、人脸检测、场景分类等。

AI ISP的市场还是很大的。据市场研究机构预测,全球ISP芯片市场销售额将从2023年的6.65亿美元增长至2030年的10.2亿美元,年复合增长率达到6.4%。

目前来看,AI ISP的应用更多的是在低光成像(AINR)方面。AI ISP能够实现在信噪比(SNR)上6~12dB的显著提升。当同等硬件条件下,AI-ISP与传统ISP的比较显示,AI-ISP不仅提高了画质性能,而且在成本效益上也表现出巨大的优势。

AI ISP的结合是有企业走在前面的,华为海思2021年就推出了“越影AI ISP”,把传统ISP技术与AI深度学习相结合,相比上一代旗舰ISP,低照场景下的图像信噪比提升了4倍。

全志科技在财报中表示,在视觉类应用的低光场景下,为解决低光拍摄和录制问题,研发了全新一代AI-ISP降噪算法,配合深度优化的软件,实现AI降噪功能的高效运行,并在相同信噪比情况下,实现2~4倍感光度提升,同时搭配了人脸检测、人形侦测、人脸识别、人形追踪等检测类和识别算法应用,在客户的产品上实现了量产落地。

全志科技的AI ISP技术已经应用于其多款芯片产品中,如高集成视觉SoC、智慧视觉处理器等。这些产品广泛应用于智能电视、智能安防、智能车载等多个领域,为用户提供高质量的图像处理体验。

国科微新一代4K AI视觉处理芯片GK7606V1系列,也是搭载的自研AI ISP。测试结果显示,国科微 AI ISP 技术能够极低照度的黑光场景下,对图像进行全方位的优化和增强,使得图像更加清晰、细腻,色彩更加生动饱和。

爱芯元智此前也公布了其AI-ISP技术,并将其命名为“爱芯智眸”。爱芯元智公司的AI ISP采用了混合精度、存算一体的架构设计,使得在有限的功耗下仍能达到高算力。与传统图像处理相比,AI ISP能够实现多种算法并行工作,尤其在去噪、差值和锐化等方面的表现更加自然、问题更少。

飞凌微(思特威子公司)发布的AIoT应用系列首款高性能端侧视觉AI SoC芯片A1,其中也集成自研的AI ISP部分,覆盖0.3MP至8MP分辨率。其优点在于:高性能暗光降噪和图像增强算法、最多3帧HDR合成、高分辨率RGB-IR图像处理等。

结语

随着人工智能技术的飞速发展,AI ISP芯片正逐渐成为国内芯片厂商的新焦点。

从华为海思的“越影AI ISP”到爱芯元智的“爱芯智眸”,再到国科微的4K AI视觉处理芯片。AI ISP芯片在智能手机、安防监控、智能驾驶等领域展现出强大的性能和应用潜力。

虽然当前的AI-ISP技术已经实现了显著的进步,不断推高了画质处理的边界,但用户对画质的渴望似乎总是无穷无尽的。特别是在经济因素的影响下,基于卷积网络的AI-ISP技术仍未能完全满足所有客户的多样化需求。

特别是那些非技术领域的消费者,他们对AI技术抱有更高的期望,希望它能带来质的飞跃和更为显著的画质提升,这也反映了大众对于新技术盛大承诺的渴望和好奇心。

展望未来,AI-ISP技术发展面临三点潜在的机遇:第一,用户对画质的不断追求,意味着对更高标准的AI-ISP解决方案有持续的需求。第二,随着相关技术领域的进步,比如AR,VR,显示技术,自动驾驶等,将会带来新的画质上限提升需求,促进AI-ISP技术的进一步革新。第三,AI-ISP所引领的技术难度降低和成本的下降,可能为更广泛的应用提供了可能性,从而开拓新的市场和应用场景。

半导体产业纵横

168篇资讯

粉丝

立足产业视角,提供及时、专业、深度的前沿洞见、技术速递、趋势解析,链接产业资源,构建IC生态圈,赋能中国半导体产业,我们一直在路上。

本文系作者 半导体产业纵横 授权钛媒体发表,并经钛媒体编辑,转载请注明出处、作者和本文链接
本内容来源于钛媒体钛度号,文章内容仅供参考、交流、学习,不构成投资建议。
想和千万钛媒体用户分享你的新奇观点和发现,点击这里投稿 。创业或融资寻求报道,点击这里

敬原创,有钛度,得赞赏

赞赏支持
发表评论
  • 给小编加鸡腿🍗
  • 爱了爱了😁
  • 挺有深度的,不错
  • 紧跟时事,赞一个👍🏻👍🏻
  • 真不错,收藏了
  • 写的很不错,关注了
  • 都没有那么简单
  • 这么厉害的吗
  • 学到了学到了
  • 商场如战场,竞争激烈啊
  • 行业发展都是有周期的
  • 企业的发展都不是一番风顺的
  • 说的好有道理😄
  • 内容值得人们反思
  • 数据还是很详细的
  • 内容很精彩,夸一夸
  • 又学到了很多知识
  • 内容很详细👍🏻
  • 小编辛苦了
0 / 300

根据《网络安全法》实名制要求,请绑定手机号后发表评论

登录后输入评论内容

快报

更多

04:49

业界人士:美汽车关税新政损害多方利益,恐引发美车企大规模裁员

04:38

日本半导体设备销售额连续14个月双位数增长,2月同比增长近30%

04:30

美光发函确认内存与存储产品涨价,涨幅或在10%-15%

04:28

恒生指数公司推出两条新指数

04:28

千禾味业回应不允许使用“零添加”等用语:尽快按新规要求执行

04:22

百度昆仑芯三万卡集群即将上线

04:16

全球最大规模液态空气储能项目全面推进

04:16

长城进军重卡领域,公布首个商用车混动系统Hi4-G

04:15

碧桂园服务:2024全年净利润18.1亿元人民币,同比增长518.7%

04:08

中国通信服务:去年度净利润36.07亿元人民币,增长0.6%

04:06

港股午评:恒生指数涨1.05%,恒生科技指数涨1.34%

04:00

成都土拍再创新高,建发溢价106%拿下成都金三地块,楼面价41200元/㎡

03:52

招商、中行之后,光大银行也对消费贷提额:个人消费贷款自主支付金额上限提至50万元,期限延长至7年

03:45

埃隆·马斯克:关税将影响特斯拉汽车中来自其他国家的零部件价格,其成本影响不容忽视

03:37

特朗普称群聊泄密事件是“政治迫害”:行动非常成功,聊天软件有缺陷

03:36

A股午评:三大指数小幅上涨,化工板块大涨

03:30

商务部:将举办绿色消费暨再生资源回收发展主题活动,发布一批二手商品流通试点城市和试点企业名单

03:28

商务部:积极推进首发经济,支持国内外优质商品和服务品牌开设首店、举办首发首秀首展

03:28

商务部:今年重点开展“外贸优品中华行”,10省联动促消费

03:27

商务部:将深化数字消费提升行动,指导各地丰富数字消费多元化供给

12
5

扫描下载App