document.write('
')

太阳网站精英论坛

当前位置:太阳网站精英论坛 > 原创 > 刘岩轩
[导读]“聪明”一词来自于《易林》成语“耳聪目明”,指的是听觉灵敏、眼力敏锐,是一个人智慧的象征。现在我们已经到了人工智能的时代,机器视觉和听觉对于它们的智能程度也是至关重要的。马健(Chloe Ma,Arm 物联网兼嵌入式事业部业务拓展副总裁)在Arm最新ISP IP Mail-C55的发布会上分享到。

“聪明”一词来自于《易林》成语“耳聪目明”,指的是听觉灵敏、眼力敏锐,是一个人智慧的象征。现在我们已经到了人工智能的时代,机器视觉和听觉对于它们的智能程度也是至关重要的。马健(Chloe Ma,Arm 物联网兼嵌入式事业部业务拓展副总裁)在Arm最新ISP太阳网站精英论坛 IP Mail-C55的发布会上分享到。

智能视觉的应用前景广阔,以智能摄像头市场为例:市场数据表明商用和消费类智能摄像头市场有望在五年近乎翻倍,从去年的 250 亿美元到 2025 年有望达到 450 亿美元。

随着AI在垂直应用落地和持续向边缘化部署,智慧视觉的应用也发生了一系列的演进。


在功耗敏感的端侧提供专用AI算力

太阳网站精英论坛 智慧视觉的应用已经逐渐深入到了生活的方方面面,从高清商务视频会议、安防/智能监控、智慧城市到电池供电的可视门铃和智能猫眼,用例非常广泛。2020年突如其来的新冠疫情大大加速了数字化转型的节奏,智能摄像头也在商务会议、远程教育、远程健身等方面进一步普及。

太阳网站精英论坛 简单的视频采集并不能满足当前的应用需求,AI赋能让更多的智能视觉应用成为可能。例如在公共健康方面,带有人工智能 (AI) 的智能相机可以监控口罩佩戴情况,跟踪社交距离,并帮助追踪接触者。在工业和制造业方面,缺陷和异常检测已经起到了提高生产效率、保证产品质量和减轻人力投入的效果。而在更高精度、工序及其复杂的半导体制造过程中,基于深度学习算法的视觉检测系统可以在每个半导体工艺完成后都会通过优质产品的图像进行训练,并且学会识别缺陷。在农业方面,智能视觉技术通过监测杂草和农作物种植密度,可以最大限度地提高产量,帮助缓解食品供应链的困难。

太阳网站精英论坛 而未来进入到元宇宙时代,更多的人工智能功能,比如人脸识别、物体识别等的部署将会拓展到边缘端,图像处理的任务也就需要在端侧完成,图像处理后输出的图像可以直接送到机器学习 (ML) 加速器来做推理,加上现有的高清摄像头和多摄像头的逐步普及,人们对于视觉技术性能提出了更高的新要求。

太阳网站精英论坛 智能视觉系统在端侧逐渐普及,功耗敏感的端侧如何提供足够的算力,提供专业的图像处理能力,这是当下技术发展的关键方向。在智能视觉系统端侧添加专用的NPU引擎、ISP引擎,用于图像处理能力,从而释放CPU的资源专注于更适合的计算和控制等工作,才可以保证系统整体低功耗和性能兼顾。


端侧智慧视觉系统需要什么样的ISP?

当前智能摄像头的CPU的绝大多数采用的是Arm的Cortex-A系列CPU IP,而据马健介绍,未来除了基本的CPU之外,也会更多地使用 ISP 和 ML 加速器。要实现高效的系统设计,拥有可针对此类活动所需要的数据类型和处理进行匹配的 ISP 是非常重要的。一些 NPU、通用 GPU、ISP 等 IP 都会逐渐地在现有或者下一代芯片中得到应用,用于从图像中提取更多有用的信息。

太阳网站精英论坛 任何一个高速发展的市场都会经过一段百花齐放的阶段,然后市场渐趋成熟,变得愈发整合,智能视觉市场亦是如此。当前智能视觉的市场增长速度很快,用例很多并且有非常多创新。但市场的细分应用方向已经基本明确,每个市场都有一些基本模块,每个厂商也都有相似的方案。在这些细分市场上实现差异化,通过不同的算法和用例上的不同优化,是当前创新的来源。

太阳网站精英论坛 除了要在边缘端提供专门的图像处理能力和AI加速的能力外,还应注意在不同智能视觉的用例上,对于图像处理的质量也是不同的。例如一些简单的物品识别的场景对于分辨率的要求并不高;而在安防领域例如车牌和人脸识别,对于图像处理质量要求就高得多;像在高精度的缺陷检测用例中,对于图像的成像精度有着更高的要求。

基于以上的技术发展趋势和市场应用需求,Mali-C55的产品定义也就呼之欲出。应用在功耗敏感的端侧,有专业的图像处理能力,强大的AI太阳网站精英论坛算力,支持可灵活拓展的用例,并且易于部署。


Mali-C55:一半面积实现翻倍性能

Mali-C55有着高性能、易于配置、易于部署和系统整合难度低三大优势。几大优势说起来简单,但均来自Mali-C55的架构设计上的创新,以及Arm全套的IP强生态。

首先看性能参数方面,Maili-C55相比上代C52,面积直接缩减了一半,画质和分辨率翻倍达到了8K、4800 万像素,Throughput提升了一倍(1200Mpix/sec),此外摄像头支持也从单通道提升到了最高8通道,像色彩映射和降噪等模块也实现了升级。“更小的面积同时也意味着更低的功耗。”马健强调到。

太阳网站精英论坛 易于配置和部署的优势来自Mali-C55灵活的模块化设计。ISP的处理是一个流水线,从传感器得到原始的图像,而这些原始数据会经过一系列的处理,包括时间降噪、空间降噪、色调映射等。传统的ISP的流水线比较固定,太阳网站精英论坛很难去配置每个步骤的内容,或去掉某些步骤。正如上文所提到的,不同的用例对于不同的图像处理有着不同的要求和偏向,而且不同客户的要求也存在差异。

Mali-C55 是将时间降噪(Temper)、空间降噪(Sinter)和色调映射(Iridix)等作为不同的模块,让太阳网站精英论坛灵活组合。Iridix将图像中的这些局部区域定义为大小相等的网格,从每个网格中提取统计数据应用于图像中相应的局部区域。Mali-C55中升级的Iridix8.1通过平滑每个局部色调曲线改进了局部色调映射算法,因此可以在明亮光源周围实现更自然的衰减。Temper是通过组合连续帧来提高低光照条件下的图像质量的时间降噪算法。 Mali-C55中升级的Temper4不仅通过更新的降噪算法提高了图像质量,而且与 Mali-C52 相比,内存带宽减少了高达 50%。Sinter是一种空间降噪技术,Mali-C55中升级后的Sinter2.6可改善颜色通道中的细节和噪声平衡,通过为每个颜色通道使用特定的寄存器来实现更好的细节平衡。这两种降噪模块可以在流水线中的顺序可以进行按照客户需求进行切换。

太阳网站精英论坛 除了上述模块外,在图像处理的流水线过程中,太阳网站精英论坛还可以加入 ML 加速、调用 NPU 的功能并运用大数据对数据进行分析,来增强 ISP 的功能,比如可以利用 ML 的功能使一些时间、空间方面的降噪效果做得更明显。

太阳网站精英论坛 模块化的设计带来了更灵活的部署选择,客户根据不同的应用需求可以使用Mali-C55来进行不同的配置。比如在安防监控领域,室外的摄像头成像经常会受到光线、天气和物体移动速度等因素的影响。借助 Mali-C55 增强的色调映射和降噪能力,人脸和物体识别就会更加精确,并且在车辆以时速 120.7 公里的速度行驶的情况下,也能做到比较准确的车牌识别。在智能家居领域,可视门铃经常是电池供电,所以对能耗的要求特别高,Mali-C55 的低面积、低能耗特性,使智能可视门铃产品更耐用,并且能够更准确地根据人脸识别的结果进行开锁。

在系统整合方面,Mali-C55 也更易于整合,包括与 ML 加速器整合实现边缘智能终端上本地视频数据处理,以及通过标准的 AXI 和 AHB 接口,与现有的 Arm Cortex-A 和 Cortex-M 系列的 CPU 进行无缝对接。此外,Arm还将Mali-C55与MCU、CPU等IP一起打包推出了视觉的Corstone参考设计,这也极大地降低了客户的设计和验证门槛,帮助客户加速智慧视觉的产品设计和缩短上市时间。


总结

“Arm 架构是物联网的基石。Arm 在 IoT 和嵌入式领域已经有很高的市场份额。在我们的合作伙伴每季度平均出货的70多亿颗基于Arm的芯片中,超过半数是面向物联网/嵌入式设备的。也就是说我们在这方面有很深的积累。”马健分享到。

在端侧智能视觉的发展中,ISP必不可少,而ISP上的布局也将会成为Arm持续关注的方向。凭借着足够优秀的性能表现,再辅以Arm完备的IP生态,Mali-C55的市场前景广阔,预计搭载Mali-C55的芯片跟终端设备有望在 2023 年面市。

声明:本文仅代表作者本人观点,不代表本站观点,如有问题请联系站方处理。
换一批
延伸阅读

太阳网站精英论坛 北京2022年6月24日 /美通社/ -- 近日,第22届IAI传鉴国际广告奖公布,此次广告大赛通过线上的形式发布了本届创意节的优秀获奖案例、人物及公司。凭借"三位一体"的营销数字化体系与...

关键字: AI 数字化 华为 BSP

太阳网站精英论坛南京2022年6月24日 /美通社/ -- 近日,南京钢铁股份有限公司(以下简称:南京钢铁)获得由SGS颁发的SA 8000®太阳网站精英论坛管理体系认证证书,此次获证对提升南京钢铁品牌形象,彰显太阳网站精英论坛,获得...

关键字: ISO 可持续发展 AI ABILITY

人工智能(Artificial Intelligence),英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。

关键字: AI技术 AI 人工智能

太阳网站精英论坛收获接近16.6万个Star、见证深度学习崛起的TensorFlow,地位已岌岌可危。并且这次,冲击不是来自老对手PyTorch,而是自家新秀JAX。

关键字: TensorFlow 谷歌 AI

太阳网站精英论坛3M公司发布科学现状指数调查表明,中国民众对科学和科学家的信任度高于全球平均水平,对于人工智能、自动驾驶和航天科技等新兴技术的创新前景充满希望。

关键字: 谷歌 AI 人工智能

上海2022年6月24日 /美通社/ -- 近期,有着25+年经验的数据服务商澳鹏Appen,在不断助力其自动驾驶客户构建数据资产时发现:如今,企业的数据科学和开发所需机器学习 (ML) 模型的能力已经成熟。然而,他们中...

关键字: APP 自动驾驶 PEN AI

(全球TMT2022年6月23日讯)亚马逊云科技创新大会在线举办。大会以"人工智能新引擎"为主题,包括主题演讲、7大分会场,以及50多位行业专家分享的前沿技术话题及最佳实践。在会上,亚马逊云科技全面阐释了亚马逊云科技通...

关键字: 亚马逊 机器学习 AI ACER

商汤科技及联合实验室共71篇论文入选本届CVPR,再创新高,其中有接近四分之一被录用为Oral(口头报告),涵盖三维视觉、自动驾驶等多个备受关注的前沿研究领域和方向,继续巩固在全球计算机视觉研究领域的领跑势头。

关键字: 商汤科技 AI

(全球TMT2022年6月23日讯)6月21日,"以液冷为基 助力数据中心绿色降碳"绿色算力技术研讨会在线上顺利举行。浪潮信息发布全栈液冷产品——液冷通用服务器、液冷高密度服务器、液冷整机柜服务器、液冷AI液冷服务器等...

关键字: 全栈 AI 数据中心 LM

在2小时的主题演讲上,谷歌梳理了自己现有AI计算的进度,并演示了关键技术应用。并发布了谷歌手机,还提前曝光了谷歌AR眼镜!

关键字: 全志科技 谷歌 AI AR眼镜

编辑精选

论坛活动

技术子站

关闭
必威体育app手机版 太阳集团娱乐网放 必威体育客户端下载 必威体育app平台 必威手机精装版 Betway必威中文官网 威尼斯娱乐手机登录入口 必威体育手机app 必威体育官网app网址 必威体育手机官网网址 威尼斯人棋牌官方网站 必威体育app官方版下载 太阳集团游戏官方网址 必威体育精装版app下载 必威手机注册 菲律宾太阳网城下载 必威平台官方地址 必威体育中文app 必威体育娱乐app下载 菲律宾太阳网城下载 澳门威尼斯人注册网址 必威betway体育官网 必威国际官方网站app 威尼斯人平台app 威尼斯人网上娱乐下载 必威体育app官方版下载 威尼斯人官方 必威体育app官网下载 必威手机下载版 必威网页版登录注册