监控摄像头和计算机视觉CV处理

成像体系的繁杂水平赓续让人觉得惊讶。如今的环境远不像以前那样简单，我们不克不及简单地将摄像头直接衔接到人工智能（AI）体系长进行阐发，如今，图像（可能来自多个摄像头）在进入AI处置之前，必要颠末一系列计算机视觉（CV）的转换和处置。这种需求在监控摄像头的利用中尤其显著。

监控摄像头需求

监控摄像头的利用越来越普遍，不仅在平安方面，还在本钱治理上。一个显而易见的利用场景便是居家平安。掩护各种市肆避免被比来流行的快速掳掠行动影响越来越紧张，监控摄像头的利用不仅有助于市肆的平安，也能削减我们花费者的损失和麻烦。此外，安装了多光谱摄像头（例如交融了彩色和红外视觉的摄像头）的无人机，凭借其普遍的灵活性，可以探测到早期的野火迹象，并实时关照消防队员毁灭火点，防止火势舒展。同样，配备摄像头的无人机可以对农作物进行巡查，监测浇灌、施肥和害虫治理。

▲图 1：农业中的无人机技术

所有这些利用都必要高质量且紧凑的视觉办理计划，通常必要多个摄像头共同使用，而且要在有限的电力预算下运行。在人工智能（AI）完全接收之前，紧张的计算机视觉（CV）处置功效必需对摄像头图像和视频进行预处置，以满意最新的监控成像质量要求，而这些处置事情是中间处置器（CPU）或神经收集处置单位（NPU）无法高效完成的。

一个有趣但充斥技术挑战的机会

监控摄像头市场已经异常成熟，而且还在增加。环球已有跨越10亿个监控摄像头在使用，此中100百万家庭使用智能家居监控摄像头。并且，预计2022年至2029年时代，环球监控摄像头市场将以16.8%的年增加率连续增加。这种增加很年夜水平上归功于这些体系技术的赓续晋升，尤其是在长途监控的智能装备中。

“智能”便是指人工智能（AI）的部门，但在进入AI之前，这些体系必需可以或许天生同一且清楚正确的场景视图，以便AI可以或许进行阐发。这是什么意思呢。一些摄像头使用鱼眼镜头，可以或许360度全景监控，但图像会很扭曲。其他摄像头使用多个镜头来天生360度视图或广角视图。但这些图像必需无缝拼接成一个完备的视图。您可能在一些新款汽车中见过相似技术，它们天生的全景图像看起来像是从车顶拍摄的，但现实上是由前视、后视和侧视摄像头拼接而成的。

另一个紧张要求是支撑数字化的平移、俯仰和缩放（PTZ）。在高档交通监控摄像头中，支撑PTZ功效并不难，然则在价钱较低的花费者级别监控摄像头或无人机的预算规模内，这种功效并不是天经地义的。然而，我们在这些利用中同样必要，乃至更为必要PTZ功效，以便放年夜可能可疑的区域或查看其他潜在问题。

这些功效必要额外的计算机视觉处置步调，这些步调既不得当前端摄像头图像处置，也不得当后端AI处置。为了实现高质量的及时监控成像，确保精确检测并削减误报，这些步调必要数字旌旗灯号处置器（DSP）级其余精确性和处置才能。

▲图 2：在移动装备长进行图像去畸变处置

Ceva-SensPro2 CV DSP

以上面提到的鱼眼镜头的图像校订为例，这种校订通常必要对整个图像区域进行三角函数变换，而这种义务超越了此类监控成像体系通俗中间处置器（CPU）的才能规模。这是一个典型的计算机视觉（CV）问题，必要年夜量的并行处置，还必要对非线性函数（如三角函数或双曲三角函数）的支撑。

Ceva-SensPro2 DSP系列在一款嵌入式视觉处置器（DSP）中提供了这种支撑，支撑从128到1024个INT8 MAC（也可以设置装备摆设为INT16和浮点运算）。它由六个高度可设置装备摆设的焦点构成，可以或许提供明显的并行处置才能，得当多摄像头利用。它乃至可以或许满意前端AI的需求，最高可达几个TOP，例如根本的物体检测，削减后续AI引擎的负担。

Ceva- SensPro2获得了异常丰硕的利用库的支撑，这些库涵盖了计算机视觉（CV）中的多种处置办法、用于导航的SLAM（如无人机和机械人）以及传统的神经收集AI办法。这些库不仅仅是数学扩大。例如，在计算机视觉方面的支撑当然包含滤波和色彩转换等根本操作，同时也直接支撑经由过程多种尺度算法进行特性检测和图像畸变校订。对付平移、俯仰和缩放（PTZ）操作，库中提供了图像变换功效以及数学和向量处置功效。在AI收集库的支撑中，包含张量操作、卷积、池化、激活和递归等功效。所有这些都在一个开放源代码框架上运行，可以移植到SensPro2上。