18884710760
技术文章
导读
新型传感器技术为许多应用——特别是对速度和效率要求较高的领域打开了全新的大门。 这项突破性技术的正式名称是 “基于事件的视觉传感器"，简称 EVS。本次带来的是友思特合作伙伴IDS的重磅产品——uEye EVS事件相机。
一、突破性的传感器技术及其背景
要精确记录和分析快速运动并非易事。 虽然高分辨率、高帧率的高速相机能捕捉丰富细节，但它们产生的数据量非常庞大，给存储、传输和处理都带来了压力。这些数据中还夹杂着大量无关的静态信息，需要耗费大量精力去过滤。如果采用低帧率模式，数据量倒是减少了，却容易导致画面模糊或丢失细节。
因此，使用传统相机（基于图像的相机）往往需要在细节和数据量之间做出取舍。不过，运动信息其实还有另一种记录方式，一种受人脑机制启发的新型传感器技术，可以使得效率更高，数据量大幅减少。
正是采用了这种思路。 它不再生成海量的冗余图像信息，而是聚焦于场景中真正发生变化的部分。 这样一来，就能用大幅缩减的数据量，获取高精度的运动信息。这为许多应用——特别是对速度和效率要求很高的领域打开了全新的大门。 这项突破性技术的正式名称是 “基于事件的视觉传感器"，简称 EVS。
基于事件的成像（又称神经形态传感器技术）模拟了人类神经系统的信息处理方式。理解其原理的关键在于认识到：人类大脑的进化优势不仅体现在高效处理来自眼睛的大量连续光信号，更在于它能敏锐响应亮度差异、对比度和运动的变化，而忽略恒定不变的刺激。这意味着我们的大脑主要关注场景中的动态变化，而非持续捕捉静态环境的每一个细节，从而避免被冗余信息淹没，实现快速的信息处理。
为复现这种能力，Prophesee 与索尼合作开发了专用像素电路，其核心功能是仅检测并记录变化。当某个像素的对比度变化超过特定阈值时，便会触发一个“变化事件"。每个像素独立工作，实时响应变化，不受固定帧率限制。相邻像素事件间的最小时间间隔——称为“时间分辨率"——是该传感器的重要特性。索尼 IMX636 传感器的时间分辨率高达 1 微秒，实现了超高速、近乎“无间隙"的运动捕捉。若使用传统图像传感器达到同等变化捕捉速度，帧率需超过每秒 10,000 帧！
二、无完整画面，仅捕捉变化
传统图像传感器按固定间隔传输整个传感器表面的完整图像数据，而事件相机在同一时间段内通常只生成极少量的数据。这使得应用开发者无需在高帧率与海量冗余数据之间妥协，即可精准捕捉快速事件。原因在于：事件相机（EVS）的数据量取决于视野内的活动强度，并随场景动态自动调整。与固定帧率的图像传感器不同，事件相机像素仅在场景变化时才传输信息、产生数据流。
三、从运动模糊到运动清晰
传统传感器受技术限制，在拍摄快速运动时易产生运动模糊。当物体边缘等对比度边界在曝光期间跨越多个相邻像素时，每个像素会采集运动物体不同位置的光线。运动越快或曝光越长，清晰无失真图像的获取就越困难。相比之下，事件相机像素持续分析入射光，仅通过比较器记录光强的增减。一旦变化超过设定阈值，便生成时间精度约 1 微秒的“开"或“关"事件。即使是最快的运动，也能被事件技术逐像素精确扫描，形成高分辨率、无运动模糊的像素事件序列，清晰描绘运动轨迹。
核心机制： 每个事件像素持续监测入射光，当光强变化（上升或下降）超过特定阈值时，即触发“变化事件"。
每个EVS像素连续记录入射光，并在光强超过一定阈值时产生“变化事件"，无论是向上还是向下。
图像相机 vs. 事件相机：数据对比
特性 | 基于图像的相机 | 基于事件的相机 |
数据内容 | 完整传感器图像 | 像素事件 |
附加信息 | 所有像素亮度值（0-255） 彩色信息（RGB） | 事件位置坐标（X/Y) 事件极性（开/关） 精确时间戳（T) |
数据量 | 固定帧率 规格决定 | 异步触发，与场景活动相关 |
数据特点 | 高空间分辨率 高数据速度 | 超时间分辨率 数据量小 信息效率高 |
事件相机的原生输出数据（X/Y位置、开/关极性、时间戳T）——即变化事件流——极其紧凑高效，但不直接生成传统图像。这种形式非常适合机器与算法处理，但对人类不够直观。若需可视化结果，生成的图像类似于经边缘检测处理后的 2D 图像，因为运动中的对比度变化在物体边缘最为显著。
仅记录关键变化使数据量大幅缩减，显著降低了存储需求和处理负担。此外，事件信息本身就蕴含运动模式与方向特征。事件间的时间间隔可直接用于计算像素或物体的运动速度，无需从海量图像中费力分离目标与静态背景。
数据量的精简使得许多分析过程可近乎实时进行。多相机系统的实现也更为便捷，技术复杂度显著降低。主机 PC 的图像处理能力要求以及线缆、电源等外围设备均可设计得更精简、更经济。
五、创新应用：事件驱动的慢动作与流动分析
凭借微秒级精度的时间戳和每个独立像素事件的位置，事件数据催生了全新的应用可能。变化事件本身已包含宝贵信息，并可从中推导出更多关键洞察。受限于固定采样率和庞大冗余数据，传统相机难以捕捉或容易丢失这类信息。
高精度慢动作： 将捕获的像素事件按时间网格累积，可生成具有可变“曝光时间"的慢动作视频。播放速度可灵活调整：从超慢动作（每事件一帧）到实时速度（约每 33 毫秒一帧），直至静止图像。汇总所有事件，即可呈现完整的运动历史。
精准量化分析： 可直接提取速度和方向信息，对物体运动进行精确数值分析，省去复杂的图像处理步骤。
流动可视化： 在特定时间段内累积多个像素事件的位置和时间，并在 3D 空间中呈现，可定性地展示运动路径，有助于理解物体在时空中的运动方式。例如，在流体力学中，此方法能以精度检测液体和气体的流动。
基于事件的数据积累为流可视化和量化创造了理想的分析数据
专家点评： “在需要异常高帧率（如 1000Hz）的应用（如流动可视化）中，传统图像相机方案通常复杂且昂贵。借助事件相机技术，我们实现了相当于每秒 10,000 帧甚至更高的性能。关键在于，数据传输量显著减少，仅需 USB 等标准接口，这使得创新技术对教学和研究机构具备吸引力。"
— 安德烈・布鲁恩博士，亚琛 iLA_5150 GmbH 流体力学开发主管
六、新数据，新方法
要充分利用事件传感器提供的新型信息流，开发者需突破传统的周期性图像处理框架。虽然可将事件数据汇总成传统图像帧进行处理，但是它未能充分利用事件数据的高时间精度和高效性。
高效提取和处理事件数据中的模式、运动、时间与结构信息，需要专门的功能、工具和算法。这些在现有的（基于图像的）标准视觉框架中尚不可用。
为此，Prophesee 和索尼开发了配套处理方法，并通过 Metavision SDK 软件开发套件提供了实用功能、详尽文档和丰富示例，帮助用户快速上手并挖掘这项创新技术的潜力。
操作 IDS EVS 相机 “uEye XCP-E" 非常简单。在主机 PC 安装 IDS HAL 插件后，相机即可无缝接入 Prophesee 的 Metavision SDK。查看操作指南视频，立即体验。
七、实时高精度：EVS 赋能质量保证
神经形态传感器的能力在质量保证与提升领域同样重要，尤其适用于对检测准确性、速度和效率要求较高的场景。例如，在机器与过程监控中，其价值在于能以像素级精度实时捕捉微小的物体与材料变化。得益于低微秒级的时间分辨率，甚至可清晰可视化高频振动或声学信号。分析系统能及早发现异常模式（如由磨损或故障引起），预防潜在的损坏或生产中断。
由于神经形态传感器仅感知运动或对比度变化，其对光照变化的敏感度远低于传统系统，在存在反射、阴影等复杂光线下表现更优。在快速缺陷检测、过程监控或恶劣条件下的检测任务中，质量保证流程必将受益于神经形态传感器的良好性能。
八、EVS：趋势还是必然选择？
事件传感器不捕捉完整图像，仅记录随时间变化的像素信息。然而，这些变化可用于动态编译出多样化的可视化效果，为应用提供远超传统图像传感器的运动信息。因此，两者并非竞争关系！ 事件传感器并非传统图像相机或 AI 图像处理的通用替代品，而是一种互补技术。它在运动记录方面开辟了全新维度。
在众多应用中，单一传感器或数据类型往往不足。通常需要融合不同信息，结合不同相机类型，才能满足客户需求。因此，对于高速运动分析、工业质检、机器人技术和自主系统等领域，事件相机是一个前景广阔的关键组件。
关注微信