2024年9月11日上午，中国科学院大学人工智能学院有幸邀请到了北京大学计算机学院视频与视觉技术研究所副所长施柏鑫老师，在雁栖湖校区教一楼215教室为同学们带来科学前沿讲座——《神经形态相机高速光度属性分析》。事件相机对比逐帧成像的普通相机拥有独特的优势，尤其是其对于高速运动物体和高动态范围场景的感知能力。已有研究充分展示了事件相机在图像去模糊、高动态范围重建、高速检测识别等计算机视觉任务上发挥的优势，然而事件相机的光度成像模型尚未得到充分的分析。本次报告将分享围绕光强高速变化触发事件的光度成像过程进行建模与分析的一系列研究进展。
首先，施老师对神经形态相机的基本概念进行介绍。传统相机在逆光或明亮场景下难以捕捉细节，受限于动态范围和传感器设计。神经形态相机模仿生物视觉原理，通过非传统方式如事件驱动或积分方法记录光强变化，提升了对动态范围和运动敏感性的处理能力，尤其适用于高速运动和低光照环境。紧接着，施老师介绍了光度法的基本原理及其在计算机视觉领域的应用，重点讨论了如何通过捕捉物体在不同光照条件下的图像序列来计算其表面法线，从而实现三维重建。此外，还提到了神经形态相机的发展以及其与光度法模型的结合，展示了利用这些技术进行三维视觉处理的最新进展。
然后，施老师就神经形态相机领域的相关研究成果进行了分享。施老师就通过神经形态相机实现对场景亮度的高效恢复方法，以及其在特定条件下的应用进行介绍。该技术依赖于对亮度差分信号的分析，能够在短时间内准确测量场景中每个像素的强度变化。此外，还探讨了使用不同波长的光源进行实验，以验证该相机对色彩的响应特性，并展示了如何通过这种方法进行彩色图像恢复和超分辨率成像。施老师还探讨了使用神经形态相机进行高速物体跟踪及光照分离的应用，着重于如何利用光线变化触发事件并实现直接与间接光照的即时分离，此外，也提到相关领域的研究进展，如基于物理的计算机识别和结构光技术等。
施老师介绍了一种基于投影和事件相机的技术，用于区分直射光和漫反射光，从而实现图像的精细重建。该技术通过在场景中投射黑白图案，并使用事件相机捕捉光线的变化，解决了传统计算机视觉中难以处理的问题，并讨论了一项利用高速光源和相机技术进行环境检测的研究，该研究特别关注如何在室外环境中实现实时、高精度的光照变化检测。通过实验展示了如何使用定制光源和高速相机捕捉快速移动的目标，以及这种方法如何优于传统的图像处理技术。
紧接着，施老师讨论了一种利用光照变化来建立事件差分模型的方法，并介绍了该方法如何通过数学建模、参数估计及实际应用来解决视觉系统中的问题。首先，通过公式推导得出光照强度的变化关系，并提出一种基于此关系的事件处理算法。随后，探讨了该模型在特定条件下的特性及其对系统性能的影响，如最大值的存在可能导致的非监督系统优化问题。进一步地，通过SVD方法解决了优化问题，并且说明了这种方法在实际工程中的应用情况。此外，还提到了利用深度学习技术对传统模型进行改进的可能性。
在讲座的最后部分，施老师介绍了事件相机的发展及其在不同领域的应用，如图像增强、对焦速度提升、手势识别等。并探讨了相机技术在未来发展的潜力和方向。探讨了利用confusion model和语言引导增强技术研发的方法，尤其在处理光传播时遇到的挑战，如反射和物体遮挡。与此同时，施老师也介绍了团队在神经形态、计算机视觉和深度学习领域的最新研究进展，并强调了将理论应用于实际问题的重要性。大家在本次讲座中受益匪浅。
更多专家信息：
施柏鑫，现任北京大学计算机系数字媒体研究所研究员（“博雅青年学者”）、博士生导师，“相机智能”课题组负责人；北京大学人工智能研究院院长助理。2013至2016年曾先后在麻省理工学院媒体实验室、新加坡科技设计大学、新加坡南洋理工大学从事博士后研究，2016至2017年曾在日本国立产业技术综合研究所人工智能研究中心任研究员。曾获2015年国际计算摄像学大会（ICCP）第二最佳论文。担任国际计算机视觉期刊（IJCV）编委，国际计算机视觉与模式识别会议（CVPR）领域主席。
