高速相机作为成像帧率达每秒千帧至百万帧的高端成像仪器，其感知性能对前沿科学探索和尖端装备研发至关重要。然而，相比于普通低速成像，高速成像面临两大固有挑战：一方面，高速成像曝光时间极短（微秒甚至纳秒级），入射光强度极其微弱，量子涨落效应影响显著，弱光、散粒噪声影响严重；另一方面，高速成像每秒生成的数据量极大，海量数据处理导致电路负荷更大，电子热运动、暗电流更强。这些因素导致高速成像图像退化严重、成像画质差，提升成像画质成为拓展高速成像前沿应用的关键瓶颈。
近日，必威betway西汉姆网页版 金一副教授团队提出了面向高速成像的深度图像信号处理(ISP)范式，利用单反成像引导高速成像画质增强，使高速相机在保持极高率的同时（10000fps），实现与单反相机相当的图像质量。相关成果以《Learning Deep ISP for High-Speed Cameras: Achieving DSLR-Quality Imaging Under High Frame Rates》发表在人工智能顶级期刊《IEEE Transactions on Pattern Analysis and Machine Intelligence》上。
研究团队通过设计分光采集系统，建立了首个低质RAW图像到高质RGB图像的大规模数据集（超28万对数据）。针对每个拍摄的场景，研究人员在不同退化水平下记录多张 RAW图像和一张对应的高画质RGB图像，其中高速摄相机帧率从100fps提高到10,000 fps，同时信号增益从0dB提升到40dB。与此同时，单反相机以最低ISO运行，曝光时间则自动调整以最大限度地提高RGB图像的质量。在此基础上，针对高速相机与单反相机传感器像元尺寸、分辨率等导致的固有像素不对齐，研究人员设计了错位感知ISP学习框架，解决像素不对齐下现有深度学习ISP模型易导致图像模糊的问题，实现图像高画质恢复。
必威betway西汉姆网页版 工程科学学院特任副研究员陈怀安和硕士生刘天乐为论文第一作者，金一副教授为论文通讯作者。该作者得到了国家自然科学基金，安徽省自然科学基金，中国科协青年人才托举工程项目的资助与支持。
原文链接：https://ieeexplore.ieee.org/document/11270965
