前沿 | 峰云和南大 共致“多光谱视频成像”领域产业化合作

      2018年5月底,高分辨率光谱视频相机项目正式落户南京江北新区研创园光电科技园,成为南智光电研究院首批引进孵化的项目。

      该项目由南京大学曹汛教授团队和峰云视觉肖峰博士团队联手,依托南京大学南智光电研究院平台和江北新区政策扶持和产业配套优势,开展高分辨率多光谱视频相机的大规模产业化工作。

★南智光电研究院

光谱视频相机项目介绍

      曹汛教授是南京大学电子科学与工程学院非常年轻的正教授和博士生导师,2012年荣获国家技术发明奖一等奖。曹教授团队目前主要从事图像和视频处理、计算机视觉、计算机图形学和多光谱成像方向的研究。据曹汛教授介绍,多光谱视频相机主要是研发和生产新型光谱视频相机产品,打造AI光谱智能分析生态,可以大规模应用于精细农业、环境监测、食品安全等领域。多光谱视频相机从技术上革新了现有光谱相机扫描成像的弊端,将成像速度提升了2-3个数量级,实现了光谱成像由“静”到“动”的飞跃。一是光谱采集光学系统成熟,棱镜掩模式光谱成像原理清晰,光学系统设计和加工难度适中,标定系统和算法明确。二是光谱数据处理算法成熟,团队基于GPU平台成功研制数据实时处理软件。三是光谱云端智能分析技术比较成熟,利用云计算技术,搭建云端大数据智能业务处理平台,根据特征光谱快速给出目标/场景的分析结果。

      项目的创新点在于光谱采集理论和产品结构上的创新。团队在国际上首提棱镜掩模式光谱采集理论,能够实现光谱视频实时采集。除了前端采集设备之外,后端连接着云计算中心“大脑”,建立起一个“以知识库为中心”的生态。

      据峰云视觉创始人肖峰博士介绍,峰云视觉拥有一支国际上少有具备完整的图像传感器、ISP算法、机器学习软硬件研发和量产的团队,目前正在和斯坦福大学和硅谷的龙头企业展开深度合作,这次非常荣幸能够和南京大学曹汛教授团队达成战略合作,共同推进多光谱视频成像这一国际领先技术的大规模产业化应用。

光谱视频相机技术应用

      光谱视频相机因为其得天独厚的技术优势,彻底克服了现有光谱仪扫描速度慢、容易受震动影响并需后期拼接处理的问题,能够获得实时、大视场、高精度的光谱数据,并且可以对观测目标进行快速分析。

农业领域举例如下:

      在精细农业领域,搭载高速无人机对大面积水稻、小麦、大豆等农作物进行快速光谱成像,通过光谱信息精准反算出叶面积指数、含肥量、病虫害等作物的长势情况,提升农牧业的产量和收量,促进新型农牧业的机械化和信息化发展。

★农作物长势评估:

左:作物彩色图像,右:光谱数据测算的叶绿素含量图

附:

南京大学曹汛教授团队介绍

      针对高光谱视频采集的世界性难题, 南京大学曹汛教授团队创新地提出了棱镜掩模式光谱视频采集理论(Prism-Mask Imaging Spectrometer,PMIS),解决了光谱视频成像过程中的高效数据处理与精细光学校准等核心技术难点,先后研制出三代完全拥有自主知识产权的光谱视频成像系统,实现了光谱采集由“静”到“动”、由“图像”到“视频”的飞跃。相关成果发表在计算摄像领域国际期刊IEEE T-PAMI、IJCV、Optics Letters、Optics Express等和国际会议CVPR、ICCV上,申请30余项国内外发明专利,得到美国两院院士S. Nayar教授、德国科学院院士M.Gross教授、哈佛大学、耶鲁大学、杜克大学、加州大学伯克利分校、斯坦福大学、德国马普研究所、法国INRIA、东京工业大学、罗切斯特理工、Rice、以色列理工学院、微软研究院、奥林巴斯研究院等国际知名高校、科研机构和学者的引用与积极评价。该技术被列入2011年欧洲图像领域的最新研究进展报告,2016年被美国空军实验室列为光谱视频成像三大代表性技术之一(另外两项分别是美国DARPA支持研制的CASSI和美国亚利桑那光学中心研制的CTIS)。值得特别强调,PMIS的空间分辨率均高于美国两项技术1个数量级。

峰云视觉介绍

      峰云视觉是一家由多位硅谷海归博士共同创办的,总部位于北京海淀留创园的国家高新技术企业。通过和斯坦福大学深度合作,高效结合硅谷原创核心技术和中国发达地硬科技产业链,峰云视觉致力于成为智能视觉大规模产业化的领导者。核心团队拥有从高性能硬件、软件、图像算法、深度学习算法设计方面的丰富研发和量产经验。公司成立至今,已经量产多款双目相机产品。未来还将陆续推出面向口腔健康、珠宝首饰、消费电子和安防监控应用的多款产品和服务。目前合作客户包括全球领先的多家硅谷企业和中国相关行业的领导者。