npu-cvpg

光场成像及处理

光场成像理论与方法是计算摄像学领域的研究热点，同时也是近年来国内外学界关注的焦点之一。在继承传统数字成像理论和方法的基础上，光场成像理论通过研究和创新成像模型、改进成像硬件设计，实现了对空间中光线传播位置与角度信息的同时记录，取得了可变视点、数字重聚焦、景深扩展及可调等新颖的成像效果。其研究内容涉及计算机视觉、计算机图形学、信号处理、现代光学等领域，具有明显的多学科交叉特色。光场成像理论不仅为高质量视觉信息获取提供了新的思路，还为计算机视觉问题的求解提供了更优的数据保证，已成为数字成像技术与计算摄像学的重要理论创新点和技术增长点。

全部 2020 2019 2018 2017 2016 更多...

基于光场成像的儿童社交行为理解研究 [正在进行...]

主持人：王雪 | 项目批准号： 61801396 | 资助部门：国家自然科学基金 | 起止时间： 2019-01-01/2021-12-31 | 项目类型：青年基金

4D Light Field Segmentation from Light Field Super-pixel Hypergraph Representation
Xianqiang Lv, Xue Wang, Qing Wang, Jingyi Yu
IEEE Transactions on Visualization and Computer Graphics, 2020, Early Access
Paper | Code | BibTeX | Github

多视光场计算理论与关键技术研究 [正在进行...]

主持人：王庆 | 项目批准号： 61531014 | 资助部门：国家自然科学基金委 | 起止时间： 2016-01-01/2020-12-31 | 项目类型：重点项目

以多视光场数据关联性为研究对象，构建多视光场理论与模型，提出光场相机参数标定方法、参数估计误差分析及精确度度量方法，突破多视光场深度估计、光场超分辨率重建，光场编辑及三维重建等关键技术，研制多视光场数据获取系统，完成全景光场合成、光场高分辨率立体视频生成两个典型应用验证。

Revisiting Spatio-Angular Trade-off in Light Field Cameras and Extended Applications in Super-Resolution
Hao Zhu, Mantang Guo, Hongdong Li, Qing Wang, Antonio Robles-Kelly
IEEE Transactions on Visualization and Computer Graphics, 2020, Early Access
Paper | Code | BibTeX | Github

Full View Optical Flow Estimation Leveraged from Light Field Superpixel
Hao Zhu, Xiaoming Sun, Qi Zhang, Qing Wang, Antonio Robles-Kelly, Hongdong Li, Shaodi You
IEEE Transactions on Computational Imaging, 6(1):12-23, 2020.
Paper | Code | BibTeX | Github

4D Light Field Superpixel and Segmentation
Hao Zhu, Qi Zhang, Qing Wang, Hongdong Li
IEEE Transactions on Image Processing, 29(1):85-99, 2020.
Paper | Code | BibTeX | Github

Ray-Space Projection Model for Light Field Camera
Qi Zhang, Jinbo Ling, Qing Wang, Jingyi Yu
IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, USA, 10121-10129
Paper | Code | BibTeX | Github

A Generic Multi-Projection-Center Model and Calibration Method for Light Field Cameras
Qi Zhang, Chunping Zhang, Jinbo Ling, Qing Wang, Jingyi Yu
IEEE Transactions on Pattern Analysis and Machine Intelligence, 41(11):2539-2552, 2019.
Paper | Code | BibTeX | Github

Motion-based Temporal Alignment of Independently Moving Cameras
Xue Wang, Jianbo Shi, Hyun Soo Park, Qing Wang
IEEE Transactions on Circuits and Systems for Video Technology, 27(11):2344-2354, 2017
Paper | Code | BibTeX | Github

High Angular Resolution Light Field Reconstruction with Coded-Aperture Mask
Wanxin Qu, Guoqing Zhou, Hao Zhu, Zhaolin Xiao, Qing Wang, Rene Vidal
IEEE Int. Conf. on Image Processing (ICIP), Beijing, China, pp.3036-3040
Paper | Code | BibTeX | Github

Extending the FOV from Disparity and Color Consistencies in Multiview Light Fields
Zhao Ren, Qi Zhang, Hao Zhu, Qing Wang
IEEE Int. Conf. on Image Processing (ICIP), Beijing, China, pp.1157-1161
Paper | Code | BibTeX | Github

Seeing Beyond Foreground Occlusion: A Joint Framework for SAP Based Scene Depth and Appearance Reconstruction
Zhaolin Xiao, Lipeng Si, Guoqing Zhou
IEEE Journal of Selected Topics in Signal Processing, 11(7):979-991, 2017
Paper | Code | BibTeX | Github

Light Field Imaging: Models, Calibrations, Reconstructions, and Applications
Hao Zhu, Qing Wang, Jingyi Yu
Frontiers of Information Technology & Electronic Engineering, 18(9):1236-1249, 2017
Paper | Code | BibTeX | Github

Occlusion-Model Guided Anti-Occlusion Depth Estimation in Light Field
Hao Zhu, Qing Wang, Jingyi Yu
IEEE Journal of Selected Topics in Signal Processing, 11(7):965-978, 2017
Paper | Code | BibTeX | Github

4D Light Field Superpixel and Segmentation
Hao Zhu, Qi Zhang, Qing Wang
IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Hawaii, USA, pp. 6709-6717
Paper | Code | BibTeX | Github

Aliasing Detection and Reduction Scheme on Angularly Undersampled Light Fields
Zhaolin Xiao, Qing Wang, Guoqing Zhou, Jingyi Yu
IEEE Transactions on Image Processing, 26(5): 2103-2115, 2017
Paper | Code | BibTeX | Github

Dense Depth-map Estimation and Geometry Inference from Light Fields via Global Optimization
Lipeng Si, Qing Wang
Asian Conference on Computer Vision (ACCV), Taipei, China, pp.83-98, 2017
Paper | Code | BibTeX | Github

光场相机成像模型及参数标定方法综述
张春萍, 王庆
中国激光(Chinese Journal of Lasers), 43(6):0609004, 2016
Paper | Code | BibTeX | Github

基于摄像机阵列多深度线索的场景深度估计及优化方法 [已完成]

主持人：王庆 | 项目批准号： 61272287 | 资助部门：国家自然科学基金委 | 起止时间： 2013-01-01/2016-12-31 | 项目类型：面上项目

三维场景深度获取一直是计算机视觉领域关注的重点之一，也是该领域众多其他问题，如三维重建、场景分割、视觉导航等相关研究的关键步骤。针对现有单一深度线索进行场景深度估计存在较大误差这一问题，本项目研究利用摄像机阵列多视点采样中所蕴含的多种深度线索来进行深度估计的方法，着重从三个方面探索多深度线索融合下的深度估计与优化方法，包括多深度线索获取、多线索融合的深度估计方法、多线索相互约束的深度估计优化方法。在多深度线索获取方面，项目组首先搭建了摄像机阵列系统的软硬件平台，并对其进行精确标定。本项目分别从对极面图、不同深度的重聚焦图像、共聚焦图像等数据源中提取结构线索、不同深度视差线索以及模糊线索等深度线索。进而，通过对其特性分析可以发现视差线索与模糊线索之间存在互补性。在多深度线索融合的深度估计方法方面，项目组首先研究了光场结构线索，提出了基于全局可控点的结构张量视差估计法。进而，研究组利用模糊线索并引入一种基于分割树的代价聚合算法对深度进行估计。对于自然场景中普遍存在的遮挡问题，研究组提出了光场下场景深度估计的多遮挡模型。最终，研究组在光场理论分析的基础上，提出了将视差线索与聚焦线索相融合的场景深度估计思路，进而提出了基于马尔科夫随机场理论融合视差法与变焦法优势的场景深度计算方法，与基于单一深度线索的场景几何结构恢复方法相比，该类方法具有更优的精度和鲁棒性。在深度估计优化方法方面，研究组给出了多视点图像匹配中的外点去除算法，在凸优化理论基础上，提出了一种基于惩罚线性回归的外点去除算法，有效去除了外点干扰；此外，研究组就遮挡区域深度特性进行研究，并提出一种基于表面相机的立体匹配抗遮挡全局优化方法，能有效处理遮挡部分；针对光场图像的混叠问题，研究组提出了一种基于随机遮挡孔径的角度域图像混叠检测方法，进而提出了基于混叠检测的共聚焦图像抗混叠处理方法，提高了共聚焦图像的生成质量。此外，研究组还开展了多个扩展技术与应用的研究，如多视点视频同步、光场超像素分割、光场局部特征子及其在活体人脸检测的应用等。

在本项目资助下，研究组申请发明专利4项，发表学术论文20篇，其中SCI二区期刊论文2篇，CCF认定的A类会议2篇。培养了青年教师2名并且均获得了自然科学基金青年基金资助，培养了5名博士研究生和10名硕士研究生。

关键词：深度估计；摄像机阵列；多深度线索；全局优化；深度评价模型

基于光场分析的多线索融合深度估计方法
杨德刚，肖照林，杨恒，王庆
计算机学报 (Chinese Journal of Computers), 38(12):2437-2449
Paper | Code | BibTeX | Github

Aliasing Detection and Reduction in Plenoptic Imaging
Zhaolin Xiao, Qing Wang, Guoqing Zhou, Jingyi Yu
IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Columbus, USA, pp. 3326-3333
Paper | Code | BibTeX | Github

光场成像的轴向超分辨率方法研究 [已完成]

主持人：肖照林 | 项目批准号： 61501370 | 资助部门：国家自然科学基金委 | 起止时间： 2016-01-01/2018-12-31 | 项目类型：青年科学基金

高角度分辨率光场数据获取与图像生成方法研究 [已完成]

主持人：周果清 | 项目批准号： 61401359 | 资助部门：国家自然科学基金委 | 起止时间： 2015-01-01/2017-12-31 | 项目类型：青年科学基金