一种基于三维模型的图像数据集生成方法
(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910891377.3
(22)申请日 2019.09.20
(71)申请人 西安知象光电科技有限公司
地址 710077 陕西省西安市高新区丈八街
办锦业路69号创业研发园C区1号瞪羚
谷70104室
(72)发明人 李欢欢　
(74)专利代理机构 北京科亿知识产权代理事务
所(普通合伙) 11350
代理人 党桃桃
(51)Int.Cl.
G06T  3/00(2006.01)
G06T  17/00(2006.01)
(54)发明名称
一种基于三维模型的图像数据集生成方法
(57)摘要
本发明涉及计算机视觉，计算机图形学和图
像处理领域，特别是一种基于三维模型的图像数
据集生成方法。本发明方法通过三维模型分别向
模拟相机和模拟投影仪投影，模拟出相机采集到
的纹理图像和投影仪投影的结构光图像；通过坐
标的对应关系将结构光编码信息叠加到纹理图
上，得到含有结构光的纹理图；根据坐标对应关
系得到相机采集图像上点所对应的投影坐标系
的坐标，得到视差图。本发明通过模拟相机和投
影仪的方法，利用三维模型生成对应的深度图、
纹理图、投影结构光、结构光纹理图、匹配点坐标
和匹配视差图，控制改变其中的参数可以产生多
组对应数据，
极大丰富了数据集内容。权利要求书4页  说明书9页  附图2页CN 110619601 A 2019.12.27
C N  110619601
A
1.一种基于三维模型的图像数据集生成方法，其特征在于，包括如下步骤：
(1)通过三维模型分别向模拟相机和模拟投影仪投影，模拟出相机采集到的纹理图像和投影仪投影的结构光图像；
(2)通过坐标的对应关系将结构光图像的编码信息叠加到纹理图像上，得到含有结构光的纹理图像；
(3)根据三维模型与模拟相机和模拟投影仪的对应关系，得到含有结构光纹理图像与模拟投影仪的结构光图像的匹配点对，从而得到匹配点坐标，进而得到视差图；
(4)通过改变步骤(1)、步骤(2)、步骤(3)中的参数产生多组对应数据，生成图像数据集。
2.根据权利要求1所述基于三维模型的图像数据集生成方法，其特征在于，所述步骤
(1)具体包括如下步骤：
(a)获取三维模型；
(b)模拟相机的设置；
(c)三维模型向模拟相机投影，模拟出相机采集到的纹理图像；
(d)模拟投影仪的设置；
(e)三维模型向模拟投影仪投影，模拟出投影仪投影的结构光图像。
3.根据权利要求2所述基于三维模型的图像数据集生成方法，其特征在于：
所述步骤(a)获取三维模型的方法包括三维扫描仪、深度感知设备、三坐标测量机、人工建模；所述步骤(a)获取的三维模型中的纹理信息为灰度信息或彩信息；步骤(b)所述模拟相机为一个或多个；步骤(d)所述模拟投影仪为一个或多个。
4.根据权利要求2所述基于三维模型的图像数据集生成方法，其特征在于，所述步骤
(b)的具体过程为：
第一步，将三维模型的坐标系原点设置在三维模型的重心处：
得到坐标系原点在重心的模型P w(x w,y w,z w；I w)；
第二步，设置模拟相机坐标系原点，即模拟相机的光心在三维模型坐标系中的位置O c
(x c0,y c0,z c0)和模拟相机坐标系到三维模型坐标系的旋转向量求出旋转矩阵R c:
其中，αc表示绕x轴旋转的角度，βc表示绕y轴旋转的角度，γc表示绕z轴旋转的角度，据此将三维模型从重心坐标系转到模拟相机坐标系P c(x c,y c,z c；I c)：
之后设置模拟相机的焦距f c、分辨率w c*h c、主点坐标C c(c cx,c cy)和像原尺寸μc(d cx,d cy)参数。
5.根据权利要求2所述基于三维模型的图像数据集生成方法，其特征在于，所述步骤
(c)的具体过程为：
通过设置的模拟相机参数构建投影矩阵M c：
其中，焦距f c、分辨率w c*h c、主点坐标C c(c cx,c cy)和像原尺寸μc(d cx,d cy)参数；
由此可得三维模型到模拟相机像平面的投影坐标p c(u c,v c)：
根据坐标的对应关系，可以将分辨率范围内的点(1≤u c≤w c,1≤v c≤h c)投影到模拟相机像平面上，得到模拟相机采集到的纹理图像I_c texture(u c,v c；I c)及其对应的深度图像I_
c depth(u c,v c；z c)。
6.根据权利要求2所述基于三维模型的图像数据集生成方法，其特征在于，所述步骤
(d)的具体过程为：
在光学传递中，投影仪装置可以看作一个逆向的相机，因此模拟投影的设置与模拟相机类似，即模拟投影仪的光心在三维模型坐标系中的位置O p(x p0,y p0,z p0)和模拟投影仪坐
标系到三维模型坐标系的旋转求出旋转矩阵R p，据此将三维模型从重心坐标系转到模拟投影仪坐标系P p(x p,y p,z p)：
[x p,y p,z p]T＝R p[x,y,z]T-[x p0,y p0,z p0]T    (2.3)
之后与设置模拟相机相似，设置模拟投影仪的焦距f p、分辨率w p*h p、主点坐标C p(c px, c py)和像原尺寸μp(d px,d py)，构建投影矩阵M p：
7.根据权利要求2所述基于三维模型的图像数据集生成方法，其特征在于，所述步骤
(e)的具体过程为：
根据模拟投影仪的分辨率和编码方法生成模拟投影仪投影的结构光图像I_p struct(u p, v p；I p)，正弦编码的结构光，其一般式为：
I p＝A+B cos(2πfx+φ)        (3.1)
其中，I为编码灰度值，A表示正弦编码的平均光强，B表示正弦编码的调制度，f为正弦编码的频率，x为编码点的坐标，φ为正弦编码的初始相位；
所述模拟投影仪投影的结构光为人为设置的数字编码结构光，所述人为设置的数字编码结构光包括线结构光、正弦结构光或伪随机编码结构光中任意一种。
8.根据权利要求1所述基于三维模型的图像数据集生成方法，其特征在于，所述步骤(2)的具体过程为：
通过步骤(1)模拟投影仪的参数和得到的结构光图像，可以得到I_p struct的坐标p p(u p, v p)和P p的坐标(x p,y p,z p)对应关系：
通过P p，P0，P c，得到I_p struct的坐标p p和I_c texture坐标p c的对应关系；
定义权重系数ζ，ζ＜1，即叠加图想中投影图像像素所占的比例，将I p与I c叠加为I cp，并保存在相机像平面坐标系p c(u c,v c)中，即得到含有结构光的纹理图像I_c struct(u c,v c；I cp)，其中：I cp＝(1-ζ)I c+ζI p    (4.2)。
9.根据权利要求1所述基于三维模型的图像数据集生成方法，其特征在于，所述步骤(3)的具体过程为：
将点p c(u c,v c)所对应的点p p(u p,v p)的坐标保存在p c(u c,v c)坐标系中，得到模拟相机坐标到模拟投影仪坐标的映射表Map x(u c,v c；u p)和Map x(u c,v c；v p)；同样将其坐标的差值保存下来可得视差图I_disparity x(u c,v c；u p-u c)、I_disparity y(u c,v c；v p-v c)。
10.根据权利要求1所述基于三维模型的图像数据集生成方法，其特征在于，所述步骤
(4)的具体过程为：
icp申请
通过模拟相机和模拟投影仪，从三维信息P(x,y,z；I)中获得了一组二维数据，所述二维数据包括I_c texture(u c,v c；I c)、I_c depth(u c,v c；z c)、I_p struct(u p,v p；I p)、I_c struct(u c,v c；
I cp)、Map x(u c,v c；u p)、Map x(u c,v c；v p)、I_disparity x(u c,v c；u p-u c)和I_disparity y(u c,v c；v p-v c)；
通过修改模拟相机和模拟投影仪的参数，所述参数包括O c(x c0,y c0,z c0)、(αc,βc,γc)、f c、w c*h c、C c(c cx,c cy)、μc(d cx,d cy)、O p(x p0,y p0,z p0)、(αp,βp,γp)、f p、w p*h p、C p(c px,c py)、μp (d px,d py)、结构光编码方法I p中任意一个或多个参数，即可得到另外一组数据；
通过一个三维数据集{P(x,y,z；I)}，得到一个图像数据集。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。