本发明涉及计算机视觉技术领域,具体涉及基于dlp和相机标定的用于机器人的视觉装置及测量方法。
背景技术:
随着工业机器人技术的不断成熟、工业机器人价格的不断降低以及用工成本的逐年升高,以机器换人力成为了现代企业的首要诉求之一。工业机器人正在加速融入社会生产、生活的方方面面,并发挥着越来越重要的作用。工业自动化控制领域,结合机器视觉的工业机器人主要用于对空间目标物体位姿的自动测量和定位控制,其应用包括物件的自动分拣、自动装配、自动焊接、自动喷涂、自动搬运。工业机器人极大地提高了对工业物质产品地生产速度,将生产劳动工人从脏乱、危险和重复性机械劳动中解放出来。结合双目视觉的机器人控制系统能够大大增加机器人对环境的适应能力和控制柔性,提高对产品的加工精度,增加机器人可靠性和灵活性并拓展机器人的应用范围。
在传统的物料分拣中大部分采用的是人工分拣,这样方式生产效率低,生产成本高,企业的竞争能力差。如今各类企业的自动化程度越来越高,物料的自动分拣已成为企业必须要掌握的生产技术。在大批量工业生产过程中,用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。随着工业生产自动化技术应用的不断深入,越来越多的用户开始要求能够实现三维立体视觉的检测,这推动了双目视觉技术从实验室到产业化的快速发展之路。
物体的三维测量主要分为接触式和非接触式两大类。接触式测量的典型代表是三维坐标测量机,这种测量方式以精密机械为基础,综合应用光学、电子学、计算机和数控等先进技术,测量精度可高达微米级,是迄今为止最具通用性的传统坐标测量方法。但是,该方法始终存在着一些无法克服的弊端:它采用点接触的测量方式,不适用于柔软物体的测量,尤其是那些测头不宜接触的表面;测量速度慢,效率低;测量机的结构复杂,对工作环境要求较高,应用范围受到很大限制。总体来看,接触式三维测量已经难以满足快速准确的测量需求。比较而言,非接触三维测量方式则有效避免了上述缺陷,在测量范围、测量效率上均有较大提高,且对所测工件的要求亦有所降低。非接触三维光学测量分为被动式和主动式,被动式三维测量中,景物的照明由物体周围的光照条件提供,则不需要额外的光源,通过一定的技术从一个或多个摄像系统获取被测物的三维信息,被动式三维测量精度低,计算量较大,不适用精密计量。
技术实现要素:
本发明的目的在于针对现有技术的缺陷和不足,提供主动式三维非接触式测量从而控制机器人进行分拣工作,提高作业的效率与准确率,适用于工业现场及机器人中,测量准确性高、高效性,有效改善传统算法视差图中的条纹现象的基于dlp和相机标定的用于机器人的视觉装置及测量方法。
为实现上述目的,本发明采用以下技术方案是:
基于dlp和相机标定的用于机器人的视觉装置,包括机器人手臂、设置于机器人手臂上的视觉装置,视觉装置包括设于机器人手臂上的下壳体、下壳体上设有用于将格雷码编码图案导入并投射到待拍摄物体上的dlp投影仪、设于dlp投影仪光轴的中心轴线成中心对称的用于图像采集处理的相机、与下壳体配合的开设有三个用于dlp投影仪光轴和两个所述相机光轴穿出的透视窗的上壳体,两个所述相机光轴所在平面与dlp投影仪光轴所在平面在同一水平面,三个光轴交于一点。
进一步改进的是:下壳体上固设有用于固定相机的l型相机支架。
进一步改进的是:所述透视窗上设置有与透视窗大小配合的透明玻璃。
基于同一发明构思,本发明还提供基于dlp和相机标定的用于机器人的视觉装置的测量方法,包括如下步骤:
步骤一:将下壳体安装在机器人手臂上,并将dlp投影仪安装在下壳体上,依据测量范围从而确定相机到dlp投影仪光轴的中心轴线的距离,确定两个相机光轴所在平面与dlp投影仪光轴所在平面在同一水平面,三个光轴交于一点,将开设有三个用于dlp投影仪光轴和两个所述相机光轴穿出的透视窗的上壳体与下壳体配合;
步骤二、利用相机标定原理标定两个相机,得到两个相机的内外参数;
步骤三、根据格雷码编码原理生成格雷码编码图案并导入dlp投影仪中;
步骤四、利用dlp投影仪将格雷码编码图案投射到待拍摄物体上,并使用两个相机同步采集保存图像;
步骤五、对采集保存的图像进行图像滤波并二值化处理,然后进行格雷码解码运算得到真实相位值;
步骤六、采用动态规划算法对图像进行两个相机的立体匹配,得到其视差图,之后得到摄物体的三维点云数据。
进一步改进的是:所述格雷码编码图案的编码方式为先将7位格雷码的128个编码全部列出来;然后以相反的顺序再列一次,形成一个256的序列,也就是256个序列,最后将前半部分128个编码的前面补一个0,后半部分128个编码的前面补一个1,此时就完成了8位格雷码的编码;最后将每个格雷码的第x位按照从高到低的顺序组成一个二进制序列,并且序列中的值若为0则置为黑色,为1则置为白色,得到8幅8位的格雷码编码图案。
进一步改进的是:所述格雷码解码具体步骤为图像处理获取合适的阈值对采集保存的图像进行二值化,转换为只有两个灰度等级和的图像的二值图像,依次获取其各个像素的二进制数作为格雷码值;将格雷码值转化成二进制码,转化方法最高位保持不变,依次用前一位该位做异或处理;把二进制码转化成十进制码。
采用上述技术方案后,本发明有益效果为:主动式三维非接触式测量从而控制机器人进行分拣工作,提高作业的效率与准确率,适用于工业现场及机器人中,测量准确性高、高效性,有效改善传统算法视差图中的条纹现象。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明的结构示意图;
图2是本发明中下壳体、l型相机支架的结构示意图;
图3是本发明中格雷码编码图案;
图4是本发明中格雷码转化为二进制码的公式图;
图5是本发明中立体匹配的基本原理图。
附图标记说明:下壳体1、dlp投影仪2、相机3、上壳体4、l型相机支架5。
具体实施方式
下面结合附图对本发明专利的技术方案进行清楚、完整的描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域所属的技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。在不冲突的情况下,本申请中的具体实施方式中的特征可以相互组合。
参看图1至图5所示,本具体实施方式采用的技术方案是:
基于dlp和相机标定的用于机器人的视觉装置,包括机器人手臂(图中未示出)、设置于机器人手臂(图中未示出)上的视觉装置,视觉装置包括设于机器人手臂(图中未示出)上的下壳体1、下壳体1上设有用于将格雷码编码图案导入并投射到待拍摄物体上的dlp投影仪2、设于dlp投影仪2光轴的中心轴线成中心对称的用于图像采集处理的相机3、与下壳体1配合的开设有三个用于dlp投影仪2光轴和两个所述相机3光轴穿出的透视窗的上壳体4,两个所述相机3光轴所在平面与dlp投影仪2光轴所在平面在同一水平面,三个光轴交于一点。相机3相对于dlp投影仪2光轴的中心轴的轴心距为120mm,下壳体1采用铝材制成,上壳体4采用塑料材料3d打印而成,上壳体4与下壳体1通过螺钉固定。下壳体1上固设有用于固定相机3的l型相机支架5。l型相机支架5一侧通过相机3安装尺寸加工的三个螺纹孔用以固定相机3,另一侧加工三个沉头螺纹孔用来将l型相机支架5固定在下壳体1上,在下壳体1中心按照dlp投影仪2安装尺寸加工出螺纹通孔,用来固定dlp投影仪2,l型相机支架5的设置能够提高相机3的安装固定的效果,起到很好的连接关系。所述透视窗上设置有与透视窗大小配合的透明玻璃。透视窗安装上透明玻璃,其中透视窗的大小根据相机3的镜头大小、dlp投影仪2的镜头大小进行加工,透明玻璃的设置能够减少工作环境中粉尘等污染物对dlp投影仪2、相机3的污染。
基于同一发明构思,本发明还提供基于dlp和相机标定的用于机器人的视觉装置的测量方法,包括如下步骤:步骤一:将下壳体1安装在机器人手臂(图中未示出)上,并将dlp投影仪2安装在下壳体1上,依据测量范围从而确定相机到dlp投影仪2光轴的中心轴线的距离,确定两个相机3光轴所在平面与dlp投影仪2光轴所在平面在同一水平面,三个光轴交于一点,将开设有三个用于dlp投影仪2光轴和两个所述相机3光轴穿出的透视窗的上壳4体与下壳体1配合;将视觉装置安装在机器人手臂(图中未示出)末端。步骤二、利用相机标定原理标定两个相机3,得到两个相机3的内外参数;两个相机的标定和单个相机的标定最主要的区别就是两个相机需要标定出左右相机坐标系之间的相对关系。单个相机标定主要使用张正友标定法,它的基本原理为:
其中,αx=f/sx,αy=f/sy,αx、αy、u0、v0只与相机内部参数有关,因此m1称为相机内部参数矩阵,而m2表征相机坐标系与世界坐标系的齐次变换,称之为相机外部参数,m=m1·m2,它表示了图像坐标系中的点与世界坐标系中点之间的关系,称之为投影矩阵。
两个相机标定最主要的目的:是要得求出每个相机的内参数矩阵k和畸变系数矩阵d,左右两个相机的相对位置关系(即右相机头相对于左相机头的平移向量t和旋转矩阵r)。
t=tr-rtl
rl、tl为左相机头经过单目标定得到的相对标定物的旋转矩阵和平移向量,rr、tr为右相机头经过单目标定得到的相对标定物的旋转矩阵和平移向量。左右相机分别进行单目标定,就可以分别得到rl、tl,rr、tr带入上式就可以求出左右相机之间的旋转矩阵r和平移t。
步骤三、根据格雷码编码原理生成格雷码编码图案并导入dlp投影仪2中;步骤四、利用dlp投影仪2将格雷码编码图案投射到待拍摄物体上,并使用两个相机3同步采集保存图像;步骤五、对采集保存的图像进行图像滤波并二值化处理,然后进行格雷码解码运算得到真实相位值;步骤六、采用动态规划算法对图像进行两个相机3的立体匹配,得到其视差图,之后得到摄物体的三维点云数据。
动态规划算法进行两个相机的立体匹配,最终得到三维点云数据。其中动态规划的动力学模型为:
v(j,s)=min(v(j-1,s-1),v(j-2,s-1),v(j-3,s-1),...,)+w(j,s)
v(j,s)为阶段到达左图第j个特征点的累积价值,w(j,s)元素值即相位绝对差值,min是最小值符号。从集合b寻找集合a的匹配点转化成在相位矩阵g上寻找最上层到最底层的最佳路径问题。其中定义集合a为左扫描线上的有相同格雷码的一个像素集,集合b为右扫描线上具有和集合相同格雷码的像素集,且集合a有个m元素,集合b有n个元素,则集合a和集合b可以构成一个m*n的矩阵g,矩阵元素值为对应像素的相位差绝对值。最后进行匹配后期处理,利用行列双向动态规划来去除错误视差,然后对视差进行水平和竖直方向上的滤波。所述格雷码编码图案的编码方式为先将7位格雷码的128个编码全部列出来;然后以相反的顺序再列一次,形成一个256的序列,也就是256个序列,最后将前半部分128个编码的前面补一个0,后半部分128个编码的前面补一个1,此时就完成了8位格雷码的编码;最后将每个格雷码的第x位按照从高到低的顺序组成一个二进制序列,并且序列中的值若为0则置为黑色,为1则置为白色,得到8幅8位的格雷码编码图案。所述格雷码解码具体步骤为图像处理获取合适的阈值对采集保存的图像进行二值化,转换为只有两个灰度等级和的图像的二值图像,依次获取其各个像素的二进制数作为格雷码值;将格雷码值转化成二进制码,转化方法最高位保持不变,依次用前一位该位做异或处理;把二进制码转化成十进制码。
采用上述技术方案后,本发明有益效果为:主动式三维非接触式测量从而控制机器人进行分拣工作,提高作业的效率与准确率,适用于工业现场及机器人中,测量准确性高、高效性,有效改善传统算法视差图中的条纹现象。
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式,并且很显然,根据上述教导,可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用,从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。
技术特征:
1.基于dlp和相机标定的用于机器人的视觉装置,包括机器人手臂、设置于机器人手臂上的视觉装置,其特征在于:视觉装置包括设于机器人手臂上的下壳体、下壳体上设有用于将格雷码编码图案导入并投射到待拍摄物体上的dlp投影仪、设于dlp投影仪光轴的中心轴线成中心对称的用于图像采集处理的相机、与下壳体配合的开设有三个用于dlp投影仪光轴和两个所述相机光轴穿出的透视窗的上壳体,两个所述相机光轴所在平面与dlp投影仪光轴所在平面在同一水平面,三个光轴交于一点。
2.根据权利要求1所述的基于dlp和相机标定的用于机器人的视觉装置,其特征在于:下壳体上固设有用于固定相机的l型相机支架。
3.根据权利要求1所述的基于dlp和相机标定的用于机器人的视觉装置,其特征在于:所述透视窗上设置有与透视窗大小配合的透明玻璃。
4.利用上述权利要求1-3中基于dlp和相机标定的用于机器人的视觉装置的测量方法,其特征在于:包括如下步骤:
步骤一:将下壳体安装在机器人手臂上,并将dlp投影仪安装在下壳体上,依据测量范围从而确定相机到dlp投影仪光轴的中心轴线的距离,确定两个相机光轴所在平面与dlp投影仪光轴所在平面在同一水平面,三个光轴交于一点,将开设有三个用于dlp投影仪光轴和两个所述相机光轴穿出的透视窗的上壳体与下壳体配合;
步骤二、利用相机标定原理标定两个相机,得到两个相机的内外参数;
步骤三、根据格雷码编码原理生成格雷码编码图案并导入dlp投影仪中;
步骤四、利用dlp投影仪将格雷码编码图案投射到待拍摄物体上,并使用两个相机同步采集保存图像;
步骤五、对采集保存的图像进行图像滤波并二值化处理,然后进行格雷码解码运算得到真实相位值;
步骤六、采用动态规划算法对图像进行两个相机的立体匹配,得到其视差图,之后得到摄物体的三维点云数据。
5.根据权利要求4所述的测量方法,其特征在于:所述格雷码编码图案的编码方式为先将7位格雷码的128个编码全部列出来;然后以相反的顺序再列一次,形成一个256的序列,也就是256个序列,最后将前半部分128个编码的前面补一个0,后半部分128个编码的前面补一个1,此时就完成了8位格雷码的编码;最后将每个格雷码的第x位按照从高到低的顺序组成一个二进制序列,并且序列中的值若为0则置为黑色,为1则置为白色,得到8幅8位的格雷码编码图案。
6.根据权利要求4所述的测量方法,其特征在于:所述格雷码解码具体步骤为图像处理获取合适的阈值对采集保存的图像进行二值化,转换为只有两个灰度等级和的图像的二值图像,依次获取其各个像素的二进制数作为格雷码值;将格雷码值转化成二进制码,转化方法最高位保持不变,依次用前一位该位做异或处理;把二进制码转化成十进制码。
技术总结
本发明提供一种应用于计算机视觉技术领域的主动式三维非接触式测量从而控制机器人进行分拣工作,提高作业的效率与准确率,适用于工业现场及机器人中,测量准确性高、高效性,有效改善传统算法视差图中的条纹现象的基于DLP和相机标定的用于机器人的视觉装置及测量方法。包括机器人手臂、设置于机器人手臂上的视觉装置,视觉装置包括设于机器人手臂上的下壳体、下壳体上设有用于将格雷码编码图案导入并投射到待拍摄物体上的DLP投影仪、设于DLP投影仪光轴的中心轴线成中心对称的用于图像采集处理的相机、与下壳体配合的开设有三个用于DLP投影仪光轴和两个所述相机光轴穿出的透视窗的上壳体,两个所述相机光轴所在平面与DLP投影仪光轴所在平面在同一水平面。
技术研发人员:陈曼林;张锴;王平江;徐慧;洪亮;张雪俊;焦明杰
受保护的技术使用者:泉州华中科技大学智能制造研究院;泉州华数机器人有限公司
技术研发日:.12.13
技术公布日:.02.28