NEWS动态

你给我们一个空间,我们能做得更好
You give us a lot of space, we can do

客服

机器视觉重要基础)pdf

  • 时间:2019-10-22
  • 浏览:

  呆板视觉体系组成 • 概述 • 组成各部门先容 • 项目斥地 图像与视觉 图像 安防监控、显微成像、医疗影像、天文观测; 航天测绘、智能交通 视觉(视+觉) 轮廓质地检测、工件尺寸丈量和定位、百般标 识的识别等,电子、半导体、包装、印刷… 呆板视觉(Machine Vision) 机 器 视 觉 + (Machine) (Vision) 机器 运动 职掌 视(硬件) 觉(软件) 蕴涵光源、镜头、相机、 呆板视觉是一个别系的观念,利用新颖先辈的职掌 图像搜集卡等。 本领、阴谋机本领及传感本领,显示为光机电的结 合。 凌云公司的标语:“竭力于为呆板植入眼睛 和大脑!” 为什么要采用呆板视觉 节减时分 消浸分娩本钱 优化物流经过 缩短呆板停工期 进步分娩率和产物格地 减轻测试及检测职员劳动强度 裁汰不足格产物的数目 进步呆板愚弄率 呆板视觉使用简介 GIGI(Gauge、Inspection、Guide、dentification) 一、Gauge(Measurement) 呆板视觉使用简介 二、Inspection(使用边界最广) 呆板视觉使用简介 三、Guide 呆板视觉使用简介 四、Identification 呆板视觉道理简介 体系组成: 呆板视觉道理简介 一、光源(光源是基准,打光是艺术) 品种:LED、萤光灯、卤素灯(光纤光源)、出格光源 Garbage In, Garbage Out 特性:LED寿命长/能够有百般色彩/便于做成百般丰富式样/光 匀称不变/能够闪光; 萤光灯光场匀称/代价低廉/亮度较LED高; 卤素灯亮度分表高/通过光纤传输后可做成 有用的团结与疏通 客户:“进步质地咱们才力占据越来越多的墟市” 发卖:“咱们须要零缺陷发货” 执掌者:“拟订消灭(消浸)缺陷的铺排,如采用视觉体系” 品保:“为到达6Sigma 方针,咱们有100多个缺陷要处分” MV供应商:“将每种缺陷周密界说并归类” 光源供应商:“咱们应当依照云云的形式来做!” MV供应商:“云云做的花费是这么多!” 品保:“也许只检10个缺陷就足够了” 执掌者:“何如才力避免咱们将这类出缺陷的货发出去?” 发卖:“多坏才是足够好呢?” 光源为什么 好的打光形式等于胜利了一泰半(Garbage in,Garbage out) 光源调造方针消息后传达探测器给(将方针念成咱们己方) 探测器所得回的光后必需蕴涵足够的消息以便星散感兴会的要紧特质 消息,并便于照料器将它们划分开来(光源是基准,打光有手艺) 咱们的方针即是最大化感兴会区域的特质同时抑止其他的特质(噪声) 光源为什么 光源(光源是基准,打光有手艺) 品种:LED、萤光灯、卤素灯(光纤光源)、出格光源 Garbage In, Garbage Out 特性:LED寿命长/能够有百般色彩/便于做成百般丰富式样/光 匀称不变/能够闪光; 萤光灯光场匀称/代价低廉/亮度较LED高; 卤素灯亮度分表高/通过光纤传输后可做成 照明规定 1、光后 、光后、照明的要紧效用是发作光学信号 4 、裁汰噪声是照明要处分的要紧题目之一 5、唯有来自于方针并来到镜头的光后、进入镜头但非来自方针的光后为杂散光,它消浸图像质地 7、来自方针苟且点的光后都应填满镜头的入瞳 光学器件 镜头聚焦或散漫光后 反射器(镜面)更改光道(角度) 分光器半透半反 棱镜分光 偏光片抑止反光,应力探测 漫射片柔化光的分散,进步匀称性 滤光片过滤改良光源的光谱属性 光纤 固定的光散布体系 光源选取的幼心事项 影响成分: 相机的光谱相应特征、式样、打光形式(dark field, bright field, low angle, structure light)、 LED器件(色彩、 发光角、 亮度、寿命等)、辅帮本领(偏光片、滤光片、漫射 片等) 即组织、光谱、强度、寿命、改良本领、代价等) 选取规定: 知足使用、归纳思虑; 表面阐述+实行; 处分题目的大凡经过 提出题目 界说检测方针 征采拟订完善的规格列表 可行性探索 这个零件是何如被肉眼看到的? 这个零件将何如照正在其上的光的特征? 将己方念成是阿谁零件 观念安排 实行室的一再实行 原型机分娩 批量分娩,先辈筑筑 光源选取的幼心事项 影响成分: 相机的光谱相应特征、LED器件(色彩、发光角、 亮度、寿命 等)、式样、打光形式(dark field, bright field, low angle, structure light)、辅帮本领(偏光片、滤光片、漫 射片等) 选取规定: 知足使用、归纳思虑; 表面阐述+实行; 呆板视觉道理简介 二、镜头(低通滤波器,达成信号传达) 接口形状:C-Mount/CS-Mount/F- Mount/Others 镜头类型:模范、远心、广角、近摄、远摄等 选取依照:相机接口/物距/拍摄边界/CCD尺寸/畸 变的应许边界/放大率/焦距/光圈等 2)镜头 几何光学成象公式(Basic Formula) 要紧参数:光圈、景深、相对孔径、视场角、口径、放大率、焦距、传 函、光谱 放大率(Magnification) 视场(Field of View) 作事间隔(Working Distance ) 分辩率(Resolution) 光圈与景深 光圈(Aperture ) 景深(Depth of Field) 光圈越大景深越幼 镜头闭系参数 放大率 焦距 对焦边界 f-N F数 失真 视场 f-number 征采光后的才略 景深 分辩率 失真 分辩率和调造传达函数MTF 成像体系的品格大凡用调造传达函数MTF 来描绘,其界说如下: VB 低频暗区最低亮度。 VW 低频亮区最高亮度。 Vmin 频率 f 处的最低亮度。 Vmax 频率 f 处的最高亮度。 低频对照度 C(0) =(V - V )/(V +V ) 。 W B W B 频率 f 处的对照度 C( f ) =(Vmax - Vmin)/(Vmax + Vmin) MTF( f )= 100%*C( f )/C(0) 分辩率和调造传达函数MTF 表征分辩率的目标是 MTF。 MTF 描绘的是成像体系 的空间频率相应。右 图为佳能镜头实例。 兰实线:镜头+胶片 的MTF; 兰虚线:镜头的MTF。 分辩率和调造传达函数MTF 由100% 到 2% 的对照度图 形。MTF = 50%为中等对照 度,MTF = 2% 被以为是人视觉对 比度的极限,低于 2% 无法分别。 分辩率和调造传达函数MTF 体系传达函数 MTF =MTF ×MTF ×MTF ×MTF 体系 镜头 CCD 像移 大气 CCD传达函数 个中 p 为像元间距, a 为像元尺寸, k 为角 频率,而 h(x) 为单元脉冲相应 分辩率和调造传达函数MTF CCD像面上,每毫米像元数的1/2称为该CCD 的Nyquist 频率。 如XC -75CE,程度像元尺寸 为8.6 μm ,笔直像元尺寸为 8.3 μm。该CCD程度和笔直 Nyquist 频率诀别为 1000/(2 ×8.6)= 58 lp/mm 1000/(2 ×8.3)= 60 lp/mm 呆板视觉光学体系 光学体系 镜头(低通滤波器,达成信号传达) 反光镜(更改光道) 棱镜、分光镜、聚光棒(镜) 光源、偏光片、滤光片等 接口 要紧有螺口和卡口两种 螺口:0.75 (M42/M58/M72等)、 C/CS(32thread/inch) 卡口:F口(Nikon)、Cannon、Petax等 远心镜头 正在丈量体系中,物距常产生变动,从而使像高产生变动,以是测得 的物体尺寸也产生变动,即发作了丈量差错; 假使物距是固定的,也会由于CCD敏锐轮廓不易切确调理正在像平面 上,同样也会发作丈量差错。 采用远心物镜中的像方远心物镜能够消灭物距变动带来的丈量误 差,而物方远心物镜则能够消灭CCD处所造止带来的丈量差错。 Standard Lens Telecentric lens 呆板视觉体系的组成—光学体系 远心镜头 远心镜头 远心镜头 远心镜头正在呆板视觉中的使用 正在用于丈量的呆板视觉中,有少少成分影响 丈量精度或反复性。 a) 物体处所变动惹起比例尺更改; b) 畸变 c) 投影差错 d)物体角落丈量差错大 有一种镜头能够很大水平上消浸以上差错, 乃至消灭这些差错,这种镜头即是远心镜头。 远心镜头正在呆板视觉中的使用 要是一个镜头的投影中央正在无尽远,称其为 物方远心镜头。 平淡镜头 物方远心镜头镜头 远心镜头正在呆板视觉中的使用 平淡镜头f = 12 mm, 相机CCD为1/3” , 参观间隔s = 200 mm ,高为H = 20 mm的物体。要是物 体由原处所转移了s = 1mm,则高度丈量 值的变动为 DH=(ds/s)·H=(1/200) ·20 mm = 0,1 mm 正在焦深边界内像面转移有什么影响? 远心镜头正在呆板视觉中的使用 远心镜头中,这种比例尺的变动取决于远心斜率θ。 较好的远心镜头,其 远心斜率为0,1°(1.7 mrad) 足下。这就意 味着,正在与前面物体 同样转移1 mm 的情 况下,丈量值只变动 了0,0017 mm 。 远心镜头正在呆板视觉中的使用 投影差错的改良 远心镜头正在呆板视觉中的使用 远心镜头能够改良平淡镜头丈量中的角落效应 左图:平淡镜头丈量时,因为 投影差错(物体动摇)和边缘 杂光的影响,丈量精度消浸。 左图:远心镜头能够 改良因为物体动摇和 边缘杂光的影响,提 高丈量精度。 远心镜头正在呆板视觉中的使用 为了更大水平的消灭角落效应的影响,彩票时时彩官方网站采用与镜 头成婚的远心光道照明体系。 远心镜头正在呆板视觉中的使用 远心镜头的甜头: 没有视差畸变 是尺寸丈量的理念镜头 能够正在作事间隔变动的要求下精细丈量 下面的看法也是过错的: 远心镜头景深长 唯有远心镜头才力达成精细丈量 远心镜头正在呆板视觉中的使用 远心光道成像是呆板视觉中一个很紧张的原 理。可是它有一个很大的污点,那即是远心镜头 的口径起码要与须要参观的物体尺寸相称或更大。 这也是为什么远心镜头额表贵的来因之一。 镜头的畸 变 像面弯曲 球面像差 枕形失真 桶形失真 色散 像散,散光 规定一:相机芯片尺寸 镜头尺寸≧相机芯片尺寸 CCD芯片尺寸 出格之处:1inch = 16mm ≠25.4mm 呆板视觉体系的组成—光学体系 镜头的接口形状 可选用影相机镜头例子 卡口名称 镜后间隔 内口径 表口径 几 Bronica ETR Mount 74mm φ74mm 种 Bronica GS Mount 85mm φ81mm Canon EOS Mount 44.0mm φ51.2mm(53.9mm) φ64.9mm 常 Contax Mount 31.75mm φ44mm 用 Hasselblad Mount 74.9mm φ69mm 卡 Leica R Mount 47.15mm φ49mm Mamiya 645 Mount 63mm φ62mm 口 Mamiya RZ Mount 104mm φ60mm 镜 Nikon F Mount 46.5mm φ44mm(47mm?) 头 Nikon S Mount 31.95mm φ44mm 的 Olympus Pen F Mount 29.3mm φ41mm Pentax 645 Mount 71mm φ61.2mm 参 Pentax 67 Mount 85mm φ72mm 数 Rolei 6006 Mount 82mm φ66.5mm 规定二:相机接口类型 相机接口的品种 接口类型 后截距 接口 C Mount 17.526m 螺口 m CS Mount 12.5mm 螺口 F Mount 46.5mm 卡口 接口配套的规定 相机接口 C Mount CS Mount F Mount 可配镜头接口 C/F+转接器 CS/C+节圈 F 规定三:镜头作事间隔 体系安排与镜头作事间隔的选取 1. 先选取镜头,后安排体系 2. 尽能够选取成熟已有的产物 3. 镜头的作事间隔蕴涵了一个区间的观念 规定四:镜头视场角 视场-视场角 作事间隔与视场-焦距 像元分辩率 是体系安排的一项枢纽目标 确定放大率 详细使用的束缚要求 丈量,检测(色彩)→确定畸变率、色差 物距与安置尺寸→确定焦距与变焦边界 光强及其相似性→确定光圈及调理边界 相机 →确定接口形式与靶面 检测方针和哀求的相似性→确定是否须要变焦、变倍、 变光圈 辅帮本领 接圈 转接环 定做 三、芯片及相机(光电转换器) 填充因子(Fill factor) 呆板视觉道理简介 C C A/D D 呆板视觉相机: 品种:线&面、隔/逐、黑/彩、数/模、低/高、CCD/CMOS 目标:象元尺寸、分辩率、靶面巨细、感受弧线、动态边界、机灵度、速率、 噪声、填充因子、体积、质地、作事处境等 作事形式:Free run、Trigger (多种)、长时分曝光等 线扫描体系 Encoder Sensor Page trigger Line trigger 工业面阵相机体系 Trigger Proximity sensor 隔行/逐行 Xsub Xsg1 Xsub Xsg2 Xsg1 Shutter Odd Shutter r V r c V e e c Even e e Photo diode g r g d r i t i t Photo diode s i s i (pixel) t c t c e a (pixel) e a r l r l c c d Video out Horizontal ccd Horizontal ccd register register Progressiv Interlace Progressiv Interlace e e Moving object 彩色相机 G B G B G B B R R G ul ur ul ur u R G R G R b r Gle g Gr G B G B G Bll Blr Rll Rlr Gl g=1/4(G +Gr+G +G ) b=1/4(B +B +B +B ) r=1/4(R +R +R +R ) u l le R G R G R ur ul ll lr ur ul ll lr B R G B G B G u u Bayer Filter b b=1/2(B +B r r=1/2(R +R CV-M77 R G R G R u l u l B ) R ) l l B b B R r R l r r l b=1/2(Br+B ) r=1/2(Rr+R ) l l 彩色相机 m mm 3.3 o c . h t m c a m e 3 m t / m t m m h r 1 m 4 g o 6 . i l f e 6 r 4 e ” p t y s 3 u / T l . 1 w w mm 8.4 w t m a 2 m m m / m m r 1 m 8 4. o e f 6 ” p 8 2 y / T 1 mm 6.6 m m t m m m a t 3 m 1 m / 1 8. a r 2 1 8 o e 1 m f p r ” 3 y o / T F 2 D C mm 3.9 C t a 1 m m e m m r m o p 6 m f m ” y 1 6 8 T 1 1 . 2 1 : l a : n y o e n g g e o a a z S i i D m s I 表触发 Edge Pre Select (EPS) Edge Pre Select (EPS) Trigger 自触发信号消浸沿起源曝光 自触发信号消浸沿起源曝光 Exposure Video read out (fixed) 曝光时分为事先设定的常数 曝光时分为事先设定的常数 Pulse Width Control (PWC) Pulse Width Control (PWC) 自触发信号消浸沿起源曝光 自触发信号消浸沿起源曝光 Trigger 曝光时分由触发信号脉宽职掌 曝光时分由触发信号脉宽职掌 Exposure Video read out Frame Delay Readout (FDR) Frame Delay Readout (FDR) 自触发信号消浸沿起源曝光 自触发信号消浸沿起源曝光 Trigger 曝光时分为事先设定的常数 曝光时分为事先设定的常数 Exposure Delay Video read out 延迟输出至下一触发信号的消浸沿 (fixed) 延迟输出至下一触发信号的消浸沿 Moving object 多相机同时作事 表同步 表同步 表同步信号输入 表同步信号输入 各相机用己方的时钟来运转 各相机用己方的时钟来运转 统统相机都利用统一个时钟源 统统相机都利用统一个时钟源 Camera 1 Camera 2 Camera 3 Camera 1 Camera 2 Camera 3 Camera 1 Camera 2 Camera 3 Camera 1 Camera 2 Camera 3 要是方针运动,则会显露图像处所纷歧 统统图像处所都额表相似 要是方针运动,则会显露图像处所纷歧 统统图像处所都额表相似 致景象,正在1个H内 致景象,正在1个H内 Binning 和Partial scnan Normal output image Image with vertical 2 :1binning 512 lines Full 1024 lines 1280 pixels 1280 pixels Normal Partial 1/2 Smear and antiblooming Noise 随机噪声 暗电流 固定噪声(FPN) 相应不相似 (PRNU) 坏点 Average for 1 line Dark Signal Average for 1 line Signal Factor1 Factor 1 随机噪声 Peak-to-peak at output RMS at output Dynamic range Signal to noise ratio Decibels Noise equivalent exposure Measured with minimum gain Dark Current Due to semiconductor physics Doubles every 7°C Global correction in camera is common Usually not a problem High temperature 10 or 12 bit digitization Fixed Pattern Noise (FPN) Caused by non-uniformities of readout circuits and signal cross-talk Largely removed in CCDs by double correlated sampling Usually not a problem with 8 bit digitization Graph courtesy of JAI 相机机灵度变动: 光谱分散 红表截止滤光片 输出光后的何如被丈量(处所) 相机的增益设备 输出放大倍数 曝光时分 选型时要紧思虑成分 分辩率 速率 机灵度 体积/重量 接口 … 呆板视觉道理简介 四、搜集卡(达成信号的搜集与形式转换) 分类:模仿(模范和非模范)/数字、单通道/多通道 要紧目标:搜集频率(速率)、接口、Buffer巨细、预处 理效用、支撑相机的品种、职掌效用、I/O点数 代劳公司:CORECO、COGNEX、Epix 呆板视觉道理简介 相机设备文献(怒放式的、非怒放式的cognex) 附加效用:LUT、DMA、Buffer、 Pixel Resequenc Trigger-to-image Reliability等 选取规定:接口(相机)、速率、牢靠性等知足哀求、软件 平台、性价比等 呆板视觉道理简介 呆板视觉道理简介 模仿相机:CCIR/EIA, Non-Standard RS-422/LVDS 高速,牢靠性高,传输间隔远,支撑多相机相联。管脚界说不联合, 电缆本钱高。 Camera Link 高速,高牢靠性。未便于多相机相联和会合职掌,电缆代价高。 IEE1394 矫捷性高,本钱低。传输间隔短,牢靠性低。 USB2.0 矫捷性高,本钱低。传输间隔短,牢靠性低,本领不可熟。 Gigabit Ethernet 矫捷性高,可扩充性强,支撑远间隔传输,支撑多点传输,本领成 熟,鲁棒性强,本钱低。 呆板视觉道理简介 五、图像照料卡(达成图像照料的百般运算) 五、图像照料卡(达成图像照料的百般运算) 品种:DSP、FPGA、PowerPC。嵌入式体系也是开展趋向之一 品种:DSP、FPGA、PowerPC。嵌入式体系也是开展趋向之一 呆板视觉道理简介 六、图像照料软件(呆板视觉的中枢) 平台:VisionPro,Sapera,eVision,Halcon, Mil,CVB,Labview,OPCV,etc 国产呆板视觉软件 凌云公司的自帮软件-VisionWare,中国首个呆板 视觉软件平台国内第一家拥有自帮学问产 权的呆板视觉平台软件供应商! VisionWare特性 类库的封装形式,适于采用VC6的斥地,便于整合 AvtiveX版本的封装正正在举办中 参照表洋的成熟软件包斥地,练习其工程化的器械效用及 封装形式,所供应器械的检测速率、本能可媲美表洋同类 产物 硬件无闭,可利用百般搜集硬件举动图像源 低本钱高本能处分计划的首选 使用行业:半导体、PCB、LCD、大凡电子、汽车零部件、 包装、印刷等 VisionWare效用先容 定位器械 面定位器械:不带挽救和比例效用 几何定位器械:几十ms;多方针查找、角度、scale; 丈量器械:线、圆、圆弧、线对等及间隔丈量 Blob器械 色彩检测器械:色彩标定、颜色空间转换、色彩 识别、色差丈量等 VisionWare胜利案例及正在研项目 DieBonder 呆板视觉道理简介 选取及评估图像软件: 选取:性价比、现正在要求束缚、OEM商的永远 开展; 评估:速率、精度、牢靠性(光照、挽救、掩护、 图像质地差等) 呆板视觉道理简介 呆板视觉体系的分类: Smart Camera; PC-Based; Embeded; 呆板视觉道理简介 体系评估及选型:精度 速率 牢靠性 精度:为什么要到达这么高的精度?高精度意味着高价值。体系的差错分 配,体系精度、机台精度、职掌传感精度,视觉部门的精度(分辩率、图 像质地、安置精度、镜头、标定形式、算法、处境等) 速率:总目标、职掌部门、行为的配合及调解、通讯速率、搜集速率(硬 件)、照料速率(阴谋机硬件、软件算法、图像质地等) 牢靠性:硬件的牢靠性、软件算法的牢靠性及不变性、体系安排的牢靠性 等 近况—狼狈与疑惑 呆板视觉是伪科学不行知论 漏检和误检 统一对象差别的结果 反一再复未见真 一齐皆有能够 已经养正在深闺人未识—贵族般的光环 替换人眼并高于人眼 缺乏会意,企望过高 近况—狼狈与疑惑 结果的结果 不管白猫黑猫,逮住老鼠的才是好猫 影响服从和效劳 双输vs双赢 结果什么才是确切的? 幼心驶得万年船 不做第一个吃螃蠏的人 团结 甲乙两边富裕的疏通和配合 勇于容许未必好,敢于说不未必欠好 措施—概述 1、需求会意/阐述/确认;(前期多疏通很紧张) 2、样品计划/测试;(须要客户亲昵配合) 3、体系软/硬件选型;(确保性价比最好) 4、体系斥地安排;(厉酷按项目执掌(PM)形式举办) 5、现场试运转/豪爽测试;(必不行少,须要配合) 6、体系的部分修正和圆满;(往往耗时较多) 7、体系验收; 8、职员培训与体系庇护;

友情链接