Vision Guided Robot:工業相機手眼校正與機械手臂視覺導引夾取
單純的 AI 只能在畫面上畫框(輸出像素座標 $(u, v)$),但機械手臂需要的是毫米級的物理世界座標 $(X_w, Y_w, Z_w)$ 與夾爪旋轉角度 $\theta$。鳳凰程式工坊實現從工業相機取像、AI 目標姿態估計、手眼校正 (Hand-Eye Calibration) 到 TCP/IP 封包直通機械手臂 (Fanuc, ABB, Yaskawa, Hiwin, Universal Robots) 的完整視覺導引夾取系統!
端到端工業視覺系統工作流程 (Pipeline Architecture)
相機內參標定 (Camera Intrinsics)
使用張氏標定法 (Checkerboard / Charuco) 計算焦距 $f_x, f_y$ 與鏡頭畸變係數 $k_1, k_2, p_1, p_2$。
手眼九點標定 (9-Point Calibration)
建立相機像素座標系與機械手臂基座標系 (Base Frame) 之間的仿射轉換矩陣 $M$。
AI 即時物件偵測與中心點定位
YOLOv8 定位隨機擺放之工件,並計算物件最小外接矩形 (MinAreaRect) 之旋轉傾角 $\theta$。
空間座標映射與高度補償
將 $(u, v, \theta)$ 瞬間映射為手臂目標座標 $(X_{robot}, Y_{robot}, Z_{robot}, Rz)$。
Socket 通訊與夾爪運動控制
透過 Ethernet TCP/IP 或 Modbus TCP 將座標封包發送至手臂控制器,完成 0.8 秒極速抓取。
實測數據與方案性能對比 (Benchmark Evaluation)
| 技術規格項目 | 傳統治具固定定位 (無視覺) | 一般第三方視覺插件 | 鳳凰客製化手眼整合系統 |
|---|---|---|---|
| 工件擺放寬容度 | 極差 (必須精確卡入治具) | ± 30 mm 範圍內 | 任意角度、任意隨機散落 (360° 旋轉) |
| 手眼校正精度 (Repeatability) | 需高精密機械加工 | ± 0.5 mm | ± 0.08 mm (高精度九點標定 + 畸變校正) |
| 換線與新工件導入時間 | 需重新開模洗治具 (2~4 週) | 需調參數天 | 新增 50 張照片訓練,1 天內即刻換線 |
| 相機安裝方式支援 | 無 | 僅限固定式 Eye-to-Hand | 支援 Eye-to-Hand (架在頂部) & Eye-in-Hand (裝在手臂端) |
| 手臂控制器通訊支援 | I/O 觸發 | 特定廠牌受限 | Fanuc / ABB / Yaskawa / UR / Hiwin / TM / Kawasaki |
手眼標定核心數學:九點標定法與仿射矩陣
在 2D 平面抓取應用中,相機像素座標 $(u, v)$ 與機械手臂世界座標 $(X_R, Y_R)$ 的映射關係可表示為仿射變換矩陣 (Affine Transformation Matrix):
$$\begin{bmatrix} X_R \\ Y_R \\ 1 \end{bmatrix} = \begin{bmatrix} a_{11} & a_{12} & t_x \\ a_{21} & a_{22} & t_y \\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} u \\ v \\ 1 \end{bmatrix}$$
透過在視野範圍內選取 9 個不同點進行示教採樣,利用最小平方法 (Least Squares) 解算矩陣係數,能完全補償相機安裝時的傾斜角度與比例縮放誤差,確保機械手臂下刀抓取百發百中!