01U-Net 架構解析:Encoder-Decoder 與 Skip Connection
U-Net 採用極致對稱的 U 型收縮與擴張結構:
- 編碼器 (Encoder - 下採樣):透過連續卷積與 Pooling 提取高階語意特徵,逐步縮小特徵圖尺寸。
- 解碼器 (Decoder - 上採樣):將高階特徵還原回原始影像解析度。
- 跳躍連接 (Skip Connection - 關鍵精髓):將 Encoder 階段的高解析度淺層空間特徵(輪廓、邊緣)直接拼接到 Decoder 同層特徵中,完美解決了下採樣過程中空間細節丟失的問題。
02類別不平衡剋星:Dice Loss 與 Focal Loss 組合拳
在語意分割中,背景像素通常佔據了 95% 以上,而目標瑕疵或腫瘤像素可能不到 1%。若直接使用交叉熵損失 (Cross-Entropy Loss),模型會傾向把所有像素都預測為背景。
我們採用 Dice Loss + Focal Loss 混合損失函數:
$$\mathcal{L}_{Total} = \alpha \cdot \mathcal{L}_{Dice} + (1 - \alpha) \cdot \mathcal{L}_{Focal}$$
直接針對預測 Mask 與真實 Mask 的重疊重合度 (IoU) 進行優化,顯著提升微小邊界的分割精度。
03不同語意分割模型性能評估與對比表
| 模型架構 | Mean IoU / Dice 指標 | 推論記憶體佔用 | 推論速度 (1024x1024) | 最佳適用情境 |
|---|---|---|---|---|
| 經典 U-Net | 86.5% | 小 (極度輕量) | 65 FPS (極快) | 工業瑕疵 Mask、細胞分割 |
| DeepLabV3+ (ResNet-101) | 91.2% | 中等 | 32 FPS | 自動駕駛路面與車道劃分 |
| TransUNet (ViT + U-Net) | 94.8% (極高精度) | 較大 (需 8GB 顯存) | 18 FPS | 高解析度衛星遙測、醫療 3D CT |
04衛星遙測航拍影像與 GIS 坐標對齊實戰
在無人機航拍或衛星影像處理中,分割出來的 Mask 必須轉換為地理資訊系統 (GIS) 座標。我們透過 GDAL 與 GeoTIFF 標頭檔,將模型產出的 2D 像素矩陣直接對映為 WGS84 經緯度座標多邊形 (Polygon),一鍵計算太陽能板覆蓋面積與森林植被覆蓋率。
FAQ常見問題解答
語意分割的 Mask 標註檔案通常是什麼格式?
常見的有單通道 8-bit PNG 影像(像素值代表類別 ID)、JSON 多邊形座標格式 (Labelme / COCO Format) 或 RLE (Run-Length Encoding) 壓縮格式。
Dice Coefficient 與 IoU (Jaccard Index) 有什麼差別?
兩者都是評估重疊度的指標,數學關係為 $\text{Dice} = \frac{2 \text{IoU}}{1 + \text{IoU}}$。Dice 對微小區域變化的敏感度略高,常用於醫療與工業檢測。
高解析度影像 (如 4K 航拍) 該如何進行語意分割?
建議採用重疊切片 (Overlapping Tile Sliding Window) 預測,再透過 Gaussian 權重融合導出完整的無縫大圖 Mask,避免邊界接縫瑕疵。
鳳凰程式工坊提供哪些語意分割技術服務?
我們提供自訂 Mask 標註管道建立、U-Net/DeepLabV3/TransUNet 模型微調、像素級區域面積計算與 GIS 地理資訊系統整合開發。