電腦視覺中的整合應用
圖像修補(Image Inpainting):
生成式組件:
使用生成對抗網絡(GANs)或擴散模型(Diffusion Models)
來填補圖像中的缺失部分。
例如,這些模型可以根據周圍像素生成可能的內容。
鑑別式組件:
一個獨立的鑑別模型評估生成的修補結果,選擇最真實或與上下文最一致的版本。
特別是在美術修復中,這種方法能確保生成的內容符合特定畫家的風格。
例子:研究顯示,在美術修復中,生成模型產生多個可能的修補結果,
鑑別模型則根據畫家風格分配概率,選擇最佳結果。
應用場景:文化遺產保護,修復損壞的藝術品。
Anomaly Detection(異常檢測):
生成式組件:
學習正常數據的分佈,例如工廠產品的標準圖像。
鑑別式組件:
將新數據與生成的 分佈比較,識別異常情況,
例如檢測缺陷產品。
應用場景:工業質量控制、安防監控。
視覺基礎模型(Visual Foundation Models, VFMs):
這些模型在大型數據集上預訓練,能同時
執行 生成任務(如文本生成圖像)和 鑑別任務(如圖像分割)。
整合方式:
VFMs結合了生成式和鑑別式的能力,實現了零樣本泛化,
適用於多種電腦視覺任務。
例子:如DALL-E模型可生成圖像,也可通過適配進行圖像分類。