建立AI審核機制
為了使 AI專案 在 規劃期 能解決 對應問題 且 不會帶來 潛在風險,
上線營運後 能確保其 表現 與 風險因素 受良好監督,
採取AI審核 對 AI專案 來說非常重要。
AI審核需要
1.分析AI演 算法如何運作、
2.AI是否按預期運作以及
3.運作過程中是否產生其他對社會危害。
因此,完 整之AI審核計畫 涉及對
人工智慧系統的設計、開發、部署和運行進行全面檢查,
以確 保 其 符合 道德、法律 和技術標準。
1. 規劃審核範圍和目標 •
訂立AI專案的AI審核具體目標:
常見包含資料存放、演算法偏 見、資安議題等。
•確定AI審核的範圍與週期:
需 審核之系統、應用程式和流程, 並規劃審核的固定週期。
•確定AI審核的項目:
基礎審核 項目包含數據安全隱私、模型可 解釋性與透明度、是否存在偏 見、
模型效能表現、模型是否符 合法律與規範及模型對使用者可 能帶來的潛在影響。
可參考1.5 章AI應用挑戰相關之議題。
2. 收集審核所需準備資料 •
收集有關審核範疇相關的系統檔案,
如
1系統規格書、
2數據資料、
3訓練方法 和
4算法說明。
•獲取運行數據和使用紀錄,以及期間 內使用者回報之AI系統問題。
3. 審核執行
•審查資料:
1. 檢查數據處理過程,確保 數據 收集、儲存和使用 符合隱私和 安全標準。
2. 評估算法的 公平性和透明性, 檢查是否存在偏見和歧視。
3. 分析系統的可解釋性,確保 決 策過程 透明度 與 可追溯性。
•測試驗證:
1.使用測試驗證AI系統的 性能 和可靠性。
2. 進 行 模擬 和壓力 測試,檢查系 統 在不同情境下 的表現
4. 監控改進計畫
撰寫AI審核報告,總結發現的問題和 風險。
針對發生問題提出改進建議, 並建立問題改善監控機制,
確保問題 解決且後續皆符合標準。