職能導向課程認證實務分享-評估篇
2019/04/19 葉泳賢 中國生產力中心 知識經營組 助理管理師
勞動部勞動力發展署為協調整合中央目的事業主管機關所定職能基準，鼓勵民間應用，推動培訓產業發展，強化職業訓練內涵及成效，提升從業人員能力，在民國102年公告職能發展及應用推動要點，並於106年底公告「推動職能基準應用補助要點」，逐步推動國內職能基準及職能導向課程之發展。
在政策性引導及實質獎勵辦法公布後，以職能概念辦理訓練，顯然是未來企業辦理訓練的重要依據，截至107年7月已有153項課程通過認證，雖多數仍是訓練單位提出認證，但也有部分企業已通過認證(如遠傳電信、磐石保險、雲朗觀光、麥當勞、汎亞人力、科林儀器等)，顯示已經逐步有企業認同並投入此課程認證體系。
筆者過往曾經開發數門職能導向課程並通過認證，並與多位勞動部勞動力發展署之職能導向課程輔導顧問探討相關課程開發細節，也曾參與多家企業之課程開發輔導作業，本文乃針對課程開發過程，探討應注意之認證指標細節。
關於職能導向課程認證之審核指標，最新版本共有5大構面、10個指標、31項要求，通過認證方式共有兩種，1.<全數符合審核指標之要求條件者>。2.<「分析A」及「評估E」構面審核指標符合要求者，「設計D」、「發展D」與「實施I」構面未全數符合，將列入後續改善建議及稽核。>，第一種通過方式為此認證系統最起始之審核方式，惟依據此方式審核，每年通過之課程認證平均僅有十來件，通過比例極低，與全面推廣此認證之立意相背，因此發展署又修正公佈第二種通過方式，為有條件通過，僅要求課程開發中較重要之「分析」及「評估」構面須全數符合要求。
因此，就課程認證而言，如何達到「分析」及「評估」構面之指標規範，就是課程通過認證的關鍵，而指標寥寥文字，各人解讀皆不相同，僅基於筆者經驗及與顧問探討細節，闡述對於指標內容之解讀重點，因分析構面涉及較為廣泛，本次先針對「評估」構面之指標內容與實務經驗，進行說明。
「5.1.1 應明確定義課程的學習成果評量方式與程序，且符合教學／訓練目標、對象、內容、教學方法。」
針對本項要求，每一課程單元都應以書面規定評量進行方式及步驟，且要注意:
- 符合訓練目標: 如目標設立為獨立維修某機械，則評量方式應要有維修操作，不能以筆試來代替。
- 符合訓練對象: 評量對象需要包含所有訓練對象，不能以抽驗方式進行。
- 符合訓練內容: 評量內容須為訓練內容，不能超出範圍。
- 符合教學方法: 評量需要與教學方法一致，例如評量方式有維修操作，教學方法中應包含維修操作的實作練習。
「5.1.2 應設計可判別學習者所需具備職能之評量工具。」
針對本項要求，在課程開發過程中應設計合適評量工具，如每一課程單元之評量表格及評分標準。評量表格可為筆試之試卷、實作之動作評量表等。評分標準可為筆試之標準答案、動作評量表之完成標準(含配分)等。評分標準應注意要與KSA、工作任務及工作產出相對應，例如工作任務中描述維修某機械應先完成A步驟再完成B步驟，則相關之評分標準應該要一致。
「5.1.3 應可產生真實非假冒的學習成果證據。」
針對本項要求，在評量過程中，應要產出過程證據及成果證據。過程證據包含評量過程之錄影、拍照、簽到等，惟考量各單位之設備及課程開發成本，選擇合適之方式記錄評量過程。成果證據包含評量工具及評量紀錄，以筆試為例，應具備筆試之空白試卷、標準答案、學員填答之試卷。各種評量紀錄，包含實作評量表單等，建議在評量人員完成評量後，請學員簽名確認，證實為本人之評量紀錄。
「5.1.4 需有具實務經驗的利益關係人參與的證據。」
針對本項要求，在執行前述3項要求，應注意如下:
- 學習成果評量方式與程序、評量工具之設計，應該連同課程分析A、設計D、發展D部分之設計規劃，一併召開專家會議(專家會議之相關辨理方式，請參照職能導向課程發展指引)，在會中進行確認及修正。
- 學習成果證據之設定，包含過程證據及成果證據之蒐集方式，也應該由專家會議中進行確認及修正。
「5.1.5評量者應符合規劃時訂定所需資格與條件要求。如：熟悉該課程、評量方式與程序、無利益關係故可公正評斷等。」
針對本項要求，評量人員應儘量符合下列:
- 建議評量人員資格條件應一併於專家會議中確認及修正。
- 評量人員資格條件之設定，應採兩項原則，首先，至少應具備該課程講師之資格條件，其次，應具備評量職能(如曾受過評量專業訓練、具備評量專業證照等)。
- 依照認證指標起始規劃，講師不宜兼任評量人員，避免其主觀認定影響評量結果，惟考量各課程成本及各單位人力，已朝向認可講師身兼評量人員，惟講師及評量人員之資格條件仍應分開訂定，並有分開之遴選聘用程序。
「5.2.1 課程學習成果證據應可反應個別學習者的學習成效。」
本項要求為評量構面之重點，非常容易因此而無法通過認證，依照本項要求，評量應該以個人為單位，過往許多課程，為了節省時間及學員負擔，常常以分組方式進行作業產出，且近年流行工作坊等上課方式，強調團體討論之作業產出，但此產出並不被認為可反應個別學習者的學習成效，因為每位成員於討論中的實際貢獻，並無法被實際得知，故無法評量實際學習成效。
若因為課程設計因素，課堂必須以小組形式進行教學及產出作業，建議再請學員於課後完成個人作業，以便評量個人學習成效，惟課後作業有抄襲及代寫等風險，僅能請學員於作業簽名確認。
「5.2.2 課程學習成果除純屬知識的課程外，應證明其學習可移轉至行為之具體改變。」
針對本項要求，應重新對應KSA(尤其是S)、工作任務、工作產出、訓練目標、教學方法等，其中涉及行為、技能部分，評量應要能證明其學習導致行為改變。具體而言，若是某個工作應具備維修某機器之技能，其工作任務及產出應有相對應內容，並延伸訓練目標之一部份，且教學方法應要有實務操作，在評量時要能呈現學員已經能夠做出相對應維修機器之行為動作，並符合所設定之評量合格標準。
「5.2.3 應證明課程結訓與否確實依學習成果來判別，且有合理明確的標準。」
針對本項要求，在課程設計發展時，應要一併明訂結訓標準，不論其各單元採用合格/不及格、多少分為及格等不同評量方式，最終應有結訓標準，不管是各單元合計總分多少為通過、各單元平均分數多少為通過、各單元皆達到合格才能通過，只要能夠合理明確的判斷學員結訓與否，都是可以接受的。另外有兩點須注意如下:
- 過往許多課程皆採計出席率為結訓標準之一，像是產投課程亦是如此，但在職能導向課程中，出席率並不應該是結訓標準，因為缺席會被視為未完成學習，就算學員仍舊通過評量，也無法證明其課程是否有效，但實務上，學員缺席卻是不可避免的事情，尤其時數越長的訓練，學員產生缺席的可能性就越高，面對此情形，只要在課程中設計補救機制，例如補上下一梯次同一單元、補看錄影等方式處理，就可視同完成學習時數，但應注意有些教學方式(如討論、演練、上台發表等)，使用補看錄影，並無法達到原先設計的效果。
- 若是有學員缺席，而為了讓其通過，採取下修結訓標準等方式，反而可能會影響課程評量之合理性，尤其是原有結訓標準經過專家會議通過，更是不能任意修改。特別應注意的是，學員缺席導致無法符合結訓標準，就算其被評量為不通過，並不會影響課程送認證，因為缺席是學員個人因素，並不是課程開發之問題。
「5.3.1 應說明課程發展之監控流程與回饋方法，以持續改善，並檢附相關文件。」
針對本項要求，只要確實遵循單位之TTQS辦訓流程，課程發展各步驟都有配合四階文件留下紀錄，且有檢討機制，能夠回饋到課程發展階段進行改善，就達到基本要求。
「5.3.2 應說明課程辦理成效，並檢附相關文件。」
針對本項要求，除了學員之成果評量外，可再呈現其他L1、L3、L4之成效，例如課程滿意度、學員考取證照、學員因課程訓練而晉升或加薪。並可透過課後的檢討會議，討論及確認訓練成效。
「5.3.3 應說明各階段參與的利益關係人及規劃執行人員的資格與條件要求。」
針對本項要求，有以下注意事項:
- 各階段參與之利益關係人，尤其是專家會議之出席專家，應該先訂出專家之標準，例如學經歷標準，並有專家遴選過程及相關紀錄。
- 課程規劃及執行團隊成員，也應該訂出相關標準，並且有內部會議遴選過程及紀錄。
「5.3.4 應說明相關文件紀錄之管理方式，以確保過程的完整性與資訊保密性。」
針對本項要求，單位應有妥善之文件管理機制，應符合TTQS辦訓過程之分層負責、管理權限等原則，並有保管年限、保管方式與紀錄，除了紙本文件外，電子文件同樣應有資安基礎之相關權限設定，確保資料不會遺失或外流。
除了前述各項要求之應注意事項，關於評估構面，另外補充如下:
- 為了節省課程資源及成本，不一定各單元皆要採形成性評量，有些內容可以集結到總結性評量中一次評量，重點在於所有的工作任務、工作產出、KSA，應該都要被確實評量，不論是形成性評量或是總結性評量，只要有評量到即可。舉例而言，像是第一單元為A理論知識學習、第二單元為B理論知識學習，就不見得要每單元都筆試一次，可以進行統一筆試，但應注意試題要包含所有知識點，且評量人員(試卷批改人員)也應符合專家會議通過之資格條件。若是評量人員僅具第一單元之評量資格，就不應進行第二單元之評量，以避免爭議。
- 能力改善之評量:某些課程所著重的是能力的改善，而非從無到有的能力建立，例如口語表達技巧改善，學員原先就會上台發表，而課程學習的目的是讓他的技巧更好，關於此類課程，評量方式若是採用實際上台、角色扮演等，應該要有課前(前測)與課後(後測)之紀錄，課程一開始(或是課前請學員自行錄製)就讓各學員進行上台發表，並留下紀錄，經過課程教學之後，再請學員接受評量，以準確評估其能力改善程度，同時應該有明確的評分標準，詳實紀錄前後兩次評量的區別。若是要再進一步追求課程成效，第二次評量結束後，講師應該再單獨進行指導，讓學員知道不足之處，並進行第三次評量。
- 評量過後，建議講師應該針對個別學員進行回饋，讓學員知道學習成效及可以改善之處，此回饋過程，可以是文字、也可以是口頭，但都應留下具體紀錄。
- 作業產出也應有具體的評分標準，不應以有無繳交或是繳交時間做為評分標準，可以採用像是作業完整度、作業正確性、內容可行性等標準來評分，作業批改也應有詳實扣分說明，不宜只批改總分，以便讓學員知道不足之處。若作業產出不及格，同樣應有補救機制，讓學員再次繳交作業進行評量。
以上即為「評估」構面指標應注意事項，僅為個人過往經驗認知，並非官方標準說明，也不一定適用於各單位之課程發展，僅提供做為職能導向課程開發之參考。