民國115年 高考三級 教育行政 教育心理與測驗統計

第3題

某縣市教育局欲評估「AI 雙語學伴計畫」對國小學生學習成就,是否具 有因果推論之影響力。由於該計畫當初即採行以學校自由申請報名方式 參加,因此,無法進行隨機分派…

題目

某縣市教育局欲評估「AI 雙語學伴計畫」對國小學生學習成就,是否具 有因果推論之影響力。由於該計畫當初即採行以學校自由申請報名方式 參加,因此,無法進行隨機分派實驗。請針對此研究現況,替該縣市教 育局擬定一個能有效控制選樣偏差(selection bias)並兼顧因果推論 (causal inference)價值的研究設計與分析程序?(25 分)

參考解答(AI 生成,非官方)

  • 一、問題界定:計畫採學校自由申請,參與與否與學校行政動能、師資品質、家長支持及學生起始能力高度相關,屬自我選擇(self-selection),直接比較參與校與未參與校將混雜選樣偏差(selection bias)與成熟、歷史等干擾,難以支持因果推論。研究設計須先明定處理變項(是否參與、參與強度)、結果變項(標準化成就測驗前後測)與共變項。
  • 二、設計一:傾向分數配對結合差異中的差異。以學校與學生層級共變項(規模、地區、社經背景、前測成績、師資結構、數位設備)估計參與機率,進行傾向分數配對(propensity score matching)或加權,建立可比對照組;再以參與前後兩期資料進行差異中的差異(difference-in-differences, DID),以組別與時間交互項估計平均處理效果(ATT),消除不隨時間變動的未觀察干擾。
  • 三、設計二:輔助與前瞻作法。若縣市仍可調整行政流程,可對超額申請學校辦理公開抽籤或建立等待名單(waitlist),形成近似隨機分派;亦可尋找工具變數(如學區設備補助資格、申請截止日之差異)或以參與門檻設計迴歸斷點(regression discontinuity),但須檢驗排他性限制與操弄風險。
  • 四、分析程序:依序為(1)建構共變項與遺漏值處理;(2)估計傾向分數並檢驗共同支持(common support);(3)配對後檢定標準化差異是否小於0.1、變異比是否接近1;(4)DID估計並以學校叢集穩健標準誤處理群聚;(5)以事件研究法檢驗平行趨勢(parallel trends);(6)進行異質性分析(城鄉、年級、先備能力)。
  • 五、穩健性、限制與建議:應執行安慰劑檢定、替代配對法(鄰近配對、IPW、doubly robust)、E值或Rosenbaum界限等敏感性分析,評估未觀察干擾能否翻轉結論。限制在於僅能估計符合共同支持範圍之效果、外部效度受限,且自願參與校可能存在實施忠誠度差異;建議縣市自下一期起改採抽籤或分階段推行,以建立可持續的因果證據。

AI 依官方試題文字產生的參考解答,非考選部公告答案,內容僅供備考參考。

官方資料