民國115年 高考三級 教育行政 教育心理與測驗統計
第4題
傳統測驗方式僅能依據其作答結果(對/錯)來進行評分,然而,數位化 施測方式則能進一步蒐集學生的作答反應時間(response time, RT)。請 說明如何結…
題目
傳統測驗方式僅能依據其作答結果(對/錯)來進行評分,然而,數位化 施測方式則能進一步蒐集學生的作答反應時間(response time, RT)。請 說明如何結合試題反應理論(item response theory, IRT)與作答反應時間 兩者,來辨識受試者的「不誠實作答行為(如盲目猜測、隨機勾選作答)」, 並評估其認知負荷?(25 分)
參考解答(AI 生成,非官方)
- 一、資料結構與模型架構:數位施測同時取得作答反應(對錯)與作答反應時間(response time, RT)。IRT以能力參數θ與試題參數(難度b、鑑別度a、猜測c)描述答對機率;RT則可採van der Linden對數常態反應時間模型,將觀察時間取對數後,以受試者速度參數τ與試題時間強度參數β線性預測,形成「能力—速度」雙參數架構,並可估計殘差以判斷作答是否異常。
- 二、不誠實作答的辨識指標:(1)反應時間過短且顯著低於同年齡常模;(2)能力估計與RT不一致,即高RT殘差搭配低作答一致性;(3)個人適配度(person-fit)指標如lz、Guttman錯誤數異常;(4)作答序列呈現固定模式(如連續同選項、規律跳答);(5)以混合模型或潛類別分析(latent class analysis)區辨「認真作答」與「快速猜測」潛在群組。
- 三、盲目猜測與隨機作答的區辨:盲目猜測通常表現為極短RT、難度與答對率脫鉤、猜測參數c上升;隨機勾選則呈現選項分布均勻、題間相關趨近零、能力估計不穩定且標準誤偏大。可設定複合規則,例如RT低於試題預期時間之某百分位且person-fit達顯著,即標記為疑似不誠實作答,再輔以人為複核,避免單一指標誤判。
- 四、認知負荷的評估:在控制試題難度與受試者速度後,RT的條件殘差可視為該題的額外處理成本,殘差越大代表認知負荷越高;可進一步計算答對題的平均RT、RT變異性與時間—正確率權衡曲線(speed-accuracy tradeoff),並以多層次模型將班級、裝置與作答時段納入控制。若設備允許,可輔以眼動、心率變異或滑鼠軌跡等行為訊號交叉驗證。
- 五、限制與實務建議:RT受裝置效能、網路延遲、題型與練習效果影響,須事先建立常模與設備校正程序;以RT推定不誠實作答涉及誤判風險與程序正義,不宜逕行懲處,應採「標記—複核—輔導」流程。建議縣市建立作答品質指標儀表板,將RT納入測驗安全監控,並以試題層次之時間強度參數回饋命題與認知負荷設計,同時兼顧資料隱私與考生權益。
AI 依官方試題文字產生的參考解答,非考選部公告答案,內容僅供備考參考。