Show a desktop notification when the AI TA finishes replying
Notify me when classmates post messages in the forum
Play an alert sound whenever there is a new notification
由李奎皓老師(第一作者)與張家凱助理教授(通訊作者,國立中央大學通識教育中心) 共同發表的論文 〈Designing and Evaluating a Socratic-Scaffolded Conversational AI Assistant for Educational Tasks: Cross-Cohort Effectiveness, User Perception, and the Effort Signature〉, 獲《International Journal of Human–Computer Interaction》(IJHCI,Taylor & Francis)接受, 並已於 2026 年 10 月 1 日線上刊出(DOI:10.1080/10447318.2026.2717500)。
International Journal of Human–Computer Interaction · Taylor & Francis · 2026 · doi: 10.1080/10447318.2026.2717500
為學習而設計的蘇格拉底式 AI 助教:跨班重現的成效、使用者感受,與「費力訊號」
Designing and Evaluating a Socratic-Scaffolded Conversational AI Assistant for Educational Tasks: Cross-Cohort Effectiveness, User Perception, and the Effort Signature
Kuei-Hao Li and Chia-Kai Chang
2025 年一份發表於《PNAS》的大型隨機對照研究帶來一個令人不安的發現: 讓學生使用有問必答的 AI,當下解題表現大幅提升, 但把 AI 收走、讓他們自己作答時,成績反而比沒用過 AI 的同學低了 17%。 最順手的 AI 使用方式,可能正在掏空使用者本來要培養的能力。
本研究把「解方」做成一套可長期運作的系統:AI 助教只根據授課教師上傳的教材回答、 預設先反問再回答、並自動標記每則提問的認知層次。 其中一個關鍵設計是——學生若堅持要答案,AI 是把直接回答延後而非拒絕; 硬性拒絕只會讓學生轉頭去用外面完全沒有限制的 AI,設計等於失效。
研究沒有設置同期對照組,因此學生的進步同時包含課程本身、正常學習歷程與 AI 助教的貢獻—— 論文全文一致將成效表述為「與這次部署相伴出現」,而非「由這套設計造成」。 資料亦來自單一學校的單一課程,且因同意書要求去識別化,無法回答「用得越多、進步越多嗎」。 這些界線都寫在論文中,我們在對外說明時同樣沿用。
費力訊號的意義不只在教室。任何「使用者的目標是學會而不只是做完」的場合都會遇到同樣的取捨—— 新進分析師靠 AI 熟悉產業知識、寫作者在 AI 協助下發展文風、醫師必須有能力獨立判斷 AI 的建議。 如果產品只用「使用者滿意度」當作優化目標,會系統性地淘汰掉那些真正保護使用者能力的設計。 這也呼應人機互動領域既有的發現(Buçinca 等人,2021): 最能減少人們盲目依賴 AI 的設計,往往拿到最低的主觀評價。
Media interviews, speaking invitations and inter-institutional collaborations are all welcome — please get in touch with us.
Book a discussion