AI กับการวัดและประเมินผลการศึกษา: ความแม่นยำ ความเป็นธรรม และบทบาทของครู
เข้าชม 7 ครั้ง
หมวด: AI กับการเรียนรู้
แท็ก: การวัดและประเมินผล, Feedback, Automated Essay Scoring, AI Detector, Academic Integrityหมายเหตุการตรวจสอบ: ข้อมูลบรรณานุกรมและ DOI ตรวจสอบกับ Crossref หรือ DataCite เมื่อเดือนพฤศจิกายน พ.ศ. 2569 สรุปผลวิจัยมาจากบทคัดย่อ ยังไม่ได้ตรวจกับเอกสารฉบับเต็ม หัวข้อการวิเคราะห์และข้อเสนอแนะเป็นความเห็นของผู้เขียน ไม่ใช่ผลวิจัย
บทนำ
การประเมินเป็นหนึ่งในภาระงานที่ใช้เวลามากที่สุดของครู และเป็นจุดที่ส่งผลโดยตรงต่อโอกาสของผู้เรียน เมื่อแบบจำลองภาษาขนาดใหญ่สามารถอ่านงานเขียนและตอบกลับเป็นภาษาธรรมชาติได้ จึงมีความคาดหวังว่า AI จะช่วยให้ครูให้ข้อมูลป้อนกลับได้เร็วและทั่วถึงขึ้น ในอีกด้านหนึ่ง AI ก็ทำให้การรักษาความซื่อสัตย์ทางวิชาการยากขึ้น หลายสถาบันจึงหันไปใช้เครื่องมือตรวจจับข้อความจาก AI
บทความนี้แบ่งการใช้ AI ในการประเมินออกเป็น 3 บทบาท ได้แก่ ผู้ให้ข้อมูลป้อนกลับ ผู้ช่วยให้คะแนน และเครื่องมือตรวจสอบความซื่อสัตย์ แล้วทบทวนว่าหลักฐานแต่ละด้านสนับสนุนอะไร และเตือนอะไร
แนวคิดสำคัญ
ความเที่ยงตรงและความเชื่อมั่นของการประเมิน
ในทางการวัดผล คำถามหลักคือ คะแนนสะท้อนสิ่งที่ต้องการวัดจริงหรือไม่ และให้ผลคงเส้นคงวาเพียงใด เมื่อนำ AI มาใช้ คำถามนี้ไม่ได้หายไป เพียงแต่ต้องถามเพิ่มว่าระบบให้ผลสอดคล้องกับผู้เชี่ยวชาญเพียงใด ให้ผลเท่าเทียมกันระหว่างกลุ่มผู้เรียนหรือไม่ และครูตรวจสอบเหตุผลของผลลัพธ์ได้หรือไม่
ข้อมูลป้อนกลับต่างจากการตัดสิน
ผู้เขียนเห็นว่าควรแยกการประเมินเพื่อพัฒนาออกจากการประเมินเพื่อตัดสิน เพราะความเสียหายเมื่อระบบผิดพลาดต่างกันมาก ข้อมูลป้อนกลับที่คลาดเคลื่อนยังให้ครูและผู้เรียนพิจารณาได้ ขณะที่การตัดสินคะแนนหรือการกล่าวหาทุจริตมีผลต่อผู้เรียนโดยตรง
ผลวิจัยที่ตรวจสอบได้
AI ในฐานะผู้ให้ข้อมูลป้อนกลับ
Dai et al. (2023) ศึกษาความเป็นไปได้ในการใช้ ChatGPT ให้ข้อมูลป้อนกลับแก่นักศึกษา รายงานว่า ChatGPT สร้างข้อมูลป้อนกลับที่ละเอียดกว่าและสรุปผลการทำงานได้อย่างลื่นไหลกว่าผู้สอน และมีความสอดคล้องสูงกับผู้สอนในการประเมินหัวข้อของงาน
การเปรียบเทียบกับมนุษย์โดยตรงของ Steiss et al. (2024) จากเรียงความนักเรียนมัธยม 200 ชิ้น ให้ภาพที่รอบคอบกว่า ผู้ให้ข้อมูลป้อนกลับที่เป็นมนุษย์ทำได้ดีกว่าในทุกหมวดคุณภาพ ยกเว้นหมวดที่อิงเกณฑ์ แต่ผู้วิจัยระบุว่าเมื่อพิจารณาความง่ายในการสร้างและคุณภาพโดยรวมของ ChatGPT ความแตกต่างเชิงปฏิบัติไม่มากนัก และข้อมูลป้อนกลับไม่แตกต่างตามสถานะทางภาษาของผู้เรียน ทั้งจากมนุษย์และ AI
ในด้านผลต่อการเรียนรู้ การศึกษากึ่งทดลอง 6 สัปดาห์กับผู้เรียน 48 คนของ Escalante et al. (2023) รายงานว่าไม่พบความแตกต่างของผลการเรียนรู้ระหว่างกลุ่มที่ได้รับข้อมูลป้อนกลับจาก AI กับจากมนุษย์ในการเขียนภาษาอังกฤษของผู้เรียนภาษาที่สอง ความชอบของผู้เรียนแบ่งใกล้เคียงกัน ผู้วิจัยแนะนำแนวทางผสมผสาน
AI ในฐานะผู้ช่วยให้คะแนน
Mizumoto และ Eguchi (2023) ทดลองใช้แบบจำลอง GPT-3 text-davinci-003 ให้คะแนนเรียงความภาษาอังกฤษของผู้เรียนต่างภาษา 12,100 ชิ้น รายงานว่ามีความแม่นยำและความเชื่อมั่นในระดับหนึ่ง สามารถสนับสนุนการประเมินของมนุษย์ได้ และการใช้ลักษณะทางภาษาร่วมด้วยช่วยเพิ่มความแม่นยำ คำว่า ระดับหนึ่ง และการสนับสนุนมนุษย์เป็นถ้อยคำที่ควรเน้น เพราะงานนี้ไม่ได้เสนอให้ใช้แทนผู้ประเมิน
เครื่องมือตรวจจับ: ไม่ควรใช้เป็นหลักฐานเดี่ยว
Weber-Wulff et al. (2023) ทดสอบเครื่องมือสาธารณะ 12 รายการและระบบเชิงพาณิชย์ 2 ระบบ สรุปว่าเครื่องมือที่มีอยู่ไม่แม่นยำและไม่น่าเชื่อถือ มีแนวโน้มจัดข้อความเป็นงานเขียนของมนุษย์ และเทคนิคอำพรางเนื้อหาทำให้ประสิทธิภาพแย่ลงมาก
ประเด็นความเป็นธรรมปรากฏชัดใน Liang et al. (2023) ซึ่งรายงานว่าเครื่องตรวจจับมักจัดงานเขียนของผู้ที่ไม่ได้ใช้ภาษาอังกฤษเป็นภาษาแม่ผิดเป็นข้อความจาก AI ผู้เขียนเห็นว่าข้อค้นพบนี้ควรได้รับความสนใจเป็นพิเศษในบริบทไทย แต่ต้องย้ำว่างานนี้ศึกษาภาษาอังกฤษ จึงยังบอกไม่ได้ว่าเครื่องมือทำงานกับภาษาไทยอย่างไร
ความซื่อสัตย์ทางวิชาการ
Cotton et al. (2024) อภิปรายศักยภาพการใช้เครื่องมือเหล่านี้ไปในทางทุจริต ความยากในการตรวจจับและป้องกัน และเสนอให้มหาวิทยาลัยจัดทำนโยบาย ให้การฝึกอบรม และใช้วิธีตรวจจับและป้องกันที่หลากหลาย บทความนี้เป็นการอภิปรายเชิงแนวคิด ไม่ใช่ผลทดลอง
การวิเคราะห์ของผู้เขียน
หลักฐานในชุดนี้ชี้ไปทางเดียวกันในระดับหนึ่งว่า AI มีศักยภาพสูงกว่าในงานประเมินเพื่อพัฒนามากกว่างานตัดสิน ผู้เขียนยังเห็นความไม่สมมาตรของความเสี่ยง หากเครื่องตรวจจับกล่าวหาผิด ผู้เรียนรับผลกระทบทันที และกลุ่มที่เสี่ยงอาจเป็นกลุ่มที่เสียเปรียบอยู่แล้ว การออกแบบการประเมินใหม่จึงอาจคุ้มค่ากว่าการลงทุนกับการจับผิด
อีกข้อสังเกตคือ ความเห็นต่างระหว่างงาน Dai et al. (2023) กับ Steiss et al. (2024) อาจมาจากเกณฑ์ที่ใช้ ความละเอียดของข้อมูลป้อนกลับไม่จำเป็นต้องเท่ากับคุณภาพทางการสอน ครูจึงควรพิจารณาว่าข้อมูลป้อนกลับนำไปสู่การแก้ไขที่ดีขึ้นหรือไม่
การประยุกต์ใช้: ข้อเสนอแนะของผู้เขียน
เริ่มจากงานความเสี่ยงต่ำ: ใช้ AI ร่างข้อมูลป้อนกลับสำหรับงานฉบับร่าง โดยครูตรวจก่อนส่งให้ผู้เรียน
ใช้ Rubric ที่ชัด: ส่งเกณฑ์ให้ AI และสุ่มตรวจเทียบกับการให้คะแนนของครู
ไม่ใช้ผลเครื่องตรวจจับเป็นหลักฐานเดี่ยว: หากสงสัย ให้สนทนากับผู้เรียน ดูฉบับร่าง และประวัติการทำงาน
ออกแบบงานที่แสดงกระบวนการ: เช่น บันทึกการคิด ฉบับร่างหลายรอบ การนำเสนอ และการตอบคำถาม
กำหนดนโยบายการเปิดเผย: ระบุให้ชัดว่างานแต่ละแบบใช้ AI ได้ระดับใด และให้ผู้เรียนบอกวิธีใช้
คุ้มครองข้อมูล: ไม่ส่งข้อมูลที่ระบุตัวตนนักเรียนเข้าสู่บริการที่ยังไม่ได้ตรวจเงื่อนไขการใช้ข้อมูล
ครูที่สนใจแนวทางเชิงปฏิบัติสามารถดูสินค้าดิจิทัลที่เกี่ยวกับงานครู และคลัง Prompt โดยควรทดลองกับงานตัวอย่างและตรวจผลทุกครั้ง
ข้อจำกัด
บทความนี้อ่านจากบทคัดย่อ งานส่วนใหญ่เป็นการศึกษาภาษาอังกฤษในปี 2023 และใช้แบบจำลองรุ่นที่ปัจจุบันอาจเปลี่ยนไปแล้ว ผู้เขียนไม่พบหลักฐานที่ตรวจสอบได้เกี่ยวกับความแม่นยำของ AI ในการให้คะแนนงานเขียนภาษาไทย และไม่พบการวิเคราะห์อภิมานด้านการให้คะแนนในชุดแหล่งที่ตรวจสอบได้ ข้อสรุปจึงควรใช้เป็นแนวทางเบื้องต้น และสถานศึกษาควรทดสอบกับงานจริงของตนก่อนนำไปใช้
สรุป
AI เป็นผู้ช่วยที่มีศักยภาพในการให้ข้อมูลป้อนกลับและสนับสนุนการให้คะแนน แต่ยังไม่มีหลักฐานเพียงพอให้ใช้แทนดุลยพินิจของครูในการตัดสินที่มีผลสูง ส่วนเครื่องมือตรวจจับงานจาก AI ไม่ควรถูกใช้เป็นหลักฐานชี้ขาด คุณภาพการประเมินในยุคนี้จึงยังขึ้นอยู่กับการออกแบบของครูและกระบวนการตรวจสอบที่เป็นธรรม
เอกสารอ้างอิง
Cotton, D. R. E., Cotton, P. A., & Shipway, J. R. (2024). Chatting and cheating: Ensuring academic integrity in the era of ChatGPT. Innovations in Education and Teaching International, 61(2), 228–239. https://doi.org/10.1080/14703297.2023.2190148
Dai, W., Lin, J., Jin, H., Li, T., Tsai, Y.-S., Gašević, D., & Chen, G. (2023). Can large language models provide feedback to students? A case study on ChatGPT. In 2023 IEEE International Conference on Advanced Learning Technologies (ICALT) (pp. 323–325). IEEE. https://doi.org/10.1109/icalt58122.2023.00100
Escalante, J., Pack, A., & Barrett, A. (2023). AI-generated feedback on writing: Insights into efficacy and ENL student preference. International Journal of Educational Technology in Higher Education, 20(1), 57. https://doi.org/10.1186/s41239-023-00425-2
Liang, W., Yuksekgonul, M., Mao, Y., Wu, E., & Zou, J. (2023). GPT detectors are biased against non-native English writers. Patterns, 4(7), 100779. https://doi.org/10.1016/j.patter.2023.100779
Mizumoto, A., & Eguchi, M. (2023). Exploring the potential of using an AI language model for automated essay scoring. Research Methods in Applied Linguistics, 2(2), 100050. https://doi.org/10.1016/j.rmal.2023.100050
Steiss, J., Tate, T., Graham, S., Cruz, J., Hebert, M., Wang, J., Moon, Y., Tseng, W., Warschauer, M., & Olson, C. B. (2024). Comparing the quality of human and ChatGPT feedback of students’ writing. Learning and Instruction, 91, 101894. https://doi.org/10.1016/j.learninstruc.2024.101894
Weber-Wulff, D., Anohina-Naumeca, A., Bjelobaba, S., Foltýnek, T., Guerrero-Dib, J., Popoola, O., Šigut, P., & Waddington, L. (2023). Testing of detection tools for AI-generated text. International Journal for Educational Integrity, 19(1), 26. https://doi.org/10.1007/s40979-023-00146-z