การออกแบบวิธีการตรวจให้คะแนนอัตโนมัติเพื่อวินิจฉัยมโนทัศน์ ที่คลาดเคลื่อนทางสมรรถนะวิทยาศาสตร์ผ่านการเรียนรู้ของเครื่อง
Article Sidebar
Main Article Content
บทคัดย่อ
การออกแบบวิธีการตรวจให้คะแนนอัตโนมัติเพื่อวินิจฉัยมโนทัศน์ที่คลาดเคลื่อนทางสมรรถนะวิทยาศาสตร์ผ่านการเรียนรู้ของเครื่อง (machine learning) เป็นการออกแบบวิธีการตรวจให้คะแนนแบบสอบวินิจฉัยรูปแบบผสมเพื่อประเมินระดับสมรรถนะทางวิทยาศาสตร์โดยใช้เครื่องตรวจคะแนนในขั้นตอนเดียว นวัตกรรมนี้สามารถรายงานผลและให้ข้อมูลป้อนกลับแก่ผู้เรียนแบบเรียลไทม์ ดังนั้นการวิจัยครั้งนี้ได้กำหนดความมุ่งหมายเพื่อนำไปสู่การออกแบบนวัตกรรมต้นแบบดังนี้ (1) เพื่อวิเคราะห์ผลการตอบของผู้เรียนสู่การออกแบบนวัตกรรมต้นแบบ ประกอบด้วยรูปแบบและระดับของมโนทัศน์ที่คลาดเคลื่อนทางสมรรถนะวิทยาศาสตร์ การกำหนดจุดตัดจากผลการตอบแบบวินิจฉัยสมรรถนะวิทยาศาสตร์ และการกำหนดตัวแปรเพื่อสร้างสมการทำนายจากข้อมูลพื้นฐานของนักเรียน และ (2) เพื่อออกแบบวิธีการตรวจให้คะแนนอัตโนมัติในการวินิจฉัยมโนทัศน์ที่คลาดเคลื่อนทางสมรรถนะวิทยาศาสตร์ผ่านการเรียนรู้ของเครื่อง การศึกษาครั้งนี้ใช้ข้อมูลทุติภูมิจากกลุ่มผู้สอบคือนักเรียนระดับชั้นมัธยมศึกษาปีที่ 1 จำนวน 847 คน วิเคราะห์ข้อมูลตามโมเดลพหุมิติสัมประสิทธิ์การสุ่มแบบโลจิท(MRCMLM) และกำหนดจุดตัดบน wright map ผลการศึกษาพบว่า
(1) เกิดมโนทัศน์ที่คลาดเคลื่อนขึ้น 5 รูปแบบ และการหาจุดตัดทางสมรรถนะวิทยาศาสตร์ทั้ง 3 มิติ พบว่า มิติด้านการอธิบายปรากฏการณ์ในเชิงวิทยาศาสตร์ มีจุดตัดที่ -0.49 0.27 และ 0.83 มิติด้านการประเมินและออกแบบกระบวนการสืบเสาะหาความรู้ทางวิทยาศาสตร์ มีจุดตัดที่ -0.09 0.54 และ 1.72 ตามลำดับ และมิติด้านการแปลความหมายข้อมูลและการใช้ประจักษ์พยานในเชิงวิทยาศาสตร์มีจุดตัดที่ -0.78 0.47 และ 2.98 ตามลำดับ นอกจากนี้พบตัวแปรต้นที่สำคัญ คือ 1) เกรดเฉลี่ยรวมเทอมที่ผ่านมา 2) เกรดเฉลี่ยวิชาวิทยาศาสตร์เทอมที่ผ่านมา และ 3) จำนวนชั่วโมงที่ศึกษาวิชาวิทยาศาสตร์ด้วยตนเอง/สัปดาห์
(2) การออกแบบวิธีการตรวจให้คะแนนอัตโนมัติเพื่อวินิจฉัยสมรรถนะวิทยาศาสตร์ในข้อสอบอัตนัยใช้วิธีการจับคำ (keywords) และใช้วิธีการแปลงคำตอบจากการสังเคราะห์ผลการตอบในข้อมูลทุติยภูมิให้เป็นตัวเลือกเพื่อช่วยให้การตรวจให้คะแนนและประมวลผลระดับสมรรถนะและการรายงานระดับมโนทัศน์ที่คลาดเคลื่อนทางสมรรถนะวิทยาศาสตร์สามารถทำได้แบบอัตโนมัติและเรียลไทม์ สำหรับผลการประเมินคุณภาพการออกแบบวิธีการตรวจให้คะแนนจากผู้เชี่ยวชาญจำนวน 5 คน ครอบคลุมทั้ง 5 มาตรฐาน คือ ด้านอรรถประโยชน์ ด้านความเป็นไปได้ ด้านความเหมาะสมชอบธรรม ด้านความถูกต้อง และด้านความรับผิดชอบการประเมิน
Article Details
อนุญาตภายใต้เงื่อนไข Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
เนื้อหาและข้อมูลในบทความที่ลงตีพิมพ์ในวารสารการวัดผลการศึกษา มหาวิทยาลัยมหาสารคาม ถือเป็นข้อคิดเห็นและความรับผิดชอบของผู้เขียนบทความโดยตรง ซึ่งกองบรรณาธิการวารสาร ไม่จำเป็นต้องเห็นด้วย หรือร่วมรับผิดชอบใดๆ
บทความ ข้อมูล เนื้อหา รูปภาพ ฯลฯ ที่ได้รับการตีพิมพ์ในวารสารการวัดผลการศึกษา มหาวิทยาลัยมหาสารคาม ถือเป็นลิขสิทธิ์ของวารสารการวัดผลการศึกษา มหาวิทยาลัยมหาสารคาม หากบุคคลหรือหน่วยงานใดต้องการนำทั้งหมดหรือส่วนใดส่วนหนึ่งไปเผยแพร่ต่อหรือกระทำการใดๆ จะต้องได้รับอนุญาตเป็นลายลักษณ์อักษรจากวารสารการวัดผลการศึกษา มหาวิทยาลัยมหาสารคาม ก่อนเท่านั้น
เอกสารอ้างอิง
Adams, R. A., Wilson, M., & Wang, W. C. (1997). The multidimensional random coefficients multinomial logit model. Applied Psychological Measurement, 21(1), 1-23.
Desstya, A., Prasetyo, Z.K., Suyanta., Susila, I., & Irwanto. (2019). Developing an Instrument to Detect Science Misconception of an Elementary School Teacher. International Journal of Instruction, 12(3), 201-218.
Intasoi, S., Jungpeng P., Ngang Tang K., Ketchatturat J., Zhang Y., & Wilson M. (2020). Developing an assessment framework of multidimensional scientific competencies. International Journal of Evaluation and Research in Education, 9(4), 963-970.
Junpeng, P., Krotha, J., Chanayota, K., Tang, K. N., & Wilson, M. (2019). Constructing Progress Maps of Digital Technology for Diagnosing Mathematical Proficiency. Journal of Education and Learning, 8(6), 90-102.
Junpeng, P., Marwiang, M., Chiajunthuk, S., Suwannatrai, P., Chanayota, K., Pongboriboon, K., Tang, K. N., & Wilson, M. (2020). Validation of a digital tool for diagnosing mathematical proficiency. International Journal of Evaluation and Research in Education, 9(3), 665-674.
Lee, H. S., Gweon, G. H., Lord, T., Paessel, N., Pallant, A., & Pryputniewicz, S. (2021). Machine Learning-Enabled Automated Feedback: Supporting Students’ Revision of Scientific Arguments Based on Data Drawn from Simulation. Journal of Science Education and Technology, 30(2), 168-192.
Lintean, M., Vasile, R., & Roger, A. (2012). Automatic Detection of Student Mental Models Based on Natural Language Student Input during Metacognitive Skill Training. International Journal of Artificial Intelligence in Education, 21(3), 169-190.
Maestrales, S., Zhai, X., Touitou, I., Baker, Q., Schneider, B., & Krajcik, J. (2021). Using Machine Learning to Score Multi Dimensional Assessments of Chemistry and Physics. Journal of Science Education and Technology, 30(2), 239-254.
National Research Council. (1997). Science teaching reconsidered: A handbook. National Academies Press.
Organisation for Economic Co-operation and Development. (2019). PISA 2018 Assessment and Analytical Framework. PISA, OECD Publishing.
Reeves, T. (2006). Design research from a technology perspective. In J.V.D. Akker, K. Gravemeijer, S. McKenney & N. Nieveen (Eds.). Educational design research (pp. 52–66). Routledge.
Varasunun, P. (2011). The Program Evaluation Standards (3rd Ed.) in 2010. Journal of Research Methodology, 24(2), 273-278.
Wilson, M. (2005). Constructing Measures: an item response modeling approach. Lawrence Erlbaum Associates.
Wright, B.D., & Stone, M. H. (1979). Best Test Design: Rasch Measurement. Mesa Press.
Wu, M. L., Adums, R., Wilson, M., & Haldane, S. A. (2007). ConQuest Version 2: Generalised Item Response Modelling Software. ACER Press.
Yarbrough, D.B., Shulha, L.M., Hopson, R.K., and Caruthers, F.A. (2010). The program Evaluation standards: A guide for evaluators and evaluation users (3rd Ed.). Sage.
Anuntasawat, S. (2017). Development of a Misconception Diagnostic system in Using a Three-Tier Diagnostic Test with Computer Based Reflective Feedback for Tenth Grade students [Doctoral dissertation]. Chulalongkorn University. (in Thai)
Chianchana, C. (2009). Multidimensional Analysis. Journal of Education Khon Kaen University, 32(4), 13-22. (in Thai)
Insawat, M. (2016). A comparison of the quality of three-tier diagnostic test of mathematical misconception using different levels of confidence [Master’s thesis]. Chulalongkorn University. (in Thai)
Institute for the promotion of technology science and technology. (2017). Teacher Guide Basic Science Volume 1. Bangkok: office of the welfare promotion commission for teachers and educational personnel press. (in Thai)
Intasoi, S. (2020). Developing a digital tool for assessing multidimensional scientific competencies of the seventh-grade students [Master’s thesis]. Khon Kaen University. (in Thai)
Junpeng, P. (2018). Applications of the multidimensional item response theory of research (4th Ed.). Khon Kaen University press. (in Thai)
Kamtet, W. (2017). Scientific Misconception: Type and Assessment Tool. STOU Education Journal. 10(2), 54-64. (in Thai)
Khawsuk, J., & Srihaset, K. (2016). The Development of a Mathematics Diagnostic Test for Polynomialsat the Matthayom Sueksa One Level. Veridian E-Journal, Silpakorn University, 9(3), 1206-1220. (in Thai)
Kladchuen, R., & Sanrach, J. (2018). An Efficiency Comparison of Algorithms and Feature Selection Methods to Predict the Learning Achievement of Vocational Students. Research Journal Rajamangala University of Technology Thanyaburi, 17(1), 1-10.(in Thai)
Rawanprakhon, P., & Tayraukham, S. (2017). The Development of Multidimensional Essay Test. Journal of Community Development Research (Humanities and Social Sciences), 10(4), 13-23. (in Thai)
Sudjai, M., & Mungsing, S. (2021). Development of an Automated subjective answer scoring System with full-text search technique and PHP text comparison function Journal of Information Science and Technology, 11(1), 8-17. (in Thai)
Wongphummueang, L., & Piyakun, A. (2021). Development of Multidimensional Test of Collaborative Problem-Solving Skills for Lower Secondary School Students. Journal of Educational Measurment, Mahasarakham University, 27(1), 232-243. (in Thai)
Wongwanit, S. (2020). Design Research in Education. Chulalongkorn University press. (in Thai)
Boonjun, S. (2019). A Comparison of Differential Item Funtioning for Mixed Format Tests by Tree Dffferentail Methods [Doctoral dissertation]. Burapha University. (in Thai)
Fiothong, A., Junpeng, P., Suwannatrai, P., Chinjunthuk, S., & Tawarungruang, C. (2022). Designing Open-Ended Question Scoring for Assessment of student Mathematical Proficiency Levels through Digital Technology. Journal of Educational Measurement Mahasarakham University, 28(1), 346-362. (in Thai)
