การออกแบบระบบตรวจให้คะแนนแบบสอบอัตนัย โดยการให้ข้อมูลป้อนกลับอัตโนมัติ เพื่อวินิจฉัยระดับความสามารถทางคณิตศาสตร์ของผู้เรียนผ่านการเรียนรู้ของเครื่อง
Article Sidebar
Main Article Content
บทคัดย่อ
การวิจัยครั้งนี้มีความมุ่งหมาย (1) เพื่อวิเคราะห์ผลการตอบของผู้เรียนสู่การออกแบบนวัตกรรมต้นแบบ ประกอบด้วย มโนทัศน์ที่คลาดเคลื่อนของผู้เรียน การกำหนดจุดตัดระดับความสามารถทางคณิตศาสตร์ การให้ข้อมูลป้อนกลับตามมโนทัศน์ที่คลาดเคลื่อนและตัวแปรที่ใช้ในการทำนายผ่านการเรียนรู้ของเครื่อง (machine learning) และ (2) เพื่อออกแบบระบบตรวจให้คะแนนแบบสอบอัตนัย ของผู้เรียนผ่านการเรียนรู้ของเครื่อง (machine learning) โดยใช้ระเบียบวิธีวิจัยการออกแบบ กลุ่มผู้สอบ คือ นักเรียนระดับชั้นมัธยมศึกษาปีที่ 1 จำนวนนักเรียนทั้งหมด 495 คน เครื่องมือที่ใช้ คือ แบบทดสอบอัตนัย สาระสถิติและความน่าจะเป็น ผ่านชุดเครื่องมือวินิจฉัยในระบบการทดสอบออนไลน์ “eMAT-Testing” วิเคราะห์ข้อมูลโดยใช้โมเดลการตอบสนองข้อสอบแบบพหุมิติ MRCML ผลการวิจัยปรากฏดังนี้
1. ผลการวิเคราะห์ผลการตอบของผู้เรียนจากข้อมูลทุติยภูมิ พบว่า (1) ผู้เรียนมีมโนทัศน์ทั้งหมด 4 รูปแบบ คือ 1) การใช้ข้อมูล 2) การบิดเบือนทฤษฎีบท กฎ สูตร บทนิยาม และสมบัติ 3) การคำนวณและขาดการตรวจสอบในระหว่างการแก้ปัญหา และ 4) ความผิดพลาดในการตีความด้านภาษาและสัญลักษณ์ทางคณิตศาสตร์ โดยทั้งในมิติกระบวนการทางคณิตศาสตร์ (MAP) และ มิติโครงสร้างความคิดรวบยอด (SLO) นักเรียนมีมโนทัศน์ที่คลาดเคลื่อนมากที่สุดคือ ด้านการใช้ข้อมูล (2) ผลการกำหนดจุดตัด โดยการกำหนดเกณฑ์พื้นที่บน Wright Map พบว่า มิติกระบวนการทางคณิตศาสตร์ แบ่งได้ 5 ระดับ 4 จุดตัด จากระดับต่ำสุดไปสูงสุด ที่ -0.99 0.26 0.44 และ 0.61 ตามลำดับ และมิติโครงสร้างความคิดรวบยอด แบ่งได้ 5 ระดับ 4 จุดตัด จากระดับต่ำสุดไปสูงสุด ที่ -0.70 0.15 0.76 และ 1.39 ตามลำดับ ซึ่งจุดตัดดังกล่าวสามารถนำไปสู่การกำหนดช่วงระดับความสามารถ คะแนนสเกล และคะแนนดิบเพื่อนำไปใช้เป็นเกณฑ์การประเมินระดับความสามารถทางคณิตศาสตร์ในแต่ละมิติ และ (3) ตัวแปรจากข้อมูลทุติยภูมิ ที่นำไปใช้ในการสร้างสมการทำนายระดับความสามารถทางคณิตศาตร์ผ่านการเรียนรู้ของเครื่อง (machine learning) พบว่า ตัวแปรต้นที่จะส่งผลต่อการสร้างสมการทำนาย คือ เกรดคณิตเทอมที่ผ่านมา เกรดเฉลี่ยรวมเทอมที่ผ่านมา ชั่วโมงเรียนพิเศษและชั่วโมงศึกษาคณิตศาสตร์ด้วยตนเอง และตัวแปรตามประกอบด้วย คะแนนดิบมิติกระบวนการคณิตศาสตร์ คะแนนดิบมิติโครงสร้างความคิดรวบยอด และคะแนนรวม 2 มิติ
2. ผลการออกแบบการระบบตรวจให้คะแนนผ่าน machine learning สามารถแบ่งออกเป็น 5 ส่วน ประกอบด้วย (1) ส่วนรับข้อมูล (2) ส่วนประมวลผล (3) ส่วนแสดงผล (4) ส่วนให้ข้อมูลป้อนกลับอัตโนมัติ และ (5) ส่วนรายงานผลการประเมิน โดยผลการประเมินคุณภาพของการออกแบบระบบได้ผ่านผู้เชี่ยวชาญ จำนวน 5 คน ด้วยวิธีการสนทนากลุ่ม ครอบคลุมทั้ง 5 มาตรฐาน ประกอบด้วย ด้านอรรถประโยชน์ ด้านความเป็นไปได้ ด้านความเหมาะสมชอบธรรม ด้านความถูกต้อง และด้านความรับผิดชอบการประเมิน
Article Details
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
เนื้อหาและข้อมูลในบทความที่ลงตีพิมพ์ในวารสารการวัดผลการศึกษา มหาวิทยาลัยมหาสารคาม ถือเป็นข้อคิดเห็นและความรับผิดชอบของผู้เขียนบทความโดยตรง ซึ่งกองบรรณาธิการวารสาร ไม่จำเป็นต้องเห็นด้วย หรือร่วมรับผิดชอบใดๆ
บทความ ข้อมูล เนื้อหา รูปภาพ ฯลฯ ที่ได้รับการตีพิมพ์ในวารสารการวัดผลการศึกษา มหาวิทยาลัยมหาสารคาม ถือเป็นลิขสิทธิ์ของวารสารการวัดผลการศึกษา มหาวิทยาลัยมหาสารคาม หากบุคคลหรือหน่วยงานใดต้องการนำทั้งหมดหรือส่วนใดส่วนหนึ่งไปเผยแพร่ต่อหรือกระทำการใดๆ จะต้องได้รับอนุญาตเป็นลายลักษณ์อักษรจากวารสารการวัดผลการศึกษา มหาวิทยาลัยมหาสารคาม ก่อนเท่านั้น
References
Adams, R. J., Wilson, M., & Wang, W. C. (1997). The multidimensional mandom coefficients multinomial logit model. Applied Psychological Measurement, 21(1), 1-23.
Brookhart, S. M., Moss, C. M., & Long, B. A. (2008). Teacher inquire into formative assessment practices among Title I reading teachers and literacy coaches. http://www.castl.duq.edu/Castl_TechReports.htm
Demars, C. (2010). Item Response Theory: Understanding Statistics Measurement. Oxford University Press.
Finnegan, D., Kauppinen, A., & Wärnsby, A. (2015). Automated Feedback in a Blended Learning Environment: Student Experience and Development. In G. Rijlaarsdam (Eds.), M. Deane & T. Guasch. (Vol. Eds.), Studies in Writing: Vol. x, Learning and teaching writing online: Strategies for success (pp. 31-45). Brill.
Fisher, D., Grant, M., Frey, N., & Johnson, C. (2007). Taking formative assessments schoolwide. Educational Leadership, 65(4), 64–68.
Fisher, D., & Frey. N. (2011). The formative assessment action plan. ASCD.
Hattie, J., & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77, 81-112.
Junpeng, P., Krotha, J., Chanayota, K., Tang, K. N., & Wilson, M. (2019). Constructing Progress Maps of Digital Technology for Diagnosing Mathematical Proficiency. Journal of Education and Learning, 8(6), 90-102
Shalev-Shwartz, S., & Ben-David, S. (2014). Understanding Machine learning: From theory to algorithms. Cambridge university press
Stiggins, R. J., & Chappuis, J. (2011). An Introduction to Student-Involved Assessment FOR Learning (6th Ed.). Pearson.
Van Der Kleij, F. M., Feskens, R. C., & Eggen, T. J. (2015). Effects of feedback in a computer based learning environment on students’ learning outcomes: A meta-analysis. Review of Educational Research, 85(4), 475-511.
Varasunun, P. (2011). The Program Evaluation Standards (3rd Ed.) in 2010. Journal of Research Methodology, 24(2), 273-278.
Wilson, M. (2005). Constructing measures: An item response modeling approach. Routledge.
Wu, M. L., Adams, R. J., & Wilson, M. R. (2007). ACER Conquest: Generalized item response modelling software. ACER Press.
Yadav, R., Tiruwa, A., & Suri, P. K. 2017. Internet Based Learning (IBL) in Higher Education: A Literature Review. Journal of International Education in Business,10(2), 102-129.
Yarbrough, D. B., Shulha, L. M., Hopson, R. K., & Caruthers, F. A. (2010). The program Evaluation standards: A guide for evaluators and evaluation users (3rd Ed.). Sage.
Adulpongpaisal, S. (2009). Construction of Mathematics Diagnostic Test on Relations and Functions for MathayomSuksa 5 Students [Master’s thesis]. Chiang Mai University. (in Thai)
Chinjunthuk, S., & Junpeng, P. (2020). Assessment Guidelines for Student’s Personalized Mathematical Proficiency Development. Journal of Educational Measurement, Mahasarakham University, 26(1), 47- 64. (in Thai)
Junpeng, P., Marwiang, M., Chinjunthuk, S., Suwannatrai, P., Krotha, J., Chanayota, K., Tawarungruang, C., Thuanman, J., Tang K. N., & Wilson M. (2020). Developing Students’ Mathematical Proficiency Level Diagnostic Tools through Information Technology in Assessment for Learning Report. The Thailand Research Fund and Khon Kaen University. (in Thai)
Junpeng, P. (2018). Applications of the multidimensional item response theory of research (4th Ed.). Khon Kaen University Printing. (in Thai)
Ministry of Education. (2017). Indicators and subjects of learning the core Learning group Mathematics according to the basic education core curriculum (Revised version 2017). Agricultural Co-operative Federation of Thailand Limited. (in Thai)
Office of the Basic Education Commission. (2020). Instruction manual learning mathematics (revised version 2020) According to the core curriculum of basic education version 2017. Agricultural Co-operative Federation of Thailand Limited. (in Thai)
Sukkrom, P. & Makanong, A. (2015). A Study of Misconceptions and Mistakes in Mathematics of Eleventh Grade Students in Schools Under the Secondary Educational Service Area Office 1 and 2. OJED, 10(4), 599-611. (in Thai)
Thamcharoen, T. (2019). Fault Detection and Diagnosis of Machine Downtime in Slider Attachment Process using Machine learning Technique [Master’s thesis]. Suranaree University of Technology. (in Thai)
The National Institute of Educational Testing Service. (2021). The result of the national basic educational testing (O-NET) Mathayom 3 Year 2020. http://www.niet.or.th (in Thai)
Wongwanit, S. (2020). Design Research in Education. Chulalongkorn University. (in Thai)