การพัฒนาโมเดลตรวจคำตอบอัตนัยแบบตอบสั้น สำหรับรายวิชาสถิติและสารสนเทศทางการศึกษา
Article Sidebar
Main Article Content
บทคัดย่อ
งานวิจัยนี้มีความมุ่งหมายเพื่อการพัฒนาโมเดลการตรวจคำตอบอัตนัยแบบตอบสั้นสำหรับรายวิชาสถิติและสารสนเทศทางกรศึกษโดยใช้การเรียนรู้ของเครื่อง และเปรียบเทียบประสิทธิภาพของโมเดลที่สร้างขึ้นด้วยอัลกอริทึมที่แตกต่างกัน การประเมินความสามารถของโมเดลที่พัฒนาขึ้นจะใช้ชุดข้อมูลทดสอบที่มีที่ผ่านการตรวจสอบจากผู้เชี่ยวชาญ โดยเปรียบเทียบโมเดลจำนวน 5 โมเดล ได้แก่ single learner 4 อัลกอริทึม คือ random forest, support vector machine, naive bayes, logistic regression และโมเดล ensemble learner ของทั้ง 4 อัลกอริทึม พบว่าโมเดลที่ดีที่สุดของทุกหัวข้อมาจากอัลกอริทึม Naïve Bayes และ random forest พบว่า Naïve Bayes มีประสิทธิภาพสูงที่สุดสำหรับโมเดลสำหรับตรวจให้คะแนนคำถามข้อ 1 และมีประสิทธิภาพใกล้เคียงกับโมเดลจาก random forest ในขณะที่ข้อคำถามอื่น ๆ อีก 4 ข้อ นั้น random forest มีประสิทธิภาพดีที่สุด โดยโมเดลรายข้อที่ประสิทธิภาพสูงที่สุดที่สุดของทั้ง 5 โมเดล มีค่า f1-score อยู่ในช่วง .90 - .97, precision อยู่ในช่วง .95 - 1.00, recall อยู่ในช่วง .77 - .92, sensitivity อยู่ในช่วง .84 - .96 และ specificity อยู่ในช่วง .85 - 1.00 ซึ่งสำหรับค่า recall เท่ากับ .77 ซึ่งถือว่าประสิทธิภาพอยู่ในระดับปานกลางมีอยู่เพียง 1 โมเดลรายข้อ สำหรับข้ออื่น ๆ มีค่าไม่น้อยกว่า .85 ซึ่งอยู่ในเกณฑ์ดีถึงดีมาก ในส่วนของประสิทธิภพาด้านเวลา พบว่า single learner ทุกโมเดลใช้เวลาประมวลใกล้เคียงกัน และใกล้เคียงกับเวลาในการประมวลผลด้วย ensemble learner ซึ่งเวลาในการประมวลผลของทุกโมเดลอยู่ในช่วง 1.1 - 2.6 วินาที เพราะฉะนั้น random forest เป็นโมเดลที่ประสิทธิภาพสูงที่สุดทั้งด้านความถูกต้องและความเร็วในการประมวลผล
Article Details
อนุญาตภายใต้เงื่อนไข Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
เนื้อหาและข้อมูลในบทความที่ลงตีพิมพ์ในวารสารการวัดผลการศึกษา มหาวิทยาลัยมหาสารคาม ถือเป็นข้อคิดเห็นและความรับผิดชอบของผู้เขียนบทความโดยตรง ซึ่งกองบรรณาธิการวารสาร ไม่จำเป็นต้องเห็นด้วย หรือร่วมรับผิดชอบใดๆ
บทความ ข้อมูล เนื้อหา รูปภาพ ฯลฯ ที่ได้รับการตีพิมพ์ในวารสารการวัดผลการศึกษา มหาวิทยาลัยมหาสารคาม ถือเป็นลิขสิทธิ์ของวารสารการวัดผลการศึกษา มหาวิทยาลัยมหาสารคาม หากบุคคลหรือหน่วยงานใดต้องการนำทั้งหมดหรือส่วนใดส่วนหนึ่งไปเผยแพร่ต่อหรือกระทำการใดๆ จะต้องได้รับอนุญาตเป็นลายลักษณ์อักษรจากวารสารการวัดผลการศึกษา มหาวิทยาลัยมหาสารคาม ก่อนเท่านั้น
เอกสารอ้างอิง
Abdullah, D. M., & Abdulazeez, A. M. (2021). Machine Learning Applications based on SVM Classification: A Review. Qubabau Academic Journal, 1(2), 81-90. https://doi.org/10.48161/qaj.v1n2a50
Adugna, T., Xu, W., & Fan, J. (2022). Comparison of Random Forest and Support Vector Machine Classifiers for Regional Land Cover Mapping Using Coarse Resolution FY-3C Images. Remote Sensing, 14(3), 574. https://doi.org/10.3390/rs14030574
Jollyta, D., Gusrianty, & Sukrianto, D. (2019). Analysis of Slow Moving Goods Classification Technique: Random Forest and Naïve Bayes. Khazanah informatika, 5(2), 134-139. https://doi.org/10.23917/khif.v5i2.8263
Kumar, V. S., & Boulanger, D. (2020). Automated Essay Scoring and the Deep Learning Black Box: How Are Rubric Scores Determined?. International Journal of Artificial Intelligence in Education, 31(1), 538-584. https://doi.org/10.1007/s40593-020-00211-5
McNamara, D. S., Crossley, S. A., Roscoe, R. D., Allen, L. K., & Dai, J. (2015). A hierarchical classification approach to automated essay scoring. ScienceDirect, 23(1), 35-59. http://dx.doi.org/10.1016/j.asw.2014.09.002
Pranckevicius, T., & Marcinkevicius, V. (2017). Comparison of Naive Bayes, Random Forest, Decision Tree, Support Vector Machines, and Logistic Regression classifiers for text reviews classification. Baltic Journal of Modern Computing, 5(2), 221–232. https://doi.org/10.22364/bjmc.2017.5.2.05
Xin, Y., & Ren, X. (2022). Predicting depression among rural and urban disabled elderly in China using a random forest classifier. BMC Psychiatry, 22(1), 118. https://doi.org/10.1186/s12888-022-03742-4
Chuchip, K. (2018). Logistic Regression. Remote Sensing Technical Note, 5(1), 1-10. https://forest-admin.forest.ku.ac.th/304xxx/?q=system/fles/book/5%282018%29%20Logistic%20Regression.pdf (in Thai)
Ho, T. K. (2021). Algorithm Random Forest. Mathlabbkk. https://matlabbkk.medium.com/อัลกอริทึม-random-forest-a25517b92e04 (in Thai)
Ho, T. K. (2022). Algorithm Random Forest is what... used when... How does it work... Mathlabbkk. https://matlabbkk.medium.com/อัลกอริทึม-random-forest-คืออะไร-ใช้เมื่อไหร่-มีหลักการทำงานอย่างไร-11f9a036e348 (in Thai)
Kittinaradorn, C. (2020, January). Support Vector Machines. Github. https://guopai.github.io/ml-blog08.html (in Thai)
Kongruksiam. (2020, 27 March). Machine Learning (EP.6)- Naive Bayes Classification. Medium. https://kongruksiam.medium.com/สรุป-machine-learning-ep-5-การจัดหมวดหมู่ด้วย-naive-bayes-eb9ce0e1b010 (in Thai)
Pradyasin. (2019, 4 October). Support Vector Machines (SVM). Medium. https://medium.com/@pradyasin/support-vector-machines-svm-943f9a732a69 (in Thai)
Tongsilp, A. (2020). Development of Automated Scoring System for Thai Writing Ability Test of Primary Education Level [Doctoral Dissertation]. Chula Digital Collections. https://digital.car.chula.ac.th/chulaetd/4143/ (in Thai)
