การตรวจสอบคุณสมบัติทางจิตมิติของข้อสอบวัดความรู้ภาษาอังกฤษของมหาวิทยาลัยสุโขทัยธรรมาธิราช
Article Sidebar
Main Article Content
บทคัดย่อ
การวิจัยนี้มีจุดมุ่งหมายเพื่อ 1) วิเคราะห์คุณภาพของข้อสอบวัดความรู้ภาษาอังกฤษของมหาวิทยาลัยสุโขทัยธรรมาธิราชด้วยระบบคอมพิวเตอร์ (STOU-EPT) ใน 3 พารามิเตอร์ ได้แก่ ค่าอำนาจจำแนก (a) ค่าความยาก (b) และค่าโอกาสการเดา (c) ตามทฤษฎีการตอบสนองข้อสอบ (IRT) และ 2) ตรวจสอบการทำหน้าที่ต่างกันของข้อสอบวัดความรู้ภาษาอังกฤษของมหาวิทยาลัยสุโขทัยธรรมาธิราชด้วยระบบคอมพิวเตอร์ กลุ่มตัวอย่าง ได้แก่ ผู้ที่เข้าสอบ STOU-EPT ใช้วิธีการเลือกแบบเจาะจงตามเกณฑ์ คือ มีข้อมูลทุติยภูมิผลการสอบ STOU-EPTร่วมกับมีข้อมูลเพศ ภูมิลำเนา และประสบการณ์ในการสอบ จำนวน 1,272 คน เครื่องมือวิจัยเป็นแบบทดสอบ STOU-EPT จำนวน 100 ข้อ ประกอบด้วย ทักษะการฟัง 25 ข้อ ทักษะโครงสร้างไวยากรณ์ 35 ข้อ และทักษะการอ่าน 40 ข้อ วิเคราะห์ข้อมูลด้วย RStudio ผลการวิจัยพบว่า
1. คุณภาพข้อสอบ STOU-EPT ได้แก่ 1) ด้านทักษะการฟัง ค่า a อยู่ในช่วง -9.62 ถึง 4.50 ซึ่งผ่านเกณฑ์ a > 0 จำนวน 22 ข้อ (88%) ค่า b อยู่ในช่วง -1.80 ถึง 8.19 ซึ่งผ่านเกณฑ์ -2 ≤ b ≤ +2 จำนวน 22 ข้อ (88%) และค่า c อยู่ในช่วง 0 ถึง 0.61 2) ด้านทักษะโครงสร้างไวยากรณ์ ค่า a อยู่ในช่วง -3.40 ถึง 7.65 ซึ่งผ่านเกณฑ์ a > 0 จำนวน 31 ข้อ (88.57%) ค่า b อยู่ในช่วง -4.21 ถึง 3.06 ซึ่งผ่านเกณฑ์ -2 ≤ b ≤ +2 จำนวน 22 ข้อ (62.86%) และค่า c อยู่ในช่วง 0 ถึง 0.44 และ 3) ด้านทักษะการอ่าน ค่า a อยู่ในช่วง -8.75 ถึง 7.87 ซึ่งผ่านเกณฑ์ a > 0 จำนวน 36 ข้อ (90%) ค่า b อยู่ในช่วง -2.02 ถึง 23.75 ซึ่งผ่านเกณฑ์ -2 ≤ b ≤ +2 จำนวน 35 ข้อ (87.50%) และค่า c อยู่ในช่วง -0 ถึง 0.63
2. การตรวจสอบการทำหน้าที่ต่างกันของข้อสอบ STOU-EPT ได้แก่ วิธี LR, SIBTEST และ MH โดยเปรียบเทียบจำนวนข้อที่พบ DIF ตรงกันตั้งแต่ 2 วิธีขึ้นไป พบว่า 1) ด้านทักษะการฟัง มี DIF ระหว่างเพศ (หญิง = focal) ภูมิลำเนา (กทม.และปริมณฑล = focal) และประสบการณ์ในการสอบ (> 1 ครั้ง = focal) จำนวนอย่างละ 3 ข้อเท่ากัน (12%) 2) ด้านทักษะโครงสร้างไวยากรณ์ มี DIF ระหว่างเพศ ภูมิลำเนาและประสบการณ์ในการสอบ จำนวน 3, 5 และ 1 ข้อ ตามลำดับ (8.57%, 14.29%, และ 2.86%) และ3) ด้านทักษะการอ่าน มี DIF ระหว่างเพศ ภูมิลำเนา และประสบการณ์ในการสอบ จำนวน 1, 3 และ 0 ข้อ ตามลำดับ (2.50%, 7.50%, และ 0%)
Article Details
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
เนื้อหาและข้อมูลในบทความที่ลงตีพิมพ์ในวารสารการวัดผลการศึกษา มหาวิทยาลัยมหาสารคาม ถือเป็นข้อคิดเห็นและความรับผิดชอบของผู้เขียนบทความโดยตรง ซึ่งกองบรรณาธิการวารสาร ไม่จำเป็นต้องเห็นด้วย หรือร่วมรับผิดชอบใดๆ
บทความ ข้อมูล เนื้อหา รูปภาพ ฯลฯ ที่ได้รับการตีพิมพ์ในวารสารการวัดผลการศึกษา มหาวิทยาลัยมหาสารคาม ถือเป็นลิขสิทธิ์ของวารสารการวัดผลการศึกษา มหาวิทยาลัยมหาสารคาม หากบุคคลหรือหน่วยงานใดต้องการนำทั้งหมดหรือส่วนใดส่วนหนึ่งไปเผยแพร่ต่อหรือกระทำการใดๆ จะต้องได้รับอนุญาตเป็นลายลักษณ์อักษรจากวารสารการวัดผลการศึกษา มหาวิทยาลัยมหาสารคาม ก่อนเท่านั้น
References
AERA, APA, & NCME. (2014). Standards for Educational and Psychological Testing: National Council on Measurement in Education. American Educational Research Association.
Berrío, Á. I., Gómez-Benito, J., & Arias-Patiño, E. M. (2020). Developments and trends in research on methods of detecting differential item functioning. Educational Research Review, 31, 100340. https://doi.org/10.1016/j.edurev.2020.100340.
Bichi, A. A., & Talib, R. (2018). Item Response Theory: An Introduction to Latent Trait Models to Test and Item Development. International Journal of Evaluation and Research in Education (IJERE), 7(2), 142-151. https://doi.org/10.11591/ijere.v7i2.12900.
Council of Europe. (2001). Common European Framework of Reference for Languages: Learning, Teaching, Assessment. Cambridge University Press.
Geramipour, M., & Shahmirzadi, N. (2019). A Gender–Related Differential Item Functioning Study of an English Test. The Journal of Asia TEFL, 16(2), 674-682.
Liao, L., & Yao, D. (2021). Grade-Related Differential Item Functioning in General English Proficiency Test-Kids Listening. Frontiers in Psychology, 12. https://doi.org/10.3389/fpsyg.2021.767244
Liu, L. M. (2017). Differential Item Functioning in Large-scale Mathematics Assessments: Comparing the Capabilities of the Rasch Trees Model to Traditional Approaches [Doctoral dissertation]. University of Toledo.
Ryan, K. E., & Bachman, L. F. (1992). Differential item functioning on two tests of EFL proficiency. Language Testing, 9(1), 12–29. https://doi.org/10.1177/026553229200900103
Haruethaipun, C., Kanjanawasee, S., & Pasiphol, S. (2015). A Development of the Differential Item Functioning Detection Methods by Expert Judgment. Journal of Education Studies, 43(1), 1-18. (in Thai)
Jiraro, S., & Aungsuchoti. (2021). Validating Sukhothai Thammathirat Open University’s Computer-Based English Proficiency Test (STOU-EPT) Under the Common European Framework of Reference for Languages (CEFR). Journal of Social Sciences in Measurement Evaluation Statistics and Research, 2(1) 27-35. (in Thai)
Kanjanawasee, S. (2020). Classical Test Theory (3th ed.). Chulalongkorn University Press. (in Thai)
Posing, S. & Erawan, W. (2023). Detecting Differential Item Functioning of Grade 9 Science Literacy Test. Journal of Educational Measurement Mahasarakham University, 29(1), 231-244. (in Thai)