การพัฒนาวิธีการตรวจสอบการทำหน้าที่ต่างกันของข้อสอบ โดยการตัดสินของผู้เชี่ยวชาญ

Abstract

การวิจัยครั้งนี้เป็นการวิจัยเชิงทดลอง มีวัตถุประสงค์ 2 ประการ คือ ประการแรก เพื่อพัฒนา วิธีการสำหรับการตรวจสอบการทำหน้าที่ต่างกันของข้อสอบโดยผู้เชี่ยวชาญ และประการที่สองเพื่อ เปรียบเทียบประสิทธิภาพการตรวจสอบการทำหน้าที่ต่างกันของข้อสอบในด้านอัตราความถูกต้อง และอัตรา ความคลาดเคลื่อนของผลการตรวจสอบการทำหน้าที่ต่างกันของข้อสอบกับข้อสอบที่คัดสรรมาสำหรับ การทดลองเมื่อใช้วิธีการวิเคราะห์ด้วยแบบวินิจฉัยโดยผู้เชี่ยวชาญ วิธีการประยุกต์ใช้เทคนิคการประชุม แบบเดลฟายจากกลุ่มผู้เชี่ยวชาญ และวิธีการประยุกต์ใช้เทคนิคโปรโตคอลอะลาว์ด ตัวอย่างที่ใช้ในการ วิจัย คือ ผู้เชี่ยวชาญจำนวน 21 คน และนักเรียนระดับมัธยมศึกษาปีที่ 6 ปีการศึกษา 2556 จำนวน 139 คน ซึ่งได้จากการเลือกตัวอย่างแบบเจาะจง เครื่องมือที่ใช้ในการวิจัยประกอบด้วยแบบวินิจฉัย การทำหน้าที่ต่างกันของข้อสอบจากผู้เชี่ยวชาญ แบบยืนยันการตรวจสอบการทำหน้าที่ต่างกันของข้อสอบ โดยประยุกต์เทคนิคการประชุมแบบเดลฟาย แบบสอบถามสำหรับการตรวจสอบความลำเอียงของข้อสอบ สำหรับนักเรียน ชุดข้อสอบสาระการเรียนรู้สุขศึกษาและพลศึกษาสำหรับการตรวจสอบการทำหน้าที่ ต่างกันของข้อสอบสำหรับผู้เชี่ยวชาญ ข้อสอบที่คัดสรรมาได้นำมาผ่านการวิเคราะห์การทำหน้าที่ต่างกัน ของข้อสอบโดยวิธีแมนเทล-แฮนส์เซล ด้วยโปรแกรม DDFS 1.0 และโปรแกรม DIFAS 5.0

ผลการวิจัยพบว่า 1) วิธีการตรวจสอบการทำหน้าที่ต่างกันของข้อสอบโดยการตัดสินของ ผู้เชี่ยวชาญที่สำคัญมี 3 วิธี ได้แก่ วิธีที่ 1 การวินิจฉัยการตรวจสอบการทำหน้าที่ต่างกันของข้อสอบโดย ผู้เชี่ยวชาญ วิธีที่ 2 การประยุกต์ใช้เทคนิคการประชุมแบบเดลฟายจากกลุ่มผู้เชี่ยวชาญ และวิธีที่ 3 การประยุกต์ใช้เทคนิคโปรโตคอลอะลาว์ด 2) ข้อสอบที่ทำหน้าที่ต่างกันด้านเพศของแบบสอบสาระ การเรียนรู้สุขศึกษาและพลศึกษาจากผลการวิเคราะห์เปรียบเทียบอัตราความถูกต้องระหว่างวิธี การตรวจสอบการทำหน้าที่ต่างกันของข้อสอบด้วยวิธีทางสถิติกับการตรวจสอบโดยผู้เชี่ยวชาญพบว่า วิธีที่ 1 การตรวจสอบด้วยแบบวินิจฉัยโดยผู้เชี่ยวชาญ มีอัตราความถูกต้องโดยเฉลี่ยคิดเป็นร้อยละ 50 และมีอัตราความคลาดเคลื่อนของการตรวจสอบการทำหน้าที่ต่างกันของข้อสอบโดยเฉลี่ยคิดเป็นร้อยละ50 วิธีที่ 2 การประยุกต์ใช้เทคนิคการประชุมแบบเดลฟายจากกลุ่มผู้เชี่ยวชาญ มีอัตราความถูกต้อง ตามฉันทามติจากกลุ่มผู้เชี่ยวชาญคิดเป็นร้อยละ 0 และมีอัตราความคลาดเคลื่อนของการตรวจสอบ การทำหน้าที่ต่างกันของข้อสอบคิดเป็นร้อยละ 100 วิธีที่ 3 การประยุกต์ใช้เทคนิคโปรโตคอลอะลาว์ด มีอัตราความถูกต้องโดยเฉลี่ยคิดเป็นร้อยละ 25 และมีอัตราความคลาดเคลื่อนของการตรวจสอบ การทำหน้าที่ต่างกันของข้อสอบโดยเฉลี่ยคิดเป็นร้อยละ 75

This study is an experimental research conducted with two objectives. The first objective was to develop a differential item functioning (DIF) detected method by experts and the second objective was to compared the effectiveness of DIF detected in terms of accuracy rates and error rates in the outcomes from DIF detected and test questions selected for the experiment when using analysis by expert diagnosis and implementation of the Delphi Conference technique by a group of experts with the Think Aloud Protocols (TAPs). The sample group for this study was composed of 21 experts and 139 Grade 12 students during the 2013 academic year selected through purposive sampling. The research instrumentation was conducted by diagnosing DIF by implementing the Delphi Conference technique, a questionnaire for testing question bias for students, the substance health education and the physical education learning test for DIF detection for experts. The selected questions were obtained through DIF analysis by the Mantel – Haenszel method using the DDFS 1.0 and DIFAS 5.0 programs.

According to the research findings: 1) A DIF detection method by experts judgment 3 methods such as the first method, detected with the diagnosis by experts the second method, implementation of the Delphi Conference technique by experts the third method, implementation of TAPs 2) Concerning the test questions on gender with DIF in the substance of health education and physical education learning test, according to the analysis to compare accuracy rates between DIF detection methods by statistical means and detection by experts. The first method, detection with the diagnosis form by experts, was found to have a mean accuracy rate of 50% with a mean error rate of DIF detection at 50%. Furthermore, in the second method, the implementation of the Delphi Conference technique by experts, showed an accuracy rate rendered by the consensus of a group of experts at 0% and an error rate of DIF detection at 100%, while the third method, implementation of TAPs, had a mean accuracy rate of 25% and a mean error rate of DIF detection of 75%.