การเปรียบเทียบผลการประมาณค่าพารามิเตอร์ความสามารถ ของผู้สอบสำหรับแบบสอบรูปแบบผสม : วิธีการประมาณค่าภาวะ น่าจะเป็นสูงสุดชายขอบและวิธีการปรับเรียบเคอร์เนล

Abstract

การวิจัยครั้งนี้เป็นการวิจัยเชิงทดลอง มีวัตถุประสงค์เพื่อ ๑) เปรียบเทียบผลการประมาณค่า พารามิเตอร์ความสามารถของผู้สอบสำหรับแบบสอบรูปแบบผสม ระหว่างวิธีการประมาณค่าภาวะ น่าจะเป็นสูงสุดชายขอบ (MML) และวิธีการปรับเรียบเคอร์เนล (KS) ๒) วิเคราะห์สัดส่วนของขนาด ตัวอย่าง ความยาวของแบบสอบ และเปอร์เซนต์ของข้อสอบที่ไม่สอดคล้องกับโมเดลการตอบสนองข้อสอบ ภายใต้เงื่อนไขการฝ่าฝืนข้อตกลงเบื้องต้นด้านการเลือกใช้โมเดลการตอบสนองข้อสอบ ในการประมาณ ค่าพารามิเตอร์ความสามารถของผู้สอบระหว่างวิธี MML และวิธี KS ที่ส่งผลต่อค่าประมาณพารามิเตอร์ ความสามารถของผู้สอบ ข้อมูลที่ใช้ในการศึกษาครั้งนี้ ใช้ข้อมูลจำลองภายใต้การเขียนคำสั่งการจำลอง ข้อมูลและประมวลผลด้วยโปรแกรม R จากเงื่อนไขในการศึกษา ๒๗ เงื่อนไข ดังนี้ [ขนาดตัวอย่าง ๓ เงื่อนไข ได้แก่ ๓๐๐ ๕๐๐ และ ๑,๐๐๐ แทนตัวอย่างขนาดเล็ก กลาง และใหญ่ตามลำดับ) x (ความยาวของ แบบสอบ ๓ เงื่อนไข ได้แก่ ๑๐ ๒๐ และ ๔๐ ข้อ แทนความยาวของแบบสอบสั้น ปานกลางและยาวตาม ลำดับ) x (เปอร์เซนต์ของข้อสอบที่ไม่สอดคล้องกับโมเดลการตอบสนองข้อสอบภายใต้เงื่อนไขการฝ่าฝืน ข้อตกลงเบื้องต้นด้านการเลือกใช้โมเดลการตอบสนองข้อสอบ ๓ เงื่อนไข ได้แก่ ๑๐ ๒๐ และ ๓๐ เปอร์เซนต์)

ผลการวิจัยในภาพรวมสรุปได้ว่า ๑) ผลการวิเคราะห์ เปรียบเทียบค่าประมาณพารามิเตอร์ ความสามารถของผู้สอบ สำหรับแบบสอบรูปแบบผสม ระหว่างวิธี MML และวิธี KS กรณีข้อสอบ ที่สอดคล้องกับโมเดลการตอบสนองข้อสอบ การประมาณค่าความสามารถของผู้สอบโดยรวมด้วยวิธี MML มีค่าเฉลี่ยของความคลาดเคลื่อนกำลังสองเฉลี่ย (AMSE) น้อยกว่าวิธี KS และกรณีข้อสอบ ที่ไม่สอดคล้องกับโมเดลการตอบสนองข้อสอบภายใต้เงื่อนไขการฝ่าฝืนข้อตกลงเบื้องต้นด้านการเลือกใช้ โมเดลการตอบสนองข้อสอบ การประมาณค่าความสามารถของผู้สอบโดยรวมด้วยวิธี MML มีค่า AMSE มากกว่าวิธี KS ๒) ผลการวิเคราะห์สัดส่วนของขนาดตัวอย่าง ความยาวของแบบสอบ และเปอร์เซนต์ของข้อสอบที่ไม่สอดคล้องกับโมเดลการตอบสนองข้อสอบ ด้วยการวิเคราะห์ความแปรปรวนสองทาง พบว่า ภายใต้เงื่อนไขการประมาณค่าความสามารถของผู้สอบด้วยวิธี KS สำหรับแบบสอบที่มีเปอร์เซนต์ ของข้อสอบที่ไม่สอดคล้องกับโมเดลการตอบสนองข้อสอบ ๑๐ เปอร์เซ็นต์ มีปฏิสัมพันธ์ระหว่างขนาด ตัวอย่างและจำนวนข้อสอบร่วมกันส่งผลต่อค่าดัชนี AMSE อย่างมีนัยสำคัญทางสถิติที่ระดับ .๐๕ (F=3.398, p=.01)

This research was an experimental research aiming to: 1) Compare the results of parameter estimation of ability parameters for mixed format tests between the Marginal Maximum Likelihood (MML) and the Kernel Smoothing (KS) methods. 2) Analyze the proportion of the sample size, the test length and the percentage of mis-f itted items under the violation of assumptions on the use of item response models to estimate the ability of the examinees between the MML and the KS methods. In this study, the data was simulated and assessed with program R. The total data studied included 27 conditions. The data were generated with three sample sizes (300, 500 and 1,000 samples), each fewer than three test lengths (10, 20 and 40 items), and percentage of mis-f itted items (10%, 20% and 30%).

The research results were as follows: 1) The analysis results of compared estimated ability of the examinees for mixed format tests between the MML and the KS methods; it was found that the estimate of the overall ability parameter with the MML method had a lower Average Mean Squared error (AMSE) than the KS method for the f itting item response model. However, for mis-f itting items under the violation of assumptions on the use of item response models, the overall ability parameter with MML method had a higher AMSE than the KS method. 2) The analysis results of the proportion of the sample size and the test length and percentage of mis-f itted items under violation of the assumptions on the use of item response models with two way of variance (two way ANOVA) found that there is an interaction between sample size and number of items. 10 percent of mis-f itted items with the KS approach were effected signif icantly on the AMSE indices at p-value < 0.05 (F=3.398, p=.01).