Psychometric Properties Evaluation of Rubric for Assessing Thai Music Performance: An Application of Many-Facet Rasch Measurement Partial Credit Model

Authors

  • Purin Thepsathit Chulalongkorn University
  • Kamonwan Tangdhanakanond Chulalongkorn University

Keywords:

psychometric properties evaluation, rubric, Thai music performance assessment, Many-facet Rasch measurement partial credit model

Abstract

The purpose of this study was to evaluate the psychometric properties of a rubric for assessing Thai music performance using the Many-facet Rasch measurement partial credit model. The samples of this study were 1) 84 secondary students who played 4 Thai classical Instruments including Ranad Eak, Ranad Thum, Khong Wong Yai and Khong Wong Lek; and 2) 6 trained raters who had experiences in Thai music performance. The 8 criterion and 12 item rubric for assessing Thai music performance included 5 categories for each item that was used in this study. The data were analyzed using the Many-facet Rasch measurement partial credit model across 4 facets including student, rater, instrument, and item. The results revealed that 1) The results of fit statistics across 4 facets, facet quality index of rater and item facet, point-measure correlation of item facet and category effectiveness index indicated the construct validity of the rubric and 2) Chi-square of student and rater facet and facet quality index of student facet indicated reliability of the rubric.

Downloads

Download data is not yet available.

Author Biographies

Purin Thepsathit, Chulalongkorn University

Graduate Student, Division of Innovation Development in Education Department of Educational Research and Psychology, Faculty of Education, Chulalongkorn University 

Kamonwan Tangdhanakanond, Chulalongkorn University

Lecturer of Department of Educational Research and Psychology, Faculty of Education, Chulalongkorn University

References

ภาษาไทย

กมลวรรณ ตังธนกานนท์. (2563). การวัดและประเมินทักษะการปฏิบัติ (พิมพ์ครั้งที่ 3). สำนักพิมพ์จุฬาลงกรณ์มหาวิทยาลัย.

ชยพร ไชยสิทธิ์, มนัส วัฒนไชยยศ, และ บรรจง ชลวิโรจน์. (2560). การพัฒนาชุดฝึกระนาดทุ้มเพลงสาธุการของนักเรียน

ชั้นมัธยมศึกษาปีที่ 4 สาขาวิชาชีพปี่พาทย์ วิทยาลัยนาฏศิลปนครศรีธรรมราช สถาบันบัณฑิตพัฒนศิลป์. วารสารวิทยาลัยนครราชสีมา, 11(3),

-212.

รณฤทธิ์ ไหมทอง. (2564). การประพันธ์เดี่ยวระนาดเอกเพลงเทวาประสิทธิ์ สองชั้น เพื่อการประกวดเดี่ยวเครื่องดนตรีไทยระดับชาติ สำหรับ

นักเรียนระดับชั้นประถมศึกษา. วารสารวิชาการ คณะมนุษยศาสตร์และสังคมศาสตร์ มหาวิทยาลัยราชภัฏพระนคร, 5(2), 109 – 130.

ศิริชัย กาญจนวาสี. (2563). ทฤษฎีการทดสอบแนวใหม่ (พิมพ์ครั้งที่ 5). สำนักพิมพ์จุฬาลงกรณ์มหาวิทยาลัย.

สงบศึก ธรรมวิหาร. (2540). ดุริยางค์ไทย. สำนักพิมพ์จุฬาลงกรณ์มหาวิทยาลัย.

สำนักทบวงมหาวิทยาลัย. (2544). เกณฑ์มาตรฐานดนตรีไทยและเกณฑ์การประเมิน. ภาพพิมพ์.

ภาษาอังกฤษ

American Educational Research Association, American Psychological Association & National Council on Measurement in

Education. (2014). Standards for educational and psychological testing. American Educational Research Association.

Chen, W. H., Lenderking, W., Jin, Y., Wyrwich, K. W., Gelhorn, H., & Revicki, D. A. (2014). Is Rasch model analysis applicable

in small sample size pilot studies for assessing item characteristics? An example using PROMIS pain behavior item

bank data. Quality of Life Research, 23(2), 485-493. DOI: 10.1007/s11136-013-0487-5

DeLuca, C., & Bolden, B. (2014). Music performance assessment: Exploring three approaches for quality rubric

construction. Music Educators Journal, 101(1), 70-76.

Eckes, T. (2009). Introduction to many-facet Rasch measurement. Peter Lang Edition.

Edwards, A. S., Edwards, K. E., & Wesolowski, B. C. (2019). The psychometric evaluation of a wind band performance rubric

using the Multifaceted Rasch Partial Credit Measurement Model. Research Studies in Music Education, 1-25.

Engelhard, G. (1997). Constructing rater and task banks for performance assessments. Journal of Outcome Measurement,

(1), 19-33.

Fisher, W. (1992). Reliability, separation, strata statistics. Rasch Measurement Transections, 6(3), 238.

Krishnan, S., & Idris, N. (2018). Using partial credit model to improve the quality of an instrument. International Journal of

Evaluation and Research in Education, 7(4), 313-316.

Linacre, J. M. (1994). Sample size and item calibration stability. Rasch Measurement Transactions,

(4), 328.

Linacre, J. M. (1997, August). Judging plans and facets. https://www.rasch.org/rn3.htm

Linacre, J. M. (2002). Understanding Rasch measurement: Optimizing rating scale category effectiveness. Journal of

Applied Measurement, 3(1), 85-106.

Linacre, J. M. (2010). When to stop removing Items and persons in Rasch misfit analysis. Rasch measurement

transactions, 23(4).

Linacre, J. M. (2022a). A user guide to FACETS (Version 3.84.0) [Computer software]. https://www.winsteps.com/a/Facets-

Manual.pdf

Linacre, J. M. (2022b). A user guide to WINSTEPS (Version 5.2.3) [Computer software].

https://www.winsteps.com/a/Winsteps-Manual.pdf

Mohaffyza, M., Sulaiman, N., Lai, C. S., & Salleh, K. M. (2015). Measuring the validity and reliability of research

instruments. Procedia – Social and Behavioral Sciences, 204, 164-171. https://doi.org/10.1016/j.sbspro.2015.08.129

Uto, M. (2021). Accuracy of performance-test linking based on a many-facet Rasch model. Behavior Research Methods,

(4). 1440-1454.

Wright, B. D., & Masters, G. N. (2002). Number of person or item strata. Rasch Measurement Transaction,

(3), 888.

Published

2022-09-23