การพัฒนาเครื่องมือประเมินระดับสมรรถนะเพื่อการเปลี่ยนแปลงสำหรับผู้เรียนระดับมัธยมศึกษาตอนต้นแบบพหุมิติ โดยประยุกต์ใช้โมเดลเชิงโครงสร้างเป็นฐานการพัฒนา
Article Sidebar
Main Article Content
บทคัดย่อ
การวิจัยครั้งนี้เป็นส่วนหนึ่งของการพัฒนาเครื่องมือประเมินสมรรถนะเพื่อการเปลี่ยนแปลงผ่านแพลตฟอร์มดิจิทัลอัตโนมัติแบบเรียลไทม์ มีวัตถุประสงค์เฉพาะเพื่อพัฒนาและตรวจสอบคุณภาพเครื่องมือประเมินระดับสมรรถนะเพื่อการเปลี่ยนแปลงแบบพหุมิติ สำหรับผู้เรียนระดับมัธยมศึกษาตอนต้น การศึกษาครั้งนี้ใช้โมเดลเชิงโครงสร้างเป็นฐานการพัฒนา 4 ขั้นตอน คือ (1) การพัฒนาแผนที่โครงสร้างการประเมินสมรรถนะเพื่อการเปลี่ยนแปลง (2) พัฒนาคำถามเชิงสถานการณ์ตามแผนที่โครงสร้าง (3) การให้คะแนนผลลัพธ์การเรียนรู้ และ (4) การวิเคราะห์โมเดลเชิงโครงสร้าง โดยทั้ง 4 ขั้นตอน ดำเนินการภายใต้ระเบียบวิธีวิจัยการออกแบบ (design research) กลุ่มผู้สอบเพื่อนำมาใช้ตรวจสอบคุณภาพเครื่องมือประเมิน คือ ผู้เรียนระดับมัธยมศึกษาตอนต้น จำนวน 487 คน จากนั้นนำผลการตอบมาวิเคราะห์ข้อมูลวิเคราะห์ข้อมูลตามโมเดลการตอบสนองแบบพหุมิติของคะแนนคำตอบหลายค่าที่มีสัมประสิทธิ์แบบสุ่มจากการวัด (MRCML) ประกอบการพิจารณาร่วมกับ Wright map ผลการวิจัยมีดังนี้
(1) ผลการพัฒนาเครื่องมือประเมินระดับสมรรถนะเพื่อการเปลี่ยนแปลงสำหรับผู้เรียนระดับมัธยมศึกษาตอนต้นแบบพหุมิติ ตามแผนที่โครงสร้าง ประกอบด้วย (1) มิติการสร้างสิ่งใหม่ (2) มิติความรับผิดชอบ และ (3) มิติการอยู่ภายใต้ความขัดแย้ง ในแต่ละมิติประกอบด้วย 5 ระดับ ระดับสูงสุดคือ 5 ระดับขยายการคิด ไปจนถึงระดับต่ำสุด คือ ขั้นระดับตอบคำถามไม่สอดคล้องกับคำถามหรือตอบคำถามในเชิงลบได้พัฒนาเป็นข้อคำถามเชิงสถานการณ์แบบเลือกตอบ 5 ตัวเลือก จำนวน 30 ข้อ มีการให้คะแนนจาก 0-4 คะแนน
(2) ผลการตรวจสอบคุณภาพของเครื่องมือเป็นไปตามเกณฑ์มาตรฐานการทดสอบทางการศึกษาและจิตวิทยา นั่นคือ (2.1) หลักฐานความตรง เครื่องมือประเมินมีความตรงตามหลักฐานความตรง ดังนี้ หลักฐานความตรงด้านเนื้อหาของรายการประเมินพบว่ารายการข้อคำถามครอบคลุมการประเมินสมรรถนะเพื่อการเปลี่ยนแปลง หลักฐานความตรงด้านกระบวนการตอบจากการสัมภาษณ์ผู้สอบหลังการทำแบบประเมินพบว่าผู้เรียนมีความเข้าใจคำถามตรงตามที่ผู้วิจัยตั้งคำถาม หลักฐานความตรงด้านโครงสร้างภายในและการกำหนดจุดตัด พบว่า มีความสอดคล้องกับข้อมูลเชิงประจักษ์ (= 72.21, df =5, p = .01) เมื่อทดสอบด้วยสถิติทดสอบ Likelihood-Ratio พบว่า โมเดลพหุมิติสอดคล้องกลมกลืนกับข้อมูลมากที่สุด (G2 =33741.91, AIC =33993.91, BIC =34080.54) เนื่องจากมีค่า G2, AIC และ BIC ต่ำกว่าโมเดลเอกมิติ (G2 = 33814.12, AIC = 34056.12, BIC = 34139.31) (2.2) หลักฐานความเที่ยง พบว่า ค่าความเที่ยงแบบ EAP/PV ในมิติการสร้างสิ่งใหม่ มิติความรับผิดชอบ และมิติการอยู่ภายใต้ความขัดแย้ง เท่ากับ 0.80 0.83 และ 0.82 ตามลำดับ ค่าความเที่ยงแบบสอดคล้องภายในทั้งฉบับ เท่ากับ 0.87 และมีค่าเฉลี่ยความคลาดเคลื่อนมาตรฐานของการวัด (SEM) ในมิติการสร้างสิ่งใหม่ มิติความรับผิดชอบและมิติการอยู่ภายใต้ความขัดแย้ง เท่ากับ 0.03, 0.03 และ 0.02 ตามลำดับ และ (2.3) ผลการวิเคราะห์ค่าสถิติความเหมาะสมรายข้อ (item fit) โดยพิจารณาค่า OUTFIT MNSQ และ INFIT MNSQ ของข้อคำถามจากการวิเคราะห์ด้วยโมเดลพหุมิติพบว่าค่า OUTFIT MNSQ ของทั้งฉบับมีค่าอยู่ระหว่าง 0.77 ถึง 1.73 ส่วนค่า INFIT MNSQ มีค่าอยู่ระหว่าง 0.86 ถึง 1.30 ข้อโดยคำถามเกือบทุกข้ออยู่ในเกณฑ์ที่ยอมรับได้
Article Details
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
เนื้อหาและข้อมูลในบทความที่ลงตีพิมพ์ในวารสารการวัดผลการศึกษา มหาวิทยาลัยมหาสารคาม ถือเป็นข้อคิดเห็นและความรับผิดชอบของผู้เขียนบทความโดยตรง ซึ่งกองบรรณาธิการวารสาร ไม่จำเป็นต้องเห็นด้วย หรือร่วมรับผิดชอบใดๆ
บทความ ข้อมูล เนื้อหา รูปภาพ ฯลฯ ที่ได้รับการตีพิมพ์ในวารสารการวัดผลการศึกษา มหาวิทยาลัยมหาสารคาม ถือเป็นลิขสิทธิ์ของวารสารการวัดผลการศึกษา มหาวิทยาลัยมหาสารคาม หากบุคคลหรือหน่วยงานใดต้องการนำทั้งหมดหรือส่วนใดส่วนหนึ่งไปเผยแพร่ต่อหรือกระทำการใดๆ จะต้องได้รับอนุญาตเป็นลายลักษณ์อักษรจากวารสารการวัดผลการศึกษา มหาวิทยาลัยมหาสารคาม ก่อนเท่านั้น
References
Adams, R. J., & Khoo, S. T. (1996). Quest. Australian Council for Educational Research.
Adams, R. J., Wilson, M., & Wang, W. C. (1997). The multidimensional random coefficients multinomial logit model. Applied Psychological Measurement, 21(1), 1-23
AERA, APA, & NCME. (2014). Standards for Educational and Psychological Testing (6th ed.). American Educational Research Association.
Baker, F. B., & Kim, S. H. (2017). The Basics of Item Response Theory Using R. Springer International Publishing.
Canto-Sperber, M., & Depuy, J. P. (2001). Competencies for good life and good society. In Defining and selecting competencies, edited by D. Rychen and L. Salganik, pp. 67-92. Kirkland, WA: Hogrefe & Huber.
DeMars, C. (2010). Item Response Theory: Understanding Statistics Measurement. Oxford University Press.
European Commission. (2007). Key competences-Education and training-European Commission. http://ec.europa.eu/education/policy/school/competences_en.
Grayling, A. (2017). Education 2030 - Conceptual Learning Framework: Background papers: Observations on “Taking responsibility” and “Coping with tensions and dilemmas”. http://www.oecd.org/education/2030-project/about/documents.
Haste, H. (2001). “Ambiguity, autonomy, and agency: Psychological challenges to new competence”, in Rychen, D. and L. Salganik (Eds.). Defining and selecting key competencies. (pp. 93-120). Hogrefe & Huber.
Junpeng, P., Krotha, J., Chanayota, K., Tang, K. N. & Willson, M. (2019). Constructing Progress Maps of Digital Technology for Diagnostic Mathematical Proficiency. Journal of Education and Learning, 8(6), 90-102.
Leadbeater, C. (2017). Students as agents of change. http://www.oecd.org/education/2030-project/about/documents.
Lin, T.H., & Dayton, C. M. (1997). Model Selection Information Criteria for Non-Nested Latent Class Model. Journal of Educational and Behavioral Statistics, 22(3), 249-264.
Nussbaum, M. (1997). Cultivating Humanity: a Classical Defense of Reform in Liberal Education. Harvard University Press.
OECD. (2018). The Future of Education and Skills: Education 2030. https://www.oecd.org/education/2030/E2030%20Position%20Paper%20(05.04.2018).pdf.
Podjana, C., Junpeng, P., Luanganggoon, N., Nongna, C. & Tang, K. N. (in press). Developing a Framework for Assessing Transformative Competencies of Junior High School Students Through Construct Modeling Approach. Humanities, Arts and Social Sciences Studies.
Reeves, Thomas, C. (2006). Design research from a technology perspective. In Van den Akker, Jan, Gravemeijer, Koeno, McKenney, Susan and Nieveen, Nienke. (Eds). Educational Design Research. Routledge, Taylor and Francis Group. (pp. 52-62).
Sass D. A., Schmitt T. A., & Walker C. M. (2008). Estimating non-normal latent trait distributions with item response theory using true and estimated item parameters. Applied Measurement in Education, 21, 65-88
Steinberg, L. (2017). Transformative Competencies 2030: Taking Responsibility. http://www.oecd.org/education/2030-project/about/documents
Wilson, M. (2005). Constructing measures: An item response modeling approach (Har/Cdr edition). Routledge.
Wilson, M., Allen, D. D., & Li, J. C. (2006). Improving measurement in health education and health behavior research using item response modelling: Comparison with the classical test theory approach. Health Education Research, 2(1), 19-32.
Yao, L., and Schwarz, R.D. (2006). A multidimensional partial credit model with associated item and test statistics: An application to mixed-format tests. Applied Psychological Measurement, 30(6), 469-492.
Office of the Education Council. (2019). A quick guide for people on the competency and a quick guide for Teachers, Administrators and Educational Personnel on Competency-Based Curriculum. Bangkok, Thailand: 21st Century. (in Thai)
Piyapimonsit, C. & Suksiri, W. (2017). Developing Student’s Personality Trait Inventory According to Big-Five Personality Trait Theory Using Construct Mapping and Rasch Measurement Approach. National Institute of Educational Testing Service. (in Thai)
Vongvanich, S. (2020). Design research in education. Bangkok, Thailand: Chulalongkorn University Printing House. (in Thai)
Wenukoset, W. (2019). A Development of Citizenship Measure: Applying Construct Modeling Approach [Unpublished Master’s thesis]. Khon Kean University. (in Thai)