Creating and Quality Testing of Metacognition Multidimensional Subjective Test
Article Sidebar
Main Article Content
Abstract
The purposes of this research were to 1) develop a metacognition multidimensional subjective test, 2) create scoring rubrics for the metacognition multidimensional subjective test, and 3) find the quality of the metacognition multidimensional subjective test. The population consisted of students in the upper secondary school level in schools under the Offices of Secondary Educational Service Area in the Northeast Region. The sample consisted of 1,222 students in the upper secondary school level in 29 schools under the Offices of Secondary Educational Service Area in the Northeast Region, obtained through simple random sampling technique, using the school as the sampling unit. The tool was a multidimensional subjective metacognitive-ability test of 9 items. The statistics used were the mean, standard deviation, confirmatory factor analysis, alpha coefficient, the multidimensional analysis employing EAP reliability, and multidimensional random coefficients multinomial logit model (MRCMLM).
The findings were as follows:
1) The multidimensional subjective metacognitive-ability test consisted of 9 questions, 6 elements.
2) The expert’s opinion about the scoring rubrics of the multidimensional subjective metacognitive-ability test was at the highest level ( = 2.67) and the Inter-Rater Reliability (IRR) was .994.
3) The quality of the multidimensional subjective metacognitive-ability test was as follows: 3.1) Regarding the structural validity, the multidimensional model was better fitting than the unidimensional model. In the analysis using a confirmatory factor analysis, the model was fit to the empirical data. The CFA = 3.972 (df = 3, p = .265), GFI = .995, AGFI = .985, RMR = .0048, RMSEA = .0163. 3.2) Thresholds were used as cut scores. In each dimension, there were 4 difficulty levels, so there were 4 cutting points. The students’ ability was divided into 5 levels. It was used to interpret and diagnose students. 3.3) The EAP reliability was from .714 to .853. The reliability (alpha coefficient) was from .707 to .752.
Article Details
The content and information contained in the published article in the Journal of Educational Measurement Mahasarakham University represent the opinions and responsibilities of the authors directly. The editorial board of the journal is not necessarily in agreement with or responsible for any of the content.
The articles, data, content, images, etc. that have been published in the Journal of Educational Measurement Mahasarakham University are copyrighted by the journal. If any individual or organization wishes to reproduce or perform any actions involving the entirety or any part of the content, they must obtain written permission from the Journal of Educational Measurement Mahasarakham University.
References
ชัยวิชิต เชียรชนะ. (2552). การพัฒนาแบบวัดกลยุทธ์การเรียนรู้แบบพหุมิติสำหรับนักเรียนมัธยมศึกษาตอนปลาย. วิทยานิพนธ์ปริญญาครุศาสตรดุษฎีบัณฑิต สาขาการวัดและประเมินผลการจัดการศึกษา ภาควิชาวิจัยและจิตวิทยาการศึกษา คณะครุศาสตร์ จุฬาลงกรณ์มหาวิทยาลัย.
บุษวรรษ์ แสนปลื้ม. (2556). การศึกษาความสอดคล้องของการระบุความเข้มงวด/ใจดี และการทำหน้าที่ต่างกันของผู้ตรวจให้คะแนน. วารสารศิลปากรศึกษาศาสตร์วิจัย, 5(2), 335-347.
เมษา นวลศรี. (2559). การพัฒนาและตรวจสอบโครงสร้างพหุมิติของความเป็นพลเมืองที่มีความรับผิดชอบของนักเรียนชั้นมัธยมศึกษาตอนต้น: การประยุกต์ใช้แนวคิดการสร้างแผนที่โครงสร้าง. วิทยานิพนธ์ปริญญาครุศาสตรดุษฎีบัณฑิต สาขาวิชาการวัดและประเมินผลการจัดการศึกษาภาควิชาวิจัยและจิตวิทยาการศึกษา คณะครุศาสตร์จุฬาลงกรณ์มหาวิทยาลัย.
วนิดา ดีแป้น. (2556). การสร้างโมเดลการตอบสนองรายข้อแบบพหุมิติ พหุระดับของพฤติกรรมการเป็นสมาชิกองค์กรของครู. วิทยานิพนธ์ปริญญาครุศาสตรดุษฎีบัณฑิต สาขาการวัดและประเมินผลการจัดการศึกษา ภาควิชาวิจัยและจิตวิทยาการศึกษา คณะครุศาสตร์ จุฬาลงกรณ์มหาวิทยาลัย.
วิเชียร เกตุสิงห์. (2538). หลักการสร้างและวิเคราะห์เครื่องมือที่ใช้ในการวิจัย. กรุงเทพฯ: ไทยวัฒนาพาณิช.
ศิริชัย กาญจนวาสี. (2556). ทฤษฎีการทดสอบแบบดั้งเดิม. พิมพ์ครั้งที่ 7. กรุงเทพมหานคร: โรงพิมพ์แห่งจุฬาลงกรณ์มหาวิทยาลัย.
ศิริชัย กาญจนวาสี. (2558). ข้อสอบอัตนัย: การสร้าง การวิเคราะห์ และการตรวจอย่างเป็นปรนัย (Constructed – Response Test Question: How to Construct, Analyze, and Score Item). สารสมาคมวิจัยสังคมศาสตร์แห่งประเทศไทย, 2(3), 16-27.
สุกัญญา ทองนาค. (2555). การพัฒนาแบบทดสอบสมรรถนะนักศึกษาตามมาตรฐานวิชาชีพครูแบบพหุมิติที่มีการตรวจให้คะแนนแบบพหุวิภาค. วิทยานิพนธ์ปริญญาครุศาสตรดุษฎีบัณฑิต สาขาการวัดและประเมินผลการจัดการศึกษา ภาควิชาวิจัยและจิตวิทยาการศึกษา คณะครุศาสตร์ จุฬาลงกรณ์มหาวิทยาลัย.
อัญชลี ศรีกลชาญ (2547). การพัฒนาแบบวัดพหุปัญญาสำหรับนักเรียนชั้นมัธยมศึกษาตอนต้น. วารสารวิจัยและวัดผลการศึกษา, 2(1), 112-129.
Adams, R. J. (2005). Reliability as a measurement design effect. Studies in Educational valuation, 31, 162-172.
Baker, L. and A. Brown. (1984). Metacognitive Skills and Reading. New York : Longman.
Boyd, R. (1999). Homeostasis, Species and higher taxa. In R.A. Wilson(Ed), Species : New interdisciplinary essays (pp.141-185). Cambridge, MA : MIT Press.
Brown, H.D. (1987). Principles of Language Learning and Teaching. New Jersey : Prentice Hall.
Cross, D.R. and S.G. Paris. (1988). Developmental and Instructional Analyses of Children's Metacognition and Reading Comprehension. Journal of Educational Psychology, 80(2), 131.
Flavell, J. H. (1979). Metacognition and Cognitive Monitoring : A new Are of Cognitive- development Inquiry. American Psychologist, 34(10), 906-911.
Flavell, J. H., Miller, P. H., & Miller, S. A. (1985). Cognitive development. Englewood Cliffs, NJ: Prentice-Hall.
Frey, A. and N.N., Seitz. (2009). Multidimensional Adaptive Testing in Educational and Psychological Measurement: Current State and Future Challenges. Studies in Educational Evaluation, 35, 89-94.
Hoskens, M., and Boeck, P.D. (2001). Multidimensional componential item response theory models for polytomous items. Applied Psychological Measurement, 25(1), 19-37.
Hair, J.F., Black, W.C., Babin, B.J., & Anderson, R.E. (2010). Multivariate data analysis. 7th ed. Prentice Hall.
Hu L., and Bentler P.M. (1999). Cutoff criteria for fit indices in covariance structure analysis: conventional criteria versus new alternatives. Structural Equation Modeling, 6, 1–55.
Jacobs,J.E., and Paris., S.G. (1987). Children’s metacognition about reading: Issue in definition, measurement and instruction. Educational Psychologist, 22, 255-278.
Kelloway, E. (1998). Using LISREL for structural equation modeling: A researcher’s guide. Thousand Oaks: SAGE Publications.
Kline R.B. (1998). Principles and practice of structural equation modeling. Guilford Press.
Lee, M. and A.L. Baylor. (2006). Designing Metacognitive Maps for Web-Based Learning. Educational Technology and Society, 9(1), 344-348.
McCormick, R.J. (2009). Applied Muscle Biology and Meat Science. Boca Ratton : CRC Press.
McIntire, S.A. and L.A. Miller. (2007). Foundations of Psychological Testing : A Practical Approach. 2nd ed. California : SAGE.
Moskal, Barbara M. (2000). Scoring rubrics: what,when and how?. Practical Assessment, Research & Evaluation. [Online]. Available from : http://PAREonline.net/getvn.asp?v=7&n=3. [accessed 1 August 2019]
Nunnally, J.C. and Bernstein, I.H. (1994) The Assessment of Reliability. Psychometric Theory, 3, 248-292.
Pintrich, P.R. (2000). Multiple Goals, Multiple Pathways : The Role of Goal Orientation in Learning and Achievement. Journal of Educational Psychology, 92(3), 544-555.
Schraw, G. and R.S. Dennison. (1994). Assessing Metacognitive Awareness. Contemporary Educational Psychology, 19(4), 460-475.
Veenman, P. (2006). Animal Physiotherapy. Journal of Bodywork and Movement Therapies, 10(4), 317-327.
Yang, C. (2009). A Study of Metacognitive Strategies Employed by English Listeners in an EFL Setting. International Education Studies, 2(4), 134-139.