ระบบการทดสอบแบบปรับเหมาะด้วยคอมพิวเตอร์สำหรับการวัดทักษะด้านเทคโนโลยีสารสนเทศและการสื่อสารแห่งศตวรรษที่ 21 ของนิสิตนักศึกษาปริญญาตรี
Article Sidebar
Main Article Content
บทคัดย่อ
การวิจัยเรื่องนี้มีวัตถุประสงค์หลัก 3 ประการ คือ 1) เพื่อพัฒนาองค์ประกอบในการวัดทักษะด้านเทคโนโลยีสารสนเทศและการสื่อสารแห่งศตวรรษที่ 21 ของนิสิตนักศึกษาปริญญาตรี 2) เพื่อพัฒนาข้อสอบสำหรับจัดทำคลังข้อสอบวัดทักษะด้านเทคโนโลยีสารสนเทศและการสื่อสารแห่งศตวรรษที่ 21ฯ และ 3) เพื่อพัฒนาและตรวจสอบคุณภาพของระบบการทดสอบแบบปรับเหมาะด้วยคอมพิวเตอร์สำหรับการวัดทักษะด้านเทคโนโลยีสารสนเทศและการสื่อสารแห่งศตวรรษที่ 21ฯ กลุ่มตัวอย่างที่ทดลองใช้แบบวัด ได้แก่ นิสิตนักศึกษาระดับปริญญาตรีจากสถาบันอุดมศึกษาของรัฐบาลในกรุงเทพมหานคร จำนวนทั้งสิ้น 1,672 คน กลุ่มตัวอย่างที่ทดลองใช้ระบบการทดสอบฯ ได้แก่ นิสิตนักศึกษาระดับปริญญาตรีจากสถาบันอุดมศึกษาของรัฐบาลในกรุงเทพมหานคร จำนวน 217 คน การวิเคราะห์ข้อมูลเชิงคุณภาพ ใช้การวิเคราะห์เนื้อหา การวิเคราะห์ข้อมูลเชิงปริมาณ ใช้สถิติบรรยาย t test การวิเคราะห์คุณภาพของข้อสอบตามทฤษฎี IRT ผลการวิจัยสรุปได้ ดังนี้
1. องค์ประกอบในการวัดทักษะด้านเทคโนโลยีสารสนเทศและการสื่อสารแห่งศตวรรษที่ 21ฯ ประกอบด้วย 5 องค์ประกอบ ได้แก่ 1) การเข้าถึงสารสนเทศ 2) การจัดการสารสนเทศ 3) การบูรณาการสารสนเทศ 4) การประเมินสารสนเทศ และ 5) การสื่อสารสารสนเทศ
2. การสร้างข้อสอบทักษะด้านเทคโนโลยีสารสนเทศและการสื่อสารแห่งศตวรรษที่ 21ฯ ตามนิยามเชิงปฏิบัติการเป็นข้อสอบ 5 ตัวเลือก องค์ประกอบละ 52 ข้อ รวมทั้งสิ้น 260 ข้อ ข้อสอบส่วนใหญ่ผ่านการประเมินความตรงเชิงเนื้อหา คิดเป็นร้อยละ 79.61 ผลการวิเคราะห์ค่าความเที่ยงของแบบสอบทั้ง 10 ชุด มีค่าเฉลี่ยเท่ากับ .63 ผลการวิเคราะห์คุณภาพของข้อสอบรายข้อตามทฤษฎี IRT พบว่า โมเดลเอกมิติ 2PL เป็นโมเดลที่สอดคล้องกลมกลืนกับข้อมูลคำตอบของแบบสอบทุกฉบับมากที่สุด ผลการคัดเลือกข้อสอบที่มีคุณภาพเพื่อจัดเก็บเข้าสู่ระบบคลังข้อสอบ ได้ข้อสอบจำนวน 212 ข้อ โดยมีค่าเฉลี่ยพารามิเตอร์ความยากข้อสอบเท่ากับ .18 (SD.= 2.06) และค่าเฉลี่ยพารามิเตอร์การจำแนกเท่ากับ .70 (SD =.39) ในภาพรวมสรุปได้ว่าข้อสอบที่นำเข้าคลังข้อสอบแบบปรับเหมาะเป็นข้อสอบยากปานกลางและจำแนกได้ปานกลาง
3. การพัฒนาระบบในการวิจัยครั้งนี้ใช้ภาษา PHP ที่สามารถใช้งานผ่านระบบออนไลน์ ระบบประกอบด้วย 4 ส่วน ได้แก่ 1) การลงทะเบียน 2) การสร้างชุดข้อสอบ 3) การทดสอบ ซึ่งประกอบด้วย การประมาณค่าความสามารถ การคัดเลือกข้อสอบ และการยุติการทดสอบ 4) การรายงานผลการทดสอบ และมีการพัฒนาคู่มือการใช้ระบบการทดสอบ ฯ แบ่งออกเป็น 2 ส่วน คือ 1) คู่มือการใช้งานสำหรับผู้ใช้งานทั่วไป และ 2) คู่มือการใช้งานสำหรับผู้จัดการระบบ ผลการตรวจสอบคุณภาพของระบบ ฯ โดยผู้ทรงคุณวุฒิ พบว่า ในภาพรวมและในแต่ละด้านย่อย ได้แก่ ความมีประโยชน์ ความเป็นไปได้ในการนำไปใช้ ความเหมาะสม และความถูกต้อง มีคุณภาพอยู่ในระดับมากที่สุด รวมทั้งผลการประเมินความพึงพอใจของนิสิตนักศึกษาต่อระบบการทดสอบด้านหน้าจอของระบบ การเรียนรู้ของผู้ใช้งาน และความสามารถของระบบ อยู่ในระดับมากเช่นกัน
Article Details
เนื้อหาและข้อมูลในบทความที่ลงตีพิมพ์ในวารสารการวัดผลการศึกษา มหาวิทยาลัยมหาสารคาม ถือเป็นข้อคิดเห็นและความรับผิดชอบของผู้เขียนบทความโดยตรง ซึ่งกองบรรณาธิการวารสาร ไม่จำเป็นต้องเห็นด้วย หรือร่วมรับผิดชอบใดๆ
บทความ ข้อมูล เนื้อหา รูปภาพ ฯลฯ ที่ได้รับการตีพิมพ์ในวารสารการวัดผลการศึกษา มหาวิทยาลัยมหาสารคาม ถือเป็นลิขสิทธิ์ของวารสารการวัดผลการศึกษา มหาวิทยาลัยมหาสารคาม หากบุคคลหรือหน่วยงานใดต้องการนำทั้งหมดหรือส่วนใดส่วนหนึ่งไปเผยแพร่ต่อหรือกระทำการใดๆ จะต้องได้รับอนุญาตเป็นลายลักษณ์อักษรจากวารสารการวัดผลการศึกษา มหาวิทยาลัยมหาสารคาม ก่อนเท่านั้น
เอกสารอ้างอิง
ณภัทร ชัยมงคล โชติกา ภาษีผล และ ศิริชัย กาญจนวาสี. (2559). การทดสอบแบบปรับเหมาะที่มีการสะท้อน ข้อมูลย้อนกลับในการทดสอบมาตรฐานวิชาชีพไอที. วารสารเทคโนโลยีสารสนเทศ, 12(2). 58-64.
ศิริชัย กาญจนวาสี. (2555). ทฤษฎีการทดสอบแนวใหม่ (พิมพ์ครั้งที่ 4). กรุงเทพมหานคร: สำนักพิมพ์แห่ง จุฬาลงกรณ์มหาวิทยาลัย.
สำนักงานคณะกรรมการการอุดมศึกษา. (2561). นักศึกษารวม ปีการศึกษา 2560. สืบค้นเมื่อ วันที่ 15 เมษายน 2561, ได้จาก: https://www.info.mua.go.th/information/.
Ali, U. S., & Chang, H. -H. (2014). An item-driven adaptive design for calibrating pretest items (Research Report No. RR-14-38). Princeton, NJ: Educational Testing Service. doi:10.1002/ets2.12044.
Ahmad, M., Karim, A. A., Din, R., & Albakri, I. S. M. A. (2013). Assessing ICT competencies among postgraduate students based on the 21st century ICT competency model. Asian Social Science, 9(16), 32–39.
Baker. F. B., & Kim, S. -H. (2017). The basics of item response theory using R. New York: Springer.
Birdsall, M. (2011). Implementing computer adaptive testing to improve achievement opportunities. Retrieved May 6, 2018, from https://assets.publishing.gov.uk/ government /uploads/system/uploads/attachment_data/file/606023/0411_
MichaelBirdsall _implementing-computer-testing-_Final_April_2011_With_ Copyright.pdf.
Bock, R. D., & Mislevy, R. J. (1982). Adaptive EAP estimation of ability in a microcomputer environment. Applied Psychological Measurement, 6(4), 431–444.
Brown, C., Templin, J., & Cohen, A. (2015). Comparing the two- and three-parameter logistic models via likelihood ratio tests: A commonly misunderstood problem. Applied Psychological measurement, 39(5), 335–348.
Claro et al. (2012). Assessment of 21st century ICT skills in Chile: Test design and results from high school level students. Computers & Education, 59(3), 1042–1053.
Educational Testing Service. (2002). Digital transformation a framework for ICT literacy. Retrieved January 5, 2018, from www1.ets.org/Media/Tests/Information_and_ Communication_Techno logy_Literacy/ictreport.pdf.
Haberman, S. J. (2008). When can subscores have value? Journal of Educational and Behavioral Statistics, 33(2), 204–229.
Hambleton, R. K., & Swaminathan, H. (1985). Item response theory: Principles and applications. Boston: Kluwer-Nijhoff.
Katz, I. R., & Macklin, A. S. (2007). Information and communication technology (ICT) literacy: Integration and assessment in higher education. Retrieved March 7, 2018, from https://www.iiisci.org/Journal/CV$/sci/pdfs/P890541.pdf.
Kim, S. H., & Cohen, A. S. (2002). A comparison of linking and concurrent calibration under the grade response model. Applied Psychological Measurement, 26(1), 25–41.
Mao, X., & Xin, T. (2013). The application of the Monte Carlo approach to cognitive diagnostic computerized adaptive testing with content constrains. Applied Psychological Measurement, 37(6), 482–496.
Meijer, R. R., & Nering, M. L. (1999). Computerized adaptive testing: Overview and Introduction. Applied Psychological Measurement, 23(3), 187–194.
Partnership for 21st Century Skills. (2007). P21 framework definitions. Retrieved January 15, 2018, from https://www.p21.org/storage/documents/P21_Framework_Definitions.pdf.
Thomson, N. A., & Weiss, D. J. (2011). A framework for the development of computerized adaptive tests. Practical Assessment, Research & Evaluation, 16(1), 1–9.
UNESCO. (2008). Strategy framework for promoting ICT literacy in the Asia-Pacific region. Retrieved January 9, 2018, from https://www2.unescobkk.org/elib/publications/ 188/promotingICT _literacy.pdf.
Wilson, M., & Moore, S. (2012). An explanative modeling approach to measurement of reading comprehension. In J. P. Sabatini, T. O’Reilly & E. R. Albro (Eds.), Reaching an understanding: Innovations in how we view reading assessment (pp. 147–168). Lanham, MD: Rowman & Littlefield Education.
Zheng, Y., & Chang, H. H. (2015). On-the-fly assembled multistage adaptive testing. Applied Psychological Measurement, 39(2), 1–15.
