طراحی و کاربرد روش سنجش انطباقی کامپیوتری برای اجرای آزمون تولیمو در سازمان سنجش آموزش کشور

سنجش مهارت زبان انگلیسی در ارزیابی های خطیر به تعداد زیادی پرسش برای آزمون هایی به شیوه مداد-کاغذی (P&P) نیاز دارد؛ زیرا هر سال افراد بسیاری در این نوع آزمون های سرنوشت ساز شرکت می کنند. هدف از اجرای این پژوهش، طراحی و کاربرد سنجش انطباقی کامپیوتری (CAT) به عنوان گزینه ای برای سنجش مهارت زبان انگلیسی در سازمان سنجش آموزش کشور بود. CAT برخلاف آزمون های سنتی P&P که توالی گزینش پرسش ها در آن ثابت و یکنواخت است، از یک شیوه گزینش سوال بهینه و انطباقی استفاده می کند. CAT، برآورد توانایی موقت را به طور بهینه مورد هدف قرار می دهد و به یک ملاک همگرایی مناسب برای برآورد توانایی می رسد و در نتیجه، به یک فرایند سنجش کوتاه تر، قابل اطمینان تر و کارآمدتر می رسد. مورد مطالعه مهارت زبان انگلیسی در مطالعه حاضر، آزمون تولیمو است. این پژوهش در دو مرحله اجرا شده است: در مرحله اول، نمونه ای از اجراهای مداد-کاغذی آزمون تولیمو (دوره 114 تا 123)، انتخاب و سپس، سوال ها و توانایی آزمودنی ها مدرج سازی شد. در مرحله دوم، CATهای بهینه شبیه سازی شده به عنوان مبنایی برای ارزیابی صحت و کارایی CAT عملیاتی طراحی شدند. نتایج پژوهش نشان داد که برآورد پارامتر توانایی به روش بیشینه درست نمایی و ملاک توقف طول ثابت، بیشترین دقت در برآورد پارامتر توانایی آزمودنی ها را ایجاد می کنند. همچنین، آزمون CAT تولیمو که بر اساس خزانه سوال بهینه شبیه سازی شدند، نسبت به CAT عملیاتی که بر اساس خزانه سوال موجود طراحی شده است، به سوال های کمتری نیاز دارد، درحالی که به نتایج دقیق تری نسبت به CAT عملیاتی در برآورد پارامتر توانایی منجر می شود. بنابراین، باوجود مناسب بودن سوال های موجود در خزانه سوال مدرج سازی شده آزمون تولیمو، طراحی سوال هایی برای هدف اجرای آزمون به شیوه CAT، هم به صرفه تر است و هم دقیق تر پارامتر توانایی را برآورد می کند. همچنین، نتایج این مطالعه نشان داد که آزمون تولیمو هم به شیوه CAT شبیه سازی شده و CAT عملیاتی طراحی شده به شکلی کارآتر و دقیق تر نسبت به تولیمو مداد-کاغذی عمل می کند. یافته های این پژوهش، نشان می دهد که آزمون CAT تولیمو دارای پتانسیل بالایی در کارایی و دقت اندازه گیری توانایی زبان انگلیسی است.

کلیدواژه ها:

سنجش انطباقی کامپیوتری (CAT) ، آزمون تولیمو ، برآورد پارامتر توانایی ، خزانه سوال ، تعادل محتوایی و مواجهه سوال