• برآورد توانایی آزمودنی­ها به سوالات آزمون وابسته است. ‌به این معنی که نمونه ­های متفاوت

سوال به برآورد­های متفاوتی از توانایی افراد مورد سنجش منجر می­ شود. در چارچوب نظریه کلاسیک آزمون، مفهوم توانایی به وسیله نمره واقعی بیان می­ شود. هم نمره مشاهده شده و هم نمره واقعی هر دو وابسته به آزمون مورد استفاده هستند. وقتی که آزمون دشوار است، به نظر می­رسد که آزمودنی توانایی پایینی دارد و وقتی که آزمون آسان است به نظر می‌رسد که آزمودنی دارای توانایی بالایی باشد. ‌بنابرین‏ نمی­ توان یک مقدار توانایی ثابتی را در روی پیوستار صفت مکنون برای آزمودنی به دست آورد. در نتیجه مقایسه آزمودنی­هایی که در آزمون­های مختلف شرکت کرده ­اند، خیلی دشوار است.

• مفاهیم و تعاریف نظریه CTT غیر قابل آزمایش هستند. در واقع راهی وجود ندارد تا معین شود

چه اندازه مفروضه­های نظریه کلاسیک آزمون با واقعیات در ارتباط است.

• یکی از نتایج نظری مدل کلاسیک آزمون، ساخت فرم­های موازی آزمون است. این امر از

لحاظ نظری قابل دفاع است لیکن در عمل، ساخت آزمون­های موازی واقعی غیر­ممکن است. زیرا نمرات

واقعی و خطا، ساخت نظری غیر قابل مشاهده دارند و موازی بودن فرم­ها قابل تبیین و توجیه نیست.

• نظریه کلاسیک آزمون، آزمون مدار^[۴۲] است. در قالب این نظریه، نمره کل را برای تفسیر در نظر

می­ گیرند. نمره کل­ها می ­توانند با هم مشابه باشند در حالی که توانایی و مهارت­ های افراد با هم متفاوت باشد. این نظریه توجهی به اینکه یک آزمودنی چطور به سوال پاسخ می­دهد ندارد. به عبارت دقیق­تر، این نظریه ما را به پیش ­بینی نحوه عملکرد یک فرد یا یک گروه از آزمودنی­ها در مواجه با یک سوال خاص قادر نمی­سازد.

• نظریه کلاسیک آزمون به اندازه کافی برای توزیع­های نمره مشاهده شده آزمون که اثرات پایه

و سقف دارند دلیل موجهی نمی­آورد، جایی که نسبت بزرگی از نمره آزمودنی­ها در هر دو انتهای پایین و بالای دامنه­ نمره آزمون قرار دارند.

• مجموعه­ متنوع و گسترده ­ای از عوامل می ­تواند نمرات مشاهده شده را تحت­تأثیر قرار دهد،

از جمله چگونگی ساخت سؤالات، اجرای آزمون­ها، نمره گذاری سوالات. در CTT همه این عوامل فقط در اصطلاح خطای تصادفی در مدل آماری گنجانیده شده است.

• اعتبار در نظریه کلاسیک اندازه ­گیری به عنوان ” همبستگی میان فرم­های موازی یک آزمون”

تعریف می­ شود. در عمل مرتفع کردن شرایط تعریف آزمون­های موازی اگر غیر­ممکن نباشد، دشوار است. ضرایب اعتبار موجود، برآورد حد پایین اعتبار را به دست می­ دهند یا برآوردی از اعتبار با سوگیری نامعلوم را فراهم می­سازند.

• خطای استاندارد اندازه ­گیری^[۴۳] که تابعی از واریانس و ضریب اعتبار آزمون ‌می‌باشد، فرض

می­ شود که برای همه آزمودنی­ها در همه سطوح توانایی یکسان است. در حالی که، برحسب سطوح مختلف نمرات حقیقی و موقعیت آزمودنی­ها بر روی پیوستار صفت مکنون، خطای اندازه ­گیری متفاوت است و معمولاً آزمودنی­های با توانایی کمتر دارای خطاهای استاندارد اندازه ­گیری بیشتری هستند تا آزمودنی­های قویتر و با نمرات حقیقی بالاتر. علاوه بر آن، خطای معیار اندازه ­گیری به گروه نمونه وابسته است زیرا نمی­ توان آن را جدا از اعتبار آزمون تعیین کرد.

نظریه تعمیم پذیری(GT)

عوامل مختلفی، نمرات مشاهده شده آزمون را تحت تأثیر قرار می­دهد. در نظریه کلاسیک آزمون، همه

این عوامل تحت یک عبارت خطای تصادفی نامتمایز در مدل آماری گنجانیده می­ شود. روان­سنجان برای لحاظ کردن این عوامل و تفکیک آن ها در مدل­های آماریشان، نظریه تعمیم­پذیری را گسترش دادند. بنا به گفته­ی برنان (a2010)، نظریه تعمیم­پذیری چارچوب مفهومی گسترده و مجموعه محکمی از روش­های آماری را برای پرداختن به مسائل اندازه گیری متعدد فراهم ‌کرده‌است تا حدی که، این نظریه را ‌می‌توان به دلیل به کار بستن روش­های تحلیل واریانس^[۴۴](ANOVA) به عنوان بسطی از نظریه کلاسیک آزمون تلقی کرد. نظریه کلاسیک آزمون و ANOVA را ‌می‌توان به عنوان والدین نظریه تعمیم­پذیری پنداشت، اما این کودک هم بیشتر و هم کمتر از پیوند ساده­ی والدینش است. اگر چه نظریه تعمیم­پذیری، نظریه کلاسیک آزمون را گسترش داده است، اما همه ابعاد نظریه کلاسیک آزمون در نظریه تعمیم­پذیری وارد نشده است. علاوه بر این، مسائل ANOVA که در نظریه تعمیم­پذیری بر آن تأکید می­ شود متفاوت از مسائلی است که در بسیاری از طرح­های آزمایشی و متون ANOVA غالب است. نظریه تعمیم­پذیری به طور خاص بر روی مؤلفه­ های واریانس^[۴۵] و برآوردشان تمرکز می­ کند.

در این نظریه با تجزیه واریانس نمره کل به رویه های^[۴۶] چندگانه، امکان برآورد درصد واریانس ناشی از هر رویه به وجود می ­آید و از این طریق ‌می‌توان رویه ­ای (منبع خطا) که مقدار مؤلفه واریانس آن و یا مقدار مؤلفه­ های واریانس اثرهای متقابل آن زیاد است را شناسایی کرد و در ادامه با اقدامات مؤثر مقدار واریانس خطا را کاهش داد و فرایند اندازه ­گیری را بهبود بخشید. فرض کنید در بررسی که انجام داده­اید، رویه ارزیاب مؤلفه واریانس بزرگتری دارد. در اینجا ‌می‌توان با افزایش سطوح این رویه (افزایش تعداد ارزیابان) و یا آموزش بهتر برای ارزیابان، به ثبات بهتری در بین ارزیابان رسید. همان­طور که فن و سان^[۴۷] (۲۰۱۳) بیان نموده اند؛ این نظریه با مطالعات D برای طرح­های اندازه ­گیری مختلف، به محققین این امکان را می­دهد که تأثیر سطوح اندازه ­گیری^[۴۸] را بر روی اندازه اعتبار بسنجند و اندازه اعتبار را در مطالعه واقعی­شان پیش ­بینی کنند. در این راستا محققین می ­توانند با بهره گرفتن از قابلیت انعطاف پذیری و پیش ­بینی این نظریه و با در نظر گرفتن ملاحظات عملی، پروتکل اندازه گیری بهینه­ای را طراحی کنند.

در GT، اعتبار مسئله­ای است از نظر درجه­ای که ‌می‌توان از یک مشاهده به جهانی از مشاهدات تعمیم

داد (کرونباخ، گلیسر، ناندا و راجاراتنام، ۱۹۷۲، به نقل از براون^[۴۹]، ۲۰۰۵). از آنجا که یک اندازه خاص ممکن است به جهان­های بسیار متفاوتی تعمیم داده شود، ‌بنابرین‏ با ضرایب اعتبار مختلفی همراه خواهد بود. ضریب تعمیم­پذیری (اعتبار) یک آزمون، ویژگی تغییر­­ناپذیر آن نیست بلکه تحت تأثیر شرایط اجرای آزمون قرار دارد. بر اساس این نظریه، یک آزمون می ­تواند برای برخی مقاصد معتبر باشد ولی برای مقاصد دیگر کاملاً نامعتبر باشد. ­GT قابلیت کاربرد گسترده ­ای دارد و در زمینه ­های متعددی به کار گرفته شده است.

مفاهیم و اصطلاحات در GT

بنا به گفته­ی برنان (a2010) مهمترین وجه و ویژگی منحصر به فرد GT چارچوب مفهومی آن است.

لذا برای ارتباط برقرار کردن با این نظریه و درک چارچوب مفهومی آن، مفاهیم و اصطلاحات رایج در این نظریه جداگانه و با بهره گرفتن از مثال زیر شرح داده می­ شود.