Interpreting the Validity of a High-Stakes Test in Light of the Argument-Based Framework: Implications for Test Improvement

  • سال انتشار: 1399
  • محل انتشار: مجله تحقیقات زبان شناسی کاربردی، دوره: 11، شماره: 1
  • کد COI اختصاصی: JR_RALS-11-1_004
  • زبان مقاله: انگلیسی
  • تعداد مشاهده: 174
دانلود فایل این مقاله

نویسندگان

Ali Darabi Bazvand

Department of English Language, College of Languages , University of Human Developmentv, Sulaimani, Kurdistan, Iraq

Alireza Ahmadi

Shiraz University

چکیده

The validity of large-scale assessments may be compromised, partly due to their content inappropriateness or construct underrepresentation. Few validity studies have focused on such assessments within an argument-based framework. This study analyzed the domain description and evaluation inference of the Ph.D. Entrance Exam of ELT (PEEE) sat by Ph.D. examinees (n = ۹۹۹) in ۲۰۱۴ in Iran. To track evidence for domain definition, the test content was scrutinized by applied linguistics experts (n = ۱۲). As for evaluation inference, the reliability and differential item functioning (DIF) of the test were examined. Results indicated that the test is biased because (۱) the test tasks are not fully represented in the Ph.D. course objectives, (۲) the test is best reliable for high-ability test-takers (IRT analysis), and (۳) ۴ items are flagged for nonnegligible DIF (logistic regression [LR] analysis). Implications for language testing and assessment are discussed and some possible suggestions are offered.

کلیدواژه ها

Argument-Based Validity, Differential Item Functioning (DIF), ELT

اطلاعات بیشتر در مورد COI

COI مخفف عبارت CIVILICA Object Identifier به معنی شناسه سیویلیکا برای اسناد است. COI کدی است که مطابق محل انتشار، به مقالات کنفرانسها و ژورنالهای داخل کشور به هنگام نمایه سازی بر روی پایگاه استنادی سیویلیکا اختصاص می یابد.

کد COI به مفهوم کد ملی اسناد نمایه شده در سیویلیکا است و کدی یکتا و ثابت است و به همین دلیل همواره قابلیت استناد و پیگیری دارد.