多向度試題反應理論之可能值方法對大型測驗中群體平均數估計之影響--以 TASA2006數學科為例

Applying Multidimensional IRT based Plausible Value Method to Estimate Group Means in Large-scale Assessment – Using TASA 2006 Mathematics as An Example

NAEP、TIMSS和PISA等大型測驗，學生的成就資料集是以可能值的資料型態提供給次級資料分析者進行統計特性描述。目前NAEP、TIMSS和PISA等所公布的技術報告，主要是以單向度的試題反應理論為基礎，透過可能值方法估計群體能力值，尚未以可能值方法進行估計不同向度之群體能力值。本研究根據2006年TASA數學科國小四年級施測後所蒐集到的學生作答資料與問卷資料，將學生的作答反應以多向度試題反應模式進行能力值估計，再分別將問卷背景變項與能力值進行二系列相關。將相關係數取絕對值後經由高低排序，分別從高到低抽取六個背景變項，探討背景變項與能力間的相關，是否會造成學生群體能力值的差異以及納入背景變項對學生群體能力值差異的影響？研究結果顯示：多向度試題反應理論下可能值方法於有無納入背景變項等不同模式中，對於不同向度下的不同類別平均力值由高到低的排序有一致的趨勢；此外，有納入背景變項進行估計，在五個向度中，最高數學成就能力值的組別與最低數學成就能力值組別的差距比忽略背景變項進行能力值估計的差距來的大，所以有無納入背景變項會影響估計群體能力參數；另外，在納入不同相關程度的背景變項之研究中發現，在各個向度中隨著納入的背景變項與能力相關的遞減，其群體能力平均的差異也隨之遞減。