分數型態影響基本學力測驗量尺總分形成效果之探討

Effects of Score Formats on the Formation of the BCTEST Composite

本研究探討使用各種不同原始分數型態，將基本學力測驗經由正弦反函數轉換法的程序轉換為量尺分數後，對於形成量尺總分的影響。研究的目的在於找出較好的量尺總分形成的方式，進而促進各測驗學科之間分數的比較。研究使用答對題數、z分數與答對百分比這三種原始分數的型態進行轉換。評鑑轉換後所得量尺分數特性的標準如下：原始至量尺分數轉換對照圖形、量尺分數描述統計值與以強真分數理論為基礎，使用Carlin及Rubin的three- parameter extended beta-binomial model模式估計參數所計算出之量尺分數的測量特性。本研究亦比較轉換後的各測驗學科對於量尺總分變異數的貢獻性，也比較轉換後所產生的量尺分數間距大小，以及評鑑量尺分數使用整數值、將量尺的兩端截至設定的分數範圍所產生的影響。研究結果指出，使用不同原始分數型態進行轉換皆各有其優缺點，但沒有特定的一種分數型態能具備全部所有期望的特性。就測驗學科對於量尺總分的貢獻性而言，z分數的效果似乎最好。經由原始分數以z分數的型態轉換後，每個測驗學科的量尺分數的分配相同，其中因為變異數已經相同，所以各學科的有效性加權值（effective weights）相等，對於量尺總分的貢獻程度也隨之相同。然而，使用z分數將可能導致量尺分數間距過大的後果。如果評鑑的標準是根據在不同能力水準下，測量標準誤大小能維持相等的特性而言，使用答對題數的分數型態結果最好，其次是答對百分比。使用這兩種型態的原始分數轉換後，在不同的能力之下產生相近的測量標準誤，對於高低不同的量尺分數而言，測量的精確性還是保持相同，有促進解釋量尺分數的功效。雖然如此，實際考慮到高中申請入學仍需依據量尺分數的高低決定，具有穩定測量標準誤的特性也僅止利於分數的解釋，雖是測驗專業所樂見的優質結果，但對於考生能否進入理想高中並不會產生影響。編製基本學力測驗並不是一項簡單的工作，建立適當的基本學力量尺是關係其成敗的關鍵之一。考慮各測驗學科與量尺總分的獨特性及其用途，要為基本學力測驗設定一個符合各方面優質特性的量尺是件相當困難的事。本研究藉由評鑑與比較使用不同原始分數型態的轉換，相信已促進了對原始分數至量尺分數轉換的了解，也提供了影響形成量尺總分的有用訊息。

This study examined the effects on the BCTEST assessment of employing various formats of examinees' raw scores in constructing scale scores using the arcsine transformation procedure. The three types, the number- correct, z-score, and proportion-correct score formats were investigated. The resulting scale scores were evaluated with respect to the raw- to-scale score conversions, summary statistics, and measurement properties computed based on the strong true score theory. The contributions of the individual tests to the BCTEST Composite, the gaps resulting from the conversions, and the effects of rounding and truncation were also assessed. The findings indicated that each score format had its advantages and disadvantages with respect to some of the criteria, but no one format possessed all desired characteristics. Regarding the effective contributions of the tests to the Composite, the z-score type seemed to be the most promising. But, in terms of the criterion of constant error variance along the scale, the number-correct type, and to a lesser extent, the proportion-correct type were the choices. Results from this research have offered a better understanding of the effects of the various score formats on the formation of the BCTEST Composite, and have provided valuable insights into forming composite scores to convey appropriate meanings about examinees' performance over different tests.