應日系專業能力會考之建立與分析

Building the Professional Competence Comprehensive Assessment Program for the Department of Applied Japanese and Related Analyses（応用日本語学科総括試験の実施とその分析）

針對社會大眾對大學教育實質效益的關懷，高教評鑑項目亦開始加重學生實質學習成果的評量。在此背景下，做為檢核學生學習成果的評量方法之一，本系於民國100學年度建立「應日系專業能力會考」（簡稱：系會考），並以大學部三年級學生為對象實施至今。本文旨在介紹系會考之建立內容，敘述整體的設計規劃和實際執行辦法，並從統計角度對系會考的試題、結果與信度進行分析探討。在設計規劃部份，首先釐清教學目標和教學內容的關係，發展測驗藍圖設計雙向細目表，並依據雙向細目表編寫試題和建置線上題庫。實際執行時，作業流程分為「前置作業」「考試作業」「檢討作業」三個階段，且每學年均針對系會考成效進行教學意見回饋。從統計角度分析系會考時，本文以100學年度試題為例計算試題的難易度與鑑別度，評估試題是否恰當。信度分析結果，100～108學年系會考試題的內部一致性α係數平均為0.91，顯示系會考品質穩定得以有效反應學生的學習成效。

This Department built the “Professional Competence Comprehensive Assessment Program for the Department of Applied Japanese” (DCAP) in academic year 2012 as a way to examine the learning outcomes of the students. This study introduces the content of the DCPA, illustrates the overall design and how it has been put into operation, and analyzes the test items, relevant reliabilities, and outcomes. The design and planning stage is to identify the associations between instructional objectives and course contents, create a test blueprint with a two-way specification table for designing test items, and build an online item bank. The operating procedure of the execution stage includes preceding operation, test operation, and review operation. Every academic year, feedbacks on of the DCAP effects are collected. To analyze the DCAP statistically, this study uses the test items from academic year 2012 as an example to calculate the difficulty and discrimination to decide if these items are appropriate. The reliability analysis for academic years 2012~2020 shows the average Cronbach's α of the test items is 0.91. So, the quality of the DCAP is robust and the program can effectively reflect students’ learning outcomes.
数字的に「大学全入」近くになった今、学生が大学教育を通して具体的にどのような知識や技能を習得したか（学習成果）について、社会に対する大学のアカウンタビリティが求められるようになっている。こうした背景を踏まえ、学習成果アセスメントの取組の１つとして、本学科は2012年度より「応用日本語学科総括試験」（総括試験と略す）を立ち上げ、学部三年生を対象に実施してきた。本稿では総括試験の構築概要とその実施方法について述べたとともに、テストの項目および信頼性について分析した。総括試験の構築において、まずシラバスの目標とカリキュラムの内容を明確にし、テストマトリックス表を作成した。次にそれをもとに試験問題を作成し、Moodleプラットフォーム上にオンライン問題集を構築した。実施する際には事前‧当日‧事後という3段階に分けて試験が行われる。また、試験の結果は学生の学習状況を把握しながら教育改善を実現していくツールとして活用されている。一方、項目分析では項目の難易度と弁別度を求め、試験問題の改良に資する情報を得た。信頼性分析を行った結果、クロンバックα係数の値はすべて0.8以上（α係数平均値0.91）であり、総括試験の測定結果は安定性および一貫性があると示されている。