問題は、（1）の後段の文である。唐突に「テスト」という言葉が出てくる（この施策の名称も「チャレンジテスト」であるが）。この「テスト」の結果は高校入試における評定の公平性の確保に関する資料となる、とうたわれているが、実際には内申点が妥当につけられているかどうかを判断するための資料として使われている。
この後段の部分は、明らかな目的外利用であると言わざるを得ない。テストや調査はスコアの持つ意味を限定して用いられるべきであって、1つのテストや調査結果を多くの用途に流用することは推奨されない。そもそも、調査の目的は形成的評価や診断的評価の範囲であるはずなのに、いつのまにか高校入試に影響するような「調査」となってしまっている。このことは大きな問題である。
年度間で比べられるように
埼玉県は問題を非公表にする
それでは、チャレンジテストを「学力調査」として見たとき、適切に解釈される結果を返していると言えるのだろうか。これについても疑問が残る。
毎年の結果概要に並んでいる得点分布の図を見るかぎり、チャレンジテストのスコアは「正答の数」を基にして算出されている。
しかし、結果概要と同じサイトで紹介されている「令和6年度中学生チャレンジテストの結果から～学力の向上が見られた学校の取組み事例～」という文書の冒頭には同一集団（令和5年度1年生と令和6年度2年生）の中学生チャレンジテストの結果を経年で見たときに、学力が向上していた学校について取組みをお聞きし、その内容の一例を以下にまとめました。と書かれているのである。
『テストと学力 何を測るのか、どう測るのか』（光永悠彦、岩波書店）
単純に正答数だけを比較するやり方では、たとえ同一の生徒が受検していたとしても、「出題した問題の難易度が年度間で異なる」可能性が捨てきれず、経年で結果を比較することに意味はないのである。2023年度と2024年度の調査を比較して、たまたま2024年に出題した問題がやさしかったとしたら、ほとんど学力が伸びていない生徒であっても、2023年に比べてよりやさしくなった2024年のテストで数多くの正答をすることができてしまう。
毎年行われている結果が比較可能になるような調査設計がなされているならば、このような問題は起こらない。一例として「埼玉県学力調査」があるが、「経年変化や学年間比較が可能な尺度でスコアを示す」「そのために、問題は原則非公開としている」ことを外部にも告知している（埼玉県教育委員会2024）。しかし大阪府のチャレンジテストではそのような告知がない。
もし学力の経年変化を根拠に学力向上策の有効性をアピールしたいのであれば、項目反応理論（編集部注／テストの難易度と受検者の学力を切り離し、共通の基準で結果を表現するための統計理論）による分析を通じて、年度間の共通尺度化を目指すべきである。
