予備実験用の解答サンプルシートはこちら
第112回から適当に20問とってきたもの。
↓
https://docs.google.com/forms/d/e/1FAIpQLSfiLVA-1m7NC5SMmyi0X1ftSYJzhWuOac6kr-WMR8gKgFLWVA/viewform
shiny 上でその20問の項目反応理論(IRT)
↓
https://yfujii08.shinyapps.io/medicalexamltm/
※重要な話なので先頭にもってきました※
データを集めるわけだが、某予備校や解答収集サービスのようにセキリュティ強固なサーバーを持っているわけではなくむしろ予算 ゼ ロ 円解析なので、グーグルアンケートフォームにひたすらみなさんの善意でポチポチやってもらえれば、と思っています。
予備実験では20問、たぶん1問1分くらいかかって15−20分くらい時間を使わせてしまいます。
本番では400問あるので、受験者が1万人、上記サービスで7000人くらい入力しているらしいので、ネット宣伝と口コミで希望者・入力者を募りつつ、サーバー負荷やセキリュティ問題はgoogle 様やshiny 様に丸投げしようと思います。個人の特定はできないようにします。
※以下から本文※
医師国家試験とは、2日間（昔は3日間）にわたって400問をマークシートで解く。
そのほとんどは5択から1つ正解を選べ、だが、2つ選べや3つ選べ、計算結果を数値を塗りつぶして答えろ、1問1点の場合と3点の場合がある、A-F の6ブロックある、一般/臨床問題と必修問題の両方を合格基準を超えないといけない、禁忌肢という選んでしまったらそれだけで不合格となる問題や選択肢がある、といったレギュレーションがある。
そこで受験生は、ひたすら問題を解くわけだが、合格率90% を誇る試験で、たいていの問題は正答率100% に近かったりするわけだが、割問という「2択ないしは複数選択肢に解答が割れる」という問題がある。
これが毎年話題になる。
受験生としては、自分が答えた問題の正答が気になるので、○ECとかTECO○とか○んコレとかに解答を登録したりするわけだが、ここらでいう割問というのは、「その問題単体で見た時の、解答のばらつき」しか見ていない。
さて、項目反応理論(IRT) というのは、マルチョイ問題において、受験者個人の能力値（すべての問題への正答率を考慮している）、問題の難易度（その個々人が、どの問題を正答できて、どの問題を誤答したかという情報を考慮する）といったパラメータを定量的に推定する。
ここで、mirt パッケージにあるSAT12 という試験解答サンプルを使ってみる。SAT12 は600人32問題の解答パターンをもつ。
これを正解したかしてないかの1/0 バイナリデータにする。IRT 自体はltm パッケージを使うことにして、IRT により各問題の難しさや識別能の推定はltm 関数を、各個人の能力はfactor.scores 関数で得られる。
Item.1 Item.2 Item.3 Item.4 Item.5 Item.6 Item.7 Item.8
1 1 4 5 2 3 1 2 1
2 3 4 2 8 3 3 2 8
3 1 4 5 4 3 2 2 3
4 2 4 4 2 3 3 2 4
5 2 4 5 2 3 2 2 1
6 1 4 3 1 3 2 2 3
7 1 4 5 2 2 2 2 2
8 2 4 1 5 3 2 2 5
9 5 1 2 3 2 2 4 4
10 5 3 4 2 3 2 4 5
11 2 1 4 5 2 3 2 4
12 3 1 3 4 2 2 2 2
13 4 5 5 4 2 2 4 1
14 1 4 3 2 3 2 2 5
15 3 4 3 5 5 2 2 2
library(ltm)
library(mirt)
key <- c(1,4,5,2,3,1,2,1,3,1,2,4,2,1,5,3,4,4,1,4,3,3,4,1,3,5,1,3,1,5,4,5)
data <- key2binary(SAT12, key=key)
l <- ltm(data ~ z1)
ans <- t(mapply(function(z) table(factor(SAT12[,z], 1:5)), 1:ncol(SAT12)))
plot(l)
32問分の難しさはこんな感じで出力される。
さて、各問題について見てみる。32問分の解答分布、正答、IRTの推定値は以下のとおりである。
cbind(round(ans/nrow(SAT12), 3), key, l$coefficients)
1 2 3 4 5 key (Intercept) z1
Item.1 0.283 0.203 0.267 0.232 0.013 1 -1.0458445 0.8018208
Item.2 0.212 0.022 0.070 0.568 0.127 4 0.4361887 1.5040666
Item.3 0.165 0.183 0.260 0.098 0.280 5 -1.1425458 1.0746489
Item.4 0.165 0.378 0.148 0.172 0.128 2 -0.5309422 0.5845126
Item.5 0.093 0.143 0.620 0.093 0.048 3 0.6044634 0.9900492
Item.6 0.160 0.582 0.107 0.043 0.108 1 -2.0509622 1.1494988
Item.7 0.025 0.760 0.007 0.190 0.017 2 1.3818932 1.0042941
Item.8 0.202 0.205 0.207 0.250 0.133 1 -1.5090070 0.6927192
Item.9 0.065 0.010 0.885 0.033 0.007 3 2.1427139 0.5328306
Item.10 0.422 0.215 0.165 0.028 0.167 1 -0.3615247 1.0086219
Item.11 0.003 0.983 0.008 0.003 0.002 2 5.2441772 1.7296232
Item.12 0.072 0.082 0.218 0.415 0.205 4 -0.3455723 0.1611497
Item.13 0.110 0.662 0.070 0.118 0.040 2 0.8507691 1.1074704
Item.14 0.723 0.027 0.108 0.022 0.117 1 1.1727517 1.0370366
Item.15 0.035 0.062 0.060 0.025 0.817 5 1.9224593 1.2930864
Item.16 0.070 0.105 0.413 0.215 0.195 3 -0.3825038 0.7263422
Item.17 0.008 0.005 0.010 0.963 0.013 4 4.1603459 1.5479738
Item.18 0.303 0.033 0.165 0.352 0.142 4 -0.8530572 1.7008815
Item.19 0.548 0.053 0.358 0.030 0.010 1 0.2363424 0.8403153
Item.20 0.012 0.002 0.105 0.873 0.007 4 2.6034887 1.5311169
Item.21 0.050 0.008 0.915 0.013 0.012 3 2.5167030 0.6058270
Item.22 0.028 0.005 0.935 0.017 0.015 3 3.4736774 1.5369172
Item.23 0.290 0.177 0.128 0.313 0.087 4 -0.8505416 0.6379289
Item.24 0.728 0.162 0.042 0.022 0.045 1 1.2673661 1.2051755
Item.25 0.240 0.170 0.375 0.065 0.142 3 -0.5674927 0.7713010
Item.26 0.020 0.227 0.030 0.262 0.460 5 -0.1728073 1.5352022
Item.27 0.862 0.093 0.012 0.020 0.010 1 2.7575590 1.9045292
Item.28 0.082 0.010 0.530 0.337 0.037 3 0.1722115 1.0711318
Item.29 0.340 0.295 0.205 0.085 0.067 1 -0.7508683 0.8350190
Item.30 0.150 0.110 0.107 0.183 0.440 5 -0.2484688 0.3855356
Item.31 0.075 0.020 0.012 0.833 0.058 4 2.7738863 2.3285203
Item.32 0.125 0.183 0.443 0.075 0.162 5 -1.6516711 0.1291500
IRTの推定値をプロットするとこうなる。
i1 <- c(10, 12, 16, 26, 30)
i2 <- c(2, 17, 20, 22, 26)
plot(l$coefficient,type="n")
abline(v=mean(l$coefficients[i1, 1]), lty=3, col="blue", lwd=3)
abline(h=mean(l$coefficients[i2, 2]), lty=3, col="green", lwd=3)
text(l$coefficients[,1], l$coefficients[,2], 1:ncol(SAT12), font=2)
似たようなintercept を持つがz1 が異なる10, 12, 16, 26, 30 番の問題を取り上げてみると（青の垂直線、下図のひだり側）、いずれも割問である。しかし、赤の12番が平たい曲線なのに比べ、青の26番はいくぶん急峻な曲線である。
これは、前者が高得点者でもそんなに得点率が上昇しないのに比べて、後者はある得点水準から得点率が急上昇するので、その境界線の能力の受験者を分けるのにはよい。
12番と26番を見てみると、どちらも正答率は40%半ばであるが、問題の性能としてはずいぶん違う。26番は良問だが、12番はクソ問。
1 2 3 4 5 key (Intercept) z1
Item.10 0.422 0.215 0.165 0.028 0.167 1 -0.3615247 1.0086219
Item.12 0.072 0.082 0.218 0.415 0.205 4 -0.3455723 0.1611497
Item.16 0.070 0.105 0.413 0.215 0.195 3 -0.3825038 0.7263422
Item.26 0.020 0.227 0.030 0.262 0.460 5 -0.1728073 1.5352022
Item.30 0.150 0.110 0.107 0.183 0.440 5 -0.2484688 0.3855356
似たようなz1 を持つがintercept が異なる2, 17, 20, 22, 26 番の問題を取り上げてみると（緑の水平線、下図のみぎ側）、どれも似たような急斜面の曲線だが、左右に位置がずれている。正答率を見ると、赤の17番の問題で96%、水色の26番の問題で46%であり、みぎにいくほど正答率が低い難問である。
1 2 3 4 5 key (Intercept) z1
Item.2 0.212 0.022 0.070 0.568 0.127 4 0.4361887 1.504067
Item.17 0.008 0.005 0.010 0.963 0.013 4 4.1603459 1.547974
Item.20 0.012 0.002 0.105 0.873 0.007 4 2.6034887 1.531117
Item.22 0.028 0.005 0.935 0.017 0.015 3 3.4736774 1.536917
Item.26 0.020 0.227 0.030 0.262 0.460 5 -0.1728073 1.535202
各問題の難易度や良問具合がわかったので、次に、受験者個人の成績や能力値をどう定量化するかであるが、これはfactor.scores という関数で得られる。ここから結果を見ると、32問題の正答/誤答パターンが600人中どれくらいあったか(Obs) というデータから、z1（正規化した分布における確率点）が推定されるので、ここが自分（の解答から得られる正誤パターンにおける）の能力値（同一試験を受けた他の受験者全員をひっくるめた集団での）になる。
SAT12 データセットでは、全問正解が3人いるようである。
ここからz1 を拾ってきて横軸を定め、元のIRT 曲線に垂線を引くと、自分の能力で各問題をどれくらいの確率で正答できたのかが確率的にわかる。
f <- factor.scores(l)
f$score.dat
Item.1 Item.2 Item.3 Item.4 Obs Exp z1 se.z1
1 0 0 0 0 1 7.320352e-07 -1.125597 0.3501032
2 0 0 0 0 1 1.192118e-05 -1.035763 0.3510456
3 0 0 0 0 1 7.614205e-06 -1.268032 0.3503369
4 0 0 0 0 1 2.158900e-04 -1.578284 0.3585213
5 0 0 0 0 1 1.354704e-03 -2.044771 0.3858258
6 0 0 0 0 1 7.785685e-06 -1.299507 0.3506911
7 0 0 0 0 1 2.653074e-04 -1.303414 0.3507428
8 0 0 0 0 1 9.714099e-05 -1.137476 0.3500392
9 0 0 0 0 1 2.220848e-05 -1.500034 0.3555113
10 0 0 0 0 1 2.611964e-04 -1.573319 0.3583131
.
.
.
598 1 1 1 1 3 4.027146e-02 2.590108 0.6140229 ← 全問正解が Obs = 3
データはどう集めるか問題があるが、実は某サービスが始まったときにデータを打診したらゴニョゴニョがあったので今回の解析を断念していたが、google 様とshiny 様のお力を借りて出来そう、と思い立ったのでネットで宣伝してN数稼げたらいいなあ…と思う。冒頭に書いた。
