Интерактивдүү Testlet DINA модели (Interactive Testlet DINA, IT-DINA) — окуучунун кайсы когнитивдик атрибуттарга ээ экенин көрсөткөн дискреттүү атрибут профили менен ошол эле тестлеттеги тапшырмалардын жалпы контекстинен келип чыгышы мүмкүн болгон үзгүлтүксүз адам-деңгээлиндеги тестлет таасирлерин чогуу моделдеген когнитивдик-диагностикалык модель. Бул изилдөө мындай аралаш дискреттүү-үзгүлтүксүз жашыруун түзүмдө адам параметрлерин кантип баалоону карап, максималдуу окшоштук баалоосун (Maximum Likelihood Estimation, MLE), максималдуу апостериордук баалоону (Maximum A Posteriori, MAP) жана апостериордук күтүлгөн маанинин баалоосун (Expected A Posteriori, EAP) салыштырат.

Изилдөөнүн биринчи бөлүгү симуляцияга негизделет. Тандалманын көлөмү ар бир шартта 10.000 деп белгиленген; үч же төрт тестлет, ар бир тестлетке 10, 20, 30, 40 же 50 тапшырма жана моделдин туура спецификацияланышынын ар түрдүү шарттары каралган. Беш симуляция сценарийи туура спецификацияланган IT-DINA моделин, чыныгы тестлет таасири жок болсо да IT-DINA колдонууну, негизги тестлет таасири гана бар учурда андан татаал IT-DINA колдонууну, чыныгы IT-DINA маалыматтарын жөнөкөй T-DINA модели менен баалоону жана атрибут өлчөмү жогору, чыныгы атрибут бөлүштүрүүсү бир калыпта эмес болгон кыйыныраак шартты камтыйт.

Симуляцияларда EAP жана MAP, өзгөчө кыска тестлеттерде жана модель түзүмү зарыл болгондон татаалыраак же толук эмес спецификацияланган шарттарда үзгүлтүксүз тестлет таасирлерин калыбына келтирүүдө MLEге караганда туруктуураак натыйжаларды берген. Туура спецификацияланган негизги IT-DINA шартында EAP жана MAPтын тестлет-таасиринин системалуу жылыштары абсолюттук мааниде көбүнчө 0,005тен төмөн калган, ал эми 10 тапшырмалуу кыска тестлеттерде айрым MLE жылыштары болжол менен 0,02–0,04 деңгээлине жеткен. Ошол эле шартта Байес ыкмаларынын RMSE маанилери тестлет узарган сайын болжол менен 0,35тен 0,20га төмөндөсө, MLE кыска тестлеттерде болжол менен 0,55–0,65 RMSE көрсөткөн.

Ошол эле учурда изилдөө “Байес ыкмалары бардык шартта артык” деген тыянакты колдобойт. Бешинчи симуляция шартында чыныгы атрибут профилдери бир калыпта эмес бөлүштүрүүдөн түзүлгөнү менен MAP жана EAP эсептөөлөрүндө атрибут профилдери үчүн бир калыптагы априордук бөлүштүрүү колдонула берген. Ушул априордук дал келбестик шартында үзгүлтүксүз тестлет таасирлерин баалоодо Байес ыкмалары туруктуураак калганына карабастан, бүт атрибут профилин бир убакта туура классификациялоо көрсөткүчү болгон PCCR боюнча MLE болжол менен %90–93, MAP жана EAP болсо болжол менен %87–91 аралыгында натыйжа берген. Бул табылга априордук бөлүштүрүүнү тандоо классификациялоо максаты үчүн илимий жактан маанилүү экенин көрсөтөт.

Изилдөөнүн экинчи бөлүгү TIMSS 2023 сегизинчи класстын математика маалыматтары менен жүргүзүлгөн эмпирикалык көрсөтмө. Баштапкы 308.492 окуучу жана 68 талапкер математика тапшырмасынан маалыматтарды тазалоодон кийин 118.547 окуучу жана 27 экилик тапшырма талданган. B_MD3 жана B_MD5 блоктору эки операциялык тестлет катары колдонулган. IT-DINA бул маалыматта салттуу DINA моделине караганда төмөн AIC жана BIC маанилерин берип, эки модель окуучуларды когнитивдик атрибут профилдерине байкаларлык түрдө башкача бөлүштүргөн. Бирок бул TIMSS колдонмосу калк деңгээлиндеги өкүлчүлүктүү натыйжанын далили эмес, моделдин жүрүм-турумун чыныгы баалоо маалыматында көрсөткөн эмпирикалык мисал.

Когнитивдик-диагностикалык модель эмнени чечүүгө аракет кылат?

Көптөгөн салттуу өлчөө моделдери окуучунун көрсөткүчүн бир үзгүлтүксүз жөндөм упайы менен жалпылоого аракет кылат. Когнитивдик-диагностикалык моделдер (Cognitive-Diagnostic Models, CDMs) болсо башка суроо берет: окуучу белгилүү билим же көндүм компоненттеринин кайсыларына ээ, кайсыларына ээ эмес? Ошондуктан моделдин жашыруун өзгөрмөсү сөзсүз бир гана упай болууга тийиш эмес; ал бир нече экилик когнитивдик атрибуттан түзүлгөн профиль болушу мүмкүн.

Мисалы, үч когнитивдик атрибут бар болсо, окуучунун профили \((1,0,1)\) болушу мүмкүн. Бул жерде 1 тиешелүү атрибут өздөштүрүлгөнүн, 0 болсо өздөштүрүлбөгөнүн көрсөтөт. Үч экилик атрибут болсо жалпысынан \(2^3=8\) мүмкүн профиль; беш атрибут болсо \(2^5=32\) мүмкүн профиль бар. Ошондуктан атрибуттардын саны көбөйгөн сайын окуучунун кайсы жашыруун класска тиешелүү экенин аныктоо маселеси да өсөт.

Тестлет Таасири жана Тапшырмалардын Жергиликтүү Көз Крандылыгы Деген Эмне?

Тестлет таасири — бир эле жалпы текст, таблица, сценарий, суроолор блогу же башка контекст ичинде берилген тапшырмалар өлчөнүүгө тийиш болгон когнитивдик атрибуттар эске алынгандан кийин да бири-бири менен байланышкан жооп жүрүм-турумун көрсөтүшү мүмкүн экенин билдирген кошумча жашыруун таасир. Стандарттуу моделдерде окуучунун когнитивдик атрибуттары белгилүү болгондо тапшырмалар бири-биринен көз карандысыз болушу күтүлөт; бул шарт аткарылбаса тапшырмалардын жергиликтүү көз карандылыгы (local item dependence, LID) бар.

Бул айырма маанилүү. Бир эле текстти колдонгон беш суроодо окуучунун ошол текстти адаттан тыш жакшы же начар иштетиши беш жооптун баарына чогуу таасир этиши мүмкүн. Мындай жалпы таасир өлчөнүүгө тийиш болгон көндүмдөргө гана жүктөлсө, модель өлчөөнүн тактыгын чыныгыдан жогору көрсөтүшү же окуучуну туура эмес атрибут профилине классификациялашы мүмкүн. Тестлет моделдери бул калган жалпы таасирди өзүнчө моделдөөгө аракет кылат.

Негизги белгилөө: окуучу, тапшырма, тестлет жана атрибут

Q-матрица эмне кылат?

Q-матрица кайсы тапшырма кайсы когнитивдик атрибутту талап кыларын көрсөткөн \(J\times K\) өлчөмдүү экилик матрица. Эгер \(q_{jk}=1\) болсо, тапшырма \(j\) ни туура чечүү үчүн атрибут \(k\) талап кылынат; \(q_{jk}=0\) болсо, ал атрибут тапшырма үчүн зарыл деп эсептелбейт.

Окуучунун тапшырма үчүн идеалдуу түрдө талап кылынган бардык атрибуттарга ээ же ээ эмес экенин көрсөткөн өзгөрмө булакта төмөнкү конъюнктивдүү түзүм менен аныкталат:

\[ \eta_{ij}=\prod_{k=1}^{K}(\alpha_{ik})^{q_{jk}} \]

Бул көбөйтүндүнүн логикасы “ЖАНА” дарбазасы. Эгер тапшырма эки атрибутту талап кылса жана окуучуда алардын бири жок болсо, тиешелүү көбөйткүч 0 болуп, бүт көбөйтүндү \(\eta_{ij}=0\) натыйжасына келет. Окуучу талап кылынган атрибуттардын баарына ээ болгондо \(\eta_{ij}=1\) болот.

DINA модели: негизги баштапкы чекит

DINA (Deterministic Inputs, Noisy “AND” Gate) модели талап кылынган бардык атрибуттарга ээ болууну ийгилик үчүн конъюнктивдүү шарт катары кабыл алат. Бирок чыныгы экзамендик жүрүм-турум толугу менен детерминисттик эмес: бардык талап кылынган атрибуттарга ээ окуучу ката кетириши мүмкүн; талап кылынган атрибуттары жок окуучу да божомол менен туура жооп бериши мүмкүн.

Булак Теңдеме (1):

\[ P(Y_{ij}=1\mid\boldsymbol{\alpha}_i) =(1-s_j)^{\eta_{ij}}g_j^{\,1-\eta_{ij}} \tag{1} \]

\(s_j\) тапшырма \(j\) үчүн slipping / тайып-каталуу ыктымалдыгы. Ал окуучу талап кылынган бардык атрибуттарга ээ болсо да туура эмес жооп берүү ыктымалдыгын билдирет. Ошондуктан \(\eta_{ij}=1\) болгондо туура жооп ыктымалдыгы \(1-s_j\).

\(g_j\) guessing / божомолдоо ыктымалдыгы. Ал окуучу талап кылынган бардык атрибуттарга ээ эмес кезде туура жооп берүү ыктымалдыгын билдирет. \(\eta_{ij}=0\) болгондо Теңдеме (1) түздөн-түз \(g_j\) ге жөнөкөйлөтүлөт.

Теңдеменин даража түзүмү эки абалды бир формулада бириктирет. \(\eta_{ij}=1\) болсо \(g_j^{0}=1\) болуп, \(1-s_j\) гана калат. \(\eta_{ij}=0\) болсо \((1-s_j)^0=1\) болуп, \(g_j\) гана калат. Ошондуктан формуланын максаты алгебралык кыскалык эле эмес, DINAнын эки жашыруун абалын бир жооп функциясында билдирүү.

Окуучунун бүт жооп вектору \(\mathbf{y}_i=(y_{i1},\ldots,y_{iJ})\) үчүн, атрибут профили белгилүү болгондо тапшырмалар шарттуу көз карандысыз деп болжолдонсо, булак Теңдеме (2) де окшоштук функциясын мындай аныктайт:

\[ L(\mathbf{y}_i\mid\boldsymbol{\alpha}_i) =\prod_{j=1}^{J}P(Y_{ij}=y_{ij}\mid\boldsymbol{\alpha}_i) \tag{2} \]

Бул жерде көбөйтүндү окуучунун байкалган бардык тапшырма жооптору бирге канчалык ыктымал экенин эсептейт. Стандарттуу DINAнын негизги божомолу ушул жерде: \(\boldsymbol{\alpha}_i\) белгилүү болгондо тапшырмалар арасында башка системалуу көз карандылык калбайт деп кабыл алынат. Тестлет маселеси дал ушул божомол бузулушу мүмкүн болгон абалга тиешелүү.

T-DINA: тестлет үчүн кошумча кокустук таасир

Testlet Effect DINA (T-DINA) бир тестлеттеги тапшырмалар арасында атрибут профили түшүндүрбөгөн жалпы таасирди көрсөтүү үчүн окуучу \(i\) жана тестлет \(s\) ке мүнөздүү үзгүлтүксүз \(\xi_{is}\) кокустук таасирин кошот.

Булак Теңдеме (3):

\[ P(Y_{ij}=1\mid\boldsymbol{\alpha}_i,\xi_{is}) =h\!\left(\delta_{0j}+\delta_{1j}\eta_{ij}+\beta_{js}\xi_{is}\right) \tag{3} \]

\(h(\cdot)\) байланыш функциясы; булак логистикалык же probit байланыш колдонулушу мүмкүн экенин көрсөтөт. \(\delta_{0j}\) тапшырмага мүнөздүү кесилиш параметри, \(\delta_{1j}\) идеалдуу жооп абалынын тапшырмага таасирин, \(\beta_{js}\) болсо тестлет таасири тапшырма \(j\) ге канчалык күчтүү жүктөлөрүн көрсөтөт.

\(\xi_{is}\) нөлгө жакын болсо, тестлеттин окуучуга мүнөздүү кошумча таасири алсыз. Абсолюттук мааниси өскөн сайын жалпы тестлет компоненти сызыктуу предикторду көбүрөөк өзгөртөт; бирок акыркы туура жооп ыктымалдыгы түз сызыктуу эмес, \(h(\cdot)\) байланыш функциясынан өткөрүлөт.

IT-DINA: тестлет таасири атрибут абалы менен өз ара аракеттене алат

T-DINAда тестлет таасири окуучунун идеалдуу жооп абалынан көз карандысыз кошулат. IT-DINA болсо бул таасирдин \(\eta_{ij}\) ге жараша өзгөрүшүнө жол берет.

Булак Теңдеме (4):

\[ P(Y_{ij}=1\mid\boldsymbol{\alpha}_i,\boldsymbol{\xi}_{is}) =h\!\left[ \delta_{0j} +\delta_{1j}\eta_{ij} +\beta_{js}\xi_{is1} +\gamma_{js}(2\eta_{ij}-1)\xi_{is2} \right] \tag{4} \]

Бул жерде \(\boldsymbol{\xi}_{is}=(\xi_{is1},\xi_{is2})^\prime\) эки компоненттүү тестлет-таасир вектору. \(\beta_{js}\xi_{is1}\) негизги тестлет таасирин, \(\gamma_{js}(2\eta_{ij}-1)\xi_{is2}\) болсо атрибут абалына көз каранды өз ара аракеттенүү компонентин билдирет.

\((2\eta_{ij}-1)\) мүчөсүнүн өзгөчө милдети бар. \(\eta_{ij}=1\) болгондо бул мүчө \(+1\), \(\eta_{ij}=0\) болгондо \(-1\) болот. Ошентип \(\xi_{is2}\) нин сызыктуу предикторго кошкон салымынын багыты идеалдуу жооп абалына жараша өзгөрүшү мүмкүн. Бул түзүм тестлет көз карандылыгы талап кылынган атрибуттарга ээ жана ээ эмес адамдарда бирдей иштөөгө милдеттүү эмес экенин моделге киргизет.

Эмне үчүн адам параметри аралаш түзүм?

Изилдөөдө окуучунун бардык адам параметрлери

\[ \boldsymbol{\lambda}_i=(\boldsymbol{\alpha}_i,\boldsymbol{\xi}_i) \]

түрүндө каралат. \(\boldsymbol{\alpha}_i\) дискреттүү атрибут профили; мисалы, \((1,0,1)\). \(\boldsymbol{\xi}_i\) болсо үзгүлтүксүз тестлет таасирлеринен турат. Демек алгоритм бир убакта “окуучу кайсы жашыруун класска кирет?” жана “бул окуучу үчүн үзгүлтүксүз тестлет таасиринин мааниси канча?” деген суроолорду чечүүгө тийиш. Изилдөөдө MLE, MAP жана EAP салыштыруусун маанилүү кылган негизги математикалык кыйынчылык ушул.

MLE, MAP жана EAP Бул Изилдөөдө Кантип Айырмаланат?

MLE байкалган жооптордун окшоштугун эң жогору кылган адам параметрлерин гана тандайт; MAP ошол окшоштукка априордук бөлүштүрүү маалыматын кошуп, апостериордук тыгыздыктын чокусун тандайт; EAP болсо бир гана чоку чекитин тандабай, бүт апостериордук бөлүштүрүүнү эске алып, параметрдин апостериордук орточосун колдонот. Ошондуктан MAP жана EAP регуляризация бере алат, бирок алардын натыйжалары колдонулган априордук бөлүштүрүүнүн ылайыктуулугуна да көз каранды.

MLE: маалыматтын окшоштугун гана максималдаштыр

Булак Теңдеме (5) экилик жооптор үчүн адам деңгээлиндеги log-окшоштукту берет:

\[ \ell(\boldsymbol{\lambda}_i\mid\mathbf{y}_i) = \sum_{j=1}^{J} \left[ y_{ij}\log P_{ij} + (1-y_{ij})\log(1-P_{ij}) \right] \tag{5} \]

Бул жерде \(P_{ij}=P(Y_{ij}=1\mid\boldsymbol{\lambda}_i)\). Окуучу тапшырмага туура жооп берсе \(y_{ij}=1\) болуп, биринчи мүчө иштейт; туура эмес жооп берсе \(y_{ij}=0\) болуп, экинчи мүчө иштейт. Бардык тапшырмалардын салымы кошулуп, белгилүү адам параметрлеринин байкалган жоопторго канчалык шайкеш экени өлчөнөт.

MLE баалоосу:

\[ \widehat{\boldsymbol{\lambda}}_i^{MLE} = \operatorname*{arg\,max}_{\boldsymbol{\lambda}_i} \ell(\boldsymbol{\lambda}_i\mid\mathbf{y}_i) \tag{6} \]

Бул жердеги \(\operatorname{arg\,max}\) функциянын эң чоң маанисин эмес, ошол эң чоң маанини берген параметр маанисин издейт.

MAP: окшоштукка априордук маалымат кош

Булак Теңдеме (7):

\[ \widehat{\boldsymbol{\lambda}}_i^{MAP} = \operatorname*{arg\,max}_{\boldsymbol{\lambda}_i} \left\{ \ell(\boldsymbol{\lambda}_i\mid\mathbf{y}_i) +\log\pi(\boldsymbol{\lambda}_i) \right\} \tag{7} \]

\(\pi(\boldsymbol{\lambda}_i)\) — адам параметрлеринин априордук тыгыздыгы. Бул изилдөөдө \(\boldsymbol{\alpha}_i\) үчүн мүмкүн болгон \(2^K\) профиль боюнча бир калыптагы априор, үзгүлтүксүз тестлет таасирлери үчүн болсо стандарттуу нормалдык априор колдонулган.

Көз карандысыз априорлор шартында:

\[ \log\pi(\boldsymbol{\lambda}_i) = \log\pi(\boldsymbol{\alpha}_i) + \log\pi(\boldsymbol{\xi}_i), \qquad \log\pi(\boldsymbol{\xi}_i) \propto -\frac{1}{2}\boldsymbol{\xi}_i^\prime\boldsymbol{\xi}_i \]

Стандарттуу нормалдык априор абсолюттук мааниси өтө чоң тестлет таасирлерине жаза колдонгон регуляризация таасирин түзөт. Бирок бул касиет автоматтык түрдө “такыраак” дегенди билдирбейт; априордук түзүмдүн чыныгы калк түзүмүнө дал келбеши өзгөчө атрибут классификациясын бузушу мүмкүн. Case 5 мунун изилдөөдөгү түз мисалы.

EAP: апостериордук бөлүштүрүүнүн орточосун колдон

Булак Теңдеме (8):

\[ \widehat{\boldsymbol{\lambda}}_i^{EAP} = E[\boldsymbol{\lambda}_i\mid\mathbf{y}_i] = \int \boldsymbol{\lambda}_i p(\boldsymbol{\lambda}_i\mid\mathbf{y}_i) \,d\boldsymbol{\lambda}_i \tag{8} \]

Бул жерде

\[ p(\boldsymbol{\lambda}_i\mid\mathbf{y}_i) \propto L(\boldsymbol{\lambda}_i\mid\mathbf{y}_i) \pi(\boldsymbol{\lambda}_i) \]

апостериордук тыгыздык. EAPтын негизги айырмасы — апостериордук бөлүштүрүүнүн эң жогорку чекитин гана эмес, бүт формасын колдонушу. Булактын талкуусуна ылайык, айрыкча кыска тестлеттерде апостериордук бөлүштүрүү кең, асимметриялуу же ирээтсиз болгондо мындай орточолоштуруу туруктуураак адам баалоолорун түзүшү мүмкүн.

MLEнин IT-DINA ичинде эки баскычтуу колдонулушу

Ар бир мүмкүн атрибут профили \(\boldsymbol{\alpha}_c\), \(c=1,\ldots,C\) үчүн жана \(C=2^K\) болгондо алгач үзгүлтүксүз тестлет таасири оптималдаштырылат.

Булак Теңдеме (9):

\[ \widehat{\boldsymbol{\xi}}_i^{(c)} = \operatorname*{arg\,max}_{\boldsymbol{\xi}_i} \ell(\boldsymbol{\xi}_i\mid\mathbf{y}_i,\boldsymbol{\alpha}_c) \tag{9} \]

Бул “окуучунун атрибут профили азырынча \(\boldsymbol{\alpha}_c\) деп кабыл алынса, тестлет таасирлери кайсы маанилерде жоопторду эң жакшы түшүндүрөт?” деген суроону чечет.

Булак MLE үчүн градиенттик жогорулоону жана артка көз салуучу кадам издөөнү колдонот:

\[ \boldsymbol{\xi}_i^{(m+1)} = \boldsymbol{\xi}_i^{(m)} + \gamma^{(m)} \nabla_{\xi} \ell(\boldsymbol{\xi}_i^{(m)}\mid\mathbf{y}_i,\boldsymbol{\alpha}_c) \tag{10} \]

\(\nabla_{\xi}\ell\) — log-окшоштуктун тестлет таасирлери багытындагы градиенти. Градиент функциянын эң тез өсүү багытын көрсөтөт. \(\gamma^{(m)}\) кадам чоңдугу болуп, артка көз салуучу сызык издөө аркылуу жетиштүү log-окшоштук өсүшүн камсыздай тургандай жөнгө салынат.

Ар бир атрибут классы үчүн эң жакшы үзгүлтүксүз баа табылгандан кийин эң жогорку log-окшоштукка ээ класс тандалат:

\[ \widehat{\boldsymbol{\alpha}}_i^{MLE} = \operatorname*{arg\,max}_{\boldsymbol{\alpha}_c} \ell( \widehat{\boldsymbol{\xi}}_i^{(c)} \mid \mathbf{y}_i,\boldsymbol{\alpha}_c) \tag{11} \]

MLE алгоритминин сандык жөндөөлөрү

Булак алгоритми ар бир жашыруун атрибут профили үчүн беш башка башталыштан оптималдаштырат. Биринчи башталыш \(\boldsymbol{\xi}=0\); кийинки башталыштар \(N(0,0.25I)\) бөлүштүрүүсүнөн алынат. Максат — татаал окшоштук бетинде бир башталыштын начар жергиликтүү чечимге тыгылып калуу коркунучун азайтуу.

MAP алгоритминде эмне өзгөрөт?

MAP ошол эле класстарды карап чыгат; бирок үзгүлтүксүз тестлет таасири log-окшоштукту гана эмес, log-априорду да камтыган апостериордук максатты максималдаштырат.

Булак Теңдеме (12):

\[ \widehat{\boldsymbol{\xi}}_i^{(c)} = \operatorname*{arg\,max}_{\boldsymbol{\xi}_i} \left\{ \ell(\boldsymbol{\xi}_i\mid\mathbf{y}_i,\boldsymbol{\alpha}_c) + \log\pi(\boldsymbol{\xi}_i) \right\} \tag{12} \]

Градиент жаңыртууда маалыматтын да, априордун да салымы бар:

\[ \boldsymbol{\xi}_i^{(m+1)} = \boldsymbol{\xi}_i^{(m)} + \gamma^{(m)} \left[ \nabla_{\xi}\ell( \boldsymbol{\xi}_i^{(m)} \mid \mathbf{y}_i,\boldsymbol{\alpha}_c) + \nabla_{\xi}\log\pi( \boldsymbol{\xi}_i^{(m)}) \right] \tag{13} \]

Акыркы баскычта атрибут профили апостериордук максат маанилери салыштырылып тандалат:

\[ \widehat{\boldsymbol{\alpha}}_i^{MAP} = \operatorname*{arg\,max}_{\boldsymbol{\alpha}_c} \left\{ \ell( \widehat{\boldsymbol{\xi}}_i^{(c)} \mid \mathbf{y}_i,\boldsymbol{\alpha}_c) + \log\pi( \widehat{\boldsymbol{\xi}}_i^{(c)}) + \log\pi(\boldsymbol{\alpha}_c) \right\} \tag{14} \]

Атрибут профилдери үчүн бир калыптагы априор колдонулганда \(\log\pi(\boldsymbol{\alpha}_c)\) бардык класстарда бирдей туруктуу болгондуктан, класстар аралык салыштырууну өзгөртпөйт. Бирок чыныгы калк профилдери бир калыпта бөлүштүрүлбөсө, бул божомол классификация натыйжаларына таасир этиши мүмкүн.

EAP: оптималдаштыруунун ордуна интегралдоо

EAP үзгүлтүксүз тестлет таасири үчүн бир максимум издебестен, бул өзгөрмөнү ыктымалдуулук бөлүштүрүүсү боюнча интегралдайт.

Булак Теңдеме (15):

\[ P(\mathbf{y}_i\mid\boldsymbol{\alpha}_c) = \int P(\mathbf{y}_i\mid\boldsymbol{\xi}_i,\boldsymbol{\alpha}_c) \pi(\boldsymbol{\xi}_i) \,d\boldsymbol{\xi}_i \tag{15} \]

Бул туюнтма белгилүү атрибут профилинин маргиналдык окшоштугу. Үзгүлтүксүз тестлет таасиринин бардык мүмкүн маанилери априордук салмактары менен чогуу эсепке алынат.

Атрибут профилинин апостериордук ыктымалдыгы:

\[ P(\boldsymbol{\alpha}_c\mid\mathbf{y}_i) = \frac{ P(\mathbf{y}_i\mid\boldsymbol{\alpha}_c)\pi(\boldsymbol{\alpha}_c) }{ \sum_{d=1}^{C} P(\mathbf{y}_i\mid\boldsymbol{\alpha}_d)\pi(\boldsymbol{\alpha}_d) } \tag{16} \]

Алым белгилүү класстын маалымат жана априор менен бирге салмагын, бөлүм болсо бардык мүмкүн класстардын салмактарынын суммасын билдирет. Ошентип натыйжа 0–1 аралыгындагы чыныгы апостериордук класс ыктымалдыгы болот.

Ар бир жеке атрибут үчүн өздөштүрүү ыктымалдыгы:

\[ \widehat{\alpha}_{ik}^{EAP} = P(\alpha_{ik}=1\mid\mathbf{y}_i) = \sum_{c=1}^{C} I(\alpha_{ck}=1) P(\boldsymbol{\alpha}_c\mid\mathbf{y}_i) \tag{17} \]

\(I(\cdot)\) индикатор функциясы. Класс \(c\) атрибут \(k\) га ээ болсо 1, болбосо 0 болот. Ошентип ошол атрибутка ээ бардык класстардын апостериордук ыктымалдыктары кошулат.

Үзгүлтүксүз тестлет таасирлеринин EAP баалоосу:

\[ \widehat{\boldsymbol{\xi}}_i^{EAP} = \int \boldsymbol{\xi}_i p(\boldsymbol{\xi}_i\mid\mathbf{y}_i) \,d\boldsymbol{\xi}_i \tag{18} \]

Булак муну класс-шарттуу күтүүлөрдүн атрибут класстарынын апостериордук ыктымалдыктары менен салмакталган орточосу катары эсептейт. Бул ыкма бүт салмакты бир класска жана бир үзгүлтүксүз максимум чекитине бербестен, белгисиздикти бөлүштүрүү аркылуу алып өтөт.

Эмне үчүн Gauss–Hermite quadrature колдонулат?

Теңдеме (15) жана (18) деги интегралдар жабык формада оңой эсептелбегендиктен, изилдөө Gauss–Hermite quadrature (GHQ) колдонот. Булак EAP алгоритминде ар бир үзгүлтүксүз өлчөм үчүн 20 Gauss–Hermite түйүнүн колдонот. Эки өлчөмдүү IT-DINA тестлет таасири үчүн тензордук көбөйтүү менен жалпы \(20^2=400\) quadrature чекити түзүлөт.

Ар бир quadrature чекитинде жооп окшоштугу эсептелип, Gauss–Hermite салмагына көбөйтүлөт жана бул салмакталган маанилер кошулуп, интегралга сандык жакындоо алынат. Бул жердеги 400 мааниси жаңы окуучу же жаңы маалымат эмес; үзгүлтүксүз интегралды болжолдуу эсептөөдө колдонулган сандык баалоо чекиттери.

Симуляцияда DINA параметрлери probit шкаласына кантип өткөрүлөт?

Симуляциянын башында тайып-каталуу \(s_j\) жана божомол \(g_j\) маанилери \(U(0.05,0.20)\) бир калыптагы бөлүштүрүүдөн түзүлөт. Андан кийин probit шкаласындагы тапшырма параметрлери мындай түзүлөт:

\[ \delta_{0j}=\Phi^{-1}(g_j) \]

\[ \delta_{1j} = \Phi^{-1}(1-s_j) - \Phi^{-1}(g_j) \]

\(\Phi\) — стандарттуу нормалдык бөлүштүрүүнүн кумулятивдүү бөлүштүрүү функциясы; \(\Phi^{-1}\) болсо анын тескериси. Ошентип ыктымалдуулук шкаласындагы божомол жана тайып-каталуу маанилери probit сызыктуу предиктор шкаласына өткөрүлөт.

Тестлет таасирлери кошулганда чыныгы тапшырма ыктымалдыктары эмне үчүн өзгөрөт?

Тестлет кокустук таасирлери probit моделине кошулганда маргиналдык туура жооп ыктымалдыктары башында тандалган \(g_j\) жана \(1-s_j\) маанилери менен так бирдей бойдон калбайт. Булак бул жаңы модель-түрүндөгү ыктымалдыктарды Теңдеме (19) жана (20) менен берет.

Талап кылынган атрибуттарга ээ окуучу үчүн маргиналдык туура жооп ыктымалдыгы:

\[ c_{js}^{*} = \Phi\left( \frac{ \delta_{0j}+\delta_{1j} }{ \sqrt{ 1+\sigma_{\xi}^{2} (\beta_{js}^{2}+\gamma_{js}^{2}) } } \right) \tag{19} \]

Талап кылынган атрибуттарга ээ эмес окуучу үчүн маргиналдык туура жооп ыктымалдыгы:

\[ g_{js}^{*} = \Phi\left( \frac{ \delta_{0j} }{ \sqrt{ 1+\sigma_{\xi}^{2} (\beta_{js}^{2}+\gamma_{js}^{2}) } } \right) \tag{20} \]

Изилдөөдө \(\sigma_{\xi}^{2}=0.25\), башкача айтканда тестлет таасирлеринин стандарттык четтөөсү 0,5. Моделде тестлет жүктөмдөрүнүн квадраттары бөлүмгө киргендиктен, жүктөмдөрдүн абсолюттук чоңдугу маргиналдык масштабдоого таасир этет. Case 5те белгилердин оң же терс болушу бул атайын маргиналдык ыктымалдык аралыктарын өзгөртпөйт; анткени Теңдеме (19) жана (20) да \(\beta^2\) жана \(\gamma^2\) колдонулат.

\(1-c_{js}^{*}\) — модель болжолдогон тайып-каталуу ыктымалдыгы. Ошондуктан башында \(s_j\) жана \(g_j\) 0,05–0,20 арасынан тандалган болсо да, тестлет таасирлери кошулгандан кийин модель-түрүндөгү тайып-каталуу жана божомол ыктымалдыктары ошол эле чектерде калууга милдеттүү эмес.

Системалуу жылыш эмнени өлчөйт?

Булак Теңдеме (21):

\[ Bias(\widehat{\boldsymbol{\xi}}) = \frac{1}{N} \sum_{i=1}^{N} ( \widehat{\boldsymbol{\xi}}_i - \boldsymbol{\xi}_i ) \tag{21} \]

Системалуу жылыш баалоолор чыныгы тестлет таасирлеринен системалуу түрдө кайсы багытта четтээрин көрсөтөт. Нөлгө жакын маани оң жана терс системалуу катанын аз экенин көрсөтөт. Бирок төмөн Bias өзү эле жетиштүү эмес; чоң, бирок бири-бирин тең салмактаган оң жана терс каталар орточо эсепте нөлгө жакындашы мүмкүн.

RMSE эмнени өлчөйт?

Булак Теңдеме (22):

\[ RMSE(\widehat{\boldsymbol{\xi}}) = \sqrt{ \frac{1}{N} \sum_{i=1}^{N} \left\| \widehat{\boldsymbol{\xi}}_i - \boldsymbol{\xi}_i \right\|^2 } \tag{22} \]

RMSE баалоо менен чыныгы маани ортосундагы катанын чоңдугун өлчөйт жана квадраттоо себептүү чоң каталарды күчтүүрөөк жазалайт. Төмөн RMSE үзгүлтүксүз тестлет таасирин такыраак калыбына келтирүүнү билдирет.

PCCR эмне үчүн катуу классификация критерийи?

Булак Теңдеме (23):

\[ PCCR = \frac{1}{N} \sum_{i=1}^{N} I( \widehat{\boldsymbol{\alpha}}_i = \boldsymbol{\alpha}_i ) \tag{23} \]

Pattern-wise Correct Classification Rate (PCCR) жеке көндүмдөрдүн туура классификацияланышын гана эмес, окуучунун бүт атрибут профилинин толугу менен туура болушун талап кылат. Мисалы, чыныгы профиль \((1,1,0)\) болуп, \((1,0,0)\) деп бааланса, үч атрибуттун экөө туура болгонуна карабастан PCCR боюнча бүт профиль туура эмес деп эсептелет. Ошондуктан PCCR катуу критерий.

EAP башында экилик профиль ордуна ар бир атрибут үчүн 0–1 аралыгындагы апостериордук өздөштүрүү ыктымалдыгын түзөт. Булак салыштырууну бирдей экилик шкалага келтирүү үчүн 0,50 чегин колдонот:

\[ \widehat{\alpha}_{ik}^{binary} = I\left[ P(\alpha_{ik}=1\mid\mathbf{y}_i)\geq0.50 \right] \tag{24} \]

Monte Carlo стандарттык катасы эмне үчүн эсептелди?

Бардык симуляция шарттары көз карандысыз түрдө \(R=500\) жолу кайталанган. PCCRдин ушул кайталануулар арасындагы өзгөрмөлүүлүгүн көрсөтүү үчүн Monte Carlo стандарттык катасы эсептелген:

\[ \widehat{MCSE}(PCCR) = \frac{ SD\left( PCCR^{(1)},\ldots,PCCR^{(R)} \right) }{ \sqrt{R} } \tag{25} \]

Бул жерде \(SD\) — 500 кайталанууда алынган PCCR маанилеринин тандалма стандарттык четтөөсү. PCCR пайыз менен берилсе, MCSE да пайыздык пункт катары чечмеленет.

Изилдөөнүн Ыкмасы жана Жыйынтыктары

Симуляция дизайны

Изилдөө MLE, MAP жана EAPты беш башка маалымат түзүү/баалоо сценарийинде салыштырган. Бардык негизги шарттарда тандалманын көлөмү 10.000 адам. Тестлеттердин саны 3 же 4, ар бир тестлеттеги тапшырмалардын саны болсо 10, 20, 30, 40 же 50 болуп өзгөртүлгөн.

Case 1–4 үчүн \(K=3\) жана сегиз атрибут профили бирдей ыктымалдуу болгон бир калыптагы калк түзүмү колдонулган. Case 5те \(K=5\) ке жогорулатылып, чыныгы атрибут профилинин бөлүштүрүүсү бир калыпта болбой калган.

Case 5те чыныгы атрибут бөлүштүрүүсү кантип түзүлгөн?

Беш атрибут болгондуктан 32 мүмкүн профиль бар. Чыныгы калкта нөл, бир же эки атрибут өздөштүрүлгөн профилдер үчүн класс ыктымалдыгы \(\pi_c=1/48\); үч же андан көп атрибут өздөштүрүлгөн профилдер үчүн \(\pi_c=1/24\) деп белгиленген. Ошентип жогорку өздөштүрүү профилдери төмөн өздөштүрүү профилдерине караганда эки эсе класс ыктымалдыгына ээ болгон.

Ошого карабастан MAP жана EAP үчүн бардык Case 1–5 шарттарында атрибут профилдерине бир калыптагы априор колдонулуп келген. Case 5тин илимий мааниси дал ушунда: чыныгы калк түзүмү менен Байес атрибут априору атайылап дал келтирилген эмес.

Модель-түрүндөгү божомол жана тайып-каталуу ыктымалдыктары

Case 1: туура спецификацияланган IT-DINA

Бул негизги шартта маалымат түзүү модели да, баалоо модели да IT-DINA. EAP жана MAP тестлет-таасиринин системалуу жылыштарын абсолюттук мааниде жалпысынан 0,005тен төмөн кармаган. MLEде 10 тапшырмалуу тестлеттерде айрым тестлет таасирлери үчүн абсолюттук жылыш болжол менен 0,02–0,04 ке жеткен. Тестлет 50 тапшырмага узарганда MLE жылышы азайган, бирок болжол менен 0,01 деңгээлинде калган.

RMSE боюнча EAP жана MAP тестлет узарган сайын болжол менен 0,35тен 0,20га төмөндөгөн. MLE 10 тапшырмалуу тестлеттерде болжол менен 0,55–0,65 RMSE көрсөткөн; 50 тапшырмада да болжол менен 0,30–0,35 деңгээлинде калган.

PCCR боюнча Байес ыкмалары жалпы алганда %97ден жогору болуп, 50 тапшырмага жакындаганда болжол менен %98,5ке жетсе, MLE болжол менен %93–95 аралыгында калган.

Case 2: чынында тестлет таасири жок, бирок IT-DINA бааланат

Бул шартта \(\beta=\gamma=0\). Башкача айтканда, маалымат түзүү процессинде тестлет таасирлери жооп ыктымалдыктарын өзгөртпөйт; ошого карабастан баалоодо толук IT-DINA модели колдонулат. Бул керексиз үзгүлтүксүз компоненттер моделге кошулганда ыкмалардын жүрүм-турумун сынайт.

EAP жана MAP үчүн тестлет-таасиринин жылыштары нөлгө абдан жакын, RMSE маанилери болжол менен 0,49–0,50 болгон. MLE жылыштарынын абсолюттук мааниси болжол менен 0,003–0,006 жана RMSEси болжол менен 0,55–0,69 аралыгында.

Бул жердеги 0,49–0,50 RMSEни этият чечмелөө керек. Булакта адам тестлет өзгөрмөлөрү \(N(0,0.5^2)\) шкаласында түзүлгөнү менен, алардын жоопторго жүктөмү нөл. Демек, жооп маалыматтары жеке тестлет таасирлерин аныктоого түз маалымат бербейт. Байес регуляризациясы баалоолорду априордук борборго жакын кармайт; булак бул жүрүм-турумду керексиз компоненттердин туруксуздануусун чектөө жагынан түшүндүрөт.

Case 3: чыныгы модель T-DINA, баалоо IT-DINA

Чыныгы маалыматта негизги тестлет таасири бар, бирок өз ара аракет компоненти жок. IT-DINA болсо эки компонентти тең баалоого аракет кылат.

Чыныгы негизги таасир компоненттеринде EAP жылышы абсолюттук мааниде 0,001ден төмөн калып, RMSE болжол менен 0,43төн 0,34кө төмөндөгөн. MAP жылышы болжол менен 0,001–0,006; RMSEси 0,40–0,50 аралыгында. MLEнин жылышы болжол менен 0,004–0,02, RMSEси болжол менен 0,50–0,69.

Чынында жок өз ара аракет компонентинде EAP жана MAP жылышы кайрадан нөлгө абдан жакын калган, RMSE болсо болжол менен 0,49–0,50 тегерегинде болгон. MLE керексиз компонентте жогору жылыш жана RMSE көрсөткөн.

Case 4: чыныгы IT-DINA, бирок баалоо жөнөкөй T-DINA

Бул шарт зарылдан татаал моделдин тескерисин сынайт. Чыныгы маалыматта негизги тестлет таасири да, өз ара аракет да бар, бирок баалоо модели өз ара аракетке байланышкан \(\xi_2\) компонентин камтыбайт.

EAP үч жана төрт тестлет шарттарында жалпы алганда эң кичине Bias жана RMSE берген. MAP көпчүлүк шарттарда EAPка жакын калган. MLE айрыкча кыска тестлеттерде көбүрөөк өзгөргөн. Булак туура спецификацияланган Case 1 менен салыштырганда MLE жылышы болжол менен 2–5 эсе көбөйүшү мүмкүн экенин жана кыска тестлеттерде RMSE 0,80ден ашышы мүмкүн экенин билдирет.

Классификацияда кыска тестлеттер үчүн EAP менен MLE ортосундагы PCCR айырмасы болжол менен 6–7 пайыздык пунктка жеткен. Бул натыйжа модель тандоосу гана эмес, адам параметрин баалоо ыкмасы да толук эмес спецификацияланган моделдерде диагностикалык натыйжаны өзгөртө аларын көрсөтөт.

Байес Ыкмалары Ар Бир Шартта Жакшыраак Беле?

Жок. EAP жана MAP бешинчи симуляция шартында үзгүлтүксүз тестлет таасирлеринин Bias жана RMSEси боюнча MLEден туруктуураак калганына карабастан, бүт атрибут профилин туура классификациялаган PCCR метрикасында MLE бир аз жогору натыйжа берген. Булак муну чыныгы атрибут профилинин бөлүштүрүүсү бир калыпта эмес болушу менен MAP/EAPтын бир калыптагы атрибут априорун колдонушунун дал келбестиги менен байланыштырат; демек Байес артыкчылыгы априордун тууралыгынан көз карандысыз эмес.

Case 5: априордук бөлүштүрүү дал келбегенде эмне болду?

EAP жана MAPтын үзгүлтүксүз тестлет таасирлериндеги Bias маанилери кичине калган, MLE болсо өзгөчө кыска тестлеттерде жогору RMSE жараткан. Ал эми PCCR боюнча EAP жана MAP болжол менен %87–91, MLE болжол менен %90–93 аралыгында.

Бул натыйжа эки башка баалоо максаты бир эле нерсе эмес экенин көрсөтөт. Бир ыкма үзгүлтүксүз тестлет таасирин жакшыраак калыбына келтирсе да, дискреттүү атрибут профилин ошол эле учурда жакшыраак классификациялоого милдеттүү эмес. Өзгөчө Байес классификациясы чыныгы калк бөлүштүрүүсүнө туура келбеген профиль априорунан таасирлениши мүмкүн.

PCCR үчүн симуляция өзгөрмөлүүлүгү

500 көз карандысыз кайталоо аркылуу эсептелген MCSE маанилери бардык шарттарда болжол менен %0,08–%1,50 аралыгында. Case 1–3тө маанилер жалпы алганда %1ден төмөн калган. Case 4тө өзгөчө MLE үчүн өзгөрмөлүүлүк өскөн; эң жогорку MCSE маанилери атрибут өлчөмү жогору жана классификация тактыгы төмөн болгон Case 5те болжол менен %1,17–%1,50 аралыгында байкалган.

Тестлеттин узундугубу же тестлеттердин саныбы маанилүүрөөк эле?

Булактын талкуусуна ылайык, бул симуляция шарттарында ар бир тестлеттеги тапшырмалардын санын көбөйтүү тестлеттердин санын көбөйтүүгө караганда чоңураак тактык өсүшүн берген. Математикалык жактан бул бир үзгүлтүксүз тестлет таасири тууралуу көбүрөөк тапшырма жообу маалымат берет дегенди билдирет.

Бирок изилдөө бул натыйжаны универсалдуу экзамен дизайнынын эрежеси кылбайт. Симуляцияда атрибут өлчөмү, тапшырма сапаты жана модель түзүмү белгилүү чектерде; өлчөмү жогору, тапшырма маалыматы алсызыраак же ызы-чуусу көп баалоолордо ушундай эле чоңдуктагы өсүш кепилденбейт.

TIMSS 2023 эмпирикалык колдонмосу кантип түзүлдү?

Эмпирикалык көрсөтмөдө TIMSS 2023 сегизинчи класстын математика боюнча эл аралык маалымат базасы колдонулган. Башында 308.492 окуучу жана баалоо буклеттери боюнча 68 талапкер математика тапшырмасы болгон. Жоопсуз же жараксыз жооптор жетишпеген маани катары белгиленип, бештен аз жарактуу жообу бар окуучулар чыгарылган жана акыркы адам тандалмасы 118.547 болгон.

Изилдөө TIMSSтин айланма буклет дизайнындагы тапшырма блокторун операциялык тестлет бирдиги катары колдонгон. B_MD3 жана B_MD5 бир эле тандалган буклет ичинде бир эле жооп берүүчү топко берилгендиктен жана маалымат тазалоодон кийин жетиштүү тапшырма-деңгээлиндеги өзгөрмөлүүлүктү сактагандыктан тандалган.

Бул жерде маанилүү терминологиялык чек бар: булак TIMSS блоктору тар мааниде бир гана жалпы стимулду бөлүшкөн классикалык “testlet” болууга милдеттүү эмес экенин ачык айтат. Алар бир блок ичинде калган калдык көз карандылыкты моделдөө үчүн операциялык тестлеттер катары колдонулган.

Polytomous тапшырмалар эмне үчүн экиликке айландырылды?

Тандалган constructed-response тапшырмаларынын баштапкы TIMSS упайлары бир нече упай категориясына ээ болушу мүмкүн. Бул изилдөөдө колдонулган DINA, T-DINA жана IT-DINA формалары экилик жоопторго негизделгендиктен, нөлдөн чоң бардык упайлар туура = 1, нөл упай туура эмес = 0 деп кайра коддолгон.

Бул өзгөртүү жарым-жартылай кредит маалыматын жоготот. Ошондуктан, мисалы, 1 упай жана 2 упай алган эки окуучу тең “туура” категориясына кириши мүмкүн. Булак муну изилдөөнүн маанилүү чектөөлөрүнүн бири катары ачык кабыл алат.

TIMSS Q-матрицасы кантип түзүлгөн?

TIMSS математика тапшырмаларынын расмий когнитивдик тармак классификациясы изилдөөдө үч экилик диагностикалык атрибут катары колдонулган: Knowing (Билүү), Applying (Колдонуу) жана Reasoning (Ой жүгүртүү). Ар бир талдоо тапшырмасы бир гана когнитивдик тармакка дайындалган; ошондуктан Q-матрицанын ар бир сабында бир гана 1 бар.

27 тапшырманын 11и Applying, 4ү Knowing жана 12си Reasoning деп коддолгон. Бул колдонулган Q-матрица жалпы көп-атрибуттуу CDMдерге караганда кыйла жөнөкөй түзүмгө ээ экенин билдирет. Изилдөөнүн талкуусунда жогорку классификация көрсөткүчтөрүн атрибут өлчөмү жогору же Q-матрицасы татаалыраак учурларга түз жалпылабоо керектиги өзгөчө белгиленет.

Булактагы TIMSS тапшырма кодунун дал келбестиги

Булак Таблица 7де B_MD3 ичиндеги эки тапшырма коду MQ8N208A жана MQ8N208B деп көрсөтүлсө, ошол тапшырмалардын параметр таблицасы болгон Таблица 8де коддор MQ82N08A жана MQ82N08B түрүндө берилген. Булак бул айырма үчүн оңдоо эскертүүсүн бербегендиктен, Verianla эки жазылыштын бирин унчукпай “туура” деп жарыялаган эмес.

Эмпирикалык тапшырма параметрлеринин шкаласы

MLE, MAP жана EAP адам баалоолорун салыштырганда тапшырма параметрлери алдын ала калибрленип, туруктуу кармалган. Ошентип салыштырууда ыкмалар арасындагы айырма тапшырма параметрлерин кайра баалоодон келип чыгышына жол бербөөгө аракет кылынган.

Булак Таблица 8де 27 тапшырма үчүн \(\delta_0\), \(\delta_1\), стандарттык каталар жана pass rate маанилери берилет. \(\delta_0\) маанилери болжол менен −4,06 менен −0,86, \(\delta_1\) маанилери болжол менен −3,20 менен 3,88, pass rate болсо болжол менен 0,03 менен 0,24 арасында өзгөрөт.

Булак айрым \(\delta_1\) маанилери терс экенин жана аларды этият чечмелөө керектигин өзгөчө белгилейт. Математикалык жактан терс \(\delta_1\), Теңдеме (3) же (4)тө башка компоненттер туруктуу болгондо \(\eta\) 0дөн 1ге өткөндө сызыктуу предикторду көбөйтпөстөн азайтат дегенди билдирет. Булак бул адаттан тыш белгилердин себебин жаңы механизм катары далилдебегендиктен, Verianla да анын себебин божомолдобойт.

Эмпирикалык эсептөө чөйрөсү

Бардык талдоолор R 4.2.0 чөйрөсүндө жана чоң тандалмага байланыштуу параллелдүү эсептөө колдонулуп жүргүзүлгөн. Моделдин жакындашуу критерийи — катарлаш итерациялардагы параметр өзгөрүүсүнүн абсолюттук айырмасы 0,001ден кичине болушу; максималдуу итерация саны 500 деп белгиленген.

MLE, MAP жана EAPтын TIMSSтеги атрибут профилдери

EAP жана MAPтын сегиз профиль боюнча пайыздары бири-бирине абдан жакын; ар бир профиль үчүн айырма %0,5тен төмөн. MLEнин бөлүштүрүүсү болсо айрыкча \((0,0,1)\) профилинде айырмаланат: MLE бул класска 32.479 окуучу, EAP 18.342 жана MAP 18.567 окуучу дайындаган.

Тестлет таасири бөлүштүрүүлөрүндө эмне байкалды?

Булак Сүрөт 11 эки операциялык тестлет үчүн \(\xi_1\) жана \(\xi_2\) баалоолорунун EAP, MAP жана MLE бөлүштүрүүлөрүн кутуча графиктер менен салыштырат. EAP маанилери нөлдүн айланасында эң тыгыз жана эң тар квартилдер аралык диапазонго ээ. MAP бир аз кенен, бирок MLEге караганда тыгызыраак. MLEде кутучалар, whiskerлер жана четки маанилер кеңири.

Сүрөттүн чийки адам-деңгээлиндеги маанилери же бардык кутуча график жыйынтыктары булакта таблица түрүндө берилбегендиктен, Verianla тарабынан жасалма сандык кутуча графиги кайра тартылган эмес. Илимий билдирүү текст жана төмөнкү рангдык корреляциялар аркылуу сакталган.

Kendall рангдык корреляциялары

EAP–MAP корреляцияларынын баары 0,96дан жогору; бул эки ыкма окуучулардын тестлет-таасири боюнча рангдарында абдан окшош иштеген. MLE менен Байес ыкмаларынын корреляциялары болжол менен 0,55–0,65 аралыгында калып, орточо деңгээлдеги гана шайкештикке ишарат кылган.

EAP менен MAP классификациялары канчалык окшош болгон?

Булак өтүү матрицасында EAPтан MAPка классификациялардын бардык сегиз атрибут профили үчүн диагоналдык үлүштөрү %93төн жогору экенин билдирет. Бул эки Байес ыкмасы жалпы профиль бөлүштүрүүлөрүндө гана эмес, адам деңгээлинде да негизинен бирдей класстарды тандаганын көрсөтөт.

EAP менен MLE ортосундагы системалуу жылыш

EAP–MLE өтүү матрицасы ачыгыраак ажырымды көрсөткөн. EAP тарабынан \((1,1,0)\) деп классификацияланган 9.543 окуучунун 1.571и, башкача айтканда болжол менен %16,5и MLE тарабынан \((0,0,1)\) профилине өткөрүлгөн.

Күчтүүрөөк жылыштар \((0,0,0)\) жана \((1,0,0)\) профилдеринде байкалган. EAPтын \((0,0,0)\) тобундагылардын болжол менен %24,4ү, \((1,0,0)\) тобундагылардын болжол менен %25,2си MLE тарабынан \((0,0,1)\) ге дайындалган.

Бул табылга чыныгы профиль EAP дегенди билдирбейт; эмпирикалык TIMSS колдонмосунда чыныгы жашыруун атрибут профилдери белгисиз. Натыйжа ар башка адам-параметр баалоо ыкмалары бир IT-DINA модели жана бир маалыматтар шартында ар башка диагностикалык классификацияларды түзө аларын гана көрсөтөт.

Тестлет Таасирлерин Эске Албоо Диагностикалык Классификацияны Өзгөртө Алабы?

Бул TIMSS эмпирикалык мисалында — ооба. Тестлет таасирлерин жана алардын атрибут абалы менен өз ара аракетин моделдеген IT-DINA жергиликтүү көз карандысыздыкты божомолдогон DINAга караганда жакшыраак салыштырмалуу шайкештик көрсөтүп, окуучулардын атрибут профилинин бөлүштүрүүсүн байкаларлык өзгөрткөн. Бирок бул натыйжа бардык TIMSS колдонмолорунда же бардык экзамендерде IT-DINA автоматтык түрдө артык болот дегенди билдирбейт; булак муну белгилүү маалымат иштетүү жана моделдөө шарттарындагы эмпирикалык көрсөтмө катары берет.

DINA менен IT-DINA моделинин шайкештиги

IT-DINA төрт кошумча параметр колдонгонуна карабастан AIC жана BIC маанилери болжол менен 12.000ге төмөн. Булак ошондой эле \(\Delta LL=6234,45\), \(\Delta df=4\) жана \(p<0,001\) деп билдирет. Бул натыйжалар ушул эмпирикалык маалымат жана ушул модель салыштыруусунда IT-DINA DINAга караганда жакшыраак салыштырмалуу шайкештик көрсөткөнүн колдойт.

DINA жана IT-DINA окуучуларды кантип башкача классификациялаган?

Эң чоң айырма \((0,0,1)\) профилинде. DINA 32.479 окуучуну, IT-DINA EAP болсо 18.342 окуучуну ушул профилге дайындаган; айырма 14.137 окуучу. Булак талдоодогу көп тапшырма Reasoning атрибутуна байланыштуу болгондуктан, бул жылыш диагностикалык чечмелөө үчүн маанилүү экенин белгилейт.

DINA \((0,0,0)\), \((1,0,0)\) жана \((0,1,0)\) төмөн-өздөштүрүү профилдерин IT-DINAга караганда жалпысынан 8.887 адам аз; \((1,1,0)\), \((1,0,1)\) жана \((0,1,1)\) көп-атрибуттуу профилдерди болсо жалпысынан болжол менен 5.685 адам аз классификациялаган. Толук өздөштүрүү профили \((1,1,1)\) болсо эки моделде бири-бирине кыйла жакын.

Булактын EAP үчүн берген түшүндүрмөсү

Изилдөөнүн талкуусуна ылайык, EAPтын туруктуулугун үч байланышкан механизм менен түшүндүрүүгө болот. Биринчиден, EAP апостериордук бөлүштүрүүнүн бир модасын эмес, орточосун колдонот. Бул тестлет башына маалымат аз болгондо адам-деңгээлиндеги баалоолорду нөлгө карай регуляризациялай алат.

Экинчиден, IT-DINAнын окшоштук бети дискреттүү атрибут класстары менен үзгүлтүксүз тестлет өзгөрмөлөрүн чогуу камтыгандыктан, кыска тестлеттерде тегиз, көп модалуу же начар аныкталган болушу мүмкүн. Априору жок MLE мындай шарттарда тандалма термелүүлөрүнө көбүрөөк ачык калышы мүмкүн.

Үчүнчүдөн, MAP априордук регуляризацияга ээ болгону менен апостериордук бөлүштүрүүнүн модасын гана колдонот. Апостериордук бөлүштүрүү кең же асимметриялуу болсо, мода жергиликтүү ирээтсиздиктерге сезимтал калышы мүмкүн. EAP бүт апостериордук тыгыздыкты орточолоп, бул ирээтсиздиктерди көбүрөөк жумшарта алат. Бул түшүндүрмөлөр изилдөөдө каралган IT-DINA шарттарына тиешелүү жана бардык психометрикалык моделдер үчүн универсалдуу артыкчылыктын далили эмес.

Изилдөө колдогон жыйынтыктар

• Каралган симуляция шарттарында MAP жана өзгөчө EAP үзгүлтүксүз тестлет таасирлерин калыбына келтирүүдө жалпы алганда MLEден туруктуураак натыйжаларды берген.
• Байес артыкчылыгы кыска тестлеттерде жана модель түзүмү зарылдан татаал же толук эмес спецификацияланганда ачыгыраак болгон.
• Туура спецификацияланган жана орточо деңгээлде туура эмес спецификацияланган шарттарда EAP/MAP атрибут профили классификациясында MLEден жогору PCCR бере алган.
• Чыныгы атрибут бөлүштүрүүсү менен колдонулган Байес атрибут априору дал келбегенде классификация артыкчылыгы жоголушу же тескери бурулушу мүмкүн.
• TIMSS эмпирикалык мисалында MLE, MAP жана EAP бир IT-DINA модели астында ар башка адам-деңгээлиндеги тестлет таасирлерин жана ар башка диагностикалык классификацияларды түзгөн.
• TIMSS эмпирикалык мисалында IT-DINA DINAга караганда жакшыраак салыштырмалуу AIC/BIC шайкештигин көрсөтүп, атрибут профилинин бөлүштүрүүсүн өзгөрткөн.

Изилдөө колдобогон жалпылоолор

Изилдөө “EAP бардык когнитивдик-диагностикалык моделдерде дайыма эң жакшы ыкма”, “Байес баалоосу бардык шартта MLEден такыраак классификациялайт”, “TIMSS блокторунун баары чыныгы жалпы-стимулдуу тестлет”, “DINA колдонуу ар бир баалоодо туура эмес классификация жаратат” же “IT-DINA бардык экзамен системаларында сөзсүз эң жакшы модель” деген тыянактарды колдобойт.

Симуляция натыйжалары тандалган DINA/T-DINA/IT-DINA түзүмдөрү, белгилүү атрибут өлчөмдөрү, тапшырма сапаты, априордук бөлүштүрүүлөр, quadrature тартиби жана оптималдаштыруу алгоритми шартында алынган. Эмпирикалык колдонмодо болсо чыныгы атрибут профилдери белгисиз болгондуктан, модель жана ыкмалар арасындагы классификация айырмасы кайсы профиль абсолюттук чындык экенин түз далилдебейт.

Негизги чектөөлөр

Модель үй-бүлөсүнүн чеги: Изилдөө DINA, T-DINA жана IT-DINA менен чектелет. Табылгаларды ийкемдүүрөөк G-DINA же башка тестлет-негиздүү когнитивдик-диагностикалык моделдерге автоматтык түрдө жалпылоого болбойт.

Polytomous маалыматтын жоголушу: TIMSS constructed-response упайларын экиликке айландыруу жарым-жартылай кредит маалыматын жоготот. Ошондуктан эмпирикалык классификация жана модель шайкештигинин натыйжалары колдонулган экилик упай системасына гана тиешелүү.

Калктын өкүлчүлүгү: TIMSS колдонмосу модель-негиздүү көрсөтмө. Татаал тандалма салмактары модель калибрлөөсүнө же шайкештик баалоосуна ачык киргизилген эмес. Ошондуктан натыйжаларды TIMSS калкынын өкүлчүлүктүү үлүштөрү катары чечмелөөгө болбойт.

Сандык ишке ашырууга көз карандылык: MLE, MAP жана EAP салыштыруусу колдонулган оптималдаштыруу алгоритмине, Gauss–Hermite ыкмасына жана априордук тандоолорго көз каранды. Башка сандык ишке ашыруулар сандык натыйжаларды бир аз өзгөртүшү мүмкүн.

Априордук сезгичтик: Case 5 айрыкча дискреттүү атрибут профили үчүн туура эмес спецификацияланган априордук бөлүштүрүү Байес классификациясына таасир эте аларын түз көрсөтөт. Ошондуктан “априор = регуляризация = автоматтык жакшыртуу” деген жөнөкөй тыянак чыгарууга болбойт.

Булак жана Ыкма Жөнүндө Эскертүү

Түпнуска изилдөө: Evaluating Person-Parameter Estimation Methods in Cognitive-Diagnostic Models with Testlet Effects

Авторлор: Mei You, Jingjing Yang, Xin Xu.

Авторлордун ирети: Булактагы ирет так сакталган.

Тең салым: Булакта тең биринчи авторлук же тең салым белгиси көрсөтүлгөн эмес.

Жооптуу автор: Xin Xu.

Аффилиация: School of Science, Minzu University of China, Beijing 100081, China.

Журнал: Education Sciences.

Басмакана: MDPI.

Том / номер / макала номери: Volume 16, Issue 7, Article 1128.

DOI: 10.3390/educsci16071128.

Расмий DOI шилтемеси: https://doi.org/10.3390/educsci16071128

Жөнөтүлгөн күнү: 11 май 2026.

Кайра каралган күнү: 10 июль 2026.

Кабыл алынган күнү: 13 июль 2026.

Жарыяланган күнү: 15 июль 2026.

Булак түрү: Article / изилдөө макаласы. Изилдөө теориялык ыкма макаласы гана эмес; көзөмөлдөнгөн симуляция салыштырууларын жана TIMSS 2023 маалыматтарында модель-негиздүү эмпирикалык колдонмону чогуу камтыйт.

Рецензия абалы: Education Sciences журналында жарыяланган, рецензиядан өткөн журналдык макала.

Лицензия: Creative Commons Attribution (CC BY). PDF автордук укук 2026-жылы авторлорго таандык экенин жана MDPI лицензия ээси/басмакана катары ишти CC BY шарттары менен жарыялаганын көрсөтөт.

Каржылоо: Изилдөө Fundamental Research Funds for the Central Universities тарабынан колдоого алынган.

Институционалдык этика кеңеши: Булакта “Not applicable” деп көрсөтүлгөн.

Маалымдалган макулдук: Булакта “Not applicable” деп көрсөтүлгөн.

Маалымат жеткиликтүүлүгү: Изилдөөдө коомчулукка ачык маалыматтар колдонулган. TIMSS 2023 эл аралык маалымат базасына TIMSS & PIRLS International Study Center аркылуу жетүүгө болору; симуляция натыйжалары макалада сүрөттөлгөн модель жана симуляция шарттарына ылайык түзүлгөнү көрсөтүлөт.

Кызыкчылыктардын кагылышы: Авторлор кызыкчылыктардын кагылышын билдиришкен эмес. Булак ошондой эле каржылоочунун изилдөө дизайнында, маалымат чогултуу/талдоо/чечмелөөдө, макала жазууда же жарыялоо чечиминде ролу болбогонун көрсөтөт.

Авторлордун салымдары: Концептуалдаштыруу Xin Xu; ыкма Xin Xu жана Mei You; программалык камсыздоо Mei You; текшерүү Mei You, Jingjing Yang жана Xin Xu; формалдык талдоо Mei You; изилдөө Mei You; ресурстар Xin Xu; маалымат курaциясы Mei You; алгачкы долбоорду жазуу Mei You; карап чыгуу жана редакциялоо Jingjing Yang жана Xin Xu; визуалдаштыруу Mei You; жетекчилик Xin Xu; долбоорду башкаруу Xin Xu; каржылоо алуу Xin Xu.

Булак ичиндеги дал келбестик 1: TIMSS Q-матрицасын берген Таблица 7де эки тапшырма коду MQ8N208A жана MQ8N208B; тапшырма параметрлерин берген Таблица 8де болсо MQ82N08A жана MQ82N08B деп жазылган. Булак бул айырма үчүн оңдоо түшүндүрмөсүн бербегендиктен, Verianla кайсы жазылыш туура экенине жаңы доомат чыгарган эмес.

Булак ичиндеги дал келбестик 2: PCCR ыкма түшүндүрмөсүндө MLE жана MAP экилик атрибут баалоолорунун теңдеме номерлерине жасалган кайчылаш шилтеме ыкма бөлүмүндөгү чыныгы дискреттүү тандоо теңдемелерине шайкеш келбегендей көрүнөт. Ошондуктан Verianla формулаларды теңдеме мазмуну аркылуу түшүндүрүп, булакта жок жаңы теңдеме номерин дайындаган эмес.

Негизги методологиялык чек: Симуляция көрсөткүчү тандалган тестлет сандары, тестлет узундуктары, атрибут өлчөмдөрү, жүктөмдөр, тапшырма сапаты, априордук түзүмдөр жана сандык ишке ашыруу менен чектелет. TIMSS колдонмосу болсо экиликке айландырылган constructed-response тапшырмалары, эки операциялык блок жана тандалма салмактарын моделге түз киргизбеген модель-негиздүү көрсөтмө.