Модели интерактивии Testlet DINA (Interactive Testlet DINA, IT-DINA) модели ташхисии маърифатӣ мебошад, ки профили дискретии хусусиятҳоро, ки нишон медиҳад хонанда кадом хусусиятҳои маърифатиро дорост, бо таъсирҳои пайвастаи тестлет дар сатҳи шахс, ки метавонанд аз заминаи муштараки бандҳои дохили як тестлет ба вуҷуд оянд, ҳамзамон модел мекунад. Ин таҳқиқот тарзи арзёбии параметрҳои шахсро дар чунин сохтори ниҳонии омехтаи дискретӣ-пайваста меомӯзад ва арзёбии эҳтимолияти максималӣ (Maximum Likelihood Estimation, MLE), арзёбии максималии апостериорӣ (Maximum A Posteriori, MAP) ва арзёбии арзиши интизории апостериорӣ (Expected A Posteriori, EAP)-ро муқоиса мекунад.

Қисми якуми таҳқиқот ба симулятсия асос ёфтааст. Ҳаҷми интихоб дар ҳар шарт 10.000 муайян шуда; се ё чор тестлет, 10, 20, 30, 40 ё 50 банд дар ҳар тестлет ва шартҳои гуногуни дурустии модел баррасӣ шудаанд. Панҷ сенарияи симулятсия модели дуруст спецификатсияшудаи IT-DINA, истифодаи IT-DINA дар ҳоле ки таъсири воқеии тестлет вуҷуд надорад, истифодаи IT-DINA-и мураккабтар дар ҳолате ки танҳо таъсири асосии тестлет вуҷуд дорад, арзёбии додаҳои воқеии IT-DINA бо модели содатари T-DINA ва шарти душвортаре бо андозаи баландтари хусусият ва тақсимоти воқеии нобаробари хусусиятҳоро дар бар мегирад.

Дар симулятсияҳо EAP ва MAP, махсусан дар тестлетҳои кӯтоҳ ва дар шартҳое, ки сохтори модел аз ҳад мураккаб ё нопурра спецификатсия шудааст, дар барқарорсозии таъсирҳои пайвастаи тестлет нисбат ба MLE натиҷаҳои устувортар додаанд. Дар шарти асосии дуруст спецификатсияшудаи IT-DINA, каҷравии систематикии таъсири тестлет барои EAP ва MAP аз рӯи қимати мутлақ асосан аз 0,005 камтар монд, дар ҳоле ки дар тестлетҳои кӯтоҳи 10-бандӣ баъзе каҷравиҳои MLE тақрибан ба 0,02–0,04 расиданд. Дар ҳамон шарт, арзишҳои RMSE-и усулҳои Байесӣ бо зиёд шудани дарозии тестлет аз тақрибан 0,35 то 0,20 коҳиш ёфтанд, дар ҳоле ки MLE дар тестлетҳои кӯтоҳ тақрибан 0,55–0,65 RMSE нишон дод.

Бо вуҷуди ин, таҳқиқот хулосаи «усулҳои Байесӣ дар ҳама ҳолат бартарӣ доранд»-ро дастгирӣ намекунад. Дар шарти панҷуми симулятсия, вақте профилҳои воқеии хусусият аз тақсимоти нобаробар тавлид шуданд, дар ҳисобҳои MAP ва EAP истифодаи априори яксон барои профилҳои хусусият идома ёфт. Дар ин шароити номувофиқии априорӣ, гарчанде усулҳои Байесӣ дар арзёбии таъсирҳои пайвастаи тестлет устувортар монданд, аз рӯи PCCR — меъёри таснифи дурусти тамоми профили хусусият дар як вақт — MLE тақрибан %90–93 ва MAP ва EAP тақрибан %87–91 натиҷа доданд. Ин натиҷа нишон медиҳад, ки интихоби тақсимоти априорӣ барои ҳадафи тасниф аз ҷиҳати илмӣ муҳим аст.

Қисми дуюми таҳқиқот намоиши эмпирикӣ бо додаҳои математикаи синфи ҳаштуми TIMSS 2023 мебошад. Аз 308.492 хонанда ва 68 банди номзади математикаи ибтидоӣ, пас аз тозакунии додаҳо 118.547 хонанда ва 27 банди дуӣ таҳлил шуданд. Блокҳои B_MD3 ва B_MD5 ҳамчун ду тестлети амалиётӣ истифода шуданд. IT-DINA дар ин додаҳо нисбат ба модели анъанавии DINA арзишҳои пасттари AIC ва BIC дод ва ду модел хонандагонро ба профилҳои хусусиятҳои маърифатӣ ба таври назаррас гуногун тақсим карданд. Аммо ин татбиқи TIMSS далели натиҷаи намояндагӣ дар сатҳи аҳолӣ нест, балки мисоли эмпирикиест, ки рафтори моделро дар додаҳои воқеии арзёбӣ нишон медиҳад.

Модели ташхисии маърифатӣ чӣ масъаларо ҳал кардан мехоҳад?

Бисёр моделҳои анъанавии ченкунӣ кӯшиш мекунанд нишондиҳандаи хонандаро бо як холи пайвастаи қобилият ҷамъбаст кунанд. Моделҳои ташхисии маърифатӣ (Cognitive-Diagnostic Models, CDMs) бошад саволи дигар медиҳанд: хонанда кадом ҷузъҳои муайяни дониш ё малакаҳоро дорад ва кадомашонро надорад? Аз ин рӯ, тағйирёбандаи ниҳонии модел ҳатман як хол нест; он метавонад профиле бошад, ки аз якчанд хусусияти дуии маърифатӣ ташкил шудааст.

Масалан, агар се хусусияти маърифатӣ вуҷуд дошта бошад, профили хонанда метавонад \((1,0,1)\) бошад. Дар ин ҷо 1 нишон медиҳад, ки хусусияти дахлдор азхуд шудааст, 0 бошад, ки азхуд нашудааст. Агар се хусусияти дуӣ бошад, ҳамагӣ \(2^3=8\) профили имконпазир; агар панҷ хусусият бошад, \(2^5=32\) профили имконпазир мавҷуд аст. Аз ин рӯ, бо зиёд шудани шумораи хусусиятҳо масъалаи муайян кардани он ки хонанда ба кадом синфи ниҳонӣ тааллуқ дорад, низ калонтар мешавад.

Таъсири Тестлет ва Вобастагии Маҳаллии Бандҳо Чист?

Таъсири тестлет таъсири иловагии ниҳонӣ мебошад, ки имкони нишон додани рафтори ҷавобии ба ҳам вобастаи бандҳои пешниҳодшуда дар як матн, ҷадвал, сенария, блоки савол ё заминаи дигари муштаракро ҳатто пас аз ба ҳисоб гирифтани хусусиятҳои маърифатии мавриди ченкунӣ ифода мекунад. Дар моделҳои стандартӣ, вақте хусусиятҳои маърифатии хонанда маълуманд, интизор меравад бандҳо аз ҳам мустақил бошанд; агар ин шарт иҷро нашавад, вобастагии маҳаллии бандҳо (local item dependence, LID) вуҷуд дорад.

Ин фарқ муҳим аст. Дар панҷ саволе, ки як матнро истифода мебаранд, коркарди ғайриодатан хуб ё бади он матн аз ҷониби хонанда метавонад ба ҳамаи панҷ ҷавоб якҷоя таъсир расонад. Агар чунин таъсири муштарак танҳо ба малакаҳои мавриди ченкунӣ нисбат дода шавад, модел метавонад дақиқии ченкуниро аз воқеият баландтар нишон диҳад ё хонандаро ба профили нодурусти хусусиятҳо тасниф кунад. Моделҳои тестлет кӯшиш мекунанд ин муштаракии боқимондаро алоҳида модел кунанд.

Нишонгузории асосӣ: хонанда, банд, тестлет ва хусусият

Q-матритса чӣ кор мекунад?

Q-матритса матритсаи дуии андозаи \(J\times K\) мебошад, ки нишон медиҳад кадом банд кадом хусусияти маърифатиро талаб мекунад. Агар \(q_{jk}=1\) бошад, барои ҳалли дурусти банди \(j\) хусусияти \(k\) зарур аст; агар \(q_{jk}=0\) бошад, он хусусият барои банд зарур ҳисоб намешавад.

Тағйирёбандае, ки нишон медиҳад оё хонанда ҳамаи хусусиятҳои идеалӣ зарур барои бандро дорад ё не, дар манбаъ бо сохтори конъюнктивии зерин муайян мешавад:

\[ \eta_{ij}=\prod_{k=1}^{K}(\alpha_{ik})^{q_{jk}} \]

Мантиқи ин ҳосил дарвозаи «ВА» аст. Агар банд ду хусусиятро талаб кунад ва хонанда яке аз онҳоро надошта бошад, зарбкунандаи дахлдор 0 мешавад ва тамоми ҳосил ба \(\eta_{ij}=0\) мерасад. Агар хонанда ҳамаи хусусиятҳои заруриро дошта бошад, \(\eta_{ij}=1\) мешавад.

Модели DINA: нуқтаи ибтидоии асосӣ

DINA (Deterministic Inputs, Noisy “AND” Gate) модели доро будани ҳамаи хусусиятҳои заруриро ҳамчун шарти конъюнктивии муваффақият қабул мекунад. Бо вуҷуди ин, рафтори воқеии имтиҳонӣ пурра детерминистӣ нест: хонандае, ки ҳамаи хусусиятҳои заруриро дорад, метавонад хато кунад; хонандае, ки хусусиятҳои заруриро надорад, метавонад бо тахмин ҷавоби дуруст диҳад.

Манбаъ Муодилаи (1):

\[ P(Y_{ij}=1\mid\boldsymbol{\alpha}_i) =(1-s_j)^{\eta_{ij}}g_j^{\,1-\eta_{ij}} \tag{1} \]

\(s_j\) барои банди \(j\) slipping / эҳтимолияти лағжиш-хато мебошад. Он эҳтимоли ҷавоби нодурустро ифода мекунад, ҳатто вақте хонанда ҳамаи хусусиятҳои заруриро дорад. Аз ин рӯ, вақте \(\eta_{ij}=1\), эҳтимоли ҷавоби дуруст \(1-s_j\) аст.

\(g_j\) guessing / эҳтимолияти тахмин мебошад. Он эҳтимоли ҷавоби дурустро вақте ифода мекунад, ки хонанда ҳамаи хусусиятҳои заруриро надорад. Вақте \(\eta_{ij}=0\), Муодилаи (1) бевосита ба \(g_j\) кам мешавад.

Сохтори дараҷавии муодила ду ҳолатро дар як формула муттаҳид мекунад. Агар \(\eta_{ij}=1\), \(g_j^{0}=1\) ва танҳо \(1-s_j\) мемонад. Агар \(\eta_{ij}=0\), \((1-s_j)^0=1\) ва танҳо \(g_j\) мемонад. Аз ин рӯ, ҳадафи формула танҳо кӯтоҳии алгебравӣ нест, балки ифодаи ду ҳолати ниҳонии DINA дар як функсияи ҷавоб аст.

Барои тамоми вектори ҷавобҳои хонанда \(\mathbf{y}_i=(y_{i1},\ldots,y_{iJ})\), агар фарз шавад, ки ҳангоми маълум будани профили хусусият бандҳо шартан мустақиланд, манбаъ дар Муодилаи (2) likelihood-ро чунин муайян мекунад:

\[ L(\mathbf{y}_i\mid\boldsymbol{\alpha}_i) =\prod_{j=1}^{J}P(Y_{ij}=y_{ij}\mid\boldsymbol{\alpha}_i) \tag{2} \]

Дар ин ҷо ҳосил ҳисоб мекунад, ки ҳамаи ҷавобҳои мушоҳидашудаи хонанда ба бандҳо якҷоя то чӣ андоза эҳтимолӣ мебошанд. Фарзияи муҳими DINA-и стандартӣ дар ҳамин ҷо аст: вақте \(\boldsymbol{\alpha}_i\) маълум аст, қабул мешавад, ки байни бандҳо дигар вобастагии систематикӣ намемонад. Масъалаи тестлет маҳз ба ҳолате дахл дорад, ки ин фарзия метавонад вайрон шавад.

T-DINA: таъсири тасодуфии иловагӣ барои тестлет

Testlet Effect DINA (T-DINA) барои ифодаи муштаракие, ки профили хусусият байни бандҳои як тестлет шарҳ намедиҳад, барои хонандаи \(i\) ва тестлети \(s\) таъсири тасодуфии пайвастаи хоси \(\xi_{is}\)-ро илова мекунад.

Манбаъ Муодилаи (3):

\[ P(Y_{ij}=1\mid\boldsymbol{\alpha}_i,\xi_{is}) =h\!\left(\delta_{0j}+\delta_{1j}\eta_{ij}+\beta_{js}\xi_{is}\right) \tag{3} \]

\(h(\cdot)\) функсияи пайванд аст; манбаъ нишон медиҳад, ки пайванди логистикӣ ё probit метавонад истифода шавад. \(\delta_{0j}\) параметри буриши хоси банд, \(\delta_{1j}\) таъсири ҳолати ҷавоби идеалиро ба банд, ва \(\beta_{js}\) қувваи боршавии таъсири тестлет ба банди \(j\)-ро нишон медиҳад.

Агар \(\xi_{is}\) ба сифр наздик бошад, таъсири иловагии тестлет барои хонанда заиф аст. Бо зиёд шудани қимати мутлақи он, ҷузъи муштараки тестлет пешгӯкунандаи хаттиро бештар тағйир медиҳад; аммо эҳтимоли ниҳоии ҷавоби дуруст бевосита хаттӣ нест ва аз функсияи пайванди \(h(\cdot)\) гузаронда мешавад.

IT-DINA: таъсири тестлет метавонад бо ҳолати хусусият ҳамтаъсир шавад

Дар T-DINA таъсири тестлет новобаста аз ҳолати ҷавоби идеалии хонанда илова мешавад. IT-DINA бошад имкон медиҳад, ки ин таъсир вобаста ба \(\eta_{ij}\) тағйир ёбад.

Манбаъ Муодилаи (4):

\[ P(Y_{ij}=1\mid\boldsymbol{\alpha}_i,\boldsymbol{\xi}_{is}) =h\!\left[ \delta_{0j} +\delta_{1j}\eta_{ij} +\beta_{js}\xi_{is1} +\gamma_{js}(2\eta_{ij}-1)\xi_{is2} \right] \tag{4} \]

Дар ин ҷо \(\boldsymbol{\xi}_{is}=(\xi_{is1},\xi_{is2})^\prime\) вектори дужузъаи таъсири тестлет мебошад. \(\beta_{js}\xi_{is1}\) таъсири асосии тестлетро, \(\gamma_{js}(2\eta_{ij}-1)\xi_{is2}\) бошад ҷузъи ҳамтаъсири вобаста ба ҳолати хусусиятро ифода мекунад.

Ҳади \((2\eta_{ij}-1)\) вазифаи махсус дорад. Вақте \(\eta_{ij}=1\), ин ҳад \(+1\), ва вақте \(\eta_{ij}=0\), \(-1\) мешавад. Ҳамин тавр самти саҳми \(\xi_{is2}\) ба пешгӯкунандаи хаттӣ метавонад вобаста ба ҳолати ҷавоби идеалӣ тағйир ёбад. Ин сохтор ба модел дохил мекунад, ки вобастагии тестлет маҷбур нест дар шахсони дорои ва надори хусусиятҳои зарурӣ яксон амал кунад.

Чаро параметри шахс сохтори омехта аст?

Дар таҳқиқот ҳамаи параметрҳои шахси хонанда

\[ \boldsymbol{\lambda}_i=(\boldsymbol{\alpha}_i,\boldsymbol{\xi}_i) \]

баррасӣ мешаванд. \(\boldsymbol{\alpha}_i\) профили дискретии хусусиятҳо мебошад; масалан \((1,0,1)\). \(\boldsymbol{\xi}_i\) бошад аз таъсирҳои пайвастаи тестлет иборат аст. Аз ин рӯ, алгоритм бояд ҳамзамон ҳам саволи «хонанда дар кадом синфи ниҳонӣ аст?» ва ҳам «арзиши таъсири пайвастаи тестлет барои ин хонанда чанд аст?»‑ро ҳал кунад. Ин мушкилии асосии математикӣ мебошад, ки муқоисаи MLE, MAP ва EAP-ро муҳим мегардонад.

MLE, MAP ва EAP Дар Ин Таҳқиқот Чӣ Гуна Фарқ Мекунанд?

MLE танҳо параметрҳои шахсеро интихоб мекунад, ки likelihood-и ҷавобҳои мушоҳидашударо ба ҳадди аксар мерасонанд; MAP ба ҳамин likelihood маълумоти тақсимоти априориро илова карда, нуқтаи қуллаи зичии апостериориро интихоб мекунад; EAP бошад ба ҷойи интихоби як нуқтаи қулла тамоми тақсимоти апостериориро ба ҳисоб мегирад ва миёнаи апостериории параметрро истифода мебарад. Аз ин рӯ, MAP ва EAP метавонанд regularization фароҳам оранд, аммо натиҷаҳои онҳо ба мувофиқати тақсимоти априории истифодашуда низ вобастаанд.

MLE: танҳо likelihood-и додаҳоро ба ҳадди аксар расон

Манбаъ Муодилаи (5) log-likelihood-и сатҳи шахсро барои ҷавобҳои дуӣ медиҳад:

\[ \ell(\boldsymbol{\lambda}_i\mid\mathbf{y}_i) = \sum_{j=1}^{J} \left[ y_{ij}\log P_{ij} + (1-y_{ij})\log(1-P_{ij}) \right] \tag{5} \]

Дар ин ҷо \(P_{ij}=P(Y_{ij}=1\mid\boldsymbol{\lambda}_i)\). Агар хонанда ба банд дуруст ҷавоб дода бошад, \(y_{ij}=1\) мешавад ва ҳади аввал фаъол мегардад; агар нодуруст ҷавоб дода бошад, \(y_{ij}=0\) мешавад ва ҳади дуюм фаъол мегардад. Саҳми ҳамаи бандҳо ҷамъ шуда, чен мешавад, ки параметрҳои муайяни шахс то чӣ андоза ба ҷавобҳои мушоҳидашуда мувофиқанд.

Арзёбии MLE:

\[ \widehat{\boldsymbol{\lambda}}_i^{MLE} = \operatorname*{arg\,max}_{\boldsymbol{\lambda}_i} \ell(\boldsymbol{\lambda}_i\mid\mathbf{y}_i) \tag{6} \]

\(\operatorname{arg\,max}\) дар ин ҷо на қимати аз ҳама калони функсия, балки қимати параметреро меҷӯяд, ки он қимати максималиро таъмин мекунад.

MAP: ба likelihood маълумоти априорӣ илова кун

Манбаъ Муодилаи (7):

\[ \widehat{\boldsymbol{\lambda}}_i^{MAP} = \operatorname*{arg\,max}_{\boldsymbol{\lambda}_i} \left\{ \ell(\boldsymbol{\lambda}_i\mid\mathbf{y}_i) +\log\pi(\boldsymbol{\lambda}_i) \right\} \tag{7} \]

\(\pi(\boldsymbol{\lambda}_i)\) зичии априории параметрҳои шахс мебошад. Дар ин таҳқиқот барои \(\boldsymbol{\alpha}_i\) дар байни \(2^K\) профили имконпазир априори яксон, ва барои таъсирҳои пайвастаи тестлет априори нормалии стандартӣ истифода шудааст.

Дар шароити априорҳои мустақил:

\[ \log\pi(\boldsymbol{\lambda}_i) = \log\pi(\boldsymbol{\alpha}_i) + \log\pi(\boldsymbol{\xi}_i), \qquad \log\pi(\boldsymbol{\xi}_i) \propto -\frac{1}{2}\boldsymbol{\xi}_i^\prime\boldsymbol{\xi}_i \]

Априори нормалии стандартӣ таъсири regularization эҷод мекунад, ки ба таъсирҳои тестлет бо қимати мутлақи хеле калон ҷарима медиҳад. Аммо ин хусусият ба таври худкор маънои «дурусттар»-ро надорад; номувофиқии сохтори априорӣ бо сохтори воқеии аҳолӣ махсусан метавонад таснифи хусусиятҳоро вайрон кунад. Case 5 мисоли бевоситаи ин ҳолат дар таҳқиқот аст.

EAP: миёнаи тақсимоти апостериориро истифода бар

Манбаъ Муодилаи (8):

\[ \widehat{\boldsymbol{\lambda}}_i^{EAP} = E[\boldsymbol{\lambda}_i\mid\mathbf{y}_i] = \int \boldsymbol{\lambda}_i p(\boldsymbol{\lambda}_i\mid\mathbf{y}_i) \,d\boldsymbol{\lambda}_i \tag{8} \]

Дар ин ҷо

\[ p(\boldsymbol{\lambda}_i\mid\mathbf{y}_i) \propto L(\boldsymbol{\lambda}_i\mid\mathbf{y}_i) \pi(\boldsymbol{\lambda}_i) \]

зичии апостериорӣ мебошад. Фарқи асосии EAP дар он аст, ки на танҳо нуқтаи баландтарини тақсимоти апостериорӣ, балки тамоми шакли онро истифода мебарад. Тибқи муҳокимаи манбаъ, ин рафтори миёнагирӣ метавонад махсусан дар тестлетҳои кӯтоҳ, вақте тақсимоти апостериорӣ васеъ, асимметрӣ ё номунтазам аст, арзёбиҳои устувортари шахсро ба вуҷуд орад.

Татбиқи думарҳилавии MLE дар дохили IT-DINA

Барои ҳар профили имконпазири хусусият \(\boldsymbol{\alpha}_c\), \(c=1,\ldots,C\) ва \(C=2^K\), аввал таъсири пайвастаи тестлет оптимизатсия мешавад.

Манбаъ Муодилаи (9):

\[ \widehat{\boldsymbol{\xi}}_i^{(c)} = \operatorname*{arg\,max}_{\boldsymbol{\xi}_i} \ell(\boldsymbol{\xi}_i\mid\mathbf{y}_i,\boldsymbol{\alpha}_c) \tag{9} \]

Ин саволи «агар профили хусусияти хонанда ҳоло \(\boldsymbol{\alpha}_c\) қабул шавад, таъсирҳои тестлет дар кадом қиматҳо ҷавобҳоро беҳтарин шарҳ медиҳанд?»‑ро ҳал мекунад.

Манбаъ барои MLE болоравии градиентӣ ва ҷустуҷӯи қадами бозгаштро истифода мебарад:

\[ \boldsymbol{\xi}_i^{(m+1)} = \boldsymbol{\xi}_i^{(m)} + \gamma^{(m)} \nabla_{\xi} \ell(\boldsymbol{\xi}_i^{(m)}\mid\mathbf{y}_i,\boldsymbol{\alpha}_c) \tag{10} \]

\(\nabla_{\xi}\ell\) градиенти log-likelihood дар самти таъсирҳои тестлет мебошад. Градиент самти зудтарин афзоиши функсияро нишон медиҳад. \(\gamma^{(m)}\) андозаи қадам аст ва бо ҷустуҷӯи хаттии бозгашт тавре танзим мешавад, ки афзоиши кофии log-likelihood таъмин гардад.

Пас аз ёфтани беҳтарин арзёбии пайваста барои ҳар синфи хусусият, синфе интихоб мешавад, ки log-likelihood-и баландтарин дорад:

\[ \widehat{\boldsymbol{\alpha}}_i^{MLE} = \operatorname*{arg\,max}_{\boldsymbol{\alpha}_c} \ell( \widehat{\boldsymbol{\xi}}_i^{(c)} \mid \mathbf{y}_i,\boldsymbol{\alpha}_c) \tag{11} \]

Танзимоти ададии алгоритми MLE

Алгоритми манбаъ барои ҳар профили ниҳонии хусусият аз панҷ нуқтаи ибтидоии гуногун оптимизатсия мекунад. Оғози аввал \(\boldsymbol{\xi}=0\) аст; оғозҳои баъдӣ аз тақсимоти \(N(0,0.25I)\) гирифта мешаванд. Ҳадаф кам кардани хатари дар ҳалли маҳаллии бад дармондани як нуқтаи ибтидоӣ дар сатҳи мураккаби likelihood мебошад.

Дар алгоритми MAP чӣ тағйир меёбад?

MAP ҳамон ҷустуҷӯи синфҳоро анҷом медиҳад; аммо таъсири пайвастаи тестлет ҳадафи апостериориро ба ҳадди аксар мерасонад, ки ҳам log-likelihood ва ҳам log-aprior-ро дар бар мегирад.

Манбаъ Муодилаи (12):

\[ \widehat{\boldsymbol{\xi}}_i^{(c)} = \operatorname*{arg\,max}_{\boldsymbol{\xi}_i} \left\{ \ell(\boldsymbol{\xi}_i\mid\mathbf{y}_i,\boldsymbol{\alpha}_c) + \log\pi(\boldsymbol{\xi}_i) \right\} \tag{12} \]

Дар навсозии градиент ҳам саҳми додаҳо ва ҳам саҳми априор мавҷуд аст:

\[ \boldsymbol{\xi}_i^{(m+1)} = \boldsymbol{\xi}_i^{(m)} + \gamma^{(m)} \left[ \nabla_{\xi}\ell( \boldsymbol{\xi}_i^{(m)} \mid \mathbf{y}_i,\boldsymbol{\alpha}_c) + \nabla_{\xi}\log\pi( \boldsymbol{\xi}_i^{(m)}) \right] \tag{13} \]

Дар марҳилаи охир профили хусусият бо муқоисаи қиматҳои ҳадафи апостериорӣ интихоб мешавад:

\[ \widehat{\boldsymbol{\alpha}}_i^{MAP} = \operatorname*{arg\,max}_{\boldsymbol{\alpha}_c} \left\{ \ell( \widehat{\boldsymbol{\xi}}_i^{(c)} \mid \mathbf{y}_i,\boldsymbol{\alpha}_c) + \log\pi( \widehat{\boldsymbol{\xi}}_i^{(c)}) + \log\pi(\boldsymbol{\alpha}_c) \right\} \tag{14} \]

Ҳангоми истифодаи априори яксон барои профилҳои хусусият, \(\log\pi(\boldsymbol{\alpha}_c)\) дар ҳамаи синфҳо як доимӣ аст ва аз ин рӯ муқоисаи байни синфҳоро тағйир намедиҳад. Аммо агар профилҳои воқеии аҳолӣ яксон тақсим нашуда бошанд, ин фарзия метавонад ба натиҷаҳои тасниф таъсир расонад.

EAP: интегратсия ба ҷойи оптимизатсия

EAP ба ҷойи ҷустуҷӯи як максимум барои таъсири пайвастаи тестлет, ин тағйирёбандаро бар рӯи тақсимоти эҳтимолият интегратсия мекунад.

Манбаъ Муодилаи (15):

\[ P(\mathbf{y}_i\mid\boldsymbol{\alpha}_c) = \int P(\mathbf{y}_i\mid\boldsymbol{\xi}_i,\boldsymbol{\alpha}_c) \pi(\boldsymbol{\xi}_i) \,d\boldsymbol{\xi}_i \tag{15} \]

Ин ифода likelihood-и маргиналии профили муайяни хусусият мебошад. Ҳамаи қиматҳои имконпазири таъсири пайвастаи тестлет бо вазнҳои априории худ ба ҳисоб гирифта мешаванд.

Эҳтимолияти апостериории профили хусусият:

\[ P(\boldsymbol{\alpha}_c\mid\mathbf{y}_i) = \frac{ P(\mathbf{y}_i\mid\boldsymbol{\alpha}_c)\pi(\boldsymbol{\alpha}_c) }{ \sum_{d=1}^{C} P(\mathbf{y}_i\mid\boldsymbol{\alpha}_d)\pi(\boldsymbol{\alpha}_d) } \tag{16} \]

Сурат вазни синфи муайянро бо додаҳо ва априор якҷоя, махраҷ бошад маҷмӯи вазни ҳамаи синфҳои имконпазирро ифода мекунад. Ҳамин тавр натиҷа эҳтимолияти воқеии апостериории синф байни 0–1 мебошад.

Эҳтимолияти азхудкунӣ барои ҳар хусусияти алоҳида:

\[ \widehat{\alpha}_{ik}^{EAP} = P(\alpha_{ik}=1\mid\mathbf{y}_i) = \sum_{c=1}^{C} I(\alpha_{ck}=1) P(\boldsymbol{\alpha}_c\mid\mathbf{y}_i) \tag{17} \]

\(I(\cdot)\) функсияи индикатор мебошад. Агар синфи \(c\) хусусияти \(k\)-ро дошта бошад 1, вагарна 0 мешавад. Ҳамин тавр эҳтимолиятҳои апостериории ҳамаи синфҳое, ки ин хусусиятро доранд, ҷамъ мешаванд.

Арзёбии EAP барои таъсирҳои пайвастаи тестлет:

\[ \widehat{\boldsymbol{\xi}}_i^{EAP} = \int \boldsymbol{\xi}_i p(\boldsymbol{\xi}_i\mid\mathbf{y}_i) \,d\boldsymbol{\xi}_i \tag{18} \]

Манбаъ инро ҳамчун миёнаи интизориҳои шартӣ-ба-синф, ки бо эҳтимолиятҳои апостериории синфҳои хусусият вазн дода шудаанд, ҳисоб мекунад. Ин равиш ба ҷойи додани тамоми вазн ба як синф ва як нуқтаи максималии пайваста, номуайяниро тавассути тақсимот нигоҳ медорад.

Чаро quadrature-и Gauss–Hermite истифода мешавад?

Азбаски интегралҳои Муодилаи (15) ва (18) дар шакли баста ба осонӣ ҳисоб намешаванд, таҳқиқот Gauss–Hermite quadrature (GHQ)-ро истифода мебарад. Манбаъ дар алгоритми EAP барои ҳар андозаи пайваста 20 гиреҳи Gauss–Hermite истифода мекунад. Барои таъсири дученакаи тестлет дар IT-DINA тавассути ҳосили тензорӣ ҳамагӣ \(20^2=400\) нуқтаи quadrature ба вуҷуд меояд.

Дар ҳар нуқтаи quadrature likelihood-и ҷавоб ҳисоб шуда, ба вазни Gauss–Hermite зарб мешавад ва ин қиматҳои вазндор ҷамъ карда шуда, наздикшавии ададӣ ба интеграл ба даст меояд. Қимати 400 дар ин ҷо хонандаи нав ё додаҳои нав нест; ин нуқтаҳои арзёбии ададӣ мебошанд, ки барои ҳисоби тақрибии интеграли пайваста истифода мешаванд.

Параметрҳои DINA дар симулятсия чӣ гуна ба шкалаи probit гузаронда мешаванд?

Дар оғози симулятсия қиматҳои лағжиш \(s_j\) ва тахмин \(g_j\) аз тақсимоти яксони \(U(0.05,0.20)\) тавлид мешаванд. Баъд параметрҳои банд дар шкалаи probit чунин сохта мешаванд:

\[ \delta_{0j}=\Phi^{-1}(g_j) \]

\[ \delta_{1j} = \Phi^{-1}(1-s_j) - \Phi^{-1}(g_j) \]

\(\Phi\) функсияи тақсимоти кумулятивии тақсимоти нормалии стандартӣ ва \(\Phi^{-1}\) баръакси он мебошад. Ҳамин тавр қиматҳои тахмин ва лағжиш аз шкалаи эҳтимолият ба шкалаи пешгӯкунандаи хаттии probit гузаронда мешаванд.

Чаро ҳангоми илова шудани таъсирҳои тестлет эҳтимолиятҳои воқеии банд тағйир меёбанд?

Вақте таъсирҳои тасодуфии тестлет ба модели probit илова мешаванд, эҳтимолиятҳои маргиналии ҷавоби дуруст бо қиматҳои ибтидоии интихобшудаи \(g_j\) ва \(1-s_j\) айнан баробар намемонанд. Манбаъ ин эҳтимолиятҳои нави аз модел ҳосилшударо бо Муодилаи (19) ва (20) медиҳад.

Эҳтимолияти маргиналии ҷавоби дуруст барои хонандаи дорои хусусиятҳои зарурӣ:

\[ c_{js}^{*} = \Phi\left( \frac{ \delta_{0j}+\delta_{1j} }{ \sqrt{ 1+\sigma_{\xi}^{2} (\beta_{js}^{2}+\gamma_{js}^{2}) } } \right) \tag{19} \]

Эҳтимолияти маргиналии ҷавоби дуруст барои хонандаи бидуни хусусиятҳои зарурӣ:

\[ g_{js}^{*} = \Phi\left( \frac{ \delta_{0j} }{ \sqrt{ 1+\sigma_{\xi}^{2} (\beta_{js}^{2}+\gamma_{js}^{2}) } } \right) \tag{20} \]

Дар таҳқиқот \(\sigma_{\xi}^{2}=0.25\), яъне инҳирофи стандартии таъсирҳои тестлет 0,5 аст. Азбаски квадратҳои борҳои тестлет ба махраҷ дохил мешаванд, бузургии мутлақи борҳо ба миқёскунӣ таъсир мерасонад. Дар Case 5 мусбат ё манфӣ будани аломатҳо ин фосилаҳои махсуси эҳтимолияти маргиналиро тағйир намедиҳад; зеро дар Муодилаи (19) ва (20) \(\beta^2\) ва \(\gamma^2\) истифода мешаванд.

\(1-c_{js}^{*}\) эҳтимолияти лағжишест, ки модел ишора мекунад. Аз ин рӯ, ҳатто агар дар аввал \(s_j\) ва \(g_j\) байни 0,05–0,20 интихоб шуда бошанд, пас аз илова шудани таъсирҳои тестлет эҳтимолиятҳои лағжиш ва тахмини аз модел ҳосилшуда маҷбур нестанд дар ҳамон ҳудудҳо бимонанд.

Каҷравии систематикӣ чиро чен мекунад?

Манбаъ Муодилаи (21):

\[ Bias(\widehat{\boldsymbol{\xi}}) = \frac{1}{N} \sum_{i=1}^{N} ( \widehat{\boldsymbol{\xi}}_i - \boldsymbol{\xi}_i ) \tag{21} \]

Каҷравии систематикӣ нишон медиҳад, ки арзёбиҳо аз таъсирҳои воқеии тестлет ба таври систематикӣ ба кадом самт дур мешаванд. Қимати наздик ба сифр нишон медиҳад, ки хатоҳои систематикии мусбат ва манфӣ каманд. Аммо танҳо Bias-и паст кофӣ нест; хатоҳои калони мусбат ва манфӣ, ки якдигарро ҷуброн мекунанд, метавонанд дар миёна ба сифр наздик шаванд.

RMSE чиро чен мекунад?

Манбаъ Муодилаи (22):

\[ RMSE(\widehat{\boldsymbol{\xi}}) = \sqrt{ \frac{1}{N} \sum_{i=1}^{N} \left\| \widehat{\boldsymbol{\xi}}_i - \boldsymbol{\xi}_i \right\|^2 } \tag{22} \]

RMSE бузургии хатои байни арзёбӣ ва қимати воқеиро чен мекунад ва бо сабаби квадраткунӣ хатоҳои калонро сахттар ҷарима мекунад. RMSE-и паст маънои барқарорсозии дақиқтари таъсири пайвастаи тестлетро дорад.

Чаро PCCR меъёри сахти тасниф аст?

Манбаъ Муодилаи (23):

\[ PCCR = \frac{1}{N} \sum_{i=1}^{N} I( \widehat{\boldsymbol{\alpha}}_i = \boldsymbol{\alpha}_i ) \tag{23} \]

Pattern-wise Correct Classification Rate (PCCR) на танҳо таснифи дурусти малакаҳои алоҳида, балки комилан дуруст будани тамоми профили хусусиятҳои хонандаро талаб мекунад. Масалан, агар профили воқеӣ \((1,1,0)\) бошад, вале \((1,0,0)\) арзёбӣ шавад, гарчанде ду хусусият аз се дуруст бошанд ҳам, аз рӯи PCCR тамоми профиль нодуруст ҳисоб мешавад. Аз ин рӯ PCCR меъёри сахт аст.

EAP дар аввал ба ҷойи профили дуӣ барои ҳар хусусият эҳтимолияти апостериории азхудкунӣ байни 0–1 тавлид мекунад. Манбаъ барои овардани муқоиса ба ҳамон шкалаи дуӣ аз ҳадди 0,50 истифода мебарад:

\[ \widehat{\alpha}_{ik}^{binary} = I\left[ P(\alpha_{ik}=1\mid\mathbf{y}_i)\geq0.50 \right] \tag{24} \]

Чаро хатои стандартии Monte Carlo ҳисоб карда шуд?

Ҳамаи шартҳои симулятсия мустақилона \(R=500\) маротиба такрор шуданд. Барои нишон додани тағйирпазирии PCCR байни ин такрорҳо хатои стандартии Monte Carlo ҳисоб карда шуд:

\[ \widehat{MCSE}(PCCR) = \frac{ SD\left( PCCR^{(1)},\ldots,PCCR^{(R)} \right) }{ \sqrt{R} } \tag{25} \]

Дар ин ҷо \(SD\) инҳирофи стандартии интихобии қиматҳои PCCR мебошад, ки дар 500 такрор ба даст омадаанд. Вақте PCCR бо фоиз ифода мешавад, MCSE низ бо банди фоизӣ тафсир мешавад.

Усул ва Натиҷаҳои Таҳқиқот

Тарҳи симулятсия

Таҳқиқот MLE, MAP ва EAP-ро дар панҷ сенарияи гуногуни тавлиди додаҳо/арзёбӣ муқоиса кардааст. Дар ҳамаи шартҳои асосӣ ҳаҷми намуна 10.000 нафар мебошад. Шумораи тестлетҳо 3 ё 4 ва шумораи бандҳо дар ҳар тестлет 10, 20, 30, 40 ё 50 тағйир дода шудааст.

Барои Case 1–4 сохтори якнавохти аҳолӣ истифода шудааст, ки дар он \(K=3\) ва ҳашт профили хусусият эҳтимолияти баробар доранд. Дар Case 5 \(K=5\) карда шуда, тақсимоти воқеии профилҳои хусусият дигар якнавохт набуд.

Тақсимоти воқеии хусусиятҳо дар Case 5 чӣ гуна сохта шуд?

Азбаски панҷ хусусият вуҷуд дорад, 32 профили имконпазир мавҷуд аст. Дар аҳолии воқеӣ барои профилҳое, ки сифр, як ё ду хусусиятро азхуд кардаанд, эҳтимолияти синф \(\pi_c=1/48\); барои профилҳое, ки се ё зиёда хусусиятро азхуд кардаанд, \(\pi_c=1/24\) муқаррар шудааст. Ҳамин тавр, профилҳои дорои сатҳи баланди азхудкунӣ нисбат ба профилҳои дорои сатҳи пасти азхудкунӣ ду баробар эҳтимолияти синфӣ доштанд.

Бо вуҷуди ин, барои MAP ва EAP дар ҳамаи шартҳои Case 1–5 истифодаи априории якнавохт барои профилҳои хусусият идома ёфт. Аҳамияти илмии Case 5 маҳз дар ҳамин аст: сохтори воқеии аҳолӣ ва априории Байесии хусусият қасдан бо ҳам номувофиқанд.

Эҳтимолиятҳои тахмин ва лағжиши аз модел ҳосилшуда

Case 1: IT-DINA-и дуруст мушаххасшуда

Дар ин шарти асосӣ ҳам модели тавлиди додаҳо ва ҳам модели арзёбӣ IT-DINA мебошанд. EAP ва MAP каҷравии систематикии таъсири тестлетро аз рӯи қимати мутлақ одатан аз 0,005 камтар нигоҳ доштанд. Дар MLE, барои баъзе таъсирҳои тестлет дар тестлетҳои кӯтоҳи 10-бандӣ каҷравии мутлақ тақрибан ба 0,02–0,04 расид. Вақте тестлет то 50 банд дароз шуд, каҷравии MLE кам гардид, аммо тақрибан дар сатҳи 0,01 боқӣ монд.

Аз ҷиҳати RMSE, бо зиёд шудани дарозии тестлет EAP ва MAP тақрибан аз 0,35 то 0,20 коҳиш ёфтанд. MLE дар тестлетҳои 10-бандӣ тақрибан 0,55–0,65 RMSE нишон дод ва ҳатто дар 50 банд тақрибан дар сатҳи 0,30–0,35 боқӣ монд.

Аз рӯи PCCR, усулҳои Байесӣ умуман аз %97 болотар буданд ва ҳангоми наздик шудан ба 50 банд тақрибан ба %98,5 расиданд, дар ҳоле ки MLE тақрибан дар фосилаи %93–95 монд.

Case 2: дар воқеият таъсири тестлет вуҷуд надорад, аммо IT-DINA арзёбӣ мешавад

Дар ин шарт \(\beta=\gamma=0\) аст. Ба ибораи дигар, дар раванди тавлиди додаҳо таъсирҳои тестлет эҳтимолияти ҷавобро тағйир намедиҳанд; бо вуҷуди ин, дар арзёбӣ модели пурраи IT-DINA истифода мешавад. Ин рафтори усулҳоро нисбат ба илова шудани ҷузъҳои нолозими пайваста ба модел месанҷад.

Барои EAP ва MAP каҷравиҳои таъсири тестлет ба сифр хеле наздик буда, қиматҳои RMSE тақрибан 0,49–0,50 ёфт шуданд. Қимати мутлақи каҷравии MLE тақрибан 0,003–0,006 ва RMSE-и он тақрибан дар фосилаи 0,55–0,69 мебошад.

RMSE-и 0,49–0,50 дар ин ҷо бояд бо эҳтиёт хонда шавад. Дар манбаъ, гарчанде тағйирёбандаҳои тестлетии шахс дар миқёси \(N(0,0.5^2)\) тавлид шудаанд, борҳои онҳо ба ҷавобҳо сифр мебошанд. Аз ин рӯ, додаҳои ҷавобӣ маълумоти мустақиме надоранд, ки таъсирҳои инфиродии тестлетро муайян кунанд. Мунтазамсозии Байесӣ арзёбиҳоро ба маркази априорӣ наздик нигоҳ медорад; манбаъ ин рафторро аз нуқтаи назари маҳдуд кардани ноустувории ҷузъҳои нолозим шарҳ медиҳад.

Case 3: модели воқеӣ T-DINA, арзёбӣ IT-DINA

Дар додаҳои воқеӣ таъсири асосии тестлет мавҷуд аст, аммо ҷузъи ҳамтаъсир вуҷуд надорад. IT-DINA бошад, кӯшиш мекунад ҳар ду ҷузъро арзёбӣ кунад.

Дар ҷузъҳои воқеии таъсири асосӣ каҷравии EAP аз рӯи қимати мутлақ аз 0,001 камтар монда, RMSE тақрибан аз 0,43 то 0,34 коҳиш ёфт. Каҷравии MAP тақрибан 0,001–0,006 ва RMSE-и он дар фосилаи 0,40–0,50 аст. Каҷравии MLE тақрибан 0,004–0,02 ва RMSE-и он тақрибан 0,50–0,69 мебошад.

Дар ҷузъи ҳамтаъсире, ки дар воқеият вуҷуд надорад, каҷравии EAP ва MAP боз ҳам ба сифр хеле наздик монд, дар ҳоле ки RMSE тақрибан 0,49–0,50 ёфт шуд. MLE дар ҷузъи нолозим каҷравӣ ва RMSE-и баландтар нишон дод.

Case 4: IT-DINA-и воқеӣ, аммо арзёбӣ бо T-DINA-и содатар

Ин шарт ҳолати баръакси модели аз ҳад мураккабро месанҷад. Дар додаҳои воқеӣ ҳам таъсири асосии тестлет ва ҳам ҳамтаъсир мавҷуданд, аммо модели арзёбӣ ҷузъи \(\xi_2\)-ро, ки ба ҳамтаъсир алоқаманд аст, дар бар намегирад.

EAP дар шартҳои се ва чор тестлет умуман хурдтарин Bias ва RMSE-ро дод. MAP дар аксари шартҳо ба EAP наздик монд. MLE махсусан дар тестлетҳои кӯтоҳ тағйирпазирии бештар нишон дод. Манбаъ хабар медиҳад, ки нисбат ба Case 1-и дуруст мушаххасшуда, каҷравии MLE метавонад тақрибан 2–5 маротиба зиёд шавад ва RMSE дар тестлетҳои кӯтоҳ метавонад аз 0,80 зиёд шавад.

Дар таснифот, барои тестлетҳои кӯтоҳ фарқи PCCR байни EAP ва MLE тақрибан ба 6–7 банди фоизӣ расид. Ин натиҷа нишон медиҳад, ки дар моделҳои нопурра мушаххасшуда на танҳо интихоби модел, балки усули арзёбии параметри шахс низ метавонад натиҷаи ташхисиро тағйир диҳад.

Оё Усулҳои Байесӣ Дар Ҳама Шартҳо Беҳтар Буданд?

Не. Гарчанде EAP ва MAP дар шарти панҷуми симулятсия аз ҷиҳати Bias ва RMSE-и таъсирҳои пайвастаи тестлет нисбат ба MLE устувортар монданд, дар метрикаи PCCR, ки дуруст тасниф шудани тамоми профили хусусиятро талаб мекунад, MLE натиҷаи каме баландтар дод. Манбаъ инро бо номувофиқатии байни ғайриякнавохт будани тақсимоти воқеии профилҳои хусусият ва истифодаи априории якнавохти профили хусусият дар MAP/EAP алоқаманд мекунад; бинобар ин, бартарии Байесӣ аз дурустии априорӣ мустақил нест.

Case 5: ҳангоми номувофиқ будани тақсимоти априорӣ чӣ рӯй дод?

Қиматҳои Bias-и EAP ва MAP дар таъсирҳои пайвастаи тестлет хурд монданд, дар ҳоле ки MLE махсусан дар тестлетҳои кӯтоҳ RMSE-и баландтар тавлид кард. Баръакс, дар PCCR EAP ва MAP тақрибан дар фосилаи %87–91 ва MLE тақрибан дар фосилаи %90–93 қарор доштанд.

Ин натиҷа нишон медиҳад, ки ду ҳадафи гуногуни арзёбӣ як чиз нестанд. Усуле метавонад таъсири пайвастаи тестлетро беҳтар барқарор кунад, аммо ҳамзамон маҷбур нест профили дискретии хусусиятро низ беҳтар тасниф кунад. Хусусан таснифоти Байесӣ метавонад аз априории профиле таъсир гирад, ки ба тақсимоти воқеии аҳолӣ мувофиқ нест.

Тағйирпазирии симулятсия барои PCCR

Қиматҳои MCSE, ки аз рӯи 500 такрори мустақил ҳисоб шудаанд, дар ҳамаи шартҳо тақрибан дар фосилаи %0,08–%1,50 мебошанд. Дар Case 1–3 қиматҳо умуман аз %1 паст монданд. Дар Case 4 тағйирпазирӣ махсусан барои MLE зиёд шуд; баландтарин қиматҳои MCSE дар Case 5, ки андозагирии хусусият баландтар ва дурустии тасниф пасттар буд, тақрибан дар фосилаи %1,17–%1,50 дида шуданд.

Дарозии тестлет муҳимтар буд ё шумораи тестлетҳо?

Мувофиқи муҳокимаи манбаъ, дар ин шартҳои симулятсия зиёд кардани шумораи бандҳо дар ҳар тестлет нисбат ба зиёд кардани шумораи тестлетҳо афзоиши бузургтари дурустиро ба вуҷуд овард. Аз нигоҳи математикӣ, ин маънои онро дорад, ки ҷавобҳои бештари бандҳо дар бораи ҳамон таъсири пайвастаи тестлет маълумоти бештар медиҳанд.

Аммо таҳқиқот ин натиҷаро ба қоидаи универсалии тарҳи имтиҳон табдил намедиҳад. Дар симулятсия андозагирии хусусият, сифати бандҳо ва сохтори модел дар ҳудудҳои муайян қарор доранд; дар арзёбиҳои дорои андозагирии баландтар, маълумоти заифтари бандҳо ё садои бештар, афзоиши ҳамон андоза кафолат дода намешавад.

Татбиқи эмпирикии TIMSS 2023 чӣ гуна сохта шуд?

Дар намоиши эмпирикӣ пойгоҳи байналмилалии додаҳои математикаи синфи ҳаштуми TIMSS 2023 истифода шудааст. Дар оғоз 308.492 хонанда ва дар китобчаҳои арзёбӣ 68 банди номзади математика мавҷуд буд. Ҷавобҳои беҷавоб ё беэътибор ҳамчун қимати гумшуда нишонагузорӣ шуда, хонандагоне, ки камтар аз панҷ ҷавоби эътиборнок доштанд, хориҷ карда шуданд ва намунаи ниҳоии шахсон 118.547 нафар шуд.

Таҳқиқот блокҳои бандҳои тарҳи китобчаҳои гардишии TIMSS-ро ҳамчун воҳиди амалии тестлет истифода кардааст. B_MD3 ва B_MD5 аз он сабаб интихоб шуданд, ки дар ҳамон китобчаи интихобшуда ба ҳамон гурӯҳи посухдиҳандагон дода шуда буданд ва пас аз тозакунии додаҳо тағйирпазирии кофиро дар сатҳи банд нигоҳ медоштанд.

Дар ин ҷо ҳадди муҳими истилоҳӣ вуҷуд дорад: манбаъ ошкоро мегӯяд, ки блокҳои TIMSS ҳатман “тестлет”-и классикӣ ба маънои танг, ки як ангезандаи муштарак доранд, нестанд. Онҳо бо мақсади моделсозии вобастагии боқимонда дар дохили ҳамон блок ҳамчун тестлетҳои амалиётӣ истифода шудаанд.

Чаро бандҳои polytomous ба дуӣ табдил дода шуданд?

Холҳои аслии TIMSS барои бандҳои интихобшудаи constructed-response метавонанд зиёда аз як категорияи хол дошта бошанд. Азбаски шаклҳои DINA, T-DINA ва IT-DINA, ки дар ин таҳқиқот истифода шудаанд, ба ҷавобҳои дуӣ асос меёбанд, ҳамаи холҳои аз сифр калон ҳамчун дуруст = 1 ва холи сифр ҳамчун нодуруст = 0 аз нав рамзгузорӣ шуданд.

Ин табдил маълумоти кредити қисмиро аз даст медиҳад. Аз ин рӯ, масалан, ду хонандае, ки яке 1 хол ва дигаре 2 хол гирифтааст, ҳар ду метавонанд ба категорияи “дуруст” дохил шаванд. Манбаъ инро ошкоро яке аз маҳдудиятҳои муҳими таҳқиқот эътироф мекунад.

Q-матритсаи TIMSS чӣ гуна сохта шуд?

Таснифи расмии соҳаҳои маърифатии бандҳои математикаи TIMSS дар таҳқиқот ҳамчун се хусусияти дуии ташхисӣ истифода шудааст: Knowing (Донистан), Applying (Татбиқ) ва Reasoning (Муҳокимаронӣ). Ҳар банди таҳлилӣ танҳо ба як соҳаи маърифатӣ таъйин шудааст; аз ин рӯ, дар ҳар сатри Q-матритса танҳо як 1 вуҷуд дорад.

Аз 27 банд, 11-то ҳамчун Applying, 4-то ҳамчун Knowing ва 12-то ҳамчун Reasoning рамзгузорӣ шудаанд. Ин маънои онро дорад, ки Q-матритсаи истифодашуда нисбат ба CDM-ҳои умумии серхусусият сохтори хеле содда дорад. Дар муҳокимаи таҳқиқот махсусан таъкид мешавад, ки сатҳҳои баланди тасниф набояд мустақиман ба андозагирии баландтари хусусият ё Q-матритсаҳои мураккабтар умумӣ карда шаванд.

Номувофиқатии рамзи банди TIMSS дар дохили манбаъ

Дар манбаъ, дар Ҷадвали 7 ду рамзи банд дар B_MD3 ҳамчун MQ8N208A ва MQ8N208B дида мешаванд, дар ҳоле ки дар Ҷадвали 8, ки ҷадвали параметрҳои ҳамин бандҳост, рамзҳо ба шакли MQ82N08A ва MQ82N08B дода шудаанд. Азбаски манбаъ барои ин фарқ ёддошти ислоҳӣ пешниҳод намекунад, матни Verianla яке аз ин ду навиштро хомӯшона “дуруст” эълон намекунад.

Миқёси параметрҳои эмпирикии бандҳо

Дар муқоисаи арзёбиҳои шахсии MLE, MAP ва EAP, параметрҳои бандҳо пешакӣ калибр карда шуда, собит нигоҳ дошта шуданд. Бо ин роҳ кӯшиш шудааст, ки фарқи байни усулҳо ҳангоми муқоиса аз арзёбии дубораи параметрҳои бандҳо ба вуҷуд наояд.

Манбаъ дар Ҷадвали 8 барои 27 банд қиматҳои \(\delta_0\), \(\delta_1\), хатоҳои стандартӣ ва pass rate-ро медиҳад. Қиматҳои \(\delta_0\) тақрибан аз −4,06 то −0,86, қиматҳои \(\delta_1\) тақрибан аз −3,20 то 3,88 ва pass rate тақрибан аз 0,03 то 0,24 тағйир меёбанд.

Манбаъ махсусан қайд мекунад, ки баъзе қиматҳои \(\delta_1\) манфӣ мебошанд ва бояд бо эҳтиёт тафсир шаванд. Аз ҷиҳати математикӣ, \(\delta_1\)-и манфӣ маънои онро дорад, ки дар Муодилаи (3) ё (4), вақте ҷузъҳои дигар собитанд, гузариши \(\eta\) аз 0 ба 1 ба ҷойи зиёд кардани пешгӯкунандаи хаттӣ онро кам мекунад. Азбаски манбаъ сабаби ин аломатҳои ғайриодӣро ҳамчун механизми нав исбот намекунад, Verianla низ сабаби онҳоро фарз намекунад.

Муҳити ҳисоббарории эмпирикӣ

Ҳамаи таҳлилҳо дар муҳити R 4.2.0 ва бо истифодаи ҳисоббарории параллелӣ бинобар ҳаҷми калони намуна анҷом дода шудаанд. Меъёри ҳамгироии модел ин аст, ки фарқи мутлақи тағйири параметрҳо дар итератсияҳои пайдарпай аз 0,001 хурд бошад; шумораи максималии итератсияҳо 500 муқаррар шудааст.

Профилҳои хусусияти MLE, MAP ва EAP дар TIMSS

Фоизҳои EAP ва MAP барои ҳашт профил ба ҳам хеле наздиканд; фарқ барои ҳар профил аз %0,5 камтар аст. Тақсимоти MLE бошад, махсусан дар профили \((0,0,1)\) фарқ мекунад: MLE ба ин синф 32.479 хонанда, EAP 18.342 ва MAP 18.567 хонанда таъйин кардааст.

Дар тақсимоти таъсири тестлет чӣ дида шуд?

Шакли 11-и манбаъ тақсимоти арзёбиҳои \(\xi_1\) ва \(\xi_2\)-ро барои ду тестлети амалиётӣ байни EAP, MAP ва MLE бо диаграммаҳои қуттӣ муқоиса мекунад. Қиматҳои EAP дар атрофи сифр зичтарин буда, тангтарин фосилаи байни квартилҳоро доранд. MAP каме васеътар аст, аммо нисбат ба MLE зичтар мемонад. Дар MLE қуттиҳо, whisker-ҳо ва қиматҳои канорӣ васеътаранд.

Азбаски қиматҳои хоми сатҳи шахс ё ҳамаи ҷамъбастҳои диаграммаи қуттӣ дар манбаъ дар шакли ҷадвал дода нашудаанд, Verianla диаграммаи қуттии рақамии сохтаро аз нав накашидааст. Паёми илмӣ тавассути матн ва коррелятсияҳои тартибии зер нигоҳ дошта шудааст.

Коррелятсияҳои тартибии Kendall

Ҳамаи коррелятсияҳои EAP–MAP аз 0,96 болотаранд; ин ду усул дар тартиббандии таъсири тестлети хонандагон хеле монанд рафтор кардаанд. Коррелятсияҳо байни MLE ва усулҳои Байесӣ тақрибан дар фосилаи 0,55–0,65 монда, танҳо ба мутобиқати сатҳи миёна ишора мекунанд.

Таснифоти EAP ва MAP то чӣ андоза монанд буданд?

Манбаъ дар матритсаи гузариш хабар медиҳад, ки барои ҳамаи ҳашт профили хусусият таносубҳои диагоналии тасниф аз EAP ба MAP аз %93 болотаранд. Ин нишон медиҳад, ки ду усули Байесӣ на танҳо дар тақсимоти умумии профилҳо, балки дар сатҳи шахс низ асосан ҳамон синфҳоро интихоб кардаанд.

Ҷойивазкунии систематикӣ байни EAP ва MLE

Матритсаи гузариши EAP–MLE ҷудошавии равшантар нишон дод. Аз хонандагоне, ки EAP онҳоро ҳамчун \((1,1,0)\) тасниф кардааст, 9.543 нафар буданд ва 1.571 нафари онҳо, яъне тақрибан %16,5, аз ҷониби MLE ба профили \((0,0,1)\) гузаронида шуданд.

Ҷойивазкуниҳои қавитар дар профилҳои \((0,0,0)\) ва \((1,0,0)\) дида шуданд. Аз гурӯҳи \((0,0,0)\)-и EAP тақрибан %24,4 ва аз гурӯҳи \((1,0,0)\)-и EAP тақрибан %25,2 аз ҷониби MLE ба \((0,0,1)\) таъйин шуданд.

Ин бозёфт маънои онро надорад, ки профили воқеӣ EAP аст; дар татбиқи эмпирикии TIMSS профилҳои воқеии ниҳонии хусусият маълум нестанд. Натиҷа танҳо нишон медиҳад, ки усулҳои гуногуни арзёбии шахс метавонанд зери ҳамон модели IT-DINA ва ҳамон додаҳо таснифоти ташхисии гуногун тавлид кунанд.

Оё Нодида Гирифтани Таъсирҳои Тестлет Метавонад Таснифоти Ташхисиро Тағйир Диҳад?

Дар ин намунаи эмпирикии TIMSS, ҳа. IT-DINA, ки таъсирҳои тестлет ва ҳамтаъсири онҳоро бо ҳолати хусусият модел мекунад, нисбат ба DINA, ки мустақилияти маҳаллиро фарз мекунад, мутобиқати нисбии беҳтар нишон дод ва тақсимоти профилҳои хусусияти хонандагонро ба таври назаррас тағйир дод. Аммо ин натиҷа маънои онро надорад, ки IT-DINA дар ҳамаи татбиқҳои TIMSS ё ҳамаи имтиҳонҳо ба таври худкор бартарӣ хоҳад дошт; манбаъ онро ҳамчун намоиши эмпирикӣ дар шароити муайяни коркарди додаҳо ва моделсозӣ пешниҳод мекунад.

Мутобиқати моделҳои DINA ва IT-DINA

Гарчанде IT-DINA чор параметри иловагӣ истифода мекунад, қиматҳои AIC ва BIC-и он тақрибан 12.000 пасттаранд. Манбаъ инчунин \(\Delta LL=6234,45\), \(\Delta df=4\) ва \(p<0,001\)-ро гузориш медиҳад. Ин натиҷаҳо дастгирӣ мекунанд, ки дар доираи ин додаҳои эмпирикӣ ва ин муқоисаи моделҳо IT-DINA нисбат ба DINA мутобиқати нисбии беҳтар нишон додааст.

DINA ва IT-DINA хонандагонро чӣ гуна гуногун тасниф карданд?

Бузургтарин фарқ дар профили \((0,0,1)\) аст. DINA 32.479 хонандаро ва IT-DINA EAP 18.342 хонандаро ба ин профил таъйин кардааст; фарқ 14.137 хонанда мебошад. Манбаъ қайд мекунад, ки азбаски бисёр бандҳои таҳлил бо хусусияти Reasoning алоқаманданд, ин ҷойивазкунӣ аз нуқтаи назари тафсири ташхисӣ муҳим аст.

DINA профилҳои сатҳи пасти азхудкунии \((0,0,0)\), \((1,0,0)\) ва \((0,1,0)\)-ро нисбат ба IT-DINA дар маҷмуъ 8.887 нафар камтар; профилҳои серхусусияти \((1,1,0)\), \((1,0,1)\) ва \((0,1,1)\)-ро бошад, дар маҷмуъ тақрибан 5.685 нафар камтар тасниф кардааст. Профили азхудкунии пурраи \((1,1,1)\) бошад, дар ду модел ба ҳам хеле наздик аст.

Шарҳи манбаъ барои EAP

Мувофиқи муҳокимаи таҳқиқот, устувории EAP-ро метавон бо се механизми ба ҳам алоқаманд шарҳ дод. Аввалан, EAP на як мода, балки миёнаи тақсимоти апостериориро истифода мекунад. Вақте маълумот барои ҳар тестлет кам аст, ин метавонад арзёбиҳои сатҳи шахсро ба самти сифр мунтазам созад.

Дуюм, азбаски сатҳи likelihood-и IT-DINA синфҳои дискретии хусусият ва тағйирёбандаҳои пайвастаи тестлетро якҷоя дар бар мегирад, он метавонад дар тестлетҳои кӯтоҳ ҳамвор, сермода ё суст муайяншуда бошад. MLE, ки априорӣ надорад, дар чунин ҳолатҳо метавонад ба тағйироти намунавӣ бештар ҳассос бошад.

Сеюм, гарчанде MAP мунтазамсозии априорӣ дорад, танҳо модаи тақсимоти апостериориро истифода мебарад. Агар тақсимоти апостериорӣ васеъ ё асимметрӣ бошад, мода метавонад ба номуназзамиҳои маҳаллӣ ҳассос монад. EAP бо миёнагирии тамоми зичии апостериорӣ метавонад ин номуназзамиҳоро бештар ҳамвор кунад. Ин шарҳҳо ба шартҳои IT-DINA-и дар таҳқиқот санҷидашуда тааллуқ доранд ва далели бартарии универсалӣ барои ҳамаи моделҳои психометрӣ нестанд.

Натиҷаҳое, ки таҳқиқот дастгирӣ мекунад

• Дар шартҳои симулятсионии санҷидашуда MAP ва махсусан EAP дар барқарорсозии таъсирҳои пайвастаи тестлет умуман нисбат ба MLE натиҷаҳои устувортар доданд.
• Бартарии Байесӣ дар тестлетҳои кӯтоҳ ва вақте ки сохтори модел аз ҳад мураккаб ё нопурра мушаххас шудааст, равшантар гардид.
• Дар шартҳои дуруст мушаххасшуда ва дар сатҳи миёна нодуруст мушаххасшуда EAP/MAP тавонистанд дар таснифи профили хусусият нисбат ба MLE PCCR-и баландтар тавлид кунанд.
• Вақте тақсимоти воқеии хусусият бо априории Байесии хусусияти истифодашуда мувофиқ нест, бартарии тасниф метавонад аз байн равад ё баръакс шавад.
• Дар намунаи эмпирикии TIMSS, MLE, MAP ва EAP зери ҳамон модели IT-DINA таъсирҳои гуногуни тестлет дар сатҳи шахс ва таснифоти ташхисии гуногун тавлид карданд.
• Дар намунаи эмпирикии TIMSS, IT-DINA нисбат ба DINA мутобиқати нисбии беҳтари AIC/BIC нишон дод ва тақсимоти профилҳои хусусиятро тағйир дод.

Умумисозиҳое, ки таҳқиқот дастгирӣ намекунад

Таҳқиқот хулосаҳои “EAP ҳамеша дар ҳамаи моделҳои ташхисии маърифатӣ беҳтарин усул аст”, “арзёбии Байесӣ дар ҳама шартҳо нисбат ба MLE дурусттар тасниф мекунад”, “ҳамаи блокҳои TIMSS тестлетҳои воқеии дорои ангезандаи муштарак мебошанд”, “истифодаи DINA дар ҳар арзёбӣ таснифи нодуруст ба вуҷуд меорад” ё “IT-DINA ҳатман беҳтарин модел барои ҳамаи низомҳои имтиҳонӣ аст”-ро дастгирӣ намекунад.

Натиҷаҳои симулятсия зери сохторҳои интихобшудаи DINA/T-DINA/IT-DINA, андозагириҳои муайяни хусусият, сифати бандҳо, тақсимоти априорӣ, тарҳи quadrature ва алгоритми оптимизатсия ба даст омадаанд. Дар татбиқи эмпирикӣ бошад, азбаски профилҳои воқеии хусусият маълум нестанд, фарқи тасниф байни моделҳо ва усулҳо мустақиман исбот намекунад, ки кадом профил ҳақиқати мутлақ аст.

Маҳдудиятҳои асосӣ

Маҳдудияти оилаи модел: Таҳқиқот бо DINA, T-DINA ва IT-DINA маҳдуд аст. Бозёфтҳоро ба G-DINA-и чандиртар ё дигар моделҳои ташхисии маърифатии ба тестлет асосёфта ба таври худкор умумӣ кардан мумкин нест.

Аз даст рафтани маълумоти polytomous: Ба дуӣ табдил додани холҳои constructed-response-и TIMSS маълумоти кредити қисмиро аз байн мебарад. Аз ин рӯ, натиҷаҳои тасниф ва мутобиқати модели эмпирикӣ ба низоми дуии холгузории истифодашуда хос мебошанд.

Намояндагии аҳолӣ: Татбиқи TIMSS намоиши ба модел асосёфта мебошад. Вазнҳои мураккаби намунагирӣ ба калибркунии модел ё арзёбии мутобиқат ба таври ошкоро дохил нашудаанд. Аз ин рӯ, натиҷаҳоро набояд ҳамчун таносубҳои намояндагии аҳолии TIMSS тафсир кард.

Вобастагӣ аз татбиқи ададӣ: Муқоисаи MLE, MAP ва EAP аз алгоритми оптимизатсияи истифодашуда, равиши Gauss–Hermite ва интихоби априорӣ вобаста аст. Татбиқҳои ададии дигар метавонанд натиҷаҳои миқдориро то андозае тағйир диҳанд.

Ҳассосият ба априорӣ: Case 5 мустақиман нишон медиҳад, ки тақсимоти нодуруст мушаххасшудаи априорӣ, махсусан барои профили дискретии хусусият, метавонад ба таснифи Байесӣ таъсир расонад. Аз ин рӯ, хулосаи содаи “априорӣ = мунтазамсозӣ = беҳбудии худкор” бароварда намешавад.

Ёддошт оид ба Манбаъ ва Усул

Таҳқиқоти аслӣ: Evaluating Person-Parameter Estimation Methods in Cognitive-Diagnostic Models with Testlet Effects

Муаллифон: Mei You, Jingjing Yang, Xin Xu.

Тартиби муаллифон: Тартиби дар манбаъ буда айнан нигоҳ дошта шудааст.

Саҳми баробар: Дар манбаъ нишонаи ҳаммуаллифи якум ё саҳми баробар зикр нашудааст.

Муаллифи масъул: Xin Xu.

Аффилиатсия: School of Science, Minzu University of China, Beijing 100081, China.

Маҷалла: Education Sciences.

Ношир: MDPI.

Ҷилд / шумора / рақами мақола: Volume 16, Issue 7, Article 1128.

DOI: 10.3390/educsci16071128.

Пайванди расмии DOI: https://doi.org/10.3390/educsci16071128

Санаи пешниҳод: 11 май 2026.

Санаи бознигарӣ: 10 июл 2026.

Санаи қабул: 13 июл 2026.

Санаи нашр: 15 июл 2026.

Навъи манбаъ: Article / мақолаи таҳқиқотӣ. Таҳқиқот танҳо як матни назариявии усул нест; он муқоисаҳои симулятсионии назоратшаванда ва татбиқи эмпирикии ба модел асосёфтаро дар додаҳои TIMSS 2023 якҷоя дар бар мегирад.

Вазъи баррасии ҳамтоён: Мақолаи маҷаллавии аз баррасии ҳамтоён гузашта ва дар Education Sciences нашршуда мебошад.

Литсензия: Creative Commons Attribution (CC BY). PDF нишон медиҳад, ки ҳуқуқи муаллиф дар соли 2026 ба муаллифон тааллуқ дорад ва MDPI ҳамчун соҳиби литсензия/ношир таҳқиқотро тибқи шартҳои CC BY нашр кардааст.

Маблағгузорӣ: Таҳқиқот аз ҷониби Fundamental Research Funds for the Central Universities дастгирӣ шудааст.

Кумитаи ахлоқии институтсионалӣ: Дар манбаъ ҳамчун “Not applicable” зикр шудааст.

Ризоияти огоҳона: Дар манбаъ ҳамчун “Not applicable” зикр шудааст.

Дастрасии додаҳо: Дар таҳқиқот додаҳои дастраси умум истифода шудаанд. Зикр шудааст, ки пойгоҳи байналмилалии додаҳои TIMSS 2023 тавассути TIMSS & PIRLS International Study Center дастрас аст; натиҷаҳои симулятсия мувофиқи модел ва шартҳои симулятсионии дар мақола шарҳдодашуда тавлид шудаанд.

Бархӯрди манфиатҳо: Муаллифон бархӯрди манфиатҳоро гузориш надодаанд. Манбаъ инчунин мегӯяд, ки маблағгузор дар тарҳи таҳқиқот, ҷамъоварӣ/таҳлил/тафсири додаҳо, навиштани мақола ё қарори нашр нақш надоштааст.

Саҳмҳои муаллифон: Консептуализатсия Xin Xu; усул Xin Xu ва Mei You; нармафзор Mei You; тасдиқ Mei You, Jingjing Yang ва Xin Xu; таҳлили формалӣ Mei You; таҳқиқот Mei You; захираҳо Xin Xu; коркарди додаҳо Mei You; навиштани тарҳи аввал Mei You; бознигарӣ ва таҳрир Jingjing Yang ва Xin Xu; визуализатсия Mei You; роҳбарӣ Xin Xu; идоракунии лоиҳа Xin Xu; дарёфти маблағгузорӣ Xin Xu.

Номувофиқатии дохили манбаъ 1: Дар Ҷадвали 7, ки Q-матритсаи TIMSS-ро медиҳад, ду рамзи банд MQ8N208A ва MQ8N208B навишта шудаанд; дар Ҷадвали 8, ки параметрҳои бандҳоро медиҳад, бошад, MQ82N08A ва MQ82N08B оварда шудаанд. Азбаски манбаъ барои ин ислоҳ шарҳ намедиҳад, Verianla иддаои наве эҷод накардааст, ки кадом навишт дуруст аст.

Номувофиқатии дохили манбаъ 2: Дар шарҳи усули PCCR, ишораи салибӣ ба рақамҳои муодила барои арзёбиҳои дуии хусусияти MLE ва MAP бо муодилаҳои воқеии интихоби дискретӣ дар бахши усул мувофиқ ба назар намерасад. Аз ин рӯ, Verianla формулаҳоро аз рӯи мундариҷаи муодилаҳо шарҳ дода, рақами нави муодилаеро, ки дар манбаъ нест, таъйин накардааст.

Ҳадди асосии усулӣ: Нишондиҳандаи симулятсия бо шумораи интихобшудаи тестлетҳо, дарозии тестлетҳо, андозагирии хусусиятҳо, борҳо, сифати бандҳо, сохторҳои априорӣ ва татбиқи ададӣ маҳдуд аст. Татбиқи TIMSS бошад, намоиши ба модел асосёфтаест, ки бандҳои constructed-response-и ба дуӣ табдилдодашуда, ду блоки амалиётӣ ва вазнҳои намунагириро, ки мустақиман ба модел дохил нашудаанд, истифода мебарад.