Симулятсияи омӯзандаи идорашаванда (controllable learner simulation) масъалаи симулятсионии таълимӣ мебошад, ки ҳадафаш на танҳо он аст, ки модели бузурги забонӣ ба таври умумӣ мисли “хонандаи заифтар” рафтор кунад, балки дар профили малакаҳои пешакӣ муайяншуда баъзе малакаҳои барномаи таълимиро нигоҳ дошта, дар малакаҳои муайян ба таври интихобӣ нишондиҳандаи пасттари ҷавобро нишон диҳад. Ин таҳқиқот benchmark-и комилан ҳисоббарорӣ мебошад, ки месанҷад оё чунин рафторро дар заминаи математикаи мактабӣ чен кардан мумкин аст ё не. Муҳаққиқон endpoint-ҳои Claude, DeepSeek ва GPT-4o-ро дар малакаҳои математикии Grade 4 ва Grade 5 бо истифода аз векторҳои дуии малака, ки малакаҳои retained ва suppressed-ро нишон медиҳанд, арзёбӣ кардаанд.

Натиҷаи асосии таҳқиқот ин аст, ки ҳар се модел тавонистаанд ҳангоми фурӯнишондани малакаҳои муайян профилҳои интихобии ҷавоб эҷод кунанд, ки малакаҳои дигарро нисбатан нигоҳ медоранд; аммо ин идорашавандагӣ байни моделҳо ба таври ҷиддӣ фарқ мекунад. Натиҷаи баландтари ибтидоии математика маънои идорашавандагии қавитарро надошт. Claude дар меъёрҳои умумии гузоришшуда равшантарин ҷудокуниро байни малакаҳои retained ва suppressed ба вуҷуд овард; DeepSeek дар малакаҳое, ки бояд фурӯнишонда мешуданд, нишондиҳандаи боқимондаи бештар дошт, дар ҳоле ки GPT-4o, сарфи назар аз фурӯнишондани қавии баъзе малакаҳо, дар малакаҳои retained хатои бештар ба вуҷуд овард.

Тарҳрезии prompt низ ҳалкунанда аст. Равиши few-shot, ки танҳо мисол нишон медиҳад, баландтарин номувофиқатиро бо профили ҳадафии малака ба вуҷуд овард: фосилаи RMSE 0.40–0.61 аст. Prompt-ҳои rule-based ва combined, ки малакаҳои retained ва suppressed-ро ба таври равшан нишон медиҳанд, RMSE-и пасттар дар фосилаи 0.19–0.39 ба вуҷуд оварданд. Манбаъ ҷузъи explicit instruction-ро ҳамчун омили асосии идорашавандагӣ шарҳ медиҳад; мушоҳида шудааст, ки илова кардани мисолҳо ба қоидаҳо нисбат ба истифодаи танҳо қоидаҳо саҳми иловагии маҳдуд медиҳад.

Ҷавобҳои нодурусти индуксияшуда низ комилан тасодуфӣ нестанд. Се модели мустақил дар супоришҳои умумие, ки дар baseline дуруст ҳал карда, аммо зери suppression нодуруст ҷавоб дода буданд, ба як варианти нодуруст дар Grade 4 бо %39 ва дар Grade 5 мувофиқи матни манбаъ бо %35 майл кардаанд; азбаски тамғаи сутуни Grade 5 Figure 10 арзиши 0.34-ро нишон медиҳад, ин натиҷа бояд тақрибан %34–35 хонда шавад. Нишондиҳандаҳои shuffle-null барои ҳамгироии сеҷониба мутаносибан тақрибан %21 ва %11 мебошанд. Бо вуҷуди ин, ин ҳамгироӣ мавҷудияти ҳамон механизми маърифатӣ бо хонандагони воқеӣ ё misconception-и воқеиро исбот намекунад; мавҷудияти distractor-ҳои қасдан қобили бовар дар саволҳои чорвариантӣ низ метавонад ба интихоби як ҷавоби нодуруст таъсир расонад.

Муҳимтарин ҳадди тафсир чунин аст: таҳқиқот дониши хонандагони воқеӣ, раванди фикрронии онҳо ё самаранокии омодасозии омӯзгоронро чен намекунад. Озмоишҳо бар ҷавобҳои якдавраинаи чорвариантии LLM асос ёфтаанд. Binary target profile ҳолати воқеии равонии mastery state-и хонандаи инсон нест; он танҳо шарти таъйиншудаи нишондиҳандаи ҷавоб барои модел мебошад. Аз ин рӯ, таҳқиқот на хулосаи “ин LLM-ҳо хонандагони воқеиро дуруст симулятсия мекунанд”, балки хулосаи “метавон чен кард, ки профилҳои муайяни малака дар сатҳи ҷавоб то чӣ андоза интихобӣ эҷод мешаванд”-ро дастгирӣ мекунад.

Симулятсияи Омӯзандаи Идорашаванда Чист?

Симулятсияи омӯзандаи идорашаванда benchmark-масъалаест, ки ҳадаф дорад LLM мувофиқи малакаҳои пешакӣ муайяншудаи retained ва suppressed-и барномаи таълимӣ рафтори ҷавобиро нишон диҳад ва дараҷаи мутобиқати ин рафтор ба профили ҳадафӣ ба таври миқдорӣ чен карда шавад; ин таҳқиқот на тамоми маърифати хонанда, балки танҳо хусусияти answer-level skill-profile control-ро месанҷад.

Чаро сохтани “хонандае, ки хато мекунад” кофӣ нест?

Барои номзади омӯзгорӣ симуляторе, ки тасодуфӣ хато мекунад, арзиши таълимии маҳдуд дорад. Дар муҳити воқеии таълим муҳим на танҳо он аст, ки хонанда ҷавоби нодуруст диҳад, балки дар баъзе соҳаҳо қавӣ, дар баъзе соҳаҳо заиф ва намунаи нисбатан устувори нишондиҳандаро нишон диҳад.

Занҷири консептуалие, ки манбаъ аз нуқтаи назари омодасозии омӯзгорон месозад, чунин аст:

омодасозии омӯзгор → хонандагони симулятсияшуда → профилҳои идорашавандаи малака → амалияи мақсадноки такроршаванда → ташхиси беҳтар → таълими ҳассостар ба ниёз

Аммо таҳқиқот танҳо пайванди “хонандаи симулятсияшуда → профили идорашавандаи малака”-ро дар ин занҷир чен мекунад. Дар ин озмоиш санҷида нашудааст, ки амалияи такрорӣ воқеан малакаи ташхисии омӯзгорро беҳтар мекунад ё ин ба таълими беҳтар табдил меёбад.

Чаро идорашавандагӣ ва нишондиҳандаи баланд як чиз нестанд?

Дар benchmark-ҳои стандартии LLM, дуруст ҷавоб додани модел ба саволҳои бештар одатан маънои нишондиҳандаи беҳтарро дорад. Дар ин таҳқиқот ҳадаф дигар аст. Агар профили ҳадафӣ талаб кунад, ки як малака retained ва малакаи дигар suppressed бошад, дуруст ҳал кардани ҳар савол аз ҷониби модел метавонад нокомӣ ҳисобида шавад; зеро модел профили қисман нишондиҳандаи талабшударо амалӣ накардааст.

Аз ин рӯ:

• Capability: Модел математикаро то чӣ андоза хуб ҳал карда метавонад?
• Controllability: Модел то чӣ андоза метавонад ба профили retained/suppressed-и ба он додашуда ба таври интихобӣ мутобиқ шавад?

ду меҳвари алоҳидаи арзёбӣ мебошанд.

Натиҷаи таҳқиқот дар се модел низ ин фарқро дастгирӣ мекунад: нишондиҳандаи баланди baseline-и математика ба таври худкор бо қавитарин selective suppression ҳамроҳ набуд.

Вектори Профили Малака Чӣ Маъно Дорад?

Вектори профили малака вектори дуии ҳадафӣ мебошад, ки барои ҳар як малакаи барномаи таълимӣ арзиши 1-ро ҳамчун “retained” ва арзиши 0-ро ҳамчун “suppressed” таъйин мекунад; ин вектор маърифати ченшудаи инсон нест, балки шарти таҷрибавии нишондиҳандаест, ки бояд дар рафтори ҷавобии LLM амалӣ шавад.

Таърифи формалӣ

Оилаҳои малакаҳои барномаи таълимӣ барои як сатҳи синф:

\[ \mathcal{S}=\{s_1,\ldots,s_K\} \]

таъриф мешаванд.

Профили ҳадафӣ:

\[ \mathbf{k}=(k_1,\ldots,k_K)\in\{0,1\}^{K} \]

чунин аст.

• \(k_i=1\): малакаи \(s_i\) ҳамчун retained таъйин шудааст.
• \(k_i=0\): малакаи \(s_i\) ҳамчун suppressed таъйин шудааст.

\(K\) шумораи оилаҳои малакаҳое мебошад, ки ба арзёбӣ дохил шудаанд ва воҳиди физикӣ надорад.

Масалан:

\[ \mathbf{k}=(1,0,0,1) \]

профил дар ҳолати дорои чор малака нишон медиҳад, ки малакаҳои якум ва чорум бояд нигоҳ дошта шаванд ва малакаҳои дуюм ва сеюм фурӯнишонда шаванд.

Манбаъ махсусан ин фарқро таъкид мекунад: ин вектор “чизҳое, ки хонанда воқеан медонад ва намедонад” нест. Ин assigned curricular performance condition-е мебошад, ки ба модел дода шудааст.

Маҷмуаҳои retained ва suppressed

Маҷмуаи индексҳои малакаҳои retained:

\[ R=\{i:k_i=1\} \]

маҷмуаи индексҳои малакаҳои suppressed:

\[ F=\{i:k_i=0\} \]

таъриф мешавад.

Барои як малака baseline accuracy:

\[ a_i^{0}=A_{\mathrm{base}}(s_i) \]

ва accuracy-и мушоҳидашуда зери профили ҳадафӣ:

\[ a_i^{*}=A_{\mathrm{ctrl}}(s_i\mid\mathbf{k}) \]

нишон дода мешавад.

\(a_i^{0}\) сатҳи муваффақияти модел дар шарти perfect-student мебошад, яъне вақте ки ҳамаи малакаҳо retained ҳастанд. \(a_i^{*}\) муваффақияти мушоҳидашуда дар ҳамон малака зери target profile-и муайян мебошад.

Нишондиҳандаи миёнаи retained ва suppressed

Манбаъ ду миёнаи асосиро истифода мебарад:

\[ a_R(\mathbf{k}) = \frac{1}{|R|} \sum_{i\in R}a_i^{*} \]

\[ a_F(\mathbf{k}) = \frac{1}{|F|} \sum_{i\in F}a_i^{*} \]

\(a_R\) дурустии миёнаро дар малакаҳои ҳамчун retained таъйиншуда; \(a_F\) бошад, дурустии миёнаи боқимондаро дар малакаҳои ҳамчун suppressed таъйиншуда нишон медиҳад.

Дар мантиқи идеалии идоракунии интихобӣ интизор меравад \(a_R\) баланд ва \(a_F\) паст бошад. Аммо манбаъ фарзияи “suppressed = нишондиҳандаи сифр”-ро қабул намекунад; натиҷаҳои воқеӣ нишон доданд, ки фурӯнишонӣ дараҷавӣ аст.

Нақши маҷмуаи додаҳои MathCAMPS

Таҳқиқот маҷмуаи додаҳои MathCAMPS-ро истифода мебарад, ки аз саволҳои математикии мувофиқи стандартҳои U.S. Common Core нишонагузорӣшуда иборат аст. Benchmark барои Grade 1–8 сохта шудааст ва ҳар grade-specific dataset 99 саволи бисёрвариантиро дар бар мегирад.

Саволҳо чорвариантӣ мебошанд. Distractor-ҳо тавре тартиб дода шудаанд, ки аз ҷиҳати ададӣ ба қимати дуруст наздик ё аз ҷиҳати малакаи ҳадафӣ ҷавобҳои нодурусти консептуалӣ қобили бовар бошанд.

Озмоишҳои асосии муфассали controllability на дар ҳамаи ҳашт синф, балки танҳо дар Grade 4 ва Grade 5 гузаронида шудаанд.

Малакаҳои истифодашуда дар Grade 4

• S4.1: Measurement and Data
• S4.2: Number and Operations — Base
• S4.3: Number and Operations — Fractions
• S4.4: Operations and Algebraic

Азбаски чор малака вуҷуд дорад, шумораи ҳамаи профилҳои дуӣ:

\[ 2^4=16 \]

мебошад.

Малакаҳои истифодашуда дар Grade 5

• S5.1: Number and Operations — Base
• S5.2: Number and Operations — Fractions
• S5.3: Operations and Algebraic

Барои се малака:

\[ 2^3=8 \]

профили ҳадафии гуногун вуҷуд дорад.

Ҳамин тавр, таҳлили муфассал дар маҷмуъ:

\[ 16+8=24 \]

профили гуногуни retained/suppressed-ро дар бар мегирад.

Саволҳои тағйирёфта дар коркарди пешакии додаҳо

Супоришҳое, ки ҳамаи моделҳо ё аксарияти онҳо дар шарти perfect-student нодуруст ҷавоб додаанд, дар доираи назорати сифати пешакӣ муайяншуда нишонагузорӣ шудаанд, зеро онҳо новобаста аз рафтори ҳадафии “фаромӯшкунӣ” метавонанд саволҳои мушкилдор бошанд.

Дар анҷоми ин раванд:

• дар Grade 4 7 супориш,
• дар Grade 5 12 супориш

бо супоришҳои алтернативии ҳамон стандарти Common Core иваз шудаанд.

Ин нуқта аз ҷиҳати методологӣ муҳим аст, зеро истифодаи натиҷаҳои модел дар item curation метавонад ба танқиди outcome-aware curation дучор шавад. Муаллифон алоҳида санҷидаанд, ки оё ин кор натиҷаҳоро самт додааст ё не ва гузориш медиҳанд, ки ҳангоми хориҷ кардани ҳамаи супоришҳои ивазшуда тартиби моделҳо нигоҳ дошта шуд ва бузургтарин тағйир дар ҳар гуна арзиши selectivity 0.04 буд.

Дурустӣ дар сатҳи малака

Бузургии асосии мушоҳидашаванда:

\[ Acc(s_i)=\frac{c_i}{n_i} \]

чунин аст.

• \(c_i\): шумораи ҷавобҳои дуруст дар саволҳои бо малакаи \(s_i\) нишонашуда.
• \(n_i\): шумораи умумии супоришҳои арзёбишуда барои ҳамон малака.
• \(Acc(s_i)\): таносуби беандозаи дурустӣ байни 0 ва 1.

Ин арзиш вуруди асосии дигар метрикаҳои сатҳи профил мебошад.

Relative Loss чиро чен мекунад?

Манбаъ relative loss-ро:

\[ L_i= \max\left( 0, \frac{a_i^{0}-a_i^{*}} {\max(a_i^{0},\varepsilon)} \right) \]

чунин таъриф мекунад.

\(\varepsilon>0\) доимии хурдест, ки аз сифр шудани махраҷ пешгирӣ мекунад.

Ин метрика талафоти мутаносиби нишондиҳандаро нисбат ба baseline чен мекунад.

• Барои малакаҳои suppressed, \(L_i\)-и баланд маънои фурӯнишонии қавитарро дорад.
• Барои малакаҳои retained, ба сифр наздик будани \(L_i\) матлуб аст; зеро ин нишон медиҳад, ки нишондиҳандаи бояд нигоҳдошташаванда аз даст нарафтааст.

RMSE мутобиқат ба профили ҳадафиро чӣ гуна чен мекунад?

Дар манбаъ:

\[ RMSE(\mathbf{k}) = \sqrt{ \frac{1}{K} \sum_{i=1}^{K} (k_i-a_i^{*})^2 } \]

таъриф шудааст.

RMSE решаи квадратии инҳирофи миёнаи квадратӣ байни binary target vector ва continuous skill-accuracy profile-и мушоҳидашуда мебошад.

Масалан, дар малакаи retained, агар \(k_i=1\) бошад ва дурустии мушоҳидашуда ба 1 наздик бошад, хато хурд аст. Дар малакаи suppressed, вақте \(k_i=0\) аст, бо наздик шудани дурустӣ ба 0 хато боз кам мешавад.

Аз ин рӯ, RMSE-и пасттар маънои мутобиқати беҳтар ба профили ҳадафиро дорад.

Аммо азбаски RMSE нигоҳдории нишондиҳандаи retained ва коҳиши нишондиҳандаи suppressed-ро ба як адад фишурда мекунад, таҳқиқот онро махсусан дар prompt-strategy ablation истифода мебарад; тафсири асосии controllability-ро танҳо ба RMSE асос намекунад.

Controllability Score C(k) Чиро Чен Мекунад?

Controllability score \(C(\mathbf{k})\) бо мукофот додани дурустии баланд дар малакаҳои ҳамчун retained нишонашуда ва дурустии паст дар малакаҳои ҳамчун suppressed нишонашуда дар як формула, дараҷаи мутобиқати профили ҷавобии мушоҳидашударо ба профили дуии ҳадафӣ дар фосилаи 0–1 чен мекунад; \(C=1\) мутобиқати пурра ба ҳадафро ифода мекунад.

Формулаи манбаъ:

\[ C(\mathbf{k}) = \frac{1}{K} \sum_{i=1}^{K} \left[ k_i a_i^{*} + (1-k_i)(1-a_i^{*}) \right] \]

чунин аст.

Хондани формула қадам ба қадам

Агар \(k_i=1\), яъне малака retained бошад:

\[ k_i a_i^{*}=a_i^{*} \]

ва ҳади дуюм сифр мешавад. Аз ин рӯ, дурустии баланд холро боло мебарад.

Агар \(k_i=0\), яъне малака suppressed бошад:

\[ (1-k_i)(1-a_i^{*})=1-a_i^{*} \]

мешавад. Ин дафъа дурустии паст холро боло мебарад.

Аз ин рӯ, формула на ба саволи “модел то чӣ андоза дуруст аст?”, балки ба саволи “модел то чӣ андоза ба рафтори талабшудаи retained/suppressed мувофиқ шуд?” ҷавоб медиҳад.

Чаро cross-skill influence зарур аст?

Фурӯнишондани як малака метавонад осон ба назар расад; аммо агар дар ин раванд малакаҳои дигаре, ки бояд нигоҳ дошта шаванд, низ осеб бинанд, идоракунӣ воқеан интихобӣ нест.

Манбаъ ин вазъро бо матритсаи cross-skill influence \(\Delta_{ij}\) меомӯзад.

Таъсири мустақими suppression:

\[ \Delta_{ii} = \frac{1}{|\mathcal{K}_i|} \sum_{\mathbf{k}\in\mathcal{K}_i} A_{\mathrm{ctrl}}(s_i\mid\mathbf{k}) - A_{\mathrm{base}}(s_i) \]

арзёбӣ мешавад.

Дар ин ҷо:

\[ \mathcal{K}_i=\{\mathbf{k}:k_i=0\} \]

яъне маҷмуаи профилҳое мебошад, ки дар онҳо \(s_i\) suppressed аст.

Collateral influence ба малакаи дигари retained, \(s_j\):

\[ \Delta_{ij} = \frac{1}{|\mathcal{K}_{ij}|} \sum_{\mathbf{k}\in\mathcal{K}_{ij}} A_{\mathrm{ctrl}}(s_j\mid\mathbf{k}) - A_{\mathrm{base}}(s_j), \qquad i\neq j \]

ва:

\[ \mathcal{K}_{ij} = \{\mathbf{k}:k_i=0,\;k_j=1\} \]

чунин аст.

Ҷузъиёти муҳим ин аст, ки таъсири off-diagonal танҳо дар профилҳое ҳисоб карда мешавад, ки \(s_i\) suppressed ва \(s_j\) retained аст. Ҳамин тавр, профилҳое, ки дар онҳо \(s_j\) низ қасдан фурӯнишонда шудааст, ба ҳисоби collateral-damage дохил намешаванд.

Дар манбаъ таъсири мустақими suppression дар сатҳи модел/шарт калон ва манфӣ аст, дар ҳоле ки тағйироти off-diagonal дар малакаҳои retained хурданд. Дар таҳлили robustness арзиши mean diagonal тақрибан −0.47 ва mean off-diagonal magnitude 0.03 гузориш шуда, фарқ бо санҷиши Mann–Whitney \(U\) дар сатҳи \(p<10^{-10}\) ёфт шудааст.

Prediction Score чист?

Метрикаи дуюмдараҷаи калибронӣ:

\[ PS(\mathbf{k}) = a_R^{actual}(\mathbf{k}) - a_R^{expected}(\mathbf{k}) \]

чунин аст.

Арзиш:

• агар ба 0 наздик бошад, observed retention бо calibration expectation мувофиқ аст;
• агар мусбат бошад, нишондиҳандаи retained аз интизорӣ беҳтар аст;
• агар манфӣ бошад, нишондиҳандаи retained аз интизорӣ пасттар аст.

Таҳқиқот Prediction Score-ро на ҳамчун метрикаи асосии натиҷа, балки ҳамчун diagnostic-и ёрирасони ҳассос ба correlation structure истифода мебарад.

Формулаи Gaussian calibration

Дар Appendix A барои вектори нишондиҳандаи малака:

\[ \mathbf{a}\sim\mathcal{N}(\boldsymbol{\mu},\boldsymbol{\Sigma}) \]

Gaussian approximation истифода мешавад.

Агар маҷмуаи suppressed \(F\) ва маҷмуаи retained \(R\) бошад, conditional expectation-и нишондиҳандаи retained дар шароити forgetting-и ҳадафӣ:

\[ E[\mathbf{a}_R\mid\mathbf{a}_F=0] = \boldsymbol{\mu}_R - \boldsymbol{\Sigma}_{RF} \boldsymbol{\Sigma}_{FF}^{-1} \boldsymbol{\mu}_F \]

навишта мешавад.

Дар ин ҷо:

• \(\boldsymbol{\mu}_R\): миёнаҳои retained skill performance,
• \(\boldsymbol{\mu}_F\): миёнаҳои suppressed skill performance,
• \(\boldsymbol{\Sigma}_{RF}\): cross-covariance block байни малакаҳои retained ва suppressed,
• \(\boldsymbol{\Sigma}_{FF}\): covariance block байни малакаҳои suppressed.

Агар cross-skill coupling хеле заиф бошад:

\[ \boldsymbol{\Sigma}_{RF}\approx0 \]

ва бинобар ин:

\[ E[\mathbf{a}_R\mid\mathbf{a}_F=0] \approx \boldsymbol{\mu}_R \]

мешавад.

Манбаъ махсусан таъкид мекунад, ки ин модели тавлидкунандаи маърифати хонандаи воқеӣ нест. Ин равиши Gaussian танҳо як равиши таҳлилӣ барои калибркунии expected-versus-observed retention мебошад.

Усул ва Натиҷаҳои Таҳқиқот

Озмоиш комилан ҳисоббарорӣ аст

Ба таҳқиқот хонанда, омӯзгор ё ягон иштирокчии дигари инсонӣ дохил нашудааст. Ҳамаи мушоҳидаҳо арзёбии ҷавобҳои яквариантие мебошанд, ки моделҳои забонӣ тавлид кардаанд.

Endpoint-ҳои модели арзёбишуда

Дар ҳамаи амалиёти inference:

\[ temperature=0 \]

истифода шудааст.

Аз ин рӯ, stochastic sampling variability дар ҳамон озмоиш махсусан коҳиш дода шудааст. Тағйирёбии профил дар Appendix A низ sampling noise байни такрорҳо нест, балки тағйир байни шартҳои гуногуни student-profile-ро ифода мекунад.

Манбаъ инчунин қайд мекунад, ки alias-ҳои DeepSeek-chat ва gpt-4o date-pinned нестанд ва метавонанд бо мурури замон аз ҷониби provider тағйир ёбанд. Бинобар ин, умумӣ кардани натиҷаҳо ба ҳамаи версияҳои оилаи модел мувофиқ нест.

Се стратегияи prompt

Барои Claude, RMSE-и rule-based нисбат ба combined каме пасттар гузориш шудааст:

• Grade 4: rule-based 0.19, combined 0.24;
• Grade 5: rule-based 0.20, combined 0.22.

Аз ин рӯ, хулосаи “combined ҳамеша беҳтарин prompt аст” дастгирӣ намешавад. Тафсири дақиқтари манбаъ ин аст, ки дастури равшани ҳолати малака аз мисолҳои few-shot муҳимтар аст.

Ҷараёни асосии озмоиш

1. Ҳар як модел дар шарти perfect-student, яъне вақте ки ҳамаи малакаҳо retained буданд, санҷида шуд.
2. Binary skill vector дар дохили prompt ҷойгир карда шуда, профилҳои ҳадафии retained ва suppressed муайян шуданд.
3. Ҳамин профилҳо зери prompting-и rule-based, example-only ва combined арзёбӣ шуданд.
4. Ҷавобҳо ба метрикаҳои profile-level ва skill-level табдил дода шуданд.

Барои Grade 4 16 профил ва барои Grade 5 8 профил ба таври exhaustive арзёбӣ шудаанд.

Дар муқоисаи асосии combined prompt, се модел ва 99 саволи ҳар grade якҷоя:

\[ (16\times99+8\times99)\times3=7128 \]

model–question response event тавлид кардаанд.

Ин арзиши 7128 танҳо барои core combined-prompt comparison аст; вақте ки perfect-student baseline ва озмоишҳои prompt ablation дохил карда мешаванд, тамоми таҳқиқот бузургтар аст.

Воҳиди хулосабарории оморӣ чист?

Манбаъ зери deterministic decoding барои ҳар grade 99 супориши собитро ҳамчун воҳиди inference истифода мебарад.

Азбаски ҳолатҳои perfect ва all-forgotten дар ҳамон супориш ҷуфт карда шудаанд, барои тағйироти retained-versus-forgotten exact McNemar test истифода шудааст.

Санҷиши McNemar натиҷаи binary-и ҳамон воҳидро дар ду шарт муқоиса мекунад. Мантиқи асосӣ дар ин ҷо ба ҷойи “чанд савол дар ҳар ду шарт яксон аст?”, махсусан тавозуни шумораи:

• саволҳое, ки дар baseline дуруст ва зери suppression нодуруст буданд,
• саволҳое, ки дар baseline нодуруст ва зери suppression дуруст буданд

ҳамчун discordant pair-ҳоро месанҷад.

Манбаъ барои фарқҳои perfect vs all-forgotten дар ҳамаи таркибҳои модел ва grade:

\[ p<10^{-5} \]

ва барои Cohen's \(h\):

\[ 0.76\leq h\leq1.62 \]

фосиларо гузориш медиҳад.

Модели логистикии GEE

Таҳлили Population-averaged:

\[ correct \sim target\_state \times model + grade \]

бо модели logistic generalized estimating equations (GEE) дар ҳамин шакл анҷом дода шудааст.

Дар модел:

• 198 супориш дар ду grade ҳамчун cluster истифода шудааст,
• binomial family истифода шудааст,
• working correlation exchangeable интихоб шудааст,
• robust sandwich standard errors истифода шудаанд.

Барои Reference model Claude, odds-и ҷавоби дуруст дар малакаи retained нисбат ба малакаи forgotten тақрибан 40 маротиба баландтар арзёбӣ шудааст; тамоми confidence interval хеле болотар аз 1 буда, \(p<10^{-30}\) гузориш шудааст.

Ин маънои “Claude дар retained skill сатҳи дурустии 40 маротиба баландтар дорад”-ро надорад. Odds ratio бевосита probability ratio нест. Манбаъ дар ин ҷо тағйир дар odds-и ҷавоби дурустро гузориш медиҳад.

Муҳим будани interaction-ҳои Target-state × model дастгирӣ мекунад, ки фарқи retained–forgotten байни моделҳо тағйир меёбад.

Фарқҳои моделҳо

Барои forgotten-skill accuracy дар ҳафт grade-by-skill block санҷиши Friedman:

\[ \chi^2=11.1,\qquad p=0.004 \]

натиҷа додааст.

Санҷишҳои pairwise Wilcoxon бо ислоҳи Holm:

• Claude–DeepSeek,
• DeepSeek–GPT-4o

муқоисаҳоро бо adjusted \(p<0.05\) ҷудо кардаанд.

Манбаъ дар ин ҷо хулоса намекунад, ки муқоисаи сеюми ҷуфтие, ки гузориш нашудааст, низ ба таври худкор муҳим аст.

Фарқи оморӣ байни стратегияҳои prompt

Санҷиши Friedman RMSE дар шаш model-by-grade block:

\[ \chi^2=9.3,\qquad p=0.009 \]

натиҷа додааст.

Аммо азбаски танҳо шаш block мавҷуд аст, қобилияти ҷудокунии санҷишҳои exact pairwise signed-rank паст аст. Аз ин рӯ, муаллифон тафсири prompt-strategy-ро бештар ба санҷиши omnibus ва фосилаҳои равшани RMSE такя медиҳанд, на ба p-арзишҳои pairwise.

Selectivity index

Манбаъ selectivity index-ро ҳамчун фарқи байни retained accuracy ва forgotten accuracy истифода мебарад.

Бо 4000 item-level bootstrap resampling ҳисобшуда, фосилаҳои %95 percentile, дар ҳамаи таркибҳои модел–grade болотар аз сифр мондаанд ва index тақрибан:

\[ 0.35\text{–}0.70 \]

гузориш шудааст.

Дар малакаҳои suppressed, сатҳи ҷавоби нодуруст мувофиқи дастур, яъне compliance rate:

\[ 0.56\text{–}0.82 \]

мебошад.

Нишондиҳандаҳои retained ва suppressed нисбат ба baseline то чӣ андоза ҷудо шуданд?

Ин ҷадвал фарқи муҳимро нишон медиҳад. Танҳо ба пасттарин будани suppressed accuracy нигоҳ кардан кофӣ нест. Масалан, GPT-4o дар баъзе шартҳо suppression-и қавӣ эҷод карда метавонад, аммо дар малакаҳои retained низ талафоти бештар нишон диҳад. Controllability-и хуб бо арзёбии якҷояи suppression + retention фаҳмида мешавад.

Suppression вобаста ба оилаи малака тағйир меёбад

Ин натиҷаҳо нишон медиҳанд, ки controllability як хусусияти ягонаи глобалии “итоат” нест; он ба ҳамтаъсирии модел ва curricular skill family вобаста аст.

Як мисоли профил идоракунии интихобиро чӣ гуна нишон медиҳад?

Барои Claude Grade 4 дар манбаъ дода шудааст:

\[ [1,0,0,1] \]

дар ин профил ҳадаф retained нигоҳ доштани S4.1 ва S4.4 ва suppressed нигоҳ доштани S4.2 ва S4.3 аст.

Маънои илмии ин мисол он нест, ки модел дар маҷмуъ бадтар шудааст. Дар дохили ҳамон профил ду малакаи retained баланд мемонанд, дар ҳоле ки нишондиҳанда дар ду малакаи targeted ба таври шадид паст мешавад.

Suppression дараҷавӣ аст, мутлақ нест

Вақте ҳамаи моделҳо, grade-ҳо ва профилҳо якҷоя баррасӣ мешаванд, миёнаи forgotten-skill accuracy:

\[ 0.35 \]

гузориш шудааст.

%95-и намунаҳои forgotten-skill:

\[ 0.1\text{–}0.9 \]

дар ҳамин фосила қарор доранд.

Аз ин рӯ, гуфтан ки “малакаи фаромӯшшуда комилан аз байн рафт” нодуруст аст. Дар таҳқиқот suppression partial and graded performance ба вуҷуд меорад.

Нигоҳи signal-detection

Манбаъ instruction-following-ро бо ташбеҳи signal-detection низ меомӯзад:

• Hit rate: ҳиссаи супоришҳое, ки дар малакаи suppressed мувофиқи дастур ба онҳо нодуруст ҷавоб дода шудааст.
• False-alarm rate: ҳиссаи супоришҳое, ки дар малакаи retained ба онҳо нодуруст ҷавоб дода шудааст.

Симулятори идеалии хонандаи идорашаванда бояд hit rate-и баланд, аммо false-alarm rate-и паст тавлид кунад.

Барои Claude sensitivity index \(d'\) тақрибан 2.1 гузориш шуда, қайд шудааст, ки дар байни се модели арзёбишуда равшантарин ҷудокуниро Claude нишон додааст.

Оё Фурӯнишонии Интихобии Малака Тасаввури Нодурусти Воқеии Хонандаро Исбот Мекунад?

Не. Он ки моделҳо нисбат ба интизорӣ бештар ба як варианти нодуруст майл мекунанд, тасодуфӣ набудани хатоҳоеро дастгирӣ мекунад, аммо тавлид шудани ҳамон механизми маърифатӣ бо хонандагони воқеӣ ё misconception-и воқеиро исбот намекунад; таҳқиқот ба таври равшан мегӯяд, ки барои ин тасдиқ бо арзёбии омӯзгорон ва тақсимоти ҷавобҳои хонандагони воқеӣ зарур аст.

Ҳамгироии ҷавобҳои нодуруст

Таҳлил танҳо бо супоришҳое маҳдуд шудааст, ки ҳамаи моделҳо дар ҳолати perfect-student ба онҳо дуруст ҷавоб дода метавонистанд. Бо ин роҳ кӯшиш шудааст, ки хатои пас аз suppression аз саволе сар назанад, ки модел онро аллакай дар baseline ҳал карда наметавонист.

Барои ҳамаи ин муқоисаҳо:

\[ p<0.001 \]

гузориш шудааст.

Permutation null басомади ҳарфи ҷавоби нодурусти ҳар моделро нигоҳ медорад. Ҳамин тавр, масалан, он ки модели муайян варианти “A”-ро дар маҷмуъ зиёд интихоб мекунад, кӯшиш мешавад ҳамчун ҳамгироии қалбакии байни моделҳо тафсир нашавад.

Арзиши permutation p дар манбаъ:

\[ p= \frac{ 1+\#\{\mathrm{null}\geq\mathrm{observed}\} }{ 1+5000 } \]

чунин ҳисоб шудааст.

5000 permutation истифода шудааст.

28 ҷавоби нодурусти умумӣ ба кадом категорияҳо ҷудо шуданд?

22/28 супориш, яъне:

\[ \frac{22}{28}\approx79\% \]

дар таснифи exploratory-и муаллиф бо навъҳои хатое мувофиқ дониста шудаанд, ки дар адабиёти таълими математика ҳуҷҷатгузорӣ шудаанд.

Аммо ин %79:

• %79-и ҳамаи induced error-ҳо нест;
• танҳо ба зермаҷмуаи 28 супорише дахл дорад, ки се модел дар як хатои яксон ба ҳам омадаанд;
• аз ҷониби як муаллиф/coder тасниф шудааст;
• inter-rater reliability ҳисоб нашудааст.

Аз ин рӯ, пешниҳоди ин натиҷа ҳамчун далели misconception fidelity-и хонандаи воқеӣ мувофиқ нест.

Robustness: танҳо супоришҳое, ки дар baseline ҳалшавандаанд

Дар таҳлили сахттар супоришҳое гирифта шудаанд, ки модел дар шарти perfect-student онҳоро дуруст ҳал карда метавонист.

Ин натиҷа хеле омӯзанда аст: гарчанде GPT-4o аз ҷиҳати suppression сатҳи баланди “ба нодуруст табдил додан” дорад, дар супоришҳои retained нисбат ба Claude ва DeepSeek collateral хатои бештар тавлид мекунад ва аз ин рӯ дар controllability score-и умумӣ ба сатҳи Claude намерасад.

Вақте саволҳои ивазшуда хориҷ шуданд, чӣ рӯй дод?

Бузургтарин тағйири selectivity 0.04 аст. Аз ин рӯ, манбаъ ба хулоса меояд, ки 19 супориши ивазшуда тартиби асосии моделҳоро шарҳ намедиҳад.

Answer-position imbalance

Мавқеъҳои ҷавоби дуруст дар чор вариант uniform тақсим нашудаанд ва варианти A аз ҳад зиёд намояндагӣ шудааст:

\[ p<10^{-6} \]

барои ҳар ду grade гузориш шудааст.

Аммо азбаски error-convergence permutation null тақсимоти answer-letter frequency-и ҳар моделро нигоҳ медорад, манбаъ мегӯяд, ки ин positional imbalance ба танҳоӣ ҳамгироии ҷавоби нодурусти байни моделҳоро шарҳ намедиҳад.

Натиҷаҳое, ки таҳқиқот дастгирӣ мекунад

• Бо истифода аз binary retained/suppressed skill profile рафтори answer-level LLM ба таври ченшаванда роҳнамоӣ карда шуд.
• Prompt-ҳое, ки skill-state rule-и равшан доранд, нисбат ба example-only prompting хатои profile-alignment-и пасттар ба вуҷуд оварданд.
• Rule-based ва combined prompting дар шартҳои арзёбишуда alignment-и ба ҳам наздик таъмин карданд.
• Selective suppression дар ҳар се модел чен карда шуд, аммо қувваи он ба модел ва оилаи малака вобаста аст.
• Малакаҳои retained дар маҷмуъ нисбат ба малакаҳои suppressed ба таври назаррас беҳтар нигоҳ дошта шуданд.
• Cross-skill collateral change нисбат ба таъсири мустақими suppression хурд аст.
• Малакаи баландтари baseline-и математика дар байни се модели арзёбишуда ба таври худкор маънои controllability-и қавитарро надошт.
• Induced wrong answers нисбат ба модели одии интихоби мустақили тасодуфӣ сохторёфта ба назар мерасанд.
• Ҳамгироии се модел ба як варианти нодуруст аз marginal answer-letter bias болотар буд.
• Хориҷ кардани супоришҳои benchmark-и ивазшуда тартиби асосии моделҳоро тағйир надод.

Натиҷаҳое, ки таҳқиқот дастгирӣ намекунад

• Исбот нашудааст, ки LLM-ҳо ҳолати маърифатии хонандагони воқеиро дуруст симулятсия мекунанд.
• Binary skill vector mastery state-и воқеии инсон нест.
• Induced wrong answer ҳамчун misconception-и воқеии хонанда тасдиқ нашудааст.
• Ба як хатои яксон майл кардани се модел далели механизми умумии маърифатӣ нест.
• Санҷида нашудааст, ки эҷоди профили идорашаванда малакаи ташхисии омӯзгоронро беҳтар мекунад.
• Нишон дода нашудааст, ки чунин симуляторҳо омодасозии омӯзгорон ё муваффақияти хонандагонро беҳтар мекунанд.
• Натиҷаҳо барои шарҳи кушода ё tutor–student dialog-и бисёрдавраина тасдиқ нашудаанд.
• Гарчанде benchmark-и Grade 1–8 омода шудааст, натиҷаи муфассали controllability барои ҳамаи Grade 1–8 нишон дода нашудааст.
• Қобили умумисозӣ ба соҳаҳои берун аз математика, ба монанди илм, забон ва барномасозӣ санҷида нашудааст.
• Натиҷаҳоро ба ҳамаи оилаҳои модели Claude, DeepSeek ё GPT умумӣ кардан мумкин нест; онҳо танҳо ба endpoint-ҳои истифодашуда дахл доранд.
• Аз ин таҳқиқот хулоса кардан мумкин нест, ки усулҳои fine-tuning ё training-time берун аз prompt-based control беҳтар ё бадтаранд.

Чор ҳадди асосии эътиборнокии таҳқиқот

1. Construct validity

Profile alignment-и ҳадафӣ бо mastery-и воқеии инсон ё authentic misconception баробар нест. Ҳангоми binary будани target profile, suppression-и мушоҳидашуда дараҷавӣ аст.

2. Ecological validity

Додаҳо ҷавобҳои якдавраинаи бисёрвариантӣ мебошанд. Шарҳи хонанда, tutor dialog, motivation, confusion, engagement ва peer interaction вуҷуд надоранд.

3. External validity

Таҳлили амиқ танҳо малакаҳои математикии Grade 4 ва Grade 5 ва се endpoint-и моделро дар бар мегирад. Барои синфҳо, фанҳо ва оилаҳои дигари модел натиҷаҳоро аз нав тасдиқ кардан лозим аст.

4. Benchmark / internal validity

Ҳар савол танҳо бо як skill family нишонагузорӣ шудааст; масъалаҳои воқеии математика метавонанд якчанд малакаҳоро ҳамзамон талаб кунанд. Илова бар ин, full \(2^K\) profile enumeration бо шумораи малакаҳо ба таври экспоненсиалӣ меафзояд.

Бозтавлидпазирӣ

Манбаъ мегӯяд, ки супоришҳои benchmark, skill annotation-ҳо, rule-based/example-only/combined prompt template-ҳо, item-to-skill mapping, натиҷаҳои per-item evaluation-и се модел, сабтҳои raw prompt/response/parsed-answer ва коди таҳлил бойгонӣ шудаанд.

Zenodo DOI-и дар манбаъ додашуда барои бойгонии додаҳо ва код:

10.5281/zenodo.21853933

нишон дода шудааст.

Таҳлилҳо бо истифода аз Python 3.14, statsmodels 0.14.6, SciPy 1.17.1 ва NumPy 1.26.4 иҷро шудаанд.

Таҳқиқоти оянда

Муаллифон муҳимтарин қадами баъдиро арзёбии коршиносони инсонӣ медонанд. Баҳо додани воқеиятнокӣ ва манфиати педагогии хонандагони симулятсияшуда аз ҷониби омӯзгорони ботаҷриба метавонад далели external validity-еро таъмин кунад, ки танҳо бо objective answer metrics ба даст намеояд.

Манбаъ инчунин чунин тавсеаҳоро пешниҳод мекунад:

• муқоиса бо response distributions-и хонандагони воқеӣ,
• blinded multi-rater misconception coding,
• профилҳои муфассалтари хато, ба монанди conceptual misconception, procedural slip, arithmetic error ва reasoning shortcut,
• continuous target-performance scale ба ҷойи binary,
• hierarchical skill representations,
• fine-tuning ё reinforcement-based control,
• фанҳо ва grade bands-и дигар,
• interactive tutoring-и бисёрдавраина,
• тасдиқи воқеии таълимӣ бо иштироки омӯзгор

ҳамчун самтҳои минбаъда.

Ёддошт оид ба Манбаъ ва Усул

Унвони аслӣ: Toward Controllable Learner Simulation for Teacher Education: Benchmarking Skill-Profile Control in LLM Answer Behavior

Муаллифон, бо тартиби манбаъ: Omri Sasson; Alexander Apartsin; Yehudit Aperstein.

Мансубияти муассисавии муаллифон: Omri Sasson ва Yehudit Aperstein — Intelligent Systems, Afeka College of Engineering, Tel Aviv, Israel. Alexander Apartsin — School of Computer Science, Faculty of Sciences, Holon Institute of Technology, Holon, Israel.

Муаллифи масъул: Yehudit Aperstein.

Саҳми баробар: Дар манбаъ изҳороти equal-contribution мавҷуд нест.

Маҷалла: Education Sciences.

Ношир: MDPI, Basel, Switzerland.

Навъи нашр: Article; benchmark/experimental evaluation-и комилан ҳисоббарорӣ.

Ҷилд / шумора / рақами мақола: 16(10), 1752.

DOI: 10.3390/educsci16101752.

Received: 11 August 2026.

Revised: 4 October 2026.

Accepted: 14 October 2026.

Published: 19 October 2026.

Academic Editor: Samson Nashon.

Вазъи баррасии ҳамтоён: Ин мақолаи нашршудаи маҷаллаи тақризшаванда мебошад.

Вазъи preprint: Дар манбаи баррасишуда ва сабти расмии библиографӣ оид ба нусхаи ҷудогонаи preprint-и ин мақола маълумот дода нашудааст.

Иҷозатнома: Creative Commons Attribution (CC BY).

Саволи асосии таҳқиқот: Оё LLM-и бо prompt идорашаванда метавонад student skill profile-и муайяншударо, ки дар он баъзе малакаҳои барномаи таълимӣ retained нигоҳ дошта шуда, дигарон suppressed нишон дода мешаванд, ба таври интихобӣ амалӣ намояд?

Саволҳои зерини таҳқиқот: Таъсири стратегияи prompt; фарқи controllability байни endpoint-ҳои модели арзёбишуда; имконпазир будани suppression бо collateral interference-и маҳдуд ба retained skills.

Маҷмӯи додаҳо: MathCAMPS; барои Grade 1–8 дар ҳар кадом 99 саволи чандинтихобӣ омода карда шудааст. Таҳлилҳои муфассали controllability бо Grade 4 ва Grade 5 маҳдуданд.

Ҳаҷми асосии таҳлил: Дар Grade 4 — 4 малака ва 16 профил; дар Grade 5 — 3 малака ва 8 профил; дар маҷмӯъ 24 target profile.

Core combined-prompt response count: 7128 model–question event.

Endpoint-ҳои модел: claude-sonnet-4-5-20250929; DeepSeek-chat; gpt-4o.

Decoding: Deterministic, temperature = 0.

Стратегияҳои prompt: Rule-based; example-only/few-shot; combined.

Метрикаҳои асосӣ: Per-skill accuracy; retained/suppressed mean accuracy; relative loss; RMSE; controllability score \(C(\mathbf{k})\); cross-skill influence \(\Delta_{ij}\); selectivity index; сохтори signal-detection hit/false-alarm. Prediction score метрикаи ёрирасони calibration мебошад.

Таҳлили оморӣ: Exact McNemar; Cohen's \(h\); logistic GEE; Friedman omnibus; Holm-corrected Wilcoxon signed-rank; 4000-resample percentile bootstrap; 5000-permutation marginal-preserving error-convergence test; таҳлили robustness-и Mann–Whitney \(U\).

Нармафзори оморӣ: Python 3.14; statsmodels 0.14.6; SciPy 1.17.1; NumPy 1.26.4.

Ёддошти ададӣ дар дохили манбаъ: Дар ҳоле ки матни Section 7.7 арзиши three-model wrong-answer convergence-и Grade 5-ро %35 медиҳад, арзиш дар Figure 10 баробари 0.34 аст. Verianla ин фарқиятро хомӯшона ислоҳ накарда, натиҷаи дахлдорро тақрибан бо %34–35 маҳдуд кардааст.

Item quality control: Дар Grade 4 — 7 ва дар Grade 5 — 12 модда бинобар нокомиҳои байни-моделӣ дар perfect-student baseline иваз карда шудаанд. Дар таҳлили robustness, ки ҳамаи ин моддаҳо хориҷ карда шуданд, тартиби моделҳо нигоҳ дошта шуд ва тағйироти selectivity ҳадди аксар 0.04 буд.

Маблағгузорӣ: Таҳқиқот маблағгузории берунӣ нагирифтааст.

Institutional Review Board: Татбиқ намешавад; дар таҳқиқот иштирокчии инсонӣ ё ҳайвонот вуҷуд надорад ва ҳамаи ҷавобҳои таҳлилшуда аз ҷониби моделҳои забонӣ тавлид шудаанд.

Informed Consent: Татбиқ намешавад.

Data Availability: Моддаҳои benchmark, prompt template-ҳо, натиҷаҳои per-item-и модел ва коди таҳлил дар Zenodo бо DOI 10.5281/zenodo.21853933 ба таври кушода бойгонӣ шудаанд.

Бархӯрди манфиатҳо: Муаллифон изҳор кардаанд, ки бархӯрди манфиатҳо вуҷуд надорад.

Саҳми муаллифон

• Conceptualization: Yehudit Aperstein, Alexander Apartsin.
• Methodology: Yehudit Aperstein, Alexander Apartsin.
• Formal analysis: Omri Sasson, Yehudit Aperstein, Alexander Apartsin.
• Data curation: Omri Sasson, Alexander Apartsin.
• Software: Omri Sasson.
• Supervision: Yehudit Aperstein, Alexander Apartsin.
• Project administration: Yehudit Aperstein.
• Writing — original draft preparation: Omri Sasson, Yehudit Aperstein, Alexander Apartsin.
• Writing — review and editing: Yehudit Aperstein, Alexander Apartsin.

Маҳдудиятҳои асосии методологӣ: Набудани санҷиши коршиносони инсонӣ; binary target profile ҳолати воқеии mastery state нест; арзёбии якдавраинаи чандинтихобӣ дар сатҳи answer-level; таҳқиқ нашудани мулоҳизаи кушода ва tutor dialog; таҳлили муфассал танҳо барои Grade 4–5; танҳо се model endpoint; танҳо prompt-based control; single-skill item annotation; гузаштани баъзе моддаҳо аз назорати сифат бо натиҷаи baseline-и модел; афзоиши экспоненсиалии full \(2^K\) profile enumeration бо шумораи малакаҳо.

Ҳадди асосии тафсири илмӣ: Ин таҳқиқот нишон намедиҳад, ки зеҳни сунъии тавлидӣ хонандагони воқеиро аз нигоҳи педагогӣ ба таври боэътимод симулятсия мекунад ё омӯзиши омӯзгорони ояндаро беҳтар месозад. Таҳқиқот benchmark ва оилаи метрикаҳоро барои чен кардани он пешниҳод мекунад, ки retained/suppressed skill profile-и муайяншуда дар сатҳи LLM answer behavior то чӣ андоза интихобӣ ва маҳаллӣ амалӣ карда мешавад.