Рамзгузории индуктивии дастгиришаванда бо модели бузурги забонӣ — равиши таҳлили додаҳои сифатӣ мебошад, ки ба ҷойи танҳо татбиқ кардани китоби рамзҳои аз пеш омодашуда, модели бузурги забониро барои сохтани сохторҳои рамз ва категория аз намунаҳои мавҷуд дар мусоҳибаҳо ё дигар матнҳои сифатӣ истифода мебарад. Ин таҳқиқот системаи рамзеро, ки ChatGPT аз мусоҳибаҳо бо 11 омӯзгори ҷуғрофияи олмонӣ тавассути муҳандисии итеративии prompt сохтааст, бо таҳлили сифатии мундариҷае муқоиса мекунад, ки қаблан муҳаққиқони инсонӣ дар ҳамон мусоҳибаҳо анҷом дода буданд. Муқоиса танҳо ба шабоҳати номҳои рамз маҳдуд намешавад; он то он ки кадом порчаҳои матн рамзгузорӣ шудаанд, робитаҳои сохтории рамзҳо дар дохили шабака ва то чӣ андоза нигоҳ дошта шудани контексти хоси соҳа васеъ карда шудааст.

Дар таҳқиқот аввал бо ChatGPT барои ҳар мусоҳиба системаи рамзи алоҳида сохта шуда, сипас ин системаҳо муттаҳид гардидаанд, раванди синтез панҷ маротиба мустақилона такрор шудааст ва бо истифода аз рамзҳое, ки дар ҳадди ақал се аз панҷ синтез мавҷуд буданд, системаи ниҳоии рамз сохта шудааст. Системаи ниҳоӣ баъдан ба ҳар мусоҳиба дар панҷ иҷрои мустақили рамзгузорӣ татбиқ карда шуд; мавҷуд будани ҳамон рамз дар ҳадди ақал се аз панҷ иҷро ҳамчун меъёри нигоҳдорӣ дар арзёбии ниҳоӣ истифода шудааст. Дар ин раванди такрорӣ шабоҳати умумии Jaccard байни иҷроҳо барои ҳар мусоҳиба 0,83 гузориш шудааст.

Системаи ниҳоии рамзе, ки ChatGPT сохтааст, аз 3 рамзи асосӣ ва 14 зерамз иборат аст, дар ҳоле ки таҳлили сифатии мундариҷаи инсонӣ 3 рамзи асосӣ ва 20 зерамзро дар бар мегирад. Дар муқоисаи семантикии бар асоси SBERT, 63 ҷуфти рамз бо шабоҳати косинусии 0,60 ё бештар муайян шуданд. Дар мувофиқсозии як-ба-як бо Hungarian Algorithm аз 14 мувофиқати номзад танҳо яктоаш аз ҳадди 0,60 поён монд ва таҳлилҳои минбаъда бар асоси 13 ҷуфти рамзи мувофиқшуда анҷом дода шуданд.

Аммо шабеҳ будани рамзҳо аз рӯйи маъно маънои рамзгузорӣ шудани ҳамон порчаҳои мусоҳибаро надошт. Барои 13 ҷуфти рамзи мувофиқшуда индекси глобалии Jaccard танҳо 0,39 буд. Дар баъзе ҷуфтҳо ҳампӯшонии воҳиди рамзгузорӣ баланд буд, дар баъзе дигар бошад сифр. Масалан, байни “Material and textbook influence” ва “Resources: Textbooks” Jaccard 0,86 буд, дар ҳоле ки дар ҷуфтҳои “Diagnostic assessment” бо “Outside the classroom” ва “Knowledge deficits as breeding ground” бо “Educational policy factors” Jaccard 0 буд.

Дар таҳлили шабакавӣ зичии шабакаи таҳлили мундариҷаи инсонӣ 0,40 ва коэффисиенти глобалии кластерсозӣ 0,56; зичии шабакаи ChatGPT 0,36 ва коэффисиенти глобалии кластерсозӣ 0,61 муайян шуд. Гарчанде ин ченакҳои глобалӣ ба ҳам наздик буданд, марказияти гиреҳҳо сохтори дигарро нишон дод: дар таҳлили инсонӣ марказият дар маҷмӯи васеътари рамзҳо паҳн мешуд, дар системаи ChatGPT бошад чанд рамзи умумӣ бартарии бештар пайдо карда буданд. Тафсири асосии таҳқиқот ин аст, ки prompt-гузории сохторёфта ва итеративӣ метавонад рамзгузории LLM-ро устувортар кунад; аммо дар ин маҷмӯи додаҳо ChatGPT контексти хоси соҳавӣ ва фарқиятҳои нозуки консептуалиро ба андозаи таҳлили мундариҷаи инсонӣ муфассал намояндагӣ накардааст.

Ин натиҷаҳоро набояд ба шакли “ChatGPT дар таҳлили сифатӣ бо инсон як натиҷа медиҳад” ё “Jaccard 0,83 нисбат ба таҳлили инсонӣ %83 дақиқӣ маъно дорад” тафсир кард. Қимати 0,83 устувории байни иҷроҳои такрории худи ChatGPT-ро чен мекунад. Ҳампӯшонии глобалии воҳидҳои рамзгузорӣ дар муқоисаи инсон–ChatGPT бошад 0,39 мебошад. Илова бар ин, муҳаққиқон системаи рамзи инсониро на ҳамчун ҳақиқати мутлақи объективӣ, балки ҳамчун тафсири дигари қобили эътибори ҳамон мавод баррасӣ мекунанд.

Масъалаи асосии таҳқиқот

Дар таҳқиқоти сифатӣ рамзгузорӣ имкон медиҳад, ки порчаҳои дарози матн ба категорияҳои маънодоре табдил дода шаванд, ки бо саволҳои таҳқиқотӣ алоқаманданд. Дар як мусоҳиба гуфтаҳои омӯзгорон метавонанд садҳо ҷумла ё порчаи ҷудогона дошта бошанд. Муҳаққиқ қарор медиҳад, ки кадом порчаҳои ин мавод ба як намунаи консептуалӣ тааллуқ доранд, рамзҳо месозад, рамзҳои монандро якҷо мекунад ва дар ҳолати зарурат категорияҳои сатҳи болотарро таҳия мекунад.

Моделҳои бузурги забонӣ метавонанд китоби рамзи мавҷударо ба матн татбиқ кунанд ё мавзӯъҳои такроршавандаро дар матнҳои калон муайян намоянд. Масъалаи душвортаре, ки ин таҳқиқот ба он равона шудааст, ин аст, ки вақте рамзҳо аз пеш пурра дода нашудаанд, LLM худи системаи рамзро чӣ гуна инкишоф медиҳад. Ба ибораи дигар, таҳқиқот танҳо бо саволи “Оё ChatGPT нишонаи дурустро интихоб мекунад?” маҳдуд намешавад; он меомӯзад, ки модел аз маводи сифатӣ кадом категорияҳоро тавлид мекунад, ин категорияҳо бо системаи сохтаи инсон чӣ гуна мувофиқ мешаванд ва оё ба ҳамон далелҳои матнӣ такя мекунанд ё не.

Дар таҳқиқот ду сатҳи гуногуни саволҳои таҳқиқотӣ мавҷуд аст

Дар манбаъ ду сатҳи савол вуҷуд дорад, ки бояд аз ҳам ҷудо карда шаванд. Сатҳи аввал саволҳоест, ки мундариҷаи маҷмӯи аслии додаҳои мусоҳибаро меомӯзанд: оё дар таълими ҷуғрофия стереотипсозӣ ба вуҷуд меояд, чӣ гуна ва чаро пайдо мешавад ва омӯзгорон барои мубориза бо он кадом стратегияҳоро истифода мебаранд. Сатҳи дуюм саволҳои арзёбии методологии ҳамин мақола мебошанд: оё системаи рамзи ChatGPT-ро аз ҷиҳати семантикӣ ба системаи таҳлили мундариҷаи инсонӣ мувофиқ кардан мумкин аст, оё рамзҳои аз ҷиҳати семантикӣ мувофиқ ҳамон воҳидҳои рамзгузориро интихоб мекунанд ва оё байни сохтори ду системаи рамз фарқиятҳои низомманд вуҷуд доранд?

Ин фарқият муҳим аст. Мавзӯи мусоҳибаҳо стереотипсозӣ мебошад; мавзӯи асосии методологии ин мақола бошад муқоисаи системаи рамзгузории индуктивии сохтаи ChatGPT бо таҳлили мундариҷаи инсонӣ аст.

Рамзгузории Индуктивӣ Чист ва ChatGPT Дар Ин Таҳқиқот Чӣ Гуна Истифода Шуд?

Рамзгузории индуктивӣ равандест, ки дар он категорияҳо ва зеркатегорияҳо ба ҷойи он ки аз пеш пурра собит карда шаванд, аз намунаҳои маънодори маводи сифатии таҳлилшаванда инкишоф меёбанд; дар ин таҳқиқот ChatGPT барои ҳар мусоҳиба системаи рамзи бар асоси додаҳо сохта, ин системаҳо тавассути қадамҳои такрории синтез муттаҳид карда шуда, системаи ниҳоии рамзи бадастомада дубора ба транскриптҳои мусоҳиба татбиқ шудааст.

Таҳлили мундариҷаи инсонӣ чӣ гуна анҷом дода шуд?

Таҳлили мундариҷаи инсонӣ равиши ҳафтмарҳилавии Kuckartz ва Rädiker-ро пайгирӣ кардааст. Муҳаққиқон аввал мусоҳибаҳоро бодиққат хонда, қайдҳо ва хулосаҳои ҳолатҳоро омода кардаанд; сипас дар 11 транскрипт дар маҷмӯъ 86 воҳиди рамзгузориро муайян намудаанд.

Дар марҳилаи аввал се рамзи асосӣ истифода шуд: намунаҳои стереотипсозӣ, сабабҳои стереотипсозӣ ва стратегияҳои мубориза бо стереотипсозӣ. Дар зери ин сохтори асосӣ 20 зерамз аз мавод ба таври индуктивӣ таҳия шуда, сохтори рамз бозбинӣ гардида ва тамоми мавод бо системаи ниҳоии рамз дубора рамзгузорӣ шудааст. Стратегияҳои таҳлилӣ мувофиқи саволҳои таҳқиқотӣ татбиқ шуданд ва таҳлили инсонӣ бо истифода аз MAXQDA Analytics Pro 24.4.0 анҷом дода шуд.

Панҷ марҳилаи раванди рамзгузории ChatGPT

Марҳилаи I — Таҳияи аввалия: Ҳар яке аз 11 мусоҳиба алоҳида ба ChatGPT дода шуда, барои ҳар транскрипт системаи алоҳидаи рамзгузории индуктивӣ таҳия шудааст. Prompt нақши модел ҳамчун ёвари таҳқиқотӣ, вазифа, саволҳои таҳқиқотӣ, қоидаҳои рамзгузорӣ ва шакли баромадро муайян кардааст. Бо истифодаи танҳо як транскрипт дар як вақт ҳадаф кам кардани мушкилоти коркард буд, ки метавонанд аз контексти дароз ба вуҷуд оянд.

Дар озмоишҳои аввал ChatGPT тамоюл дошт ба рамзҳои тавсифии сатҳи болотар, ба монанди “стереотип чист?”, ки аз саволҳои таҳқиқотӣ умумитар буданд, рӯ оварад; аз ин рӯ prompt такмил дода шуд. Бо ин роҳ ҳадаф ин буд, ки тавлиди рамзҳо ба ҷойи назарияи умумии стереотип ба саволҳои таҳқиқотии мусоҳибаҳо сахттар пайваст карда шавад.

Марҳилаи II — Синтези ёздаҳ система: 11 системаи рамзе, ки аз ҳар транскрипт гирифта шуда буд, якҷоя муқоиса карда шуданд. Рамзҳои аз рӯйи мундариҷа монанд муттаҳид шуданд, рамзҳои сатҳи боло танҳо дар ҳолате сохта шуданд, ки аз ҷиҳати мавзӯӣ асоснок бошанд, ҳампӯшониҳо ҳал карда шуданд ва танҳо ба рамзҳое иҷозат дода шуд, ки воқеан дар марҳилаи аввал истифода шуда буданд, дар системаи нав ҷой гиранд.

Марҳилаи III — Такрори синтез: Азбаски баромадҳои LLM детерминистӣ нестанд, раванди синтез панҷ маротиба мустақилона такрор карда шуд. Ҳар синтез дар сессияи алоҳидаи чат иҷро шуда, зикр шудааст, ки дар ин марҳила вазифаи хотира хомӯш буд. Ҳадаф ба ҷойи вобаста мондан ба як баромади тасодуфии модел мушоҳида кардани он буд, ки кадом рамзҳо дар тавлиди такрорӣ устувор мемонанд.

Марҳилаи IV — Синтези ниҳоӣ: Панҷ системаи рамзи синтезшуда дубора муттаҳид карда шуданд. Барои ворид шудани рамз ба системаи ниҳоӣ талаб буд, ки он дар ҳадди ақал се аз панҷ система мавҷуд бошад. Ин қоидаи “3/5” таъсири тавлидҳои камёб ва якдафъаинаи моделро ба муайян кардани системаи ниҳоии рамз маҳдуд кард.

Марҳилаи V — Рамзгузории транскриптҳо бо системаи ниҳоии рамз: Системаи ниҳоии рамз баъдан ба транскриптҳои аслии мусоҳиба татбиқ карда шуд. Қоидаҳо истифода шуданд, то модел танҳо рамзҳои муайяншударо истифода барад, аз таърифи рамз берун наравад, рамзи нав насозад, таъйини рамзро асоснок кунад ва агар ягон рамз мувофиқ набошад, инро ошкоро нишон диҳад.

Ҳар транскрипт дар панҷ иҷрои мустақил рамзгузорӣ шуд. Дар таҳлили ниҳоӣ барои нигоҳ доштани як таъйини рамз талаб буд, ки он дар ҳадди ақал се аз панҷ арзёбӣ мавҷуд бошад. Ин қоидаи дуюми 3/5 аз қоидаи 3/5 дар марҳилаи сохтани системаи рамз фарқ мекунад: якум муайян мекунад, ки кадом рамзҳо ба китоби ниҳоии рамз дохил мешаванд, дуюм бошад муайян мекунад, ки кадом таъйиноти рамз ба арзёбии ниҳоӣ ворид мешаванд.

Чаро prompt-ҳои замимаҳо аз ҷиҳати илмӣ муҳиманд?

Бахши Замимаи A-и таҳқиқот танҳо як prompt-и намунавӣ пешниҳод намекунад; он меъмории prompt-еро ҳуҷҷатгузорӣ мекунад, ки барои пайгирии дубораи раванди рамзгузории дастгиришаванда бо LLM истифода шудааст.

Замимаи A.1 prompt-и аввалияест, ки барои ҳар транскрипт системаи рамзро таҳия мекунад. Аз модел талаб мешавад, ки дар соҳаи таҳқиқоти сифатии таълимӣ ҳамчун муҳаққиқ амал кунад, танҳо аз маводи марбути транскрипт категорияҳои индуктивӣ созад, категорияҳоро аз ҳам фарқ кунад ва номи рамз ва шарҳи онро дар шакли ҷадвал пешниҳод намояд.

Замимаи A.2 ба муттаҳид кардани 11 системаи алоҳидаи рамз дар як сохтори ҳамгиро равона шудааст. Шартҳо чунинанд: рамзҳо на танҳо аз рӯйи ном, балки аз рӯйи мундариҷа муқоиса шаванд, рамзҳои монанд муттаҳид гарданд, категорияҳои сатҳи боло танҳо дар сурати асоснокии мавзӯӣ сохта шаванд ва рамзе, ки дар системаҳои аслӣ ҳеҷ гоҳ истифода нашудааст, ба синтез илова нашавад.

Замимаи A.3 панҷ синтези такрориро ба як системаи ниҳоии рамз табдил медиҳад. Қоидаи асосии интихоб дар ин ҷо он аст, ки рамз бояд дар ҳадди ақал се аз панҷ система мавҷуд бошад.

Замимаи A.4 татбиқи китоби ниҳоии рамз ба транскриптҳоро танзим мекунад. Аз модел талаб мешавад, ки аз таърифҳои рамз берун наравад, бо бозифода маънои нав тавлид накунад, рамзи нав насозад, ба мавҷуд будани чанд рамз дар як воҳиди рамзгузорӣ иҷозат диҳад, агар рамзи мувофиқ набошад инро нишон диҳад ва ҳар таъйинотро бо истинод ба таърифи рамз асоснок кунад.

Ин ҷузъиёт муҳиманд; зеро натиҷаҳои таҳқиқот натиҷаи истифодаи умумие ба монанди “агар ба ChatGPT гӯем рамзгузорӣ кун, чӣ мешавад?” нестанд. Натиҷаҳо ба протоколи мушаххаси prompt тааллуқ доранд, ки хеле сохторёфта буда, бо такрорҳо кӯшиш шудааст устувор гардонда шавад.

Чаро Шабоҳати Косинусӣ ва Индекси Jaccard Як Чизро Намесанҷанд?

Шабоҳати косинусӣ чен мекунад, ки ном ва шарҳи ду рамз аз ҷиҳати семантикӣ то чӣ андоза наздиканд, дар ҳоле ки индекси Jaccard месанҷад, ки рамзҳо воқеан ба кадом воҳидҳои рамзгузорӣ таъйин шудаанд ва то чӣ андоза ҳампӯшонӣ доранд; аз ин рӯ мумкин аст ду рамз аз ҷиҳати маъно хеле монанд бошанд, вале дар мусоҳибаҳо ба порчаҳои гуногуни матн татбиқ шаванд.

Намояндагии семантикии рамзҳо бо SBERT

Барои ҳар рамз номи рамз ва таърифи рамз ҳамчун як ифодаи матнӣ муттаҳид карда шуданд. Ин матнҳо бо равиши Sentence-BERT (SBERT) ба векторҳои ададӣ табдил дода шуданд. Дар таҳқиқот модели аз пеш омӯзонидашудаи paraphrase-multilingual-MiniLM-L12-v2 истифода шуд.

Ин векторҳо, ки embedding ном доранд, барои намояндагӣ кардани на танҳо мувофиқати як-ба-яки калимаҳо, балки наздикии маънои матн дар фазои ададӣ истифода мешаванд. Ҳамин тавр, масалан, ҳатто агар ду рамз калимаҳои гуногун истифода баранд, агар маънои монанд дошта бошанд, метавонанд векторҳои наздик ба ҳам созанд.

Мантиқи математикии шабоҳати косинусӣ

Ёддошти омӯзишӣ: Мақола муодилаи шабоҳати косинусиро ҳамчун муодилаи алоҳидаи чопшуда намеорад. Ифодаи зер таърифи стандартии математикии метрикаи истифодашуда дар таҳқиқот аст; формулаи нави таҳқиқот нест.

\[ \mathrm{cosine}(\mathbf{a},\mathbf{b}) = \frac{\mathbf{a}\cdot\mathbf{b}} {\|\mathbf{a}\|\,\|\mathbf{b}\|} \]

\(\mathbf{a}\) ва \(\mathbf{b}\) векторҳои embedding-и ду рамз мебошанд, ки бо SBERT гирифта шудаанд. Ҳосили скалярӣ дар сурат самти умумии ду векторро, ҳосили нормаҳо дар махраҷ бошад бузургии векторҳоро нормализатсия мекунад. Ҳамин тавр муқоиса асосан ба самти векторҳо, яъне наздикии семантикӣ такя мекунад.

Ин метрика беандоза аст. Дар таҳқиқот ҳар қадар қимат ба 1 наздик шавад, ҳампӯшонии консептуалӣ қавитар ҳисоб шудааст. Барои таҳлили минбаъда ҳадди шабоҳати косинусии 0,60 истифода шуд.

Чаро Hungarian Algorithm истифода шуд?

Агар як рамзи ChatGPT танҳо мустақилона бо рамзи инсоние, ки баландтарин холли шабоҳат дорад, мувофиқ карда шавад, як рамзи инсонӣ метавонад ба чанд рамзи ChatGPT таъйин гардад. Таҳқиқот ба ҷойи ин ҳамаи мувофиқатҳоро якҷоя арзёбӣ карда, комбинатсияи таъйини як-ба-як-ро ҷустуҷӯ кардааст, ки шабоҳати умумии семантикиро бештар мекунад.

Намоиши стандартии омӯзишӣ: Мақола муодилаи оптимизатсионии зерро айнан ба ин шакл чоп намекунад; ифода барои шарҳи истифодаи масъалаи таъйини Hungarian дар таҳқиқот оварда шудааст.

\[ \max \sum_i\sum_j s_{ij}x_{ij} \]

Дар ин ҷо \(s_{ij}\) шабоҳати косинусӣ байни рамзи ChatGPT-и \(i\) ва рамзи таҳлили мундариҷаи инсонӣ \(j\) мебошад. Агар \(x_{ij}=1\), ду рамз мувофиқ шудаанд; агар \(x_{ij}=0\), мувофиқ нашудаанд. Аз сабаби мувофиқсозии як-ба-як ҳар рамз метавонад ҳадди аксар бо як рамзи муқобил мувофиқ шавад.

Азбаски дар системаи ChatGPT 14 ва дар системаи инсонӣ 20 зерамз мавҷуд аст, Hungarian Algorithm метавонад ҳадди аксар 14 мувофиқати номзади як-ба-як созад. Дар таҳқиқот яке аз 14 мувофиқати номзад бо шабоҳати косинусии 0,56 аз ҳадди 0,60 поён монд ва ҳамин тавр таҳлилҳои минбаъда бар асоси 13 ҷуфти мувофиқшуда анҷом ёфтанд.

Индекси Jaccard чиро ҳисоб мекунад?

Таърифи стандартии омӯзишӣ: Мақола индекси Jaccard-ро ба таври шифоҳӣ таъриф мекунад; муодилаи зер намоиши стандартии математикии ҳамин таъриф аст.

\[ J(A,B) = \frac{|A\cap B|} {|A\cup B|} \]

\(A\) маҷмӯи воҳидҳои рамзгузорие мебошад, ки як рамз аз ҷониби усули якуми рамзгузорӣ ба онҳо таъйин шудааст; \(B\) маҷмӯи воҳидҳои рамзгузориест, ки рамзи мувофиқ аз ҷониби усули дуюм ба онҳо таъйин шудааст. \(|A\cap B|\) шумораи воҳидҳои муштаракеро нишон медиҳад, ки ҳар ду усул рамзгузорӣ кардаанд; \(|A\cup B|\) бошад ҳамаи воҳидҳоеро нишон медиҳад, ки ҳадди ақал яке аз усулҳо рамзгузорӣ кардааст.

\(J=1\) маънои онро дорад, ки ду маҷмӯъ комилан яксонанд; \(J=0\) маънои онро дорад, ки ягон воҳиди рамзгузории муштарак вуҷуд надорад.

Таҳқиқот индекси Jaccard-ро барои ду ҳадафи гуногун истифода кардааст. Якум, арзёбии он ки як транскрипт дар панҷ иҷрои ChatGPT то чӣ андоза устувор рамзгузорӣ шудааст. Дуюм, арзёбии он ки рамзҳои ChatGPT ва инсон, ки аз ҷиҳати семантикӣ мувофиқ шудаанд, ба ҳамон порчаҳои матн татбиқ шудаанд ё не. Ин ду натиҷаи Jaccard ба як саволи илмӣ ҷавоб намедиҳанд.

Таҳлили шабакавӣ чӣ илова мекунад?

Дар ҳоле ки мувофиқсозии семантикӣ ҷуфтҳои ҷудогонаи рамзҳоро муқоиса мекунад, таҳлили шабакавӣ сохтори тамоми системаи рамзро месанҷад. Ҳар рамз ҳамчун гиреҳ ва робитаи байни ду рамзе, ки дар як воҳиди рамзгузорӣ якҷо пайдо шудаанд, ҳамчун канор муайян шудааст. Вазни канор ба он вобаста аст, ки ду рамз дар чанд воҳиди рамзгузорӣ якҷо буданд.

Зичии шабака месанҷад, ки робитаҳои мушоҳидашудаи рамз-рамз чӣ ҳиссаи робитаҳои имконпазирро ташкил медиҳанд. Барои шабакаи оддии бесамт ифодаи стандартии омӯзишӣ чунин аст:

\[ D=\frac{2E}{V(V-1)} \]

\(V\) шумораи гиреҳҳо, яъне рамзҳо ва \(E\) шумораи робитаҳои мушоҳидашуда мебошад. Бо зиёд шудани қимат, ҳиссаи рамзҳое, ки дар шабака бо ҳам робита доранд, меафзояд. Ин формула формулаи нави таҳқиқот нест; шарҳи стандартии мафҳуми зичии шабака дар мақола аст.

Коэффисиенти глобалии кластерсозӣ тамоюли рамзҳои ба як рамз пайвастшударо барои ташкили кластерҳо тавассути робита бо ҳамдигар арзёбӣ мекунад. Манбаъ муодилаи мушаххас намеорад; аз ин рӯ Verianla формулаи дақиқи татбиқеро, ки дар мақола вуҷуд надорад, фарз намекунад.

Марказияти вектори хос (eigenvector centrality, EV-centrality) на танҳо ба шумораи робитаҳои як рамз, балки ба он низ аҳамият медиҳад, ки рамзҳои дигаре, ки бо он пайвастанд, то чӣ андоза марказӣ ҳастанд. Робитаи стандартии вектори хос ба таври омӯзишӣ:

\[ x_i = \frac{1}{\lambda} \sum_j A_{ij}x_j \]

нишон дода мешавад. \(x_i\) марказияти рамзи \(i\); \(A_{ij}\) матритсаи робитаи шабака ва \(\lambda\) қимати хоси марбут аст. Гиреҳҳое, ки бо рамзҳои марказӣ пайвастанд, EV-марказияти баландтар мегиранд.

Ҷойгиркунии Fruchterman–Reingold натиҷаи оморӣ нест

Дар тасвирҳои шабакавӣ ҷойҳои гиреҳҳо дар экран бо алгоритми Fruchterman–Reingold муайян шудаанд. Алгоритм гиреҳҳои сахт алоқамандро аз ҷиҳати визуалӣ ба ҳам наздик мекунад ва хондани шабакаро осон месозад. Ҷойгир шудани гиреҳ дар тарафи рост, чап, боло ё поёни тасвир худ аз худ ченаки илмӣ нест; ченакҳои илмӣ робитаҳо, вазнҳои канор ва қиматҳои марказият мебошанд.

Чаро модели null-и Curveball зарур аст?

Барои арзёбӣ кардани он ки қиматҳои зичӣ ё кластерсозии ду шабака танҳо аз сабаби басомадҳои мавҷудаи рамз ба вуҷуд омадаанд ё не, моделҳои null-и ҷудогона сохта шуданд. Алгоритми Curveball ҳангоми тасодуфӣ кардани матритсаи дуии воҳиди рамзгузорӣ × рамз ду хусусияти муҳимро нигоҳ дошт: шумораи умумии рамзҳое, ки ба ҳар воҳиди рамзгузорӣ таъйин шудаанд ва басомади умумии пайдоиши ҳар рамз дар тамоми маҷмӯи додаҳо.

Барои ҳар системаи рамз 10.000 матритсаи дуии тасодуфишуда сохта шуд, аз онҳо шабакаҳои ҳампайдоии рамзҳо аз нав ташкил шуда, тақсимоти null барои зичӣ ва кластерсозии глобалӣ ба даст омад.

Шакли омӯзишии муқоисаи стандартшуда:

\[ z = \frac{T_{\mathrm{obs}}-\mu_{\mathrm{null}}} {\sigma_{\mathrm{null}}} \]

метавонад чунин фаҳмида шавад. \(T_{\mathrm{obs}}\) метрикаи мушоҳидашудаи шабака, \(\mu_{\mathrm{null}}\) миёнаи тақсимоти тасодуфии null ва \(\sigma_{\mathrm{null}}\) инҳирофи стандартии тақсимоти null мебошад. Манбаъ инчунин мегӯяд, ки p-қиматҳои дутарафаи Monte Carlo ва фосилаҳои %95 null ҳисоб карда шудаанд. Азбаски дар матни асосии натиҷаҳо ҳудудҳои ададии фосилаҳои %95 null дода нашудаанд, Verianla ин ҳудудҳоро тавлид намекунад.

Оё Шабоҳати Баланди Семантикӣ Нишон Медиҳад, Ки Ҳамон Порчаҳои Матн Рамзгузорӣ Шудаанд?

Не. Дар ин таҳқиқот гарчанде шабоҳати косинусии баъзе ҷуфтҳои рамз баланд буд, ҳампӯшонии Jaccard хеле паст монд; масалан, “Perspective shift and irritation” ва “Teaching methods” аз ҷиҳати семантикӣ тақрибан 0,78 шабоҳат нишон доданд, аммо ҳампӯшонии воҳиди рамзгузорӣ танҳо 0,10 буд.

Ин фарқият яке аз муҳимтарин натиҷаҳои таҳқиқот аст. Ном ва таърифҳои рамз метавонанд маънои консептуалии монанд дошта бошанд; аммо ду системаи рамзгузорӣ метавонанд ин мафҳумро дар бахшҳои гуногуни мусоҳиба, бо фарохии гуногун ё меъёрҳои контекстии гуногун татбиқ кунанд.

Ба гуфтаи муаллифон, яке аз сабабҳои муҳими ин ҳолат гранулярияти рамз мебошад. ChatGPT тамоюл дорад мафҳумҳои васеъро зери як рамз ҷамъ кунад, дар ҳоле ки таҳлили мундариҷаи инсонӣ ҳамон майдони консептуалиро ба зерамзҳои нозуктар ҷудо кардааст. Аз ин рӯ, танҳо як қисми порчаҳои матне, ки ба рамзи васеи ChatGPT дохил мешаванд, метавонанд ба рамзи тангтари инсонӣ, ки бо Hungarian Algorithm мувофиқ карда шудааст, дохил шаванд.

Гранулярияти рамз чӣ маъно дорад?

Гранулярият нишон медиҳад, ки системаи рамз фарқиятҳои консептуалиро то чӣ андоза нозук ё васеъ нигоҳ медорад. Масалан, системаи ChatGPT категорияи васеъеро бо номи “Spatial and developmental stereotypes” сохтааст, дар ҳоле ки таҳлили мундариҷаи инсонӣ стереотипҳои фазоиро ба рамзҳои ҷудогонаи “Continents”, “Countries” ва “Country groups” бештар тақсим кардааст.

Ҳар ду равиш метавонанд ҳамон падидаи умумиро шиносанд; аммо агар яке онро дар як қуттии васеъ ва дигаре дар се қуттии ҷудогона ҷойгир кунад, бо вуҷуди шабоҳати баланди семантикии номҳои рамз, мувофиқати як-ба-яки порчаҳо метавонад пасттар бошад.

Усул ва Натиҷаҳои Таҳқиқот

Маҷмӯи додаҳо ва омодасозии додаҳо

20 зерамзи таҳлили мундариҷаи инсонӣ

Дар Ҷадвали иловагии A1-и манбаъ рақамгузории зерамзҳои стратегия аз 3.8 бевосита ба 3.10 мегузарад; рамзи 3.9 нишон дода нашудааст. Бо вуҷуди ин, ҷадвал дар маҷмӯъ 20 зерамзро гузориш мекунад. Verianla тахмин намекунад, ки рақами гумшуда ба кадом рамз тааллуқ дорад.

Шумораи умумии пайдоиши рамзҳо дар Ҷадвали иловагии A1 106 мебошад. Ин рақам метавонад аз 86 воҳиди рамзгузорӣ бештар бошад; зеро ба як воҳиди рамзгузорӣ метавонад якчанд рамзи гуногун таъйин шавад. Барои мувофиқтар кардани муқоисаи ин мақола бо рамзгузории ChatGPT, такрори як рамз дар дохили ҳамон воҳиди рамзгузорӣ ҳадди аксар 1 ҳисоб шудааст.

Системаи ниҳоии рамзе, ки ChatGPT сохтааст

Шумораи рамзҳо дар панҷ иҷрои синтез

Панҷ синтези алоҳида шумораи якхелаи зерамз тавлид накарданд. Дар Trial 1 ва Trial 5 16, дар Trial 2 18, дар Trial 3 24 ва дар Trial 4 20 зерамз ба вуҷуд омад. Trial 4 инчунин рамзи сатҳи боло бо номи “Perception and Evaluation”-ро тавлид кард, ки танҳо дар ҳамон иҷро дида шуд. Азбаски рамз танҳо дар як синтез пайдо шуд, аз қоидаи ниҳоии интихоби 3/5 нагузашт.

Устувории рамзгузории ниҳоӣ аз иҷро ба иҷро

Баландтарин Jaccard байни иҷроҳо дар транскриптҳои 5 ва 6 0,91; пасттарин қимат дар транскрипти 11 0,66 мебошад. Қимати умумӣ 0,83 аст.

Маънои ин ҷадвал бояд махсус маҳдуд карда шавад: 0,83 маънои онро надорад, ки ChatGPT ба рамзгузории инсонӣ %83 мувофиқ аст ё %83 дуруст аст. Ин ченак танҳо ба он вобаста аст, ки ҳамон протоколи ChatGPT дар такрорҳои мустақил то чӣ андоза таъйиноти рамзи монандро анҷом додааст.

Паёми асосии харитаи гармии SBERT

Дар харитаи гармии манбаъ, дар маҷмӯъ 63 ҷуфти рамз шабоҳати косинусии 0,60 ё бештар нишон доданд. Рамзҳои ChatGPT ба монанди “Professional self-reflection”, “Didactic reduction and time pressure”, “Working with data and contextualization” ва “Perspective shift” бо рамзҳои инсонӣ шабоҳатҳои болотар аз 0,70 нишон доданд.

Баръакс, наздиктарин мувофиқатҳои рамзҳое ба монанди “Migration and religion” ва “Problem and deficit focus” дар системаи инсонӣ шабоҳати семантикии нисбатан заифтар нишон доданд.

Манбаъ қиматҳои дақиқи ададии ҳамаи ҳуҷайраҳои харитаи гармиро дар шакли ҷадвал нашр намекунад. Аз ин рӯ Verianla аз рангҳо рақамҳои тахминӣ бароварда матритсаи нави ададӣ намесозад.

Натиҷаҳои мувофиқсозии як-ба-як бо Hungarian Algorithm

Азбаски мувофиқати охирин аз ҳадди 0,60 поён буд, он ба муқоисаи минбаъдаи Jaccard-и воҳидҳои рамзгузорӣ дохил карда нашуд.

Азбаски таҳлили мундариҷаи инсонӣ нисбат ба системаи ChatGPT шаш рамзи бештар дорад, дар таъйини пурраи 14-тоии як-ба-як шаш рамзи инсонӣ бе мувофиқат монданд: Subject content, Countries, Teachers (causes), Students (causes), Causal analysis ва Student-oriented strategies.

Табиати ин шаш рамз дар тафсири таҳқиқот муҳим аст. Қисми муҳими онҳо мундариҷаи хоси ҷуғрофия, акторҳои мушаххаси синф ё фарқиятҳои нозуктари стратегия мебошанд. Муаллифон инро бо натиҷае пайваст мекунанд, ки системаи ChatGPT ҳангоми гирифтани намунаҳои васеъ ва умумисозишаванда фарқиятҳои хоси соҳа ва хоси акторро камтар муфассал кардааст.

Ҳампӯшонии воқеии воҳиди рамзгузорӣ пас аз мувофиқсозии семантикӣ

Дар панҷ ҷуфти рамз Jaccard аз 0,60 баландтар аст. Баландтарин қимат байни “Material and textbook influence” ва “Resources: Textbooks” 0,86 мебошад. Баръакс, дар се мувофиқат Jaccard сифр аст.

Матни натиҷаҳои манбаъ гурӯҳи паст-миёнаро тақрибан 0,30–0,40 тавсиф мекунад. Манбаъ инчунин барои панҷ ҷуфти боқимонда ифодаи “J<0,14”-ро истифода мебарад; аммо дар Ҷадвали 7 қимати Eurocentrism–Perspective shift дақиқ 0,14 аст. Verianla қимати ҷадвалро тағйир намедиҳад.

Дар бахши муҳокима диапазони мувофиқати баланд дар як ҷо 0,66–0,89 навишта шудааст; аммо баландтарин қимати мушоҳидашуда дар Ҷадвали 7 0,86 аст. Аз ин рӯ Verianla барои қиматҳои дақиқи миқдорӣ 0,86-и Ҷадвали 7-ро истифода мекунад.

Чаро шабоҳати семантикии 0,78 метавонад бо Jaccard-и 0,10 ҳамзамон дида шавад?

Азбаски таърифҳои консептуалии “Perspective shift and irritation” ва “Teaching methods” ба ҳам хеле наздиканд, шабоҳати косинусӣ 0,78 мебошад. Аммо системаҳои инсонӣ ва ChatGPT ин мафҳумҳоро ба ҳамон порчаҳои мусоҳиба хеле кам татбиқ кардаанд ва Jaccard танҳо 0,10 шудааст.

Баръакс, “Dialogue-based reflection and intervention” ва “Dialogue and reflection” ҳам шабоҳати семантикии баланди 0,81 ва ҳам ҳампӯшонии Jaccard-и 0,66 дар воҳидҳои рамзгузорӣ доранд. Пас, дар таҳқиқот байни наздикии семантикӣ ва ҳампӯшонии татбиқи матнӣ робитаи ҳатмии як-ба-як вуҷуд надорад.

Агар Зичии Шабака Монанд Бошад, Оё Ду Системаи Рамз Аз Ҷиҳати Сохторӣ Яксонанд?

Не. Гарчанде қиматҳои умумии зичӣ ва кластерсозии шабакаҳои инсонӣ ва ChatGPT ба ҳам наздиканд, тақсимоти марказияти вектори хос байни рамзҳо фарқ мекунад; дар системаи инсонӣ аҳамияти сохторӣ ба рамзҳои бештар паҳн мешавад, дар системаи ChatGPT бошад чанд рамзи васеъ дар марказ мутамарказ мегардад.

Ба гуфтаи муаллифон, қиматҳои зичӣ ва кластерсозии глобалии ҳар ду шабака аз моделҳои null-и худ ба таври назаррас фарқ накардаанд. Гарчанде бахши усули манбаъ мегӯяд, ки фосилаҳои %95 null низ ҳисоб карда шудаанд, дар натиҷаҳои асосӣ ҳудудҳои ададии поёнӣ ва болоии ин фосилаҳо гузориш намешаванд.

Манбаъ барои ин муқоисаи шабакавӣ ҳадди алфаи ҷудогонаеро ошкоро намегӯяд; бинобар ин Verianla ҳадди аҳамиятнокиеро, ки дар манбаъ нест, илова намекунад. Тафсири худи муаллифон бар асоси p-қиматҳои гузоришшуда ин аст, ки зичӣ ва кластерсозии глобалӣ аз интизори null боло нарафтаанд.

Марказияти вектори хос тасвири дигарро нишон медиҳад

Дар шабакаи таҳлили мундариҷаи инсонӣ рамзи аз ҳама марказӣ Subject content, EV = 1,00, рамзи дуюми аз ҳама марказӣ Continents, EV = 0,71 мебошад. Манбаъ инчунин мегӯяд, ки рамзҳои Students (causes), Resources: Textbooks ва Teaching methods низ марказияти нисбатан баланд нишон медиҳанд.

Дар шабакаи ChatGPT бошад чанд рамз бо қиматҳои Spatial and developmental stereotypes, EV = 1,00; Problem and deficit focus, EV = 0,91 ва Material and textbook influence, EV = 0,90 ба таври намоён дар марказ мутамарказ шудаанд.

Натиҷаҳои null-model чӣ маъно доранд?

Баланд будани p-қиматҳои null-model барои зичии глобалии шабака ва кластерсозӣ нишон медиҳад, ки пайвастагии глобалӣ ва кластерсозии мушоҳидашуда аз шабакаҳои тасодуфие, ки танҳо бо нигоҳ доштани басомадҳои рамз ва шумораи рамзҳо дар як воҳиди рамзгузорӣ сохта шудаанд, ба таври равшан фарқ намекунанд.

Аммо ин натиҷа маънои “ду шабака яксонанд”-ро надорад. Ҳатто агар ду рақами глобалӣ монанд бошанд, кадом рамзҳо дар марказанд, кадом мафҳумҳо бо ҳам робита месозанд ва аҳамияти сохторӣ байни рамзҳо чӣ гуна тақсим мешавад, метавонад фарқ кунад. Натиҷаи EV-марказияти таҳқиқот маҳз ҳамин фарқи сохтории маҳаллиро нишон медиҳад.

Арзёбии сифатӣ: таркиби сохторӣ

Системаи сохтаи ChatGPT шакли ҷадвали талабшуда ва се соҳаи асосии консептуалиро то андозаи зиёд нигоҳ дошт. Дар 11 аз 13 мувофиқати семантикӣ рамзҳо дар ҳамон сатҳи умумии мавзӯи асосӣ мувофиқ шуданд: намунаҳои стереотип ба соҳаи manifestations-и ChatGPT, сабабҳо ба conditions of emergence ва стратегияҳо ба pedagogical strategies мувофиқ омаданд.

Ду мувофиқат аз сатҳи мавзӯи асосӣ гузаштанд: Migration and religion бо Sociocultural influences; Eurocentrism бо Perspective shift. Муаллифон мегӯянд, ки ин метавонад таъсири эҳтимолии маҳдудияти мувофиқсозии як-ба-яки Hungarian Algorithm бошад. Зеро алгоритм ҳангоми максималӣ кардани шабоҳати умумӣ ба ҳар рамз танҳо як мувофиқат иҷозат медиҳад; мумкин аст шарикони табиитарини баъзе рамзҳо аллакай ба мувофиқатҳои дигар дода шуда бошанд.

Арзёбии сифатӣ: гранулярият ва хосияти соҳавӣ

Таҳлили мундариҷаи инсонӣ нисбат ба ChatGPT шаш зеркатегорияи бештар тавлид кардааст. Махсусан набудани ҳамтои рамзи Subject content-и системаи инсонӣ дар системаи ChatGPT диққатҷалбкунанда аст; зеро Subject content ҳам яке аз рамзҳои серистифодаи шабакаи инсонӣ ва ҳам бо EV = 1,00 марказитарин гиреҳ мебошад.

Системаи инсонӣ фарқиятҳои фазоии нозуктар, ба монанди Continents, Countries ва Country groups-ро ҷудо мекунад, дар ҳоле ки ChatGPT онҳоро зери категорияи васеътари Spatial and developmental stereotypes муттаҳид кардааст.

Ба арзёбии муаллифон, ChatGPT метавонад намунаҳои умумии сахт такроршавандаро бигирад; аммо дар ин маҷмӯи додаҳо фарқиятҳои хоси таълими ҷуғрофия камтар намоён намояндагӣ шудаанд.

Арзёбии сифатӣ: акторҳо дар шарҳи сабабҳо

Дар таҳлили мундариҷаи инсонӣ сабабҳои стереотипсозӣ ба сатҳҳои гуногуни акторӣ ва сохторӣ, аз ҷумла омӯзгорон, хонандагон, заминаи иҷтимоӣ, сохтори мавзӯи дарс, китобҳои дарсӣ ва сиёсати таълимӣ ҷудо шудаанд.

Дар системаи ChatGPT бошад сабабҳо бештар ба шароити сохторӣ тамаркуз кардаанд; акторҳои асосии синф, ба монанди омӯзгор ва хонанда, ҳамчун категорияҳои алоҳидаи сабаб ба андозаи системаи инсонӣ равшан намояндагӣ нашудаанд.

Хусусан Students (causes) дар шабакаи инсонӣ рамзи аз ҷиҳати сохторӣ муҳим аст; дар ChatGPT ҷанбаи хонанда асосан дар дохили Knowledge deficits as a breeding ground ба шакли маҳдудтар дида мешавад. Аз ин рӯ таҳқиқот бар он аст, ки таҳлили инсонӣ барои саволи мазкур сохтори актории бештар фарқгузорро пешниҳод мекунад.

Намунаи сатҳи болотар, ки дар ҳар ду система муштарак аст

Дар ҳар ду шабака рамзҳои вобаста ба намунаҳо ва сабабҳои стереотипсозӣ тамоюл доранд дар мавқеъҳои марказитар бошанд. Рамзҳои стратегияҳои педагогӣ бошанд, умуман марказияти пасттар ва робитаҳои камтар нишон медиҳанд.

Ин натиҷа нишон медиҳад, ки ҳар ду равиши таҳлил дар маҷмӯи додаҳо саволҳои “падида чист ва чаро ба вуҷуд меояд?”-ро аз саволи “чӣ гуна мудохила мешавад?” аз ҷиҳати сохторӣ марказитар намояндагӣ мекунанд. Ин тафсири муаллифони манбаъ аз сохтори шабака аст; далели механизми сабабӣ нест.

Натиҷаҳое, ки таҳқиқот дастгирӣ мекунад

• Дар шароити prompt-гузории сохторёфта ва итеративӣ, ChatGPT тавонист системаи рамзгузории нисбатан устувор байни такрорҳо тавлид кунад.
• Дар панҷ иҷрои мустақили рамзгузорӣ Jaccard-и умумии run-to-run 0,83 мебошад.
• Байни системаҳои рамзи ChatGPT ва инсонӣ бисёр шабоҳатҳои семантикии миёна то баланд пайдо шуданд.
• 13 мувофиқати рамзи як-ба-як болотар аз ҳадди 0,60 ба муқоисаи минбаъда дохил шуданд.
• Кафолат дода намешавад, ки рамзҳои аз ҷиҳати семантикӣ монанд ҳамон порчаҳои матнро рамзгузорӣ мекунанд; Jaccard-и глобалӣ 0,39 мебошад.
• Системаи ChatGPT ба категорияҳои васеътари рамз майл дошт, дар ҳоле ки таҳлили мундариҷаи инсонӣ фарқиятҳои нозуктар ва хоси соҳавӣ тавлид кард.
• Гарчанде зичӣ ва кластерсозии глобалии ду шабака монанд менамоянд, тақсимоти марказият фарқ мекунад.
• Дар ин маҷмӯи додаҳо аҳамияти сохтории шабакаи ChatGPT дар шумораи камтари рамзҳои бартаридошта мутамарказ шудааст.
• Дар таҳлили мундариҷаи инсонӣ мафҳумҳои хоси ҷуғрофия ва хоси актор намоёнтаранд.
• Таҳқиқот бозбинии интиқодии инсонии баромадҳои LLM-ро зарур мешуморад.

Натиҷаҳое, ки таҳқиқот дастгирӣ намекунад

• Наметавон хулоса кард, ки ChatGPT дар ҳамаи таҳқиқоти сифатӣ бо рамзгузории инсонӣ баробар аст.
• Jaccard 0,83 нисбат ба рамзгузории инсонӣ %83 дақиқиро маъно надорад.
• Шабоҳати баланди косинусӣ исбот намекунад, ки ҳамон порчаҳои матн рамзгузорӣ шудаанд.
• Наздик будани зичии глобалии шабака нишон намедиҳад, ки сохтори консептуалии ду системаи рамз яксон аст.
• Таҳлили мундариҷаи инсонӣ дар ин таҳқиқот ҳамчун “ground truth”-и объективӣ ва ягонаи имконпазир муайян нашудааст.
• Натиҷаҳои аз 11 мусоҳиба гирифташударо ба ҳамаи фанҳо, ҳамаи LLM-ҳо ё ҳамаи навъҳои додаҳои сифатӣ умумӣ кардан мумкин нест.
• Натиҷаҳо истифодаи умумӣ ва бесохтори ChatGPT-ро не, балки протоколи муфассал ва итеративии prompt-и таҳқиқотро намояндагӣ мекунанд.
• Таҳқиқот шарҳ намедиҳад, ки LLM категорияҳои рамзро дар дохил тавассути кадом механизми маърифатӣ ё алгоритмӣ месозад.

Мушкили “қуттии сиёҳ”-и LLM

Дар таҳлили сифатии инсонӣ муҳаққиқ метавонад қадам ба қадам ҳуҷҷатгузорӣ кунад, ки кадом воҳидҳои рамзгузориро муқоиса кардааст, чаро як рамзро тақсим кардааст ё ду рамзро бо кадом асоси консептуалӣ муттаҳид кардааст. Дар коркарди дохилии LLM бошад мустақиман мушоҳида кардан мумкин нест, ки категорияҳои васеъ тавассути абстраксияи консептуалии итеративӣ мисли таҳлили инсонӣ сохта мешаванд ё тавассути механизми дигари шинохти намунаҳои оморӣ.

Аз ин рӯ таҳқиқот наметавонад пурра шарҳ диҳад, ки чаро бо вуҷуди наздикии семантикии ду система баъзе воҳидҳои рамзгузорӣ хеле гуногун интихоб шудаанд. Гранулярияти рамз метавонад як қисми инро шарҳ диҳад; аммо муаллифон мегӯянд, ки он тамоми фарқиятро шарҳ намедиҳад.

Ҳассосияти prompt

Баромади LLM ба сохтори prompt-и истифодашуда ҳассос аст. Дар ин таҳқиқот prompt-ҳо бо унсурҳое ба монанди таърифи нақш, дастур, контекст, такрор, синтез ва самтдиҳӣ ба саволҳои таҳқиқотӣ ба таври итеративӣ такмил дода шуданд.

Аз ин рӯ тафсири натиҷаҳо ҳамчун “рафтори табиӣ ва тағйирнопазири рамзгузории ChatGPT” дуруст нест. Сохторҳои гуногуни prompt метавонанд системаҳои дигари рамзро ба вуҷуд оранд. Таҳқиқот инро ҳамчун самти кушода барои таҳқиқоти оянда мегузорад.

Маҳдудиятҳои асосӣ

Маҷмӯи додаҳои хурд ва хоси мавзӯъ: Таҳқиқот танҳо ба 11 мусоҳиба ва як мавзӯи ягонаи аз ҷиҳати тафсир ҳассос — стереотипсозӣ дар дарси ҷуғрофия — асос ёфтааст. Маълум нест, ки оё дар маҷмӯи додаҳои калонтар ва соҳаҳои гуногун ҳамон намунаҳо пайдо мешаванд ё не.

Ҳассосияти prompt: Бо вуҷуди истифодаи муҳандисии муфассал ва такрории prompt, prompt-ҳои алтернативӣ метавонанд сохторҳои категориявии гуногун тавлид кунанд.

Вобастагӣ аз усули мувофиқсозӣ: Hungarian Algorithm мувофиқсозии як-ба-яки бозтавлидшавандаро таъмин мекунад; аммо усулҳои дигари мувофиқсозӣ метавонанд ҷуфтҳои дигари рамзро муқобили ҳам гузоранд ва натиҷаҳои муқоисаро то андозае тағйир диҳанд.

Табиати тафсирии таҳлили сифатӣ: Аз ҳамон мавод метавонад зиёда аз як системаи рамзи аз ҷиҳати илмӣ ҳимояшаванда ба вуҷуд ояд. Аз ин рӯ фарқи байни системаи инсонӣ ва системаи ChatGPT-ро танҳо ҳамчун “хатои ChatGPT” хондан мумкин нест.

Набудани имкони мушоҳидаи раванди дохилии LLM: Таҳқиқот раванди синтези категорияҳои моделро аз дохил пайгирӣ карда наметавонад. Пурра шарҳ дода намешавад, ки рамзҳо тавассути кадом занҷири қарорҳои мобайнӣ васеъ ё танг мешаванд.

Контексти хоси соҳа: Дар ин маҷмӯи додаҳо системаи инсонӣ рамзҳои нозуктареро тавлид кардааст, ки бевосита бо таълими ҷуғрофия алоқаманданд. Дар таҳқиқот санҷида нашудааст, ки оё ин дар ҳамаи соҳаҳо ҳамин тавр рух медиҳад.

Ёддошт оид ба Манбаъ ва Усул

Унвони аслӣ: Evaluation of Inductive Coding with LLMs

Муаллифон: Leoni Dörfel, Rieke Ammoneit.

Тартиби муаллифон: Тартиби манбаъ айнан нигоҳ дошта шудааст.

Саҳми баробар: Дар манбаъ изҳороти ҳаммуаллифи якум ё саҳми баробар вуҷуд надорад.

Муаллифи масъул: Leoni Dörfel.

Муассиса: Department for Mathematics and Science Education, Institute for Geography Education, University of Cologne, Gronewaldstraße 2, 50931 Cologne, Germany.

Маҷалла: Education Sciences.

Ношир: MDPI.

Ҷилд / шумора / рақами мақола: 16(8), 1314.

DOI: 10.3390/educsci16081314.

Пайванди расмии DOI: https://doi.org/10.3390/educsci16081314

Ирсол: 14 июли 2026.

Бозбинӣ: 7 августи 2026.

Қабул: 13 августи 2026.

Нашр: 17 августи 2026.

Навъи манбаъ: Мақолаи таҳқиқотии ҳамсолбаррасишуда. Аз ҷиҳати методологӣ арзёбии методологии омехтаусул аст, ки таҳлили сифатии мундариҷа, рамзгузории индуктивии дастгиришаванда бо LLM, таҳлили семантикии бар асоси NLP, таҳлили ҳампӯшонии воҳиди рамзгузорӣ, таҳлили шабакавӣ ва муқоисаи сифатиро муттаҳид мекунад.

Иҷозатнома: Creative Commons Attribution (CC BY).

Маблағгузорӣ: Таҳқиқот маблағгузории беруна нагирифтааст.

Изҳороти ахлоқи институтсионалӣ: Таҳқиқот транскриптҳои мусоҳибаҳои қаблан ҷамъоваришуда ва пурра беномшударо дубора таҳлил мекунад. Манбаъ мегӯяд, ки дар таҳлили ҷорӣ маълумоти муайянкунандаи шахс вуҷуд надорад ва бозшиносоӣ имконнопазир аст.

Ризоияти огоҳона: Аз ҳамаи иштирокчиёни мусоҳибаҳои аввалия ризоияти огоҳона гирифта шудааст.

Дастрасии додаҳо: Додаҳо, скриптҳои R ва додаҳои хоми таҳлилҳо дар Zenodo нашр шудаанд. DOI-и додаҳо: 10.5281/zenodo.21108082.

Изҳороти истифодаи зеҳни сунъӣ: Муаллифон ҳангоми таҳқиқот барои тавлиди баромадҳои рамзгузории сифатӣ аз версияи ChatGPT истифода кардаанд, ки дар манбаъ ҳамчун “GPT-5.2, 11 December 2025 snapshot” нишон дода шудааст. Гуфта мешавад, ки баромадҳои зеҳни сунъӣ аз ҷониби муҳаққиқон ба таври интиқодӣ баррасӣ, санҷида ва тафсир шудаанд; масъулияти мундариҷаи нашр ба дӯши муаллифон аст.

Бархӯрди манфиатҳо: Муаллифон бархӯрди манфиатҳоро гузориш накардаанд.

Саҳмҳои муаллифон: Консептуализатсия Leoni Dörfel ва Rieke Ammoneit; усул Leoni Dörfel ва Rieke Ammoneit; нармафзор Leoni Dörfel; тасдиқ Leoni Dörfel; таҳлили формалӣ Leoni Dörfel; куратсияи додаҳо Leoni Dörfel; тарҳи аввал Leoni Dörfel; визуализатсия Leoni Dörfel; роҳбарӣ Rieke Ammoneit; идоракунии лоиҳа Leoni Dörfel.

Воситаҳои асосии техникии истифодашуда: noScribe 0.4.1, MAXQDA Analytics Pro 24.4.0, ChatGPT-5.2 бо snapshot-и 11 декабри 2025, ки дар манбаъ нишон дода шудааст, SBERT paraphrase-multilingual-MiniLM-L12-v2, Hungarian Algorithm, Jaccard Index, R, igraph, модели null-и vegan Curveball ва ggplot2.

Номувофиқии дохилии манбаъ 1: Дар Ҷадвали 7 баландтарин қимати Jaccard-и ҷуфти рамз 0,86 аст; аммо дар бахши муҳокима ҳадди болоии диапазони ҳампӯшонии баланд 0,89 навишта шудааст. Verianla ҷадвалро ҳамчун қимати дақиқ нигоҳ медорад.

Номувофиқии дохилии манбаъ 2: Матни натиҷаҳо панҷ ҷуфти боқимондаи дорои ҳампӯшонии пастро ҳамчун J<0,14 тавсиф мекунад, дар ҳоле ки дар Ҷадвали 7 ҷуфти Eurocentrism–Perspective shift дақиқ 0,14 мебошад.

Номувофиқии дохилии манбаъ 3: Ҷадвали иловагии A1 рамзҳои стратегияро аз 3.8 ба 3.10 мегузаронад; рамзи 3.9 нишон дода намешавад. Verianla мундариҷаи рақами гумшударо тахмин намекунад.

Фарқи номгузорӣ дар дохили манбаъ: Яке аз рамзҳои инсонӣ дар Ҷадвали 6 ҳамчун “Evidence-based learning”, дар Ҷадвали 7 ва Ҷадвали иловагии A1 ҳамчун “Evidence-based working” дида мешавад. Ҳамчунин рамзи ChatGPT-и “Didactic reduction and time pressure” дар Ҷадвали 7 ҳамчун “Complexity reduction and time pressure” навишта шудааст. Ин фарқиятҳо ҳамчун рамзҳои нав тафсир нашудаанд.

Ҳадди манбаъ вобаста ба ифодаи саволи таҳқиқотӣ: Додаҳои аслии мусоҳиба дар бахши усул дар атрофи ду саволи таҳқиқотии мундариҷавӣ ташкил шудаанд. Баъзе ҷумлаҳои натиҷа/хулосаи манбаъ мегӯянд, ки се рамзи асосии ChatGPT бо “RQ1–3” алоқаманданд; аммо се RQ-и методологии мақола на соҳаҳои мундариҷаи рамзҳо, балки муқоисаи ду системаи рамзгузориро мепурсанд. Verianla ин ифодаро ба шакле васеъ намекунад, ки гӯё се саволи ҷудогонаи аслии мусоҳиба вуҷуд дошта бошанд.

Ҳадди асосии тафсир: Натиҷаҳои таҳқиқот дар шароити маҷмӯи муайяни додаҳои мусоҳиба, snapshot-и муайяни ChatGPT, протоколи муайяни prompt ва усулҳои муайяни муқоиса ба даст омадаанд. Натиҷаҳо ченаки умумии самаранокии ҳамаи LLM-ҳо ё ҳамаи контекстҳои таҳқиқоти сифатӣ нестанд.