RSR (Real2Sim2Real) — чаҳорчӯбаи думарҳилавии омӯзиши тақвиятӣ мебошад, ки аз ҳаракатҳои ченшудаи буғумҳои роботи воқеии бо пай гардондашаванда истифода бурда, рафтори динамикиро дар симулятсия ба роботи воқеӣ наздик мекунад ва сипас сиёсати локомотсияро дар ҳамин симулятсияи ислоҳшуда омӯзиш медиҳад. Ҳадафи таҳқиқот кам кардани фосилаи динамикии sim-to-real байни модели симулятсионии идеалии гардонандаи мустақим ва роботи физикии бо пай гардондашаванда мебошад, ки аз чандирии пай, соиш, сустӣ, пайвастагии бисёрбуғумӣ ва таъхири интиқол ба вуҷуд меояд.

Дар марҳилаи аввал аз роботи воқеӣ маълумоти мавқеи ҳадафии буғум, мавқеи воқеии буғум ва суръати буғум ҷамъоварӣ мешавад. Ин маълумот ба симулятсия интиқол дода шуда, бо омӯзиши тақвиятӣ сиёсати ислоҳи моменти гардиш омӯзонида мешавад. Ба ҷойи муайян кардани ҳамаи параметрҳои физикии пай як ба як, муҳаққиқон рафторҳои бо вақт тағйирёбандаро, ки моделсозии онҳо душвор аст, ҳамчун каҷравӣ аз модели идеалии симулятсия қабул мекунанд ва ин каҷравиро бо зарбкунандаи омӯхташудаи моменти гардиш бо номи \(c_t\) ислоҳ мекунанд.

Дар марҳилаи дуюм сиёсати роҳравӣ омӯзонида мешавад. Усул танҳо ба намояндагии пинҳонии latent такя намекунад. Суръати хаттии танаи робот ва баландии маҳаллии сатҳро зери пойҳо ба таври ошкор баҳогузорӣ мекунад; ҳамзамон аз мушоҳидаҳои қаблии проприосептивӣ хусусиятҳои пинҳонӣ-и вобаста ба вазифаро меомӯзад, ки ҳамтои мустақими физикӣ надоранд. Ҳамин тавр, маълумоти ошкори ҳолати физикӣ бо хусусиятҳои тамосӣ ва динамикие, ки моделсозии онҳо душвор аст, дар як сиёсат якҷо карда мешавад.

Дар симулятсия IWM, EIWM ва RSR муқоиса шудаанд. Мукофоти миёнаи IWM 23,33, EIWM 35,67 ва RSR 35,83 гузориш шудааст. Сатҳҳои миёнаи душвории сатҳ мутаносибан 3,68, 4,58 ва 4,56; мукофотҳои пайгирии суръати хаттӣ бошанд 0,82, 0,95 ва 0,97 мебошанд. Ин натиҷаҳо нишон медиҳанд, ки намояндагии explicit–implicit нисбат ба танҳо намояндагии пинҳонӣ самаранокии омӯзишро беҳтар мекунад ва ислоҳи моменти RS самаранокии сиёсатро дар симулятсия ба таври намоён бад намекунад.

Озмоишҳои роботи физикӣ дар роботи дуқадами X02 бо гардонандаи пай, ки тақрибан 1,70 m қад ва 32 kg вазн дорад, анҷом дода шуданд. Танҳо 10 дараҷаи озодии қисми поёнии тана идора шуда, сиёсат дар RK3588 бо басомади 100 Hz иҷро шудааст. Дар фармони суръати пешравии 2,5 m/s суръати миёнаи воқеии RSR 2,41 m/s буд, дар ҳоле ки EIWM ба 1,84 m/s расид. Манбаъ гузориш медиҳад, ки омӯзиши explicit–implicit хатои пайгирии суръатро нисбат ба равиши танҳо пинҳонии IWM %15,9 кам кардааст; бо илова шудани марҳилаи ислоҳи моменти RSR хато нисбат ба EIWM боз %86,4 кам шудааст.

Робот инчунин дар зинапояи чорзинагии пайдарпай бо баландии 12 cm, монеаҳои ҷудогонаи 20 cm, зинапояи дуқадамии 10 cm, асфалт ва алафи мулоими нишеб санҷида шудааст. Дар таҳқиқот барои ин сенарияҳо ҳаракати устувор гузориш шудааст. Махсусан алафи мулоим шароити тамосиест, ки дар муҳити омӯзиши симулятсионӣ вуҷуд надошт.

Маҳдудияти муҳими ин натиҷаҳо он аст, ки озмоишҳо танҳо барои як платформаи X02 ва шароити омӯзиш/озмоиши дар таҳқиқот муайяншуда анҷом дода шудаанд. Таҳқиқот нишон намедиҳад, ки дар ҳамаи роботҳои бо пай гардондашаванда ҳамон самаранокӣ кафолат дода мешавад. Равиши мавҷуда муҳити беруниро мустақиман бо камера дарк намекунад; муҳаққиқон ният доранд барои сатҳҳои мураккабтар маълумоти визуалиро дар корҳои оянда ба система илова кунанд.

1. Роботи бо пай гардондашаванда чӣ маъно дорад?

Дар роботи бо пай гардондашаванда мотор ҳатман набояд мустақиман рӯи буғуме ҷойгир бошад, ки бояд ҳаракат дода шавад. Мотор метавонад дар нуқтаи проксималии тана ҷойгир карда шавад ва қувваи мотор тавассути унсури интиқолии чандир, ба мисли кабел ё пай, ба зону, тағоям ё буғуми дигар гузаронда шавад.

Ин равиш аз принсипе истифода мекунад, ки ба сохтори биологии мушак–пай монанд аст. Дур кардани моторҳои вазнин аз буғумҳои дисталӣ метавонад инерсия ва массаи пойҳоро кам кунад. Дар иваз, масъалаи идоракунӣ мураккабтар мешавад, зеро байни ҳаракати мотор ва ҷавоби воқеии буғум рафтори физикии пай қарор мегирад.

2. Чаро пай байни симулятсия ва роботи воқеӣ фосила эҷод мекунад?

Манбаъ ба панҷ мушкилоти асосии физикӣ диққат медиҳад. Аз сабаби чандирии меҳварии пай, ҷавоби буғум метавонад фармони моторро бо таъхир ё ба шакли ларзишӣ пайгирӣ кунад. Соиш байни пай ва шкив ва демпфиркунии дохилии нахҳои пай метавонад боиси талафи энергия ва рафтори ғайрихаттӣ шавад. Истифодаи дарозмуддат метавонад пайро дароз ё суст карда, backlash ба вуҷуд орад. Аз сабаби роҳҳои дисталии пай ҳаракати як буғум метавонад ба кашиши пайи буғуми дигар таъсир расонад. Ниҳоят, чандирии пай ва тақсимоти масса паҳнои банди интиқоли қувваро маҳдуд карда, сигналҳои идоракунии басомади баландро суст карда метавонанд.

Дар симулятсияҳои маъмул ба мисли MuJoCo ё Isaac Gym гузоштани мотори идеалӣ дар ҳар буғум аз ҷиҳати ҳисоббарорӣ осонтар аст. Аммо чунин модели идеалӣ рафтори воқеии бо вақт тағйирёбандаи пайро ба таври табиӣ тавлид намекунад. Асоси он чизе, ки таҳқиқот “фосилаи динамикии проприосептивӣ” меномад, ҳамин аст.

3. Проприосепсия чист?

Дар заминаи робототехника мушоҳидаи проприосептивӣ маълумоти ҳолати дохилиест, ки робот аз тана ва буғумҳои худ чен мекунад. Дар ин таҳқиқот мавқеи буғум, суръати буғум, ориентацияи тана ва суръати кунҷӣ ҳамчун маълумоти проприосептивӣ истифода мешаванд.

Камера ё харитаи муҳити беруна маълумоти проприосептивӣ нест. Ҷанбаи махсусан муҳими таҳқиқот он аст, ки сиёсати роботи воқеӣ бидуни ниёзи мустақим ба харитаи имтиёзноки сатҳ, ки аз берун дода мешавад, аз мушоҳидаҳои қаблии проприосептивӣ истифода мекунад.

Real2Sim2Real дар ин таҳқиқот чӣ маъно дорад?

Real2Sim2Real маънои онро дорад, ки аввал бо маълумоти ҳаракатии аз роботи воқеӣ ҷамъшуда симулятсия ба динамикаи робот наздик карда мешавад, сипас сиёсати локомотсия дар ҳамин симулятсияи ислоҳшуда омӯзонида ва боз ба роботи физикӣ интиқол дода мешавад; яъне ҷараёни маълумот танҳо Sim→Real нест, балки Real→Sim→Real мебошад.

4. Ду марҳилаи RSR

5. Меъмории асимметрии actor–critic чист?

Дар омӯзиши тақвиятӣ actor сиёсатест, ки аз рӯи маълумоти мавҷуда муайян мекунад кадом амал иҷро шавад. Critic бошад арзиши дарозмуддати интизоршавандаи ҳолат ё амалро баҳогузорӣ карда, ба омӯзиши actor кумак мекунад.

Истилоҳи “асимметрӣ” маънои онро дорад, ки actor ва critic ба як маълумот дастрасӣ надоранд. Ҳангоми омӯзиш critic метавонад ба маълумоти иловагӣ, ки дар ҷаҳони воқеӣ мустақиман чен кардани он душвор аст, дастрасӣ дошта бошад. Инро privileged information, яъне маълумоти имтиёзноки омӯзишӣ меноманд. Actor бошад тавре омӯзонида мешавад, ки бо маълумоти сенсорӣ, ки ба роботи воқеӣ интиқол додан мумкин аст, кор кунад.

Ин фарқ муҳим аст. Ҳангоми омӯзиш арзиши воқеии харитаи сатҳ маълум буда, ба encoder ҳадафи дуруст омӯзонида мешавад; аммо ҳангоми роҳ рафтани роботи физикӣ ин арзиши воқеӣ мустақиман ба вуруди сиёсат дода намешавад.

6. Мушоҳидаи Stage I — Муодилаи (1)

Мушоҳидаи лаҳзавӣ дар марҳилаи RS дар манбаъ чунин муайян шудааст:

\[ o_t^{rs}= \begin{bmatrix} q_t^{rs} & \dot{q}_t^{rs} \end{bmatrix}^{T} \tag{1} \]

\(q_t^{rs}\) мавқеъҳои буғум ва \(\dot{q}_t^{rs}\) суръатҳои буғумро нишон медиҳад. Воҳиди мавқеъ радиан ва воҳиди суръати кунҷӣ rad/s мебошад.

Ба encoder танҳо як лаҳзаи вақт дода намешавад. Пайдарпаии таърихии мавқеъ ва суръати буғум аз чор қадами вақт, \(o_{H1}^{rs}\), истифода мешавад. Азбаски қисми поёнии тана 10 дараҷаи озодӣ дорад, дар як қадами вақт 10 мавқеъ + 10 суръат мавҷуд аст; таърихи чорқадамӣ дар манбаъ ҳамчун вектори 80-андоза муайян шудааст.

7. Ҳолати critic дар Stage I — Муодилаи (2)

\[ s_t^{rs}= \begin{bmatrix} o_t^{rs} & d_t^{rs} & m_t^{rs} \end{bmatrix}^{T} \tag{2} \]

Дар ин ҷо \(d_t^{rs}\) демпфиркунии буғум ва \(m_t^{rs}\) инерсияи гардиши моторро нишон медиҳад. Инҳо маълумоти динамикии имтиёзнок барои critic мебошанд.

Actor шарт нест, ки онҳоро мустақиман дар роботи воқеӣ чен кунад. Истифодаи маълумоти пурратар аз ҷониби critic барои он пешбинӣ шудааст, ки функсияи арзиш ҳангоми омӯзиш бо номуайянии камтар омӯхта шавад.

8. Функсияи талафоти PPO — Муодилаи (3)

Сиёсат бо Proximal Policy Optimization, яъне PPO нав карда шудааст:

\[ \mathcal{L}_{\pi}= \min\left( \frac{\pi_{\theta}(a_t|s_t)} {\pi_{\theta_b}(a_t|s_t)} A^{\pi_{\theta_b}}(s_t,a_t), \operatorname{clip} \left( \frac{\pi_{\theta}(a_t|s_t)} {\pi_{\theta_b}(a_t|s_t)}, 1-\epsilon, 1+\epsilon \right) A^{\pi_{\theta_b}}(s_t,a_t) \right) \tag{3} \]

\(\pi_{\theta}\) сиёсати нави навшаванда ва \(\pi_{\theta_b}\) сиёсати рафтории итератсияи қаблӣ мебошад. Таносуби эҳтимолиятҳое, ки ду сиёсат ба як амал медиҳанд, нишон медиҳад сиёсати нав аз сиёсати кӯҳна чӣ қадар дур шудааст. \(A^{\pi_{\theta_b}}(s_t,a_t)\) функсияи advantage мебошад ва арзёбӣ мекунад, ки амали муайян нисбат ба интизориҳои сиёсати кӯҳна то чӣ андоза беҳтар ё бад аст.

\(\epsilon\) ҳади clipping мебошад. Дар таҳқиқот clipping range 0,2 аст. Бо маҳдуд кардани таносуб ба байни \(1-\epsilon\) ва \(1+\epsilon\), кӯшиш мешавад, ки сиёсат дар як навсозӣ аз ҳад зиёд тағйир наёбад.

9. Талафоти арзиши critic — Муодилаи (4)

\[ \mathcal{L}_{v}= \left( V_{\phi}(s_t)-\hat{R}_t \right)^2 \tag{4} \]

\(V_{\phi}(s_t)\) арзишест, ки critic барои ҳолат пешгӯӣ мекунад. \(\hat{R}_t\) бозгашти ҳадафии мушоҳидашуда ё ҳисобшуда мебошад. Бо хурд шудани квадрати фарқи байни ин ду арзиш, мақсад дақиқтар пешгӯӣ кардани бозгашти интизоршаванда аз ҷониби critic аст.

10. Маълумоти роботи воқеӣ чӣ гуна сохта шуд?

Ҳангоми ҷамъоварии маълумоти воқеӣ баландии танаи робот собит нигоҳ дошта шуда, траекторияи пой бо функсияи синусӣ ангехта шудааст. Мавқеъҳои дилхоҳи пой бо истифода аз кинематикаи баръакс ба ҳадафҳои буғум табдил дода шуданд.

Амплитудаи синус аз 5–20 cm ва басомад аз 1–25 Hz ба таври системавӣ тағйир дода шуд. Бо ин роҳ ҳадаф ин буд, ки системаи пай на танҳо дар як шароити ҳаракати суст, балки дар миқёсҳои гуногуни вақт ва басомад ангехта шавад.

Дар идоракунии мавқеъ контроллери PD бо сахтии паст истифода шуд. Барои тағоям \(k_p=30\) ва \(k_d=1\); барои дигар буғумҳо \(k_p=100\) ва \(k_d=2\) дода шудаанд.

Маълумоти асосии сабтшуда мавқеъҳои ҳадафии буғум, мавқеъҳои воқеии буғум ва суръатҳои буғум мебошанд. Дар омӯзиши RS аз ин маълумот пайдарпаии тасодуфии 1-сониягӣ гирифта шуда, қадами аввали вақт ҳамчун ҳолати ибтидоии роботи симулятсионӣ истифода шудааст.

11. Stage I domain randomization

\(U(a,b)\) тақсимоти uniform байни ҳадди поёнӣ ва болоии муайяншударо ифода мекунад. Сабаби махсусан қавӣ будани ғавғои ±2 rad/s барои суръати буғум ин аст, ки дар роботи воқеӣ суръат аксаран аз ҳосилаи ададии сигнали мавқеъ гирифта мешавад ва амали ҳосила метавонад ғавғои сенсорро зиёд кунад.

12. Идоракунии ислоҳи моменти гардиш — Муодилаи (5)

\[ \tau = c_t\cdot \left[ k_p \left( q_{tar}^{rs}-q^{rs} \right) - k_d\dot{q}^{rs} \right] \tag{5} \]

\(\tau\) моменти ба буғум татбиқшавандаро, \(q_{tar}^{rs}\) мавқеи ҳадафии буғум, \(q^{rs}\) мавқеи ҷории буғум ва \(\dot q^{rs}\) суръати буғумро нишон медиҳад. \(k_p\) коэффисиенти PD вобаста ба хатои мавқеъ ва \(k_d\) вобаста ба суръат аст.

Навоварии калидӣ дар муодила \(c_t\) мебошад. Ин коэффисиенти ислоҳи моменти гардиш аст, ки сиёсати RL тавлид мекунад. Яъне шабака ба ҷойи тавлиди момент аз сифр, моменти мавҷудаи PD-ро бо коэффисиенти бо вақт тағйирёбанда миқёс мекунад.

\(c_t\) дар манбаъ ба фосилаи [0,8, 1,2] clamp шудааст. Ҳамин тавр, сиёсат метавонад моменти PD-ро ҳадди аксар тақрибан %20 кам ё зиёд кунад. Ин маҳдудият барои пешгирии он аст, ки ҳангоми баромадан аз тақсимоти омӯзиш ислоҳҳои аз ҳад зиёд аз ҷиҳати физикӣ хатарнок ё ноустувор шаванд.

13. Мукофоти RS — Муодилаи (6)

\[ r= \exp \left( -100 \left\| q_{real}-q_{sim} \right\|^2 \right) - 0.01 \left\| c_t-c_{t-1} \right\|^2 \tag{6} \]

Ҳади аввал наздик шудани мавқеъҳои буғум дар симулятсия ба мавқеъҳои буғуми роботи воқеиро мукофот медиҳад. \(q_{real}\) мавқеи сабтшуда аз роботи воқеӣ ва \(q_{sim}\) мавқеъ дар симулятсия мебошад. Бо зиёд шудани хато, ҳади экспоненсиалӣ зуд хурд мешавад.

Ҳади дуюм тағйироти босуръати коэффисиентҳои пайдарпайи ислоҳи моменти гардишро ҷазо медиҳад. Ҳамин тавр, ҳадаф танҳо пайгирии ҳаракати воқеӣ нест, балки иҷрои он бо модулятсияи ҳамвортари момент ба ҷойи ислоҳҳои ногаҳонӣ ва бетартиб мебошад.

14. Гиперпараметрҳои омӯзиши Stage I

Чаро омӯзиши Explicit–implicit якҷо истифода мешавад?

Қисми explicit тағйирёбандаҳои дорои маънои равшани физикӣ, аз ҷумла суръати хаттии тана ва баландии маҳаллии сатҳ зери пойро мустақиман баҳогузорӣ мекунад, дар ҳоле ки қисми implicit намунаҳои таърихиро, ки ба як тағйирёбандаи физикӣ кам кардан душвор аст, вале барои идоракунӣ муфиданд, ба мисли номуайянии тамос ё динамикаи моделнашуда, дар намояндагии latent нигоҳ медорад; таҳқиқот нишон медиҳад, ки истифодаи якҷояи ин ду навъи маълумот нисбат ба равиши танҳо implicit IWM омӯзиши тезтар ва муваффақтар медиҳад.

15. Мушоҳидаи робот дар марҳилаи дуюм — Муодилаи (7)

\[ o_t= \begin{bmatrix} cmd & q_t & \dot q_t & \Phi & \omega \end{bmatrix}^{T} \tag{7} \]

\(cmd\) фармонҳои ҳаракати дилхоҳ ва маълумоти gait phase-ро дар бар мегирад. \(q_t\) мавқеи буғум, \(\dot q_t\) суръати буғум, \(\Phi\) ҳолат/ориентацияи тана ва \(\omega\) суръати кунҷии тана мебошад.

Мавқеъ ва суръати буғумро аз encoderҳо; ҳолат ва суръати кунҷиро аз IMU гирифтан мумкин аст. Фармон аз модули идоракунии сатҳи болоӣ меояд.

16. Critic privileged state — Муодилаи (8)

\[ s_t= \begin{bmatrix} o_t & v_t & h_t^{feet} & \mu_t \end{bmatrix}^{T} \tag{8} \]

\(v_t\) суръати воқеии хаттии тана бидуни ғавғо, \(h_t^{feet}\) харитаи баландии сатҳ зери пойҳо ва \(\mu_t\) коэффисиенти соиши сатҳ мебошад.

Ҳамаи инҳо метавонанд ҳангоми омӯзиш ба critic дода шаванд. Аммо сиёсати роботи воқеӣ ҳангоми ҷойгиркунӣ набояд ин privileged state-ро мустақиман қабул кунад.

17. Намояндагии ошкор ва пинҳонӣ

Encoder аз мушоҳидаҳои қаблӣ ду хуруҷи гуногун тавлид мекунад. \(e_t\) баҳодиҳиҳои ошкореро, ки ҳамтои физикӣ доранд, ва \(z_t\) намояндагии latent-ро нишон медиҳад, ки мустақиман ба як бузургии муайяни физикӣ баробар нест.

Ду хуруҷи асосии қисми ошкор суръати хаттии тахминии тана \(\tilde v_t\) ва баландии тахминии маҳаллии сатҳ \(\tilde h_t^{feet}\) мебошанд.

\(z_t\)-и пинҳонӣ барои фишурда ифода кардани динамикаи моделнашуда, номуайянии тамос ва дигар маълумоти вобаста ба вазифа дар намунаҳои мушоҳидаҳои қаблӣ пешбинӣ шудааст.

18. Талафоти баҳодиҳии ошкор — Муодилаи (9)

\[ \mathcal{L}_{ed} = \left\| v_t-\tilde v_t \right\|_2 + \left\| h_t^{feet}-\tilde h_t^{feet} \right\|_2 \tag{9} \]

Ҳади аввал фарқи байни суръати воқеӣ ва тахминии хаттии тана, ҳади дуюм фарқи байни харитаи воқеӣ ва тахминии сатҳи зери пойро чен мекунад.

Ин auxiliary loss encoder-ро маҷбур мекунад, ки танҳо хусусиятҳои latent-ро наомӯзад, балки ду тағйирёбандаи физикиро низ ба таври ошкор намояндагӣ кунад.

19. Талафоти умумии Stage II — Муодилаи (10)

\[ \mathcal{L}_{sr} = \mathcal{L}_{ed} + \mathcal{L}_{\pi} + \mathcal{L}_{v} \tag{10} \]

Ҳадафи умумии омӯзиш оптимизатсияи якҷояи explicit estimation loss, PPO policy loss ва critic value loss мебошад. Actor, critic ва encoder бо ҳамин тартиб end-to-end якҷо омӯзонида мешаванд.

20. Идоракунии PD барои локомотсия — Муодилаи (11)

\[ \tau = c_t \cdot \left[ k_p \left( a_t+q_d-q \right) - k_d\dot q \right] \tag{11} \]

\(a_t\) амали residual-и 10-андозаи мавқеи буғум мебошад, ки сиёсат тавлид мекунад. \(q_d\) мавқеи пешфарзи буғум ва \(q\) мавқеи воқеӣ мебошад.

Дар ҳоле ки сиёсат дар 100 Hz амали нав тавлид мекунад, контроллери PD дар 500 Hz кор мекунад. Ҳамин тавр, сиёсати омӯхташудаи сатҳи болоӣ бо басомади пасттар тағйири ҳадаф эҷод мекунад ва ҳалқаи PD-и сатҳи поёнӣ моментро зудтар нав мекунад.

Коэффисиенти ислоҳи моменти \(c_t\) аз Stage I дар марҳилаи дуюм низ моменти PD-ро зарб мекунад. Ҳангоми омӯзиши Stage II параметрҳои шабакаи ислоҳи моменти Stage I собит нигоҳ дошта мешаванд ва бо gradient дигар карда намешаванд.

21. Сохтори функсияи мукофот

22. Ҷазои тамоси пои Swing — Муодилаи (12)

\[ r_{fc} = \sum_i I_i(t) \left[ 1- \exp \left( -\frac{ \|f_{foot,i}\|^2 }{50} \right) \right] \tag{12} \]

Агар \(I_i(t)=1\) бошад, пои дахлдор дар фазаи swing аст. Ҳангоми swing татбиқи қувваи калони тамос ба замин аз ҷониби пой номатлуб аст. Бо зиёд шудани қувва ин ҷазо зиёд мешавад ва сиёсат ба баланд бардоштани кофии пой ташвиқ мешавад.

23. Ҷазои лағжиши пои Stance — Муодилаи (13)

\[ r_{fv} = \sum_i [1-I_i(t)] \left[ 1- \exp \left( -4 \|v_{xy}^{foot,i}\|^2 \right) \right] \tag{13} \]

Дар фазаи stance \(I_i(t)=0\) аст, бинобар ин пои дахлдор ба ин ҳад саҳм мегузорад. Азбаски суръати уфуқии калони пой ҳангоми такя кардан метавонад нишонаи лағжиш бошад, ҷазо зиёд мешавад.

24. Ҳудудҳои Episode ва фармон

Як episode-и симулятсия ҳадди аксар 24 сония мебошад. Агар қимати мутлақи кунҷи roll ё pitch-и тана аз 0,785 rad зиёд шавад ё баландии маркази массаи тана аз 0,3 m поён равад, episode пеш аз муҳлат қатъ мешавад.

Фармонҳои ҳаракат ҳар 2–6 сония дубора намунагирӣ мешаванд. Фармони суръати хаттии пеш/ақиб \(v_x^{cmd}\) аз −0,5 то 2,8 m/s; суръати паҳлуӣ \(v_y^{cmd}\) аз −1 то 1 m/s; фармони суръати кунҷӣ дар меҳвари амудӣ \(\omega_z^{cmd}\) бошад аз −1 то 1 rad/s мебошад.

Омӯзиш танҳо роҳравии пешро не, балки истодан дар ҷой, роҳравии пеш/ақиб, ҳаракати паҳлуӣ, гардиш дар ҷой ва роҳравии бисёрсамтаро дар бар мегирад.

25. Domain randomization-и марҳилаи дуюм

Дар ҷадвали манбаъ воҳиди офсети маркази масса “cm” дода шуда ва қиматҳо ±0,075 мебошанд. Ин қимат ба ҳамон шакле, ки дар манбаъ навишта шудааст, нигоҳ дошта шудааст; пинҳонӣ ба метр ё миқёси дигар табдил дода нашудааст.

26. Гиперпараметрҳои Stage II

Истифодаи H₂=60 қадами гузаштаи вақт барои гирифтани рушди вобаста ба вақти динамика ҳангоми роҳравӣ пешбинӣ шудааст. Дар марҳилаи дуюм entropy coefficient ба 0,01 зиёд шудааст; муҳаққиқон инро барои зиёд кардани ҷустуҷӯ дар вазифаи мураккабтари локомотсия истифода мекунанд.

27. Terrain curriculum чӣ гуна кор мекунад?

Душвории сатҳ дар муҳити омӯзишӣ вобаста ба муваффақияти робот ба таври динамикӣ тағйир меёбад. Агар робот зиёда аз нисфи сатҳи ҷориро гузарад, ба сатҳи душвортар бурда мешавад. Агар меъёри масофаро иҷро накунад, мукофоти миёнаи суръати хаттӣ низ арзёбӣ мешавад; агар самаранокӣ паст бошад, ба сатҳи осонтар поён бурда мешавад.

Роботҳое, ки ба сатҳи максималӣ мерасанд, ба ҷойи нигоҳ доштан дар як сатҳи аз ҳама душвор, метавонанд ба сатҳҳои тасодуфии нав таъин шаванд, ба шарте ки аз ҳадди болоӣ нагузаранд. Ҳадаф кам кардани мутобиқшавии аз ҳад зиёд ба як навъи мушаххаси сатҳ аст.

Усул ва Натиҷаҳои Таҳқиқот

28. Платформаи роботи физикӣ

Озмоишҳо дар роботи дуқадами X02 бо гардонандаи пай, ки аз ҷониби Shanghai DroidUp Co., Ltd. таҳия шудааст, анҷом дода шуданд. Робот тақрибан 1,70 m қад ва тақрибан 32 kg вазн дорад.

Дар таҳқиқот танҳо 10 дараҷаи озодии қисми поёнии тана идора шудаанд. Шабакаи policy-и локомотсия дар RK3588 бо 100 Hz иҷро шудааст.

29. Усулҳои муқоисашуда

Азбаски RMA сохтори думарҳилавии teacher–student дорад, дар аблятсияи симулятсионии манбаъ мустақиман ба муқоисаи EIWM/IWM/RSR дохил нашудааст, аммо дар муқоисаҳои роботи воқеӣ истифода шудааст.

30. Натиҷаи асосии аблятсия дар симулятсия

EIWM ва RSR тақрибан дар 200 episode ба минтақаи мукофоти баланд мерасанд, дар ҳоле ки ҳамгароии IWM сусттар аст. Манбаъ инро бо он мепайвандад, ки баҳодиҳиҳои ошкори суръат ва сатҳ бори сиёсатро барои кашфи маълумоти физикии зарурӣ танҳо аз фазои latent кам мекунанд.

31. Тафсилоти гузоришдиҳӣ дар Ҷадвали 7-и манбаъ

Нуктаи муҳиме, ки бояд ба он диққат дод, ин аст, ки дар ҳамон бахш матн ва Ҷадвали 8 барои “average reward” қиматҳои 35,67, 23,33 ва 35,83-ро истифода мекунанд. Дар манбаъ ба таври равшан шарҳ дода нашудааст, ки қиматҳои “Average Reward” дар миқёси 0–1 дар Ҷадвали 7 оё ченаки дигари нормализатсияшуда ҳастанд ё не. Аз ин рӯ, ду сутун ҳамчун як метрика якҷо карда нашудаанд.

32. Арзиши ҳисоббарории омӯзиш

Манбаъ вақти миёнаи омӯзиши real-time-ро барои EIWM 0,2790 s, барои RSR 0,2760 s ва барои IWM 0,2738 s гузориш медиҳад. Муҳаққиқон шарҳ медиҳанд, ки фарқҳо хурданд ва explicit–implicit encoder бо ислоҳи моменти RS дар ин ченак бори калони иловагии ҳисоббарорӣ эҷод намекунад.

33. Баланд шудани монандӣ ба роботи воқеӣ тавассути сиёсати ислоҳи момент

Барои санҷиши мустақими таъсири ислоҳи моменти RS ду траекторияи ҳадафии буғум бо суръатҳои гуногун, ки дар маълумоти омӯзиши RS набуданд, ба роботи воқеӣ ва ду муҳити симулятсионӣ татбиқ шуданд. Яке модели аслӣ ва дигаре модели дорои ислоҳи моменти RS буд.

Траекторияҳои буғуми воқеӣ бо траекторияҳои симулятсия муқоиса шуда, RMSE ҳисоб карда шуд.

Мантиқи стандартии RMSE барои тавзеҳ:

\[ RMSE= \sqrt{ \frac{1}{N} \sum_{t=1}^{N} \left( q_t^{real}-q_t^{sim} \right)^2 } \]

аст. Ин муодила дар манбаъ муодилаи алоҳидаи рақамгузоришуда нест; он намоиши стандартии математикӣ барои шарҳи он аст, ки метрикаи RMSE чиро чен мекунад. Азбаски воҳиди RMSE бо мавқеи буғум якхела аст, дар ин ҷо радиан мебошад. Ҳар қадар қимат кам бошад, траекторияи симулятсия ба траекторияи роботи воқеӣ наздиктар аст.

Фарқ махсусан дар шароити суръати баланд калон аст. Ин натиҷа шарҳеро дастгирӣ мекунад, ки рафторҳои бо вақт тағйирёбандаи системаи пай дар ҳаракати баландсуръат аз модели идеалӣ бештар дур мешаванд ва ислоҳи омӯхташудаи момент метавонад ин фарқро кам кунад.

34. Пайгирии суръат дар ҷаҳони воқеӣ

Робот дар фармонҳои суръати пешравии 0,6, 1,5, 2,0 ва 2,5 m/s алоҳида роҳ рафт. Ҳар шароити суръат 20 сония идома кард ва барои ҳар ҷуфти усул/суръат панҷ озмоиши мустақил гузаронида шуд.

Фарқи калонтарин дар фармони 2,5 m/s дида шуд. Манбаъ суръати миёнаи панҷ озмоиши мустақилро барои RSR 2,41 m/s, дисперсияро 0,00416; барои EIWM суръати миёнаро 1,84 m/s, дисперсияро 0,0102 гузориш медиҳад.

Манбаъ инчунин гузориш медиҳад, ки дар шароити 2,5 m/s explicit–implicit EIWM хатои пайгирии суръатро нисбат ба танҳо implicit IWM %15,9 кам кардааст ва RSR бо ислоҳи моменти RS хатогиро нисбат ба EIWM боз %86,4 кам кардааст.

Ин фоизҳо набояд ҳамчун “самаранокии умумии робот %86,4 зиёд шуд” тафсир шаванд. Ифодаи манбаъ махсусан ба хатои пайгирии суръат дар фармони пешравии 2,5 m/s марбут аст.

35. Ҳамвории сигнали идоракунӣ — Муодилаи (14)

Таҳқиқот на танҳо ба он нигоҳ кардааст, ки робот чӣ қадар тез роҳ меравад, балки ба он ҳам, ки фармонҳои буғум то чӣ андоза ҳамворанд. Метрикаи ҳамворӣ бар асоси FFT:

\[ S_m= \frac{2}{n f_s} \sum_{i=1}^{n} M_i f_i \tag{14} \]

мебошад.

\(M_i\) бузургии ҷузъи басомади \(i\)-ум; \(f_i\) басомади ҳамон ҷузъ; \(n\) шумораи умумии ҷузъҳои басомад; \(f_s\) басомади намунагириро нишон медиҳад.

Азбаски ҷузъҳои басомади баланд бо \(f_i\) вазн дода мешаванд, ларзишҳои басомади баланд метрикаро бештар зиёд мекунанд. Аз ин рӯ \(S_m\)-и хурдтар маънои мундариҷаи камтари басомади баланд ва сигнали ҳамвортари идоракуниро дорад.

Дар ҳар се буғум арзиши пасттарини \(S_m\) ба RSR тааллуқ дорад. Манбаъ инро бо он мепайвандад, ки сиёсати ислоҳи моменти гардиш ислоҳҳои нолозими басомади баланди сиёсатро, ки аз хатои модел ба вуҷуд меоянд, кам мекунад.

36. Инҳирофҳои стандартии амалҳо

Кам шудани инҳирофи стандартӣ худ аз худ маънои ҳаракати беҳтарро надорад; робот бояд вазифаро низ иҷро кунад. Дар ин таҳқиқот арзишҳои пасти ларзишро якҷо бо пайгирии суръат ва устувории зинапоя арзёбӣ кардан муҳим аст.

37. Баландии зина чӣ гуна “дарк” мешавад?

Дар роботи воқеӣ баландии сатҳ зери пой ҳамчун ченаки имтиёзноки сенсорӣ мустақиман мавҷуд нест. Encoder аз пайдарпаии мушоҳидаҳои қаблии проприосептивӣ баландии маҳаллии сатҳро explicit баҳогузорӣ мекунад.

Дар озмоиши зинапояи чорзинагии пайдарпай бо баландии 12 cm гузориш шудааст, ки ҳангоми зиёд шудани баландии тахминии сатҳ флексияи зону низ зиёд шуда, ба гузаштани пой аз болои зина кумак кардааст. Дар сатҳи ҳамвор, вақте тағйири баландии тахминӣ хурд аст, зону ислоҳҳои хурдтар мекунад.

38. Устувории pitch-и тана дар зинапоя

Кунҷи миёнаи pitch-и RSR ба сифр наздиктарин буда, инҳирофи стандартӣ ва инҳирофи мутлақи максималии он дар байни чор усул пасттарин мебошанд. Манбаъ гузориш медиҳад, ки нисбат ба EIWM арзиши миёнаи мутлақи pitch %18,4, инҳирофи стандартӣ %35,4 ва арзиши мутлақи максималии pitch %22,1 пасттар аст.

Дар легендаи визуалии Шакли 15-и PDF силсилаи чорум ҳамчун “TS” дида мешавад, дар ҳоле ки матни бахш ва Ҷадвали 13 ин усулро RMA меноманд. Verianla ин фарқи нишони визуалиро ҳамчун мавҷудияти усули нави панҷум тафсир намекунад.

39. Фазои намояндагии пинҳонӣ чиро нишон медиҳад?

Мушоҳидаҳои сатҳи ҳамвор ва зинапоя дар фазои latent ба ду кластери равшан ҷудо шудаанд. Дар марҳилаи гузариш бошад, қисман ҳампӯшонӣ вуҷуд дорад.

Манбаъ инро бо он шарҳ медиҳад, ки вақте робот ҳанӯз бо зинапоя ба қадри кофӣ ҳамкории физикӣ накардааст, ҳолати проприосептивӣ ба ҳолати сатҳи ҳамвор монанд аст. Ин натиҷа нишон медиҳад, ки намояндагии latent фарқҳои ҳолати вобаста ба сатҳро нигоҳ медорад.

Бо вуҷуди ин, ҷудошавии кластерҳо маънои онро надорад, ки робот муҳити берунаро мисли камера бо сенсори мустақим аз ҷиҳати семантикӣ мешиносад. Намояндагӣ аз мушоҳидаҳои қаблии проприосептивӣ ҳосил мешавад.

40. Озмоишҳо дар муҳитҳои гуногуни воқеӣ

Ин сенарияҳо доираи усулро дар ҷаҳони воқеӣ нишон медиҳанд. Аммо манбаъ барои ин бахш benchmark-и саҳроии садҳо такрор, фоизи муваффақият барои ҳар сатҳ ё эҳтимоли хаторо гузориш намедиҳад. Аз ин рӯ, хулосаи “дар ҳама гуна сатҳ бо кафолат кор мекунад” бароварда намешавад.

41. Натиҷаҳое, ки таҳқиқот дастгирӣ мекунад

42. Натиҷаҳое, ки таҳқиқот мустақиман дастгирӣ намекунад

43. Саҳми асосии илмии таҳқиқот

Саҳми асосии ин таҳқиқот кӯшиши аз нав сохтани системаи пай бо модели аналитикии муфассалтари пружина–демпфиркунӣ–соиш нест. Муҳаққиқон аз ҷавоби динамикии мушоҳидашудаи роботи воқеӣ истифода бурда, сиёсати алоҳидаи RL-ро меомӯзанд, ки моменти симулятсияи идеалиро дар фосилаи хурд ислоҳ мекунад.

Сипас ин равиш бо сиёсати локомотсия якҷо мешавад. Ҳамин тавр, ду масъалаи гуногун алоҳида, вале ба ҳам вобаста ҳал мешаванд: шабакаи аввал ба саволи “робот дар симулятсия чӣ гуна бояд мисли роботи физикӣ ҷавоб диҳад?”, шабакаи дуюм ба саволи “робот дар зери ин динамикаи воқеитар чӣ гуна бояд роҳ равад?” равона мешавад.

Сохтори explicit–implicit дар масъалаи дуюм ду шакли гуногуни маълумотро бар зидди мушоҳидапазирии нопурра якҷо мекунад. Баҳодиҳиҳои ошкор суръат ва геометрияи сатҳро бо маънои муайяни физикӣ медиҳанд; хусусиятҳои пинҳонии latent бошад ҳолатҳоеро намояндагӣ мекунанд, ки ҳамаи омилҳои муҳимро як ба як номгузорӣ кардан душвор аст.

44. Маҳдудиятҳо ва кори оянда

Сохтори ҷории сиёсат асосан ба таърихи проприосептивӣ такя мекунад. Муҳаққиқон ният доранд барои локомотсияи robust дар сатҳҳои мураккабтар дар оянда маълумоти визуалӣ илова кунанд.

Ҳамчунин истифодаи adversarial motion priors барои тавлиди gait-и биологитар ва истифодаи траекторияҳои роҳравии аз биология илҳомгирифта дар омӯзиши ислоҳи моменти марҳилаи RS аз ҳадафҳои кори оянда мебошанд.

Манбаъ дар як зерсарлавҳаи мустақими “Limitations” буҷети муфассали хато пешниҳод намекунад. Аз ин рӯ, Verianla рӯйхати ҷудогонаи маҳдудиятҳои таҷрибавиро, ки дар манбаъ нест, эҷод накардааст. Ҳудуди методологӣ бо як платформаи физикӣ, вазифаҳо ва сатҳҳои муайян, сохтори ҷории дарки проприосептивӣ ва шумораи озмоишҳои гузоришшуда нигоҳ дошта шудааст.

Ёддошт оид ба Манбаъ ва Усул

Унвони аслӣ: RSR: Tendon-Driven Bipedal Robot Locomotion Learning Method Based on Real2Sim2Real

Муаллифон: Suozhong Fan, Jian Liu, Jie Xue, Jun Tang, Qingdu Li ва Jianwei Zhang.

Муаллифи масъул: Jun Tang.

Саҳми баробар: Дар мақолаи манбаъ изҳороти саҳми баробар вуҷуд надорад.

Муассисаҳо: School of Optical-Electrical and Computer Engineering, University of Shanghai for Science and Technology; Institute of Machine Intelligence, University of Shanghai for Science and Technology; Shanghai DroidUp Co., Ltd.; Department of Informatics, University of Hamburg.

Маҷалла: Mathematics.

Ношир: MDPI.

Сабти библиографӣ: Mathematics 2026, 14(13), 2358.

DOI: 10.3390/math14132358.

Санаи пешниҳод: 14 Май 2026.

Санаи бознигарӣ: 22 Июн 2026.

Санаи қабул: 23 Июн 2026.

Санаи нашр: 2 Июл 2026.

Пайванди расмӣ: https://doi.org/10.3390/math14132358

Навъи манбаъ: Мақолаи аслии таҳқиқотӣ, ки дар маҷаллаи илмии тақризшаванда нашр шудааст. Таҳқиқот омӯзиши тақвиятӣ, аблятсияи симулятсионӣ ва озмоишҳои роботи физикии дуқадамиро якҷо дар бар мегирад.

Ҳолати preprint: Ҳуҷҷати пешниҳодшуда версияи нашршудаи маҷалла аст. Дар PDF рақами алоҳидаи preprint нишон дода нашудааст.

Иҷозатнома: Creative Commons Attribution (CC BY).

Платформаи робот: Роботи дуқадами X02 бо гардонандаи пай, ки аз ҷониби Shanghai DroidUp Co., Ltd. таҳия шудааст; тақрибан 1,70 m, тақрибан 32 kg; дар ин таҳқиқот 10 DOF-и қисми поёнии тана идора шудааст.

Усули асосӣ: Real2Sim2Real-и думарҳилавӣ. Дар марҳилаи аввал бо маълумоти роботи воқеӣ torque refinement policy, дар марҳилаи дуюм policy-и локомотсия бо баҳодиҳии explicit-и суръати хаттӣ + баландии сатҳи зери пой ва implicit latent representation омӯзонида шудааст.

Алгоритми омӯзиши тақвиятӣ: PPO.

Басомади кори сиёсат: 100 Hz.

Басомади идоракунии PD: 500 Hz.

Платформаи ҳисоббарории роботи воқеӣ: RK3588.

Озмоишҳои суръати воқеӣ: Фармонҳои 0,6; 1,5; 2,0 ва 2,5 m/s, барои ҳар шароит 20 сония ва барои ҳар ҷуфти усул/суръат панҷ озмоиши мустақил.

Маблағгузорӣ: Shanghai Special Fund for Promoting Industrial High-Quality Development–Pioneering Industry Innovation and Development Project, RZ-RGZN-01-25-0673; National Key Research and Development Program of China “Regional Integrated Application Demonstration of Intelligent Technology for Active Health Services”, 2023YFC3605800; 2025 Shanghai Key Technologies Research and Development Program–“New Energy” Project, 25DZ3001401.

Дастрасии маълумот: Муаллифон изҳор кардаанд, ки саҳмҳои аслии таҳқиқот дар маводи мақола мавҷуданд ва саволҳои иловагӣ метавонанд ба муаллифи масъул ирсол шаванд.

Бархӯрди манфиатҳо / робитаи муассисавӣ: Гузориш шудааст, ки Jian Liu, Jie Xue, Jun Tang ва Qingdu Li кормандони Shanghai DroidUp Co., Ltd. мебошанд. Муаллифони дигар изҳор кардаанд, ки таҳқиқот бидуни робитаҳои тиҷоратӣ ё молиявие, ки метавонанд ҳамчун бархӯрди эҳтимолии манфиатҳо тафсир шаванд, анҷом дода шудааст.

Саҳмҳои муаллифон: Консептуализатсия Suozhong Fan ва Jian Liu; методология Suozhong Fan; нармафзор Suozhong Fan; санҷиш Suozhong Fan ва Jian Liu; таҳлили формалӣ Jun Tang ва Qingdu Li; таҳқиқот Suozhong Fan; захираҳо Suozhong Fan; куратсияи маълумот Suozhong Fan ва Jianwei Zhang; тарҳи аввал Suozhong Fan ва Jie Xue; баррасӣ ва таҳрир Suozhong Fan; визуализатсия Jie Xue; назорат Jun Tang ва Qingdu Li; идоракунии лоиҳа Jun Tang; маблағгузорӣ Jun Tang ва Jianwei Zhang анҷом додаанд.

Ёддошти Ҷадвали 7 дар манбаъ: Дар ҳоле ки матни натиҷаҳо ва Ҷадвали 8 арзишҳои simulation average reward-ро IWM=23,33, EIWM=35,67 ва RSR=35,83 гузориш медиҳанд, дар сутуни “Average Reward”-и Ҷадвали 7 мутаносибан 0,8268, 0,9532 ва 0,9768 оварда шудаанд. Азбаски манбаъ табдил байни ин ду миқёсро шарҳ намедиҳад, арзишҳо якҷо карда нашудаанд.

Ёддошти Шакли 15 дар манбаъ: Дар легендаи визуалии PDF дар паҳлӯи RSR, EIWM ва IWM нишони “TS” дида мешавад, дар ҳоле ки матни атроф ва Ҷадвали 13 усули чоруми муқоисаро RMA меноманд. Verianla ин нишонро бо шарҳи дар манбаъ набуда ислоҳ накардааст; дар арзёбии миқдорӣ сатри RMA-ро, ки дар Ҷадвали 13 равшан дода шудааст, нигоҳ доштааст.

Ёддошти формула: Муодилаҳои рақамгузоришудаи (1)–(14) дар манбаъ нигоҳ дошта шуда, ба таври омӯзанда шарҳ дода шудаанд. Намоиши стандартии математикии RMSE танҳо барои фаҳмондани маънои метрика илова шудааст ва ҳамчун муодилаи нави рақамгузоришуда дар манбаъ пешниҳод нашудааст.

Ҳадди асосии тафсир: Таҳқиқот санҷиши роботи воқеии физикиро дар бар мегирад; бинобар ин танҳо таҳқиқоти симулятсионӣ нест. Бо вуҷуди ин, санҷиш бо роботи X02 ва вазифаҳо/муҳитҳои гузоришшуда дар таҳқиқот маҳдуд аст. Натиҷаҳо барои ҳамаи меъмориҳои роботҳои дуқадами бо пай гардондашаванда кафолати универсалии самаранокӣ намедиҳанд.