RSR (Real2Sim2Real) ni mfumo wa hatua mbili wa ujifunzaji wa uimarishaji unaotumia mienendo ya viungo iliyopimwa kutoka kwa roboti halisi inayoendeshwa kwa tendoni ili kuleta tabia ya mienendo katika uigaji karibu na roboti halisi, kisha kufunza sera ya lokomosheni katika uigaji huo uliorekebishwa. Lengo la utafiti ni kupunguza pengo la mienendo la sim-to-real linalotokea kati ya modeli bora ya uigaji yenye uendeshaji wa moja kwa moja na roboti halisi ya tendoni kutokana na unyumbufu wa tendoni, msuguano, ulegevu, uunganishaji wa viungo vingi na ucheleweshaji wa upitishaji.

Katika hatua ya kwanza, data za nafasi lengwa ya kiungo, nafasi halisi ya kiungo na kasi ya kiungo hukusanywa kutoka kwa roboti halisi. Data hizi huingizwa kwenye uigaji na sera ya urekebishaji wa torati hufunzwa kwa ujifunzaji wa uimarishaji. Badala ya kubainisha kila kigezo cha kimwili cha tendoni kimoja baada ya kingine, watafiti huchukulia tabia zinazobadilika kwa muda na ambazo ni vigumu kuziiga kama mkengeuko kutoka kwa modeli bora ya uigaji, na kurekebisha mkengeuko huo kwa kizidishi cha torati kilichojifunzwa kinachoitwa \(c_t\).

Katika hatua ya pili, sera ya kutembea hufunzwa. Mbinu haitegemei tu uwakilishi fiche wa latent. Hukadiria kwa uwazi kasi ya mstari ya kiwiliwili cha roboti na urefu wa eneo la karibu chini ya miguu; wakati huohuo hujifunza vipengele fiche vinavyohusiana na kazi ambavyo havina kilinganishi cha moja kwa moja cha kimwili kutoka kwenye uchunguzi wa propriosepsheni wa awali. Hivyo, taarifa ya wazi ya hali ya kimwili huunganishwa ndani ya sera moja na sifa za mguso na mienendo ambazo ni vigumu kuziiga.

Katika uigaji, IWM, EIWM na RSR zimelinganishwa. Wastani wa zawadi wa IWM uliripotiwa kuwa 23,33, wa EIWM 35,67 na wa RSR 35,83. Viwango vya wastani vya ugumu wa ardhi vilikuwa 3,68, 4,58 na 4,56 mtawalia; zawadi za ufuatiliaji wa kasi ya mstari zilikuwa 0,82, 0,95 na 0,97. Matokeo haya yanaonyesha kuwa uwakilishi wa explicit–implicit huongeza utendaji wa mafunzo ikilinganishwa na uwakilishi fiche pekee, huku urekebishaji wa torati wa RS hauharibu kwa kiwango kikubwa utendaji wa sera katika uigaji.

Majaribio ya roboti halisi yalifanywa kwenye roboti ya miguu miwili X02 inayoendeshwa kwa tendoni, yenye urefu wa takribani 1,70 m na uzito wa 32 kg. Ni digrii 10 za uhuru za sehemu ya chini ya mwili pekee zilizodhibitiwa, na sera iliendeshwa kwenye RK3588 kwa 100 Hz. Kwa amri ya kasi ya mbele ya 2,5 m/s, wastani wa kasi halisi wa RSR ulikuwa 2,41 m/s, huku EIWM ikifikia 1,84 m/s. Chanzo kinaripoti kuwa ujifunzaji wa explicit–implicit ulipunguza hitilafu ya ufuatiliaji wa kasi kwa %15,9 ikilinganishwa na mbinu ya IWM ya uwakilishi fiche pekee; kwa kuongeza hatua ya urekebishaji wa torati ya RSR, hitilafu ilipungua zaidi kwa %86,4 ikilinganishwa na EIWM.

Roboti pia ilijaribiwa kwenye ngazi nne mfululizo zenye kila hatua 12 cm, vizuizi vilivyotenganishwa vya 20 cm, ngazi yenye hatua mbili za 10 cm, lami na nyasi laini yenye mteremko. Utafiti uliripoti mwendo thabiti katika hali hizi. Hasa, nyasi laini ni hali ya mguso ambayo haikuwepo katika mazingira ya mafunzo ya uigaji.

Kikomo muhimu cha matokeo haya ni kwamba majaribio yalifanywa kwa jukwaa moja tu la X02 na chini ya masharti ya mafunzo/majaribio yaliyofafanuliwa katika utafiti. Utafiti hauonyeshi kuwa utendaji uleule umehakikishwa kwa roboti zote zinazoendeshwa kwa tendoni. Mbinu ya sasa haitambui mazingira ya nje moja kwa moja kwa kamera; watafiti wanapanga kuongeza taarifa ya kuona kwenye mfumo katika kazi za baadaye kwa ajili ya ardhi changamano zaidi.

1. Roboti inayoendeshwa kwa tendoni ni nini?

Katika roboti inayoendeshwa kwa tendoni, motor si lazima iwe imewekwa moja kwa moja juu ya kiungo kinachotakiwa kusogezwa. Motor inaweza kuwekwa katika sehemu ya karibu zaidi na kiwiliwili, na nguvu ya motor inaweza kupelekwa kwenye goti, kifundo cha mguu au kiungo kingine kupitia kipengele nyumbufu cha upitishaji kama kebo au tendoni.

Mbinu hii hutumia kanuni inayofanana na mpangilio wa kibayolojia wa misuli–tendoni. Kuondoa motor nzito kutoka kwenye viungo vya mbali kunaweza kupunguza inertia na uzito wa miguu. Kwa upande mwingine, tatizo la udhibiti huwa changamano zaidi kwa sababu tabia ya kimwili ya tendoni huingia kati ya mwendo wa motor na mwitikio halisi wa kiungo.

2. Kwa nini tendoni huunda pengo kati ya uigaji na roboti halisi?

Chanzo kinazingatia matatizo matano ya msingi ya kimwili. Kwa sababu ya unyumbufu wa tendoni katika mhimili wake, mwitikio wa kiungo unaweza kufuata amri ya motor kwa kuchelewa au kwa mtetemo. Msuguano kati ya tendoni na pulley pamoja na damping ya ndani ya nyuzi za tendoni unaweza kusababisha upotevu wa nishati na tabia isiyo ya mstari. Matumizi ya muda mrefu yanaweza kusababisha tendoni kurefuka au kulegea na hivyo kuleta backlash. Kwa sababu ya njia za tendoni za sehemu za mbali, mwendo wa kiungo kimoja unaweza kuathiri mvutano wa tendoni wa kiungo kingine. Mwishowe, unyumbufu wa tendoni na usambazaji wa uzito unaweza kupunguza bandwidth ya upitishaji wa nguvu na kudhoofisha ishara za udhibiti za masafa ya juu.

Katika uigaji unaotumika sana kama MuJoCo au Isaac Gym, kuweka motor bora kwenye kila kiungo ni rahisi zaidi kihesabu. Lakini modeli hiyo bora haitoi kwa asili tabia halisi ya tendoni inayobadilika kwa muda. Hii ndiyo msingi wa tofauti ambayo utafiti unaiita “pengo la mienendo la propriosepsheni”.

3. Propriosepsheni ni nini?

Katika muktadha wa robotiki, uchunguzi wa propriosepsheni ni taarifa ya hali ya ndani ambayo roboti hupima kutoka kwenye kiwiliwili na viungo vyake yenyewe. Katika utafiti huu, taarifa kama nafasi ya kiungo, kasi ya kiungo, mwelekeo wa kiwiliwili na kasi ya angular hutumiwa kama taarifa ya propriosepsheni.

Kamera au ramani ya mazingira ya nje si taarifa ya propriosepsheni. Kipengele muhimu hasa cha utafiti ni kwamba sera ya roboti halisi hutumia uchunguzi wa propriosepsheni wa awali bila kuhitaji moja kwa moja ramani ya ardhi yenye taarifa maalumu iliyotolewa kutoka nje.

Real2Sim2Real ina maana gani katika utafiti huu?

Real2Sim2Real ni kwanza kuleta uigaji karibu na mienendo ya roboti kwa kutumia data za mwendo zilizokusanywa kutoka kwa roboti halisi, kisha kufunza sera ya lokomosheni katika uigaji huo uliorekebishwa na kuihamisha tena kwenye roboti halisi; yaani, mtiririko wa data si Sim→Real pekee bali Real→Sim→Real.

4. Hatua mbili za RSR

5. Usanifu wa actor–critic usiolingana ni nini?

Katika ujifunzaji wa uimarishaji, actor ni sera inayobainisha kitendo gani kitekelezwe kulingana na taarifa iliyopo. Critic husaidia mafunzo ya actor kwa kukadiria thamani ya muda mrefu inayotarajiwa ya hali au kitendo.

Neno “usiolingana” linamaanisha actor na critic hazina taarifa sawa. Wakati wa mafunzo, critic inaweza kupata taarifa za ziada ambazo ni vigumu kupimwa moja kwa moja katika ulimwengu halisi. Hizi huitwa privileged information, yaani taarifa maalumu za mafunzo. Actor hufunzwa kufanya kazi na taarifa za sensa zinazoweza kuhamishwa kwenye roboti halisi.

Tofauti hii ni muhimu. Wakati wa mafunzo, thamani halisi ya ramani ya ardhi inaweza kujulikana na encoder kufundishwa lengo sahihi; lakini roboti halisi inapotembea, thamani hii halisi haitolewi moja kwa moja kwenye ingizo la sera.

6. Uchunguzi wa Stage I — Mlinganyo (1)

Uchunguzi wa papo hapo katika hatua ya RS umefafanuliwa kwenye chanzo kama:

\[ o_t^{rs}= \begin{bmatrix} q_t^{rs} & \dot{q}_t^{rs} \end{bmatrix}^{T} \tag{1} \]

\(q_t^{rs}\) huonyesha nafasi za viungo, na \(\dot{q}_t^{rs}\) huonyesha kasi za viungo. Kipimo cha nafasi ni radian, na kipimo cha kasi ya angular ni rad/s.

Encoder haipewi muda mmoja tu. Mfuatano wa historia wa nafasi na kasi za viungo kwa hatua nne za muda, \(o_{H1}^{rs}\), hutumiwa. Kwa kuwa sehemu ya chini ya mwili ina digrii 10 za uhuru, katika hatua moja ya muda kuna nafasi 10 + kasi 10; historia ya hatua nne imefafanuliwa kwenye chanzo kama vekta yenye vipimo 80.

7. Hali ya critic katika Stage I — Mlinganyo (2)

\[ s_t^{rs}= \begin{bmatrix} o_t^{rs} & d_t^{rs} & m_t^{rs} \end{bmatrix}^{T} \tag{2} \]

Hapa \(d_t^{rs}\) huonyesha damping ya kiungo na \(m_t^{rs}\) huonyesha inertia ya mzunguko wa motor. Hizi ni taarifa maalumu za mienendo zinazotumiwa na critic.

Si lazima actor ipime taarifa hizi moja kwa moja kwenye roboti halisi. Matumizi ya taarifa kamili zaidi na critic yanalenga kusaidia fungsi ya thamani kujifunza kwa kutokuwa na uhakika mdogo wakati wa mafunzo.

8. Fungsi ya hasara ya PPO — Mlinganyo (3)

Sera imesasishwa kwa Proximal Policy Optimization, yaani PPO:

\[ \mathcal{L}_{\pi}= \min\left( \frac{\pi_{\theta}(a_t|s_t)} {\pi_{\theta_b}(a_t|s_t)} A^{\pi_{\theta_b}}(s_t,a_t), \operatorname{clip} \left( \frac{\pi_{\theta}(a_t|s_t)} {\pi_{\theta_b}(a_t|s_t)}, 1-\epsilon, 1+\epsilon \right) A^{\pi_{\theta_b}}(s_t,a_t) \right) \tag{3} \]

\(\pi_{\theta}\) ni sera mpya inayosasishwa, na \(\pi_{\theta_b}\) ni sera ya tabia kutoka iteresheni iliyopita. Uwiano wa uwezekano ambao sera hizo mbili zinatoa kwa kitendo kilekile huwakilisha kiasi ambacho sera mpya imeondoka kutoka sera ya zamani. \(A^{\pi_{\theta_b}}(s_t,a_t)\) ni fungsi ya advantage na hutathmini ni kwa kiwango gani kitendo fulani ni bora au kibaya kuliko kilichotarajiwa chini ya sera ya zamani.

\(\epsilon\) ni mpaka wa clipping. Katika utafiti clipping range ni 0,2. Uwiano hubanwa kati ya \(1-\epsilon\) na \(1+\epsilon\) ili kuzuia sera kubadilika kupita kiasi katika sasisho moja.

9. Hasara ya thamani ya critic — Mlinganyo (4)

\[ \mathcal{L}_{v}= \left( V_{\phi}(s_t)-\hat{R}_t \right)^2 \tag{4} \]

\(V_{\phi}(s_t)\) ni thamani ambayo critic hukadiria kwa hali. \(\hat{R}_t\) ni marejesho lengwa yaliyoonekana au kukokotolewa. Kadiri mraba wa tofauti kati ya thamani hizi mbili unavyopunguzwa, lengo ni critic kukadiria kwa usahihi zaidi marejesho yanayotarajiwa.

10. Data ya roboti halisi iliundwaje?

Wakati wa kukusanya data halisi, urefu wa kiwiliwili cha roboti uliwekwa thabiti na njia ya mguu ilichochewa kwa fungsi ya sine. Nafasi zinazotakiwa za mguu ziligeuzwa kuwa malengo ya viungo kwa kutumia kinematiki kinyume.

Amplitude ya sine ilibadilishwa kimfumo kati ya 5–20 cm na masafa kati ya 1–25 Hz. Hivyo lengo lilikuwa kuchochea mfumo wa tendoni si katika hali moja tu ya mwendo wa polepole, bali katika mizani tofauti za muda na masafa.

Kidhibiti cha PD chenye ugumu mdogo kilitumika katika udhibiti wa nafasi. Kwa kifundo cha mguu, \(k_p=30\) na \(k_d=1\); kwa viungo vingine, \(k_p=100\) na \(k_d=2\) zilitolewa.

Data kuu zilizorekodiwa ni nafasi lengwa za viungo, nafasi halisi za viungo na kasi za viungo. Katika mafunzo ya RS, mifuatano ya nasibu ya sekunde 1 ilichukuliwa kutoka data hii, na hatua ya kwanza ya muda ya mfuatano ilitumika kama hali ya mwanzo ya roboti katika uigaji.

11. Stage I domain randomization

\(U(a,b)\) huwakilisha usambazaji uniform kati ya mipaka ya chini na juu iliyotajwa. Sababu ya kuweka kelele kubwa ya ±2 rad/s hasa kwenye kasi ya kiungo ni kwamba katika roboti halisi kasi mara nyingi hupatikana kwa derivative ya namba ya ishara ya nafasi, na operesheni ya derivative inaweza kukuza kelele ya sensa.

12. Udhibiti wa urekebishaji wa torati — Mlinganyo (5)

\[ \tau = c_t\cdot \left[ k_p \left( q_{tar}^{rs}-q^{rs} \right) - k_d\dot{q}^{rs} \right] \tag{5} \]

\(\tau\) huonyesha torati inayotumika kwenye kiungo, \(q_{tar}^{rs}\) nafasi lengwa ya kiungo, \(q^{rs}\) nafasi ya sasa ya kiungo na \(\dot q^{rs}\) kasi ya kiungo. \(k_p\) ni gain ya PD inayohusiana na hitilafu ya nafasi, na \(k_d\) ni gain inayohusiana na kasi.

Ubunifu muhimu katika mlinganyo ni \(c_t\). Thamani hii ni mgawo wa urekebishaji wa torati unaotolewa na sera ya RL. Yaani, badala ya mtandao kuzalisha torati kutoka sifuri, hupima torati ya PD iliyopo kwa mgawo unaobadilika kwa muda.

\(c_t\) ime-clamp kwenye [0,8, 1,2] katika chanzo. Hivyo sera inaweza kupunguza au kuongeza torati ya PD kwa takribani %20 kwa kiwango cha juu. Mpaka huu ni kizuizi cha kinga kinachozuia marekebisho makubwa kupita kiasi kuwa hatari kimwili au kutokuwa thabiti wakati mfumo unatoka nje ya usambazaji wa mafunzo.

13. Zawadi ya RS — Mlinganyo (6)

\[ r= \exp \left( -100 \left\| q_{real}-q_{sim} \right\|^2 \right) - 0.01 \left\| c_t-c_{t-1} \right\|^2 \tag{6} \]

Sehemu ya kwanza huzawadia nafasi za viungo katika uigaji kukaribia nafasi za viungo za roboti halisi. \(q_{real}\) ni nafasi iliyorekodiwa kutoka roboti halisi, na \(q_{sim}\) ni nafasi katika uigaji. Kadiri hitilafu inavyoongezeka, sehemu ya eksponenti hupungua haraka.

Sehemu ya pili huadhibu mabadiliko ya haraka ya migawo mfululizo ya urekebishaji wa torati. Hivyo lengo si kufuatilia mwendo halisi tu, bali kufanya hivyo kwa urekebishaji laini wa torati badala ya marekebisho ya ghafla na yasiyo na mpangilio.

14. Hiperparameta za mafunzo ya Stage I

Kwa nini ujifunzaji wa Explicit–implicit unatumiwa pamoja?

Sehemu ya explicit hukadiria moja kwa moja vigezo vyenye maana ya wazi ya kimwili kama kasi ya mstari ya kiwiliwili na urefu wa eneo la karibu chini ya miguu, huku sehemu ya implicit ikihifadhi katika uwakilishi latent mifumo ya zamani ambayo ni vigumu kupunguzwa hadi kigezo kimoja cha kimwili lakini ni muhimu kwa udhibiti, kama kutokuwa na uhakika wa mguso au mienendo isiyoigwa; utafiti unaonyesha kuwa kutumia aina hizi mbili za taarifa pamoja hutoa mafunzo ya haraka na yenye mafanikio zaidi kuliko mbinu ya IWM ya implicit pekee.

15. Uchunguzi wa roboti katika hatua ya pili — Mlinganyo (7)

\[ o_t= \begin{bmatrix} cmd & q_t & \dot q_t & \Phi & \omega \end{bmatrix}^{T} \tag{7} \]

\(cmd\) inajumuisha amri za mwendo zinazotakiwa na taarifa ya gait phase. \(q_t\) ni nafasi ya kiungo, \(\dot q_t\) ni kasi ya kiungo, \(\Phi\) ni mkao/mwelekeo wa kiwiliwili na \(\omega\) ni kasi ya angular ya kiwiliwili.

Nafasi na kasi za viungo zinaweza kupatikana kutoka kwa encoder; mkao na kasi ya angular kutoka IMU. Amri hutoka kwenye moduli ya udhibiti wa ngazi ya juu.

16. Critic privileged state — Mlinganyo (8)

\[ s_t= \begin{bmatrix} o_t & v_t & h_t^{feet} & \mu_t \end{bmatrix}^{T} \tag{8} \]

\(v_t\) ni kasi halisi ya mstari ya kiwiliwili isiyo na kelele, \(h_t^{feet}\) ni ramani ya urefu wa ardhi chini ya miguu, na \(\mu_t\) ni mgawo wa msuguano wa ardhi.

Vyote hivi vinaweza kutolewa kwa critic wakati wa mafunzo. Hata hivyo, sera ya roboti halisi haihitaji kupokea privileged state hii moja kwa moja wakati wa utekelezaji.

17. Uwakilishi wazi na fiche

Encoder huzalisha matokeo mawili tofauti kutoka kwenye uchunguzi wa awali. \(e_t\) huonyesha makadirio ya wazi yenye kilinganishi cha kimwili, huku \(z_t\) ikionyesha uwakilishi latent ambao haulingani moja kwa moja na kiasi fulani cha kimwili.

Matokeo mawili makuu ya sehemu ya wazi ni kasi ya mstari iliyokadiriwa ya kiwiliwili \(\tilde v_t\) na urefu wa eneo la karibu uliokadiriwa \(\tilde h_t^{feet}\).

\(z_t\) fiche inalenga kufinyanga taarifa kuhusu mienendo isiyoigwa, kutokuwa na uhakika wa mguso na taarifa nyingine zinazohusiana na kazi zilizomo katika mifumo ya uchunguzi wa awali.

18. Hasara ya ukadiriaji wazi — Mlinganyo (9)

\[ \mathcal{L}_{ed} = \left\| v_t-\tilde v_t \right\|_2 + \left\| h_t^{feet}-\tilde h_t^{feet} \right\|_2 \tag{9} \]

Sehemu ya kwanza hupima tofauti kati ya kasi halisi na iliyokadiriwa ya mstari ya kiwiliwili, na ya pili hupima tofauti kati ya ramani halisi na iliyokadiriwa ya ardhi chini ya miguu.

Auxiliary loss hii huilazimisha encoder isiishie kujifunza vipengele latent pekee, bali pia iwakilishe kwa uwazi vigezo viwili vya kimwili.

19. Hasara ya jumla ya Stage II — Mlinganyo (10)

\[ \mathcal{L}_{sr} = \mathcal{L}_{ed} + \mathcal{L}_{\pi} + \mathcal{L}_{v} \tag{10} \]

Lengo la jumla la mafunzo ni kuboresha kwa pamoja vipengele vya explicit estimation loss, PPO policy loss na critic value loss. Actor, critic na encoder hivyo hufunzwa pamoja kwa mtindo wa end-to-end.

20. Udhibiti wa PD wa lokomosheni — Mlinganyo (11)

\[ \tau = c_t \cdot \left[ k_p \left( a_t+q_d-q \right) - k_d\dot q \right] \tag{11} \]

\(a_t\) ni kitendo residual cha nafasi ya viungo chenye vipimo 10 kinachozalishwa na sera. \(q_d\) ni nafasi chaguomsingi ya kiungo, na \(q\) ni nafasi halisi.

Sera huzalisha kitendo kipya kwa 100 Hz, huku kidhibiti cha PD kikifanya kazi kwa 500 Hz. Hivyo, sera iliyojifunzwa ya ngazi ya juu hubadilisha lengo kwa masafa ya chini, wakati mzunguko wa PD wa ngazi ya chini husasisha torati mara nyingi zaidi.

Mgawo wa urekebishaji wa torati \(c_t\) wa Stage I pia huzidisha torati ya PD katika hatua ya pili. Wakati wa mafunzo ya Stage II, vigezo vya mtandao wa urekebishaji wa torati wa Stage I hugandishwa; havibadilishwi tena kwa gradient.

21. Muundo wa fungsi ya zawadi

22. Adhabu ya mguso wa mguu wa Swing — Mlinganyo (12)

\[ r_{fc} = \sum_i I_i(t) \left[ 1- \exp \left( -\frac{ \|f_{foot,i}\|^2 }{50} \right) \right] \tag{12} \]

Ikiwa \(I_i(t)=1\), mguu husika uko katika awamu ya swing. Wakati wa swing, haitakiwi mguu kutumia nguvu kubwa ya mguso ardhini. Kadiri nguvu inavyoongezeka, adhabu hii huongezeka na sera huhamasishwa kuinua mguu vya kutosha.

23. Adhabu ya kuteleza kwa mguu wa Stance — Mlinganyo (13)

\[ r_{fv} = \sum_i [1-I_i(t)] \left[ 1- \exp \left( -4 \|v_{xy}^{foot,i}\|^2 \right) \right] \tag{13} \]

Katika awamu ya stance, \(I_i(t)=0\), kwa hiyo mguu husika huchangia kwenye sehemu hii. Kwa kuwa kasi kubwa ya mlalo ya mguu wakati wa kutoa msaada inaweza kuonyesha kuteleza, adhabu huongezeka.

24. Mipaka ya Episode na amri

Episode moja ya uigaji hudumu kwa kiwango cha juu sekunde 24. Ikiwa thamani kamili ya pembe ya roll au pitch ya kiwiliwili inazidi 0,785 rad, au urefu wa kituo cha uzito wa kiwiliwili unashuka chini ya 0,3 m, episode hukatishwa mapema.

Amri za mwendo huchukuliwa sampuli upya kila sekunde 2–6. Amri ya kasi ya mstari mbele/nyuma \(v_x^{cmd}\) ni kati ya −0,5 na 2,8 m/s; kasi ya pembeni \(v_y^{cmd}\) ni kati ya −1 na 1 m/s; na amri ya kasi ya angular kwenye mhimili wima \(\omega_z^{cmd}\) ni kati ya −1 na 1 rad/s.

Mafunzo hayahusishi kutembea mbele pekee; pia yanajumuisha kusimama mahali, kutembea mbele/nyuma, kusogea pembeni, kuzunguka mahali na kutembea kwa mielekeo mingi.

25. Domain randomization ya hatua ya pili

Kwenye jedwali la chanzo, kipimo cha offset ya kituo cha uzito kimetolewa kama “cm” na thamani ni ±0,075. Thamani hii imehifadhiwa kama ilivyoandikwa kwenye chanzo; haijabadilishwa kimya kimya kuwa mita au kipimo kingine.

26. Hiperparameta za Stage II

Matumizi ya H₂=60 hatua za awali za muda yanalenga kunasa maendeleo ya mienendo yanayotegemea muda wakati wa kutembea. Katika hatua ya pili, entropy coefficient imeongezwa hadi 0,01; watafiti wanaitumia kuongeza uchunguzi katika kazi changamano zaidi ya lokomosheni.

27. Terrain curriculum hufanyaje kazi?

Ugumu wa ardhi katika mazingira ya mafunzo hubadilishwa kwa nguvu kulingana na mafanikio ya roboti. Ikiwa roboti inaweza kuvuka zaidi ya nusu ya ardhi ya sasa, hupandishwa hadi kiwango kigumu zaidi. Ikiwa haitimizi kigezo cha umbali, zawadi ya wastani ya kasi ya mstari pia hutathminiwa; ikiwa utendaji ni mdogo, hushushwa hadi ardhi rahisi zaidi.

Roboti zinazofikia kiwango cha juu zinaweza kupewa tena viwango vya ardhi vya nasibu bila kuzidi kikomo cha juu, badala ya kubaki kila wakati kwenye ardhi ileile ngumu zaidi. Lengo ni kupunguza kuzoea kupita kiasi aina fulani ya ardhi.

Mbinu na Matokeo ya Utafiti

28. Jukwaa la roboti halisi

Majaribio yalifanywa kwenye roboti ya miguu miwili X02 inayoendeshwa kwa tendoni iliyotengenezwa na Shanghai DroidUp Co., Ltd. Roboti ina urefu wa takribani 1,70 m na uzito wa takribani 32 kg.

Ni digrii 10 za uhuru za sehemu ya chini ya mwili pekee zilizodhibitiwa katika utafiti. Mtandao wa policy wa lokomosheni uliendeshwa kwenye RK3588 kwa 100 Hz.

29. Mbinu zilizolinganishwa

Kwa kuwa RMA ina muundo wa hatua mbili wa teacher–student, haikujumuishwa moja kwa moja katika ulinganisho wa EIWM/IWM/RSR kwenye ablation ya uigaji ya chanzo, lakini ilitumika katika ulinganisho wa roboti halisi.

30. Matokeo makuu ya ablation katika uigaji

EIWM na RSR zilifikia eneo la zawadi kubwa ndani ya takribani episode 200, huku IWM ikikaribia polepole zaidi. Chanzo kinahusisha hili na ukweli kwamba makadirio ya wazi ya kasi na ardhi hupunguza mzigo wa sera wa kugundua taarifa muhimu ya kimwili kutoka kwenye nafasi latent pekee.

31. Maelezo ya kuripoti katika Jedwali 7 la chanzo

Jambo la kuzingatia ni kwamba katika sehemu hiyo hiyo, maandishi na Jedwali 8 hutumia thamani 35,67, 23,33 na 35,83 kwa “average reward”. Chanzo hakielezi wazi kama thamani za “Average Reward” za kiwango 0–1 katika Jedwali 7 ni kipimo kingine kilichonormalishwa. Kwa hiyo, safu hizi mbili hazijaunganishwa kana kwamba ni metrika moja.

32. Gharama ya kihesabu ya mafunzo

Chanzo kimeripoti wastani wa muda wa kujifunza wa wakati halisi kuwa 0,2790 s kwa EIWM, 0,2760 s kwa RSR na 0,2738 s kwa IWM. Watafiti wanafafanua kuwa tofauti ni ndogo na explicit–implicit encoder pamoja na urekebishaji wa torati wa RS hazikuleta mzigo mkubwa wa ziada wa kihesabu katika kipimo hiki.

33. Sera ya urekebishaji wa torati huongeza kufanana na roboti halisi

Ili kupima moja kwa moja athari ya urekebishaji wa torati wa RS, njia lengwa za viungo katika kasi mbili tofauti ambazo hazikuwemo kwenye data ya mafunzo ya RS zilitumika kwenye roboti halisi na mazingira mawili ya uigaji. Uigaji mmoja ulikuwa modeli asili na mwingine ulikuwa modeli yenye urekebishaji wa torati wa RS.

Njia za viungo za roboti halisi zililinganishwa na njia za uigaji na RMSE ikakokotolewa.

Kwa ufafanuzi, mantiki ya kawaida ya RMSE ni:

\[ RMSE= \sqrt{ \frac{1}{N} \sum_{t=1}^{N} \left( q_t^{real}-q_t^{sim} \right)^2 } \]

Mlinganyo huu si mlinganyo tofauti uliowekewa namba katika chanzo; ni uwasilishaji wa kawaida wa kihisabati unaoeleza kile kinachopimwa na metrika ya RMSE. Kwa kuwa kipimo cha RMSE ni sawa na nafasi ya kiungo, hapa ni radian. Kadiri thamani inavyopungua, njia ya uigaji inakuwa karibu zaidi na njia ya roboti halisi.

Tofauti ni kubwa hasa katika hali ya kasi ya juu. Matokeo haya yanaunga mkono tafsiri kwamba tabia za mfumo wa tendoni zinazobadilika kwa muda zinaweza kusababisha mkengeuko mkubwa zaidi kutoka modeli bora katika mwendo wa kasi, na urekebishaji wa torati uliojifunzwa unaweza kupunguza tofauti hiyo.

34. Ufuatiliaji wa kasi katika ulimwengu halisi

Roboti iliendeshwa kando katika amri za kasi ya mbele za 0,6, 1,5, 2,0 na 2,5 m/s. Kila hali ya kasi ilidumu sekunde 20 na majaribio matano huru yalifanywa kwa kila jozi ya mbinu/kasi.

Tofauti kubwa zaidi ilionekana kwa amri ya 2,5 m/s. Chanzo kimeripoti wastani wa kasi wa majaribio matano huru kuwa 2,41 m/s kwa RSR, variance 0,00416; na kwa EIWM wastani wa kasi 1,84 m/s, variance 0,0102.

Chanzo pia kinaripoti kuwa katika hali ya 2,5 m/s, EIWM ya explicit–implicit ilipunguza hitilafu ya ufuatiliaji wa kasi kwa %15,9 ikilinganishwa na IWM ya implicit pekee, na RSR yenye urekebishaji wa torati wa RS ilipunguza hitilafu zaidi kwa %86,4 ikilinganishwa na EIWM.

Asilimia hizi hazipaswi kufasiriwa kama “utendaji wa jumla wa roboti uliongezeka kwa %86,4”. Kauli ya chanzo inahusu hasa hitilafu ya ufuatiliaji wa kasi katika amri ya mbele ya 2,5 m/s.

35. Ulaini wa ishara ya udhibiti — Mlinganyo (14)

Utafiti haukuangalia tu jinsi roboti ilivyotembea kwa kasi, bali pia jinsi amri za viungo zilivyokuwa laini. Metrika ya ulaini inayotegemea FFT ni:

\[ S_m= \frac{2}{n f_s} \sum_{i=1}^{n} M_i f_i \tag{14} \]

kwa namna hii.

\(M_i\) huonyesha ukubwa wa kipengele cha masafa cha \(i\); \(f_i\) ni masafa ya kipengele hicho; \(n\) ni idadi ya jumla ya vipengele vya masafa; na \(f_s\) ni masafa ya uchukuaji sampuli.

Kwa kuwa vipengele vya masafa ya juu vinawekewa uzito kwa \(f_i\), mitetemo ya masafa ya juu huongeza metrika zaidi. Kwa hiyo \(S_m\) ndogo zaidi humaanisha maudhui machache ya masafa ya juu na ishara laini zaidi ya udhibiti.

Kwa viungo vyote vitatu, thamani ya chini zaidi ya \(S_m\) ipo kwa RSR. Chanzo kinahusisha hili na sera ya urekebishaji wa torati kupunguza marekebisho yasiyo ya lazima ya sera yenye masafa ya juu yanayotokana na hitilafu ya modeli.

36. Mkengeuko sanifu wa vitendo

Kupungua kwa mkengeuko sanifu pekee hakumaanishi mwendo bora; roboti lazima pia itimize kazi. Katika utafiti huu ni muhimu kutathmini thamani ndogo za mtetemo pamoja na ufuatiliaji wa kasi na uthabiti kwenye ngazi.

37. Urefu wa ngazi “unatambuliwaje”?

Katika roboti halisi, urefu wa ardhi chini ya mguu haupatikani moja kwa moja kama kipimo maalumu cha sensa. Encoder hukadiria kwa explicit urefu wa eneo la karibu kutoka kwenye mfuatano wa uchunguzi wa propriosepsheni wa awali.

Katika jaribio la ngazi nne mfululizo zenye kila hatua 12 cm, iliripotiwa kuwa kadiri urefu uliokadiriwa wa ardhi ulivyoongezeka, kukunjika kwa goti pia kuliongezeka na kusaidia mguu kupita juu ya hatua. Kwenye ardhi tambarare, mabadiliko ya urefu yaliyokadiriwa yanapokuwa madogo, goti hufanya marekebisho madogo zaidi.

38. Uthabiti wa pitch ya kiwiliwili kwenye ngazi

Wastani wa pembe ya pitch ya RSR uko karibu zaidi na sifuri, na mkengeuko wake sanifu pamoja na mkengeuko kamili wa juu zaidi ndio wa chini zaidi kati ya mbinu nne. Chanzo kinaripoti kwamba ikilinganishwa na EIWM, wastani wa thamani kamili ya pitch ni mdogo kwa %18,4, mkengeuko sanifu kwa %35,4 na thamani kamili ya juu zaidi ya pitch kwa %22,1.

Katika legenda ya kuona ya Kielelezo 15 cha PDF, mfululizo wa nne unaonekana kama “TS”, huku maandishi ya sehemu na Jedwali 13 yakiita mbinu hiyo RMA. Verianla haitafsiri tofauti hii ya lebo ya kuona kana kwamba kuna mbinu mpya ya tano.

39. Nafasi ya uwakilishi fiche inaonyesha nini?

Uchunguzi wa ardhi tambarare na ngazi umetenganishwa katika makundi mawili dhahiri katika nafasi latent. Katika hatua ya mpito kuna mwingiliano wa sehemu.

Chanzo kinaeleza hili kwa kusema kwamba wakati roboti bado haijaingiliana kimwili vya kutosha na ngazi, hali ya propriosepsheni hufanana na hali ya ardhi tambarare. Matokeo haya yanaonyesha kuwa uwakilishi latent hubeba tofauti za hali zinazohusiana na ardhi.

Hata hivyo, kutengana kwa makundi hakumaanishi kwamba roboti hutambua kimantiki mazingira ya nje kwa sensa ya moja kwa moja kama kamera. Uwakilishi hutokana na uchunguzi wa propriosepsheni wa awali.

40. Majaribio katika mazingira mbalimbali halisi

Hali hizi zinaonyesha wigo wa mbinu katika ulimwengu halisi. Hata hivyo, chanzo hakiripoti benchmark ya uwanjani yenye mamia ya marudio, asilimia ya mafanikio kwa kila aina ya ardhi au uwezekano wa hitilafu kwa sehemu hii. Kwa hiyo, hitimisho kwamba “inafanya kazi kwa uhakika kwenye kila aina ya ardhi” haliwezi kutolewa.

41. Hitimisho zinazoungwa mkono na utafiti

42. Hitimisho ambazo utafiti hauungi mkono moja kwa moja

43. Mchango mkuu wa kisayansi wa utafiti

Mchango mkuu wa utafiti huu si kujaribu kujenga upya mfumo wa tendoni kwa modeli analitiki ya kina zaidi ya spring–damping–friction. Watafiti hutumia mwitikio wa mienendo ulioonekana wa roboti halisi kujifunza sera tofauti ya RL inayorekebisha torati ya uigaji bora ndani ya masafa madogo.

Mbinu hii kisha huunganishwa na sera ya lokomosheni. Hivyo matatizo mawili tofauti hutatuliwa kando lakini kwa uhusiano: mtandao wa kwanza hujikita kwenye swali “roboti katika uigaji inapaswa kujibuje kama roboti halisi?”, na mtandao wa pili kwenye “chini ya mienendo hii iliyo halisi zaidi, roboti inapaswa kutembeaje?”

Muundo wa explicit–implicit huunganisha aina mbili tofauti za taarifa dhidi ya kutokamilika kwa uchunguzi katika tatizo la pili. Makadirio ya wazi hutoa kasi na jiometria ya ardhi yenye maana maalumu ya kimwili; vipengele fiche vya latent huwakilisha hali ambapo ni vigumu kutaja kila sababu muhimu moja baada ya nyingine.

44. Vikwazo na kazi ya baadaye

Muundo wa sera uliopo unategemea hasa historia ya propriosepsheni. Watafiti wanapanga kuongeza taarifa ya kuona katika siku zijazo kwa lokomosheni robust kwenye ardhi changamano zaidi.

Pia, kutumia adversarial motion priors ili kuzalisha gait yenye mwonekano wa kibayolojia zaidi na kutumia njia za kutembea zilizoongozwa na biolojia katika mafunzo ya urekebishaji wa torati ya hatua ya RS ni miongoni mwa malengo ya kazi ya baadaye.

Chanzo hakitoi bajeti ya kina ya hitilafu chini ya kichwa kimoja cha “Limitations”. Kwa hiyo, Verianla haijaunda orodha tofauti ya vikwazo vya majaribio ambavyo havipo kwenye chanzo. Kikomo cha upeo wa kimetodolojia kimehifadhiwa kwa msingi wa jukwaa moja la kimwili, kazi na aina za ardhi zilizobainishwa, muundo wa sasa wa utambuzi wa propriosepsheni na idadi ya majaribio yaliyoripotiwa.

Maelezo ya Chanzo na Mbinu

Kichwa asili: RSR: Tendon-Driven Bipedal Robot Locomotion Learning Method Based on Real2Sim2Real

Waandishi: Suozhong Fan, Jian Liu, Jie Xue, Jun Tang, Qingdu Li na Jianwei Zhang.

Mwandishi wa mawasiliano: Jun Tang.

Mchango sawa: Hakuna taarifa ya mchango sawa katika makala chanzo.

Taasisi: School of Optical-Electrical and Computer Engineering, University of Shanghai for Science and Technology; Institute of Machine Intelligence, University of Shanghai for Science and Technology; Shanghai DroidUp Co., Ltd.; Department of Informatics, University of Hamburg.

Jarida: Mathematics.

Mchapishaji: MDPI.

Rekodi ya bibliografia: Mathematics 2026, 14(13), 2358.

DOI: 10.3390/math14132358.

Tarehe ya kuwasilishwa: 14 Mei 2026.

Tarehe ya marekebisho: 22 Juni 2026.

Tarehe ya kukubaliwa: 23 Juni 2026.

Tarehe ya kuchapishwa: 2 Julai 2026.

Kiungo rasmi: https://doi.org/10.3390/math14132358

Aina ya chanzo: Makala asili ya utafiti iliyochapishwa katika jarida la kisayansi lililopitiwa na wenzao. Utafiti unajumuisha ujifunzaji wa uimarishaji, ablation ya uigaji na majaribio ya roboti halisi ya miguu miwili.

Hali ya preprint: Hati iliyotolewa ni toleo la jarida lililochapishwa. Hakuna namba tofauti ya preprint iliyoainishwa ndani ya PDF.

Leseni: Creative Commons Attribution (CC BY).

Jukwaa la roboti: Roboti ya miguu miwili X02 inayoendeshwa kwa tendoni iliyotengenezwa na Shanghai DroidUp Co., Ltd.; takribani 1,70 m, takribani 32 kg; katika utafiti huu 10 DOF za sehemu ya chini ya mwili zilidhibitiwa.

Mbinu kuu: Real2Sim2Real ya hatua mbili. Katika hatua ya kwanza torque refinement policy ilifunzwa kwa data ya roboti halisi; katika hatua ya pili policy ya lokomosheni inayotumia ukadiriaji explicit wa kasi ya mstari + urefu wa ardhi chini ya mguu na implicit latent representation ilifunzwa.

Algoriti ya ujifunzaji wa uimarishaji: PPO.

Masafa ya utendaji wa sera: 100 Hz.

Masafa ya udhibiti wa PD: 500 Hz.

Jukwaa la kihesabu la roboti halisi: RK3588.

Majaribio ya kasi halisi: Amri za 0,6; 1,5; 2,0 na 2,5 m/s, sekunde 20 kwa kila hali na majaribio matano huru kwa kila jozi ya mbinu/kasi.

Ufadhili: Shanghai Special Fund for Promoting Industrial High-Quality Development–Pioneering Industry Innovation and Development Project, RZ-RGZN-01-25-0673; National Key Research and Development Program of China “Regional Integrated Application Demonstration of Intelligent Technology for Active Health Services”, 2023YFC3605800; 2025 Shanghai Key Technologies Research and Development Program–“New Energy” Project, 25DZ3001401.

Upatikanaji wa data: Waandishi wamesema kuwa michango asili ya utafiti imo ndani ya nyenzo za makala na maswali ya ziada yanaweza kuelekezwa kwa mwandishi wa mawasiliano.

Mgongano wa maslahi / uhusiano wa taasisi: Imeripotiwa kuwa Jian Liu, Jie Xue, Jun Tang na Qingdu Li ni wafanyakazi wa Shanghai DroidUp Co., Ltd. Waandishi wengine wamesema kuwa utafiti ulifanywa bila uhusiano wa kibiashara au kifedha ambao ungeweza kufasiriwa kama mgongano wa maslahi.

Michango ya waandishi: Uundaji wa dhana Suozhong Fan na Jian Liu; metodolojia Suozhong Fan; programu Suozhong Fan; uthibitishaji Suozhong Fan na Jian Liu; uchambuzi rasmi Jun Tang na Qingdu Li; utafiti Suozhong Fan; rasilimali Suozhong Fan; uratibu wa data Suozhong Fan na Jianwei Zhang; rasimu ya kwanza Suozhong Fan na Jie Xue; mapitio na uhariri Suozhong Fan; uoneshaji Jie Xue; usimamizi Jun Tang na Qingdu Li; usimamizi wa mradi Jun Tang; ufadhili Jun Tang na Jianwei Zhang.

Dokezo la Jedwali 7 ndani ya chanzo: Wakati maandishi ya matokeo na Jedwali 8 yanaripoti thamani za simulation average reward kama IWM=23,33, EIWM=35,67 na RSR=35,83, katika safu ya “Average Reward” ya Jedwali 7 zipo 0,8268, 0,9532 na 0,9768 mtawalia. Kwa kuwa chanzo hakielezi uhusiano wa ubadilishaji kati ya mizani hizi mbili, thamani hazijaunganishwa.

Dokezo la Kielelezo 15 ndani ya chanzo: Katika legenda ya kuona ya PDF, lebo “TS” inaonekana pamoja na RSR, EIWM na IWM, huku maandishi yanayozunguka na Jedwali 13 yakitaja mbinu ya nne ya ulinganisho kama RMA. Verianla haijarekebisha lebo hii kwa maelezo yasiyopo kwenye chanzo; katika tathmini ya kiasi imehifadhi mstari wa RMA uliotolewa wazi katika Jedwali 13.

Dokezo la fomula: Milinganyo iliyowekewa namba (1)–(14) katika chanzo imehifadhiwa na kuelezwa kwa mtindo wa kufundisha. Uwasilishaji wa kawaida wa kihisabati wa RMSE umeongezwa tu kufundisha maana ya metrika na haujaonyeshwa kama mlinganyo mpya uliowekewa namba katika chanzo.

Mpaka mkuu wa tafsiri: Utafiti unajumuisha uthibitishaji wa roboti halisi ya kimwili; kwa hiyo si utafiti wa uigaji pekee. Hata hivyo, uthibitishaji umewekewa kikomo kwenye roboti X02 na kazi/mazingira yaliyoripotiwa katika utafiti. Matokeo hayatoi dhamana ya utendaji wa jumla kwa usanifu wote wa roboti za miguu miwili zinazoendeshwa kwa tendoni.