Adnotarea poziției mâinii este procesul de etichetare a modului în care o mână și degetele acesteia se mișcă pe fiecare cadru al unui videoclip, astfel încât roboții să poată învăța manipulări dibace, asemănătoare oamenilor. Roboții de astăzi pot merge, se pot rostogoli și pot apuca o cutie. Cu ce încă se luptă sunt lucrurile mărunte - încheierea unei cămăși, înfășurarea unui cablu, ridicarea unui singur strugure fără a-l zdrobi. La Shaip, vedem acest lucru în fiecare zi: partea dificilă a inteligenței artificiale fizice nu este să învețe un robot să se miște, ci să-i învețe mâinile să se comporte bine . Și asta se reduce la calitatea datelor despre poziția mâinii din spatele acesteia.
Această postare aprofundează în mod specific subiectul mâinilor. Dacă doriți mai întâi o imagine de ansamblu, începeți cu ghidul nostru despre datele de antrenament pentru roboți și seturile de date de manipulare - acesta este capitolul despre dexteritate al acestei povești.
De ce este dexteritatea adevăratul blocaj în manipularea roboților?
Dexteritatea este blocajul, deoarece mișcarea grosieră este în mare parte rezolvată, iar controlul fin al degetelor nu. Un robot poate fi învățat să ajungă și să închidă un dispozitiv de prindere. A-l învăța să rotească un stilou între două degete sau să apuce din nou o șurubelniță în timpul sarcinii este o provocare diferită - și depinde în întregime de datele care surprind modul în care se mișcă efectiv degetele.

Iată cum le explicăm clienților acest lucru în mod simplu:
- Locomoție și apucare grosieră — în mare parte funcționează. Există o mulțime de date.
- Manipulare fină, cu mai multe degete — în mare parte nu funcționează. Datele abia dacă există.
- Spărtura — exemple de antrenament care înregistrează ce a făcut fiecare deget, în ce ordine și când a atins obiectul.
Ultima linie este exact ceea ce produce adnotarea poziției mâinii. Fără ea, un robot poate recunoaște un șiret, dar nu are nicio idee cum să-l lege.
Ce este mai exact adnotarea poziției mâinii?
Adnotarea poziției mâinii este o formă de adnotare a punctelor cheie în care articulațiile mâinii - încheieturile mâinii, segmentele degetelor, vârful degetelor și încheietura mâinii - sunt marcate și urmărite în fiecare cadru al unui clip. Transformă un videoclip obișnuit al unei mâini într-o înregistrare curată și structurată a mișcării din care un model poate învăța.

În practică, echipele noastre etichetează patru lucruri pe fiecare mână:
- Scheletul mâinii — un set consistent de puncte pe degete și încheietura mâinii (de obicei, o dispunere de peste 20 de puncte).
- Mișcarea articulației — cum se îndoaie și se rotesc acele puncte pe măsură ce sarcina se desfășoară.
- Mișcarea în timp — traiectoria lină a fiecărui punct de la primul cadru până la ultimul, nu doar instantanee izolate.
- Momente de contact — cadrele exacte în care un deget atinge, apucă sau eliberează un obiect.
Al patrulea element este locul unde se află dexteritatea. Oricine poate marca unde se află o mână; valoarea constă în a surprinde cum și când.
Cum diferă adnotarea dexterității de adnotarea standard a punctelor cheie?
Adnotarea dexterității este o adnotare a punctelor cheie ținută la un nivel mult mai ridicat. Lucrul standard la punctele cheie răspunde la întrebarea „unde este mâna?”. Adnotarea dexterității răspunde la întrebarea „ce a făcut fiecare deget, în ce ordine și când a făcut contact?” - aceasta fiind singura versiune pe care un model de manipulare se poate antrena efectiv.
Diferența este cea mai clară una lângă alta:
| Ceea ce etichetăm | Adnotare standard a punctelor cheie | Adnotare a poziției mâinii la nivel de dexteritate |
|---|---|---|
| Detaliu | Poziția mâinii, per cadru | Mișcare completă a degetelor, în fiecare cadru |
| Adâncime | Plat, 2D | 3D — cum se mișcă articulațiile în spațiu |
| Timp | Cadru cu cadru, independent | O mișcare lină și continuă |
| Contact | Rar etichetat | Prindere, atingere și eliberare marcate |
| Ocluzie | Adeseori omis | Dedus și completat cu grijă |
| La ce este bun | Gesturi, urmărirea mâinii | Învățând roboții să manipuleze |
Coloana din dreapta este cea pe care o construim la Shaip, deoarece este singura coloană din care un robot abil poate învăța.
Cum transformă adnotarea poziției mâinii videoclipurile umane în abilități robotice?
Adnotarea pozițiilor mâinii este puntea dintre videoclipurile ieftine cu oameni și demonstrațiile scumpe cu roboți. Retargetarea este pasul care mapează mișcările etichetate ale mâinii unei persoane pe mâna unui robot, astfel încât o demonstrație umană devine ceva ce un robot poate copia. Filmarea oamenilor este ușoară și scalabilă; capturarea demonstrațiilor reale ale roboților este lentă și costisitoare - așa că calea inteligentă este să predăm roboților de la noi.
Fluxul pe care îl rulăm pentru clienți arată astfel:
- Record — a captura un videoclip la persoana întâi („ceea ce văd mâinile mele”) cu o persoană care efectuează o sarcină.
- Adnota — etichetați poziția mâinii pe fiecare cadru pentru a recupera mișcarea completă a degetelor.
- Retarget — mapați acea mișcare pe mâna robotului, astfel încât acesta să poată reproduce acțiunea.
Un exemplu util: pentru a învăța un robot de bucătărie să spargă un ou, nu ai nevoie de o mie de roboți care exersează. Ai nevoie de un videoclip curat și bine etichetat cu oameni care sparg ouă — adnotarea este ceea ce face ca filmarea respectivă să fie învățabilă.
Unde sunt folosite de fapt datele obținute prin manipulare abilă?
Datele despre dexteritate sunt importante oriunde o mașină trebuie să gestioneze lumea fizică cu grijă. Aceasta este secțiunea pe care majoritatea prezentărilor generale omit-o, așa că merită să fim concreți. Fluxuri de adnotare pentru poziția mâinii și dexteritate:
Roboți umanoizi și de uz casnic — împăturirea rufelor, încărcarea mașinii de spălat vase, manipularea obiectelor de zi cu zi de toate formele.
Automatizarea depozitelor și a comerțului cu amănuntul — ridicarea unui articol fragil de pe un raft fără a-l deteriora sau sortarea produselor mixte în funcție de senzație.
Asistență medicală și robotică asistivă — dispozitive de reabilitare și brațe asistive care trebuie să se miște ușor în jurul oamenilor.
Fabricație și reparații — utilizarea sculelor, pozarea cablurilor și asamblarea pieselor mici, unde o prindere grosieră pur și simplu nu este suficientă.
AR/VR și dispozitive portabile — interacțiune naturală cu mâinile, controlul gesturilor și interfețe de urmărire a mâinii.
Firul comun: fiecare eșuează fără date de antrenament care să capteze mișcarea fină a degetelor. Aceasta este nevoia pe care munca lui Shaip de mișcare, poziție și dexteritate este concepută să o satisfacă.
Cât de mari trebuie să fie datele privind dexteritatea - și cât de bune?
Scara contează, dar calitatea contează și mai mult. Pentru a pune scara în perspectivă, un set de date de cercetare de referință publicat în 2025 a adunat 829 de ore de videoclipuri de manipulare la persoana întâi cu urmărirea mâinilor pereche în 194 de sarcini de zi cu zi - descris de autorii săi ca fiind cel mai mare set de date de manipulare dibăcie de acest gen ( Apple Machine Learning Research, 2025 ). Aceasta este direcția în care se îndreaptă domeniul: vast, bogat etichetat, divers în funcție de sarcini.
Însă volumul în sine nu este suficient pentru a antrena un robot bun. Din experiența noastră la Shaip, majoritatea eșecurilor de dexteritate sunt legate de calitatea etichetelor , nu de dimensiunea setului de date. Problemele dificile sunt practice:
- Degete ascunse — mâinile se acoperă în permanență pe ele și obiectele pe care le țin.
- Degete asemănătoare — e ușor să etichetezi greșit un deget ca fiind vecinul său.
- Mișcare rapidă — mișcările rapide estompează chiar cadrele care contează cel mai mult.
- Consecvență în timp — o etichetă instabilă a unei articulații poate strica o întreagă secvență de mișcare.
De aceea, fiecare proiect de dexteritate de la Shaip se desfășoară prin echipe instruite, cu implicare umană, și printr-un proces de calitate în mai multe etape - validare la prima trecere, calibrare în funcție de un set de standarde de aur și o revizuire finală a lansării - cu un acord între anotatori și praguri de acceptare specifice sarcinii stabilite pentru fiecare proiect. Datele curate sunt mai ieftine decât un robot care a învățat mișcarea greșită.
Cum ajută Shaip
La Shaip, ne ocupăm de întregul proces - de la colectarea videoclipurilor la persoana întâi și demonstrative cu oameni, la etichetarea precisă a pozițiilor mâinilor și a dexterității, până la datele pregătite pentru retargetare, pe care echipa dvs. se poate antrena. Totul este livrat în condiții de securitate la nivel de întreprindere (ISO 27001 și SOC 2 Tip II) de către o forță de muncă gestionată și verificată.
Explorează soluțiile noastre de date pentru antrenament bazate pe inteligența artificială fizică , vezi cum realizăm colectarea de date video egocentrice pentru datele de dexteritate din filmările la persoana întâi de la care pornesc datele sau citește ghidul nostru suplimentar despre ce este un set de date egocentric.
Ce este adnotarea poziției mâinii?
Adnotarea poziției mâinii este etichetarea articulațiilor unei mâini - încheieturi, segmente de degete, vârfuri degetelor și încheietură - în fiecare cadru al unui videoclip. Creează date structurate care învață roboții și modelele de inteligență artificială cum o mână mișcă și manipulează obiectele în timp.
Cum diferă adnotarea dexterității de adnotarea standard a punctelor cheie?
Adnotarea standard a punctelor cheie marchează locul în care se află o mână, cadru cu cadru, în 2D. Adnotarea dexterității adaugă profunzime, mișcare lină în timp și momente de contact etichetate - producând date pe care un robot le poate folosi pentru a învăța manipularea fină cu mai multe degete.
Ce este retargetingul în datele privind pozițiile mâinii?
Retargetarea mapează mișcările mâinii etichetate ale unei persoane pe mâna unui robot, astfel încât o demonstrație umană devine o acțiune pe care robotul o poate reproduce. Este modul în care abundența de videoclipuri umane este transformată în date rare și valoroase de antrenament pentru roboți.
De ce limitează dexteritatea ceea ce pot face roboții?
Dexteritatea limitează roboții deoarece sarcinile grosiere, precum mersul și prinderea simplă, sunt în mare parte rezolvate, în timp ce controlul fin al degetelor - prinderea din nou a unui instrument, manipularea unui obiect delicat - nu dispune de datele de antrenament care surprind modul în care se mișcă degetele. Adnotarea poziției mâinii furnizează acel semnal lipsă.
Ce industrii utilizează date despre dexteritate?
Robotica umanoidă și casnică, automatizarea depozitelor și a comerțului cu amănuntul, roboții din domeniul sănătății și cei asistenți, producția și reparațiile, precum și interacțiunea mâinilor AR/VR se bazează pe date de dexteritate pentru a manipula obiecte din lumea reală în siguranță și cu precizie.
Contează mai mult dimensiunea setului de date sau calitatea etichetelor?
Ambele contează, dar calitatea etichetelor decide de obicei rezultatul. Seturile mari de date ajută, însă majoritatea eșecurilor de dexteritate se datorează etichetelor manuale inconsistente sau inexacte - motiv pentru care Shaip combină scalabilitatea cu un control strict al calității, implicat de om în procesul de lucru.
Poate Shaip să colecteze și să eticheteze videoclipuri realizate manual de persoana întâi?
Da. Shaip colectează și adnotează videoclipuri la persoana întâi și demonstrații umane, producând date precise, gata de retargetare, din pozițiile mâinilor, în conformitate cu controalele ISO 27001 și SOC 2 Tip II.