Colectarea de date despre robotica umanoidă la scară largă: 5,000 de ore pe lună de date despre mișcare, de la simulare la realitate
Cum furnizează Shaip 5,000 de ore valide pe lună de date de captare a mișcării VR egocentrice pentru 1,500–2,500 de participanți, 300–400 de sarcini și peste 50 de setări distincte de captare în șase tipuri de medii.
rezumatul proiectului
Pe măsură ce inteligența artificială fizică și robotica umanoidă intră în implementarea în lumea reală, clientul avea nevoie de un cadru scalabil pentru a colecta 5,000 de ore valide pe lună de date de mișcare VR bazate pe sarcini în diverse medii, cu calibrare, execuție și asigurare a calității (QA) consecvente.
Shaip a construit fluxul complet de operațiuni de date, care acoperă configurarea scenelor, maparea codurilor QR, urmărirea cu cinci senzori, repetiția participanților, captura moderată și fluxurile de lucru de revizuire pentru a susține 300-400 de sarcini definite de clienți și a livra seturi de date AI încorporate, pregătite pentru model, la scară largă.
Statistici cheie
Participanții
1,500–2,500 pe ciclu
Volumul datelor
5,000 de ore valide pe lună
Acoperire de mediu
Peste 50 de setări de captură în birou, acasă, fabrică, cafenea, depozit, farmacie și multe altele
Companiei
Ciclu lunar continuu
Activități
- Scalarea colectării datelor de mișcare din fluxuri de lucru controlate în stil pilot într-un flux recurent 5,000 de ore valide program lunar.
- Mentine precizie constantă a urmăririi în diverse scene din lumea reală și configurații ale participanților.
- Asigurarea îndeplinirii cerințelor stricte de aplicare pentru fiecare sesiune controlul construirii și versiunilor, configurarea rețelei partajate, screencasting și asocierea senzorilor.
- De conducere 300-400 de sarcini definite de client în categorii precum locomoție, manipulare de obiecte, interacțiune în gospodărie, interacțiune la birou și fluxuri de lucru fizice în mai mulți pași - fiecare necesitând configurarea corectă a scenei, plasarea obiectelor, pregătirea participanților și validare condusă de moderator.
- Conversia sesiunilor brute în ieșiri gata de model prin fluxuri de lucru repetabile de asigurare a calității, gestionarea reluărilor și încărcarea revizuirilor.
Soluţie
Strategia de colectare
Shaip a conceput un cadru de colectare care furnizează 5,000 de ore valide de date de mișcare VR pe lună, în loturi bazate pe etape. Pe baza unui raport de planificare de 3-5 participanți la 10 ore valide, fiecare ciclu lunar necesită aproximativ 1,500-2,500 de participanți.
Managementul mediului și al scenei
Mediile sunt structurate pe două niveluri. Șase tipuri generale de medii - birou, casă, fabrică, cafenea, depozit și farmacie - sunt subdivizate în peste 50 de setări distincte de captură, fiecare reprezentând o locație fizică specifică, cum ar fi o cameră de oaspeți, o stație de espresso, un banc de asamblare sau o linie de ambalare. Fiecare setare este tratată ca o scenă structurată. Shaip o documentează folosind fotografii de cameră cu unghi larg, configurează scenele în sistemul de administrare, coordonează recenziile clienților și exportă fișiere PDF cu scene pentru plasarea fizică. Maparea scenelor cu link-uri QR asigură că fiecare setare poate fi legată în mod fiabil de contextul corect de înregistrare.
Pregătire pentru dispozitive și aplicații
Shaip standardizează pregătirea tehnică asigurându-se că casca VR și dispozitivul de monitorizare sunt conectate la aceeași rețea, controlând fluxul de instalare și actualizare a aplicațiilor și permițând transmiterea ecranului prin browser pentru vizibilitatea moderatorului pe tot parcursul sesiunii.
Urmărirea mișcării și calibrarea
Înainte de fiecare sesiune, toate cele cinci dispozitive de urmărire a mișcării sunt asociate și validate. Calibrarea este obligatorie pentru fiecare participant, inclusiv verificarea alinierii avatarului, ajustarea podelei și configurarea personalizată a limitelor pentru a asigura o captură precisă a mișcării întregului corp în spațiul de activitate înregistrabil.
Executarea și moderarea sarcinilor
Participanții sunt ghidați prin pregătirea sarcinilor specifice scenei și repetiții înainte de înregistrare. Moderatorii observă prin intermediul screencast-ului, verifică acuratețea sarcinii și claritatea mișcării și trec la captura live numai după ce comportamentul senzorilor și mișcarea participanților îndeplinesc așteptările de calitate. Pornirea/oprirea înregistrării se execută prin fluxul de lucru definit prin gesturi.
Asigurarea calității și rezultate pregătite pentru model
După înregistrare, sesiunile sunt încărcate pentru revizuire. Shaip validează claritatea mișcării, corectitudinea sarcinii, alinierea scenei și precizia senzorilor, anulând sau reluând înregistrările inutilizabile atunci când este necesar. Acest lucru creează o cale mai fiabilă către seturi de date pregătite pentru adnotări, verificate prin QA și pregătite pentru modele, pentru antrenament integrat în domeniul inteligenței artificiale și al roboticii.
Domeniul de aplicare al proiectului
| Tipul setului de date | Participanții | Volumul de înregistrare | Acoperire de mediu | Volumul sarcinilor | Configurarea capturii | Companiei |
|---|---|---|---|---|---|---|
| Captura de mișcare VR egocentrică | 1,500–2,500 pe ciclu | 5,000 de ore valide pe lună | Peste 50 de setări de captură în birou, acasă, cafenea, fabrică, depozit, industria farmaceutică și alte medii din lumea reală | 300–400 de sarcini definite de client | Căști VR + 5 dispozitive de urmărire a mișcării | Ciclu lunar continuu |
Rezultat
- A stabilit un cadru scalabil de operațiuni de date pentru 5,000 ore valide pe lună de IA fizică date de instruire
- standardizat guvernanță scenă, cartografiere bazată pe coduri QR și calibrare cu cinci senzori în medii distribuite
- Îmbunătățirea consecvenței colecțiilor prin repetiție moderată, revizuire a screencast-ului în timp real și QA la nivel de sesiune
- Activat ieșiri validate pentru sarcini, gata de adnotare pentru dezvoltarea de modele de inteligență artificială încorporată, simulare și robotică în aval
- A consolidat clientul conductă de date sim-to-real cu captură de mișcare egocentrică de înaltă calitate din diverse medii reale
Per total, Shaip a contribuit la transformarea unei cerințe complexe de captură VR într-o conductă de date structurată, pregătită pentru producție - una capabilă să susțină inițiativele de inteligență artificială fizică, inteligență întrupată și robotică umanoidă cu o consecvență, o trasabilitate și o scalabilitate mai puternice.
Shaip ne-a ajutat să construim coloana vertebrală a operațiunilor de date pentru foaia noastră de parcurs a inteligenței artificiale fizice. Echipa lor a adus structura captării mișcării în medii multiple, gestionării participanților, configurării scenelor, calibrării și asigurării calității — permițându-ne să generăm seturi de date pregătite pentru modele care susțin învățarea de la simulare la realitate pentru inteligența artificială întrupată și robotica umanoidă.
