Dezvoltarea inteligenței artificiale întruchipate cu date video egocentrice din lumea reală
Permiterea recunoașterii activității umane, a roboticii și a modelelor de interacțiune mână-obiect cu ajutorul unor videoclipuri scalabile capturate în medii casnice și industriale.
rezumatul proiectului
Clientul a colaborat cu Shaip pentru a stabili un program scalabil de colectare a datelor video egocentrice de înaltă calitate. Participanții ar înregistra activități casnice și industriale reale folosind dispozitive mobile montate în siguranță, poziționate la nivelul frunții.
Obiectivul a fost de a construi un set de date video divers și naturalist, potrivit pentru antrenarea modelelor pentru:
- Recunoașterea activităților umane complexe și a secvențelor de sarcini
- Interpretarea interacțiunilor mână-obiect
- Înțelegerea mediilor reale din gospodărie și de la locul de muncă
- Sprijiniți robotica și aplicațiile de inteligență artificială încorporată
- Îmbunătățiți generalizarea modelului în diferite locații, dispozitive, obiecte și condiții de operare
Implicarea a pus accent pe performanța naturală a sarcinilor, poziționarea stabilă a camerei, execuția continuă, consimțământul contributorilor și validarea riguroasă a calității.
Set de date video egocentric: Specificații cheie
Volumul datelor
30,000 de ore colectate, peste 24,000 de ore adnotate
Capacitatea contribuitorului
Până la 100 de ore video aprobate per participant
Dispozitive aprobate
iPhone 11+, Google Pixel 6+ și Samsung Galaxy S21+
Acoperire geografică
Statele Unite și America Latină
Medii de activitate
Medii casnice, industriale și comerciale
Provocări în colectarea de date video egocentrice
- Captarea comportamentului uman natural: Contribuitorii trebuiau să desfășoare activități autentice, fără mișcări înscenate, exagerate sau robotice.
- Menținerea încadrării la persoana întâi: Ambele mâini, zona de lucru și obiectele relevante trebuiau să rămână vizibile pe tot parcursul executării sarcinii active.
- Controlul stabilității camerei: Dispozitivele mobile montate pe cap trebuiau să rămână în siguranță, cu oscilații minime, înclinare excesivă sau obstrucție.
- Colectarea în medii diverse: Setul de date necesita filmări autentice din medii rezidențiale, industriale, de retail, hoteliere, agricole, de construcții și de servicii.
- Minimizarea materialelor video inactive sau non-task: Înregistrările trebuiau să demonstreze o muncă continuă, intenționată, cu pauze limitate și mișcări inutile.
- Asigurarea autorizării și a consimțământului: Fiecare contribuitor și locație de înregistrare a necesitat permisiunea, consimțământul și validarea conformității corespunzătoare.
- Scalare fără compromisuri privind calitatea: Volume mari de materiale video trebuiau revizuite rapid, cu motive clare de respingere și fluxuri de lucru eficiente pentru recaptură.
Cum a colectat Shaip datele video egocentrice
Strategia de colectare
Shaip a conceput un cadru flexibil care acoperă activități autentice casnice, comerciale și industriale. Participanții au selectat sarcini aliniate cu rutinele lor naturale, în loc să urmeze scenarii puse în scenă.
Integrarea contributorilor
Participanții din Statele Unite și America Latină au fost instruiți cu privire la selectarea sarcinilor, cerințele dispozitivelor, amplasarea camerei, consimțământ și condițiile de captură interzise.
Colecție video mobilă
Înregistrările au fost realizate prin intermediul unei aplicații mobile desemnate, cu trimitere automată și verificare a locației pentru a confirma capturarea în regiunile aprobate.
Configurarea camerei montate pe cap
Smartphone-urile aprobate au fost montate în siguranță la nivelul frunții și înclinate cu aproximativ 45° în jos pentru a menține vizibile mâinile, obiectele, spațiul de lucru și, în poziția staționară, degetele de la picioare ale contribuabilului.
Execuția naturală a sarcinilor
Contribuitorii au desfășurat activități continue și cu un scop, stând în picioare sau mergând și interacționând natural cu unelte, echipamente și obiecte de zi cu zi.
Validarea calității
Fiecare înregistrare a fost verificată pentru stabilitatea camerei, iluminarea, focalizarea, vizibilitatea mână-obiect, continuitatea sarcinii, postura, mediul și autorizarea.
Revizuire rapidă și recapturare
Trimiterile au fost revizuite în decurs de o zi. Motivele clare de respingere au permis contribuitorilor să corecteze și să recupereze rapid materialele video.
Controale de guvernanță
Consimțământul, autorizarea locației, trimiterea securizată, validarea locației și cesiunea proprietății intelectuale au fost integrate în fluxul de lucru.
Domeniul de aplicare și activitățile proiectului
| Segment de date | Activități reprezentative | Cerințe de captare |
|---|---|---|
| Activități casnice | Spălătorie, organizarea camerei, curățenia în bucătărie, îngrijirea animalelor de companie, îngrijirea plantelor, grădinărit și întreținerea casei. | În picioare sau mergând; execuție naturală; mâinile și spațiul de lucru vizibile. |
| Depozit și logistică | Ambalare, sortare, manipulare a stocurilor, inspecție și mișcarea materialelor. | Captură stabilă montată pe cap cu activitate continuă. |
| Comercial și Ospitalitate | Muncă de curățenie, menaj, aprovizionare cu amănuntul și activități din spatele casei de alimentație publică. | Locație autorizată de înregistrare și interacțiune clară cu obiectele. |
| Activități industriale | Fabricație ușoară, asamblare, întreținere echipamente și procese de producție. | Execuție autentică la locul de muncă cu permisiunile corespunzătoare. |
| Agricultură și amenajare a teritoriului | Întreținerea terenurilor, grădinărit, lucrări agricole și manipularea materialelor în aer liber. | Iluminare adecvată, încadrare stabilă și executarea sarcinilor în siguranță. |
| Meserii calificate și servicii de teren | Construcții, service auto, reparații, instalare și întreținere pe teren. | Vizibilitate clară asupra uneltelor, mâinilor, componentelor și zonei de lucru. |
Cadrul de calitate
Înregistrările au fost respinse pentru:
- Vizualizări obstrucționate, excesiv de înclinate sau instabile ale camerei
- Lumină slabă, focalizare slabă, vizibilitate neclară
- Perioade lungi de inactivitate sau imagini care nu sunt legate de sarcini
- Execuție artificială, forțată sau robotică
- Mișcări excesive ale capului, mâinilor sau corpului
- Mâinile în afara cadrului pentru mai mult de 10% din activitatea activă de prindere și eliberare
- Locații de înregistrare neautorizate
- Lipsește consimțământul contribuitorului
O înregistrare reușită era necesară pentru:
- Capturați lucrări autentice casnice sau industriale
- Mențineți o perspectivă stabilă la persoana întâi
- Păstrați mâinile, obiectele și zona de lucru vizibile
- Demonstrați activitate continuă și intenționată
- Respectați cerințele aprobate privind poziționarea dispozitivului și a camerei
- Să fie potrivit pentru instruirea în domeniul inteligenței artificiale care implică recunoașterea activității și percepția robotică
Rezultate: Date video egocentrice pregătite pentru robotică
- Date de activitate autentice: Execuția naturală a sarcinilor a surprins acțiunile umane, interacțiunile mână-obiect și secvențele operaționale.
- Extinderea setului de date scalabil: Fiecare participant putea contribui cu până la 100 de ore aprobate, în timp ce variațiile obiectelor, uneltelor, locațiilor, iluminării și secvențelor de sarcini au extins diversitatea setului de date, scalând programul la aproximativ 30,000 de ore de videoclipuri egocentrice colectate, cu peste 24,000 de ore adnotate și aprobate pentru antrenamentul modelului.
- Context pregătit pentru robotică: Filmările stabile la persoana întâi au oferit o vizibilitate clară a mâinilor, obiectelor, echipamentelor, spațiilor de lucru și progresiei sarcinilor.
- Intervenție rapidă în domeniul calității: Ciclurile de revizuire de o zi au permis feedback rapid, corecții și recuperări.
- Diversitate geografică și a dispozitivelor: Colectarea în SUA și America Latină, folosind dispozitive Apple, Google și Samsung aprobate, a introdus variații practice de mediu și hardware.
- Guvernanță integrată: Consimțământul, autorizarea, validarea locației, trimiterea securizată și controalele de calitate au fost integrate în întregul program.
Abordarea de colectare rezultată oferă o bază solidă pentru construirea unor sisteme de inteligență artificială care înțeleg acțiunea umană din perspectiva operatorului și funcționează mai fiabil.
Abordarea structurată a lui Shaip privind colectarea video egocentrică ne-a oferit amploarea, controalele de calitate și diversitatea din lumea reală necesare pentru programul nostru de instruire în domeniul inteligenței artificiale. Fluxul lor de lucru rapid de revizuire și standardele detaliate de captură au creat o bază fiabilă pentru avansarea modelelor de recunoaștere a activității și de robotică.
