Adnotarea obiectelor în scene de interior pentru robotică de service și inteligență artificială întrupată — Studiu de caz
Cum a furnizat Shaip adnotări complete ale scenelor de interior pentru o companie lider în inovație în robotică — detectând și etichetând fiecare obiect din mediile de cameră cu etichetare a relațiilor spațiale — construit ca un set de date de nivel de producție pentru percepția robotică și navigarea prin inteligență artificială în case, birouri, depozite și unități medicale.
rezumatul proiectului
Pe măsură ce robotica se transformă în implementări reale în locuințe, birouri, depozite și spitale, clientul avea nevoie de o rețea completă de adnotări, capabilă să eticheteze fiecare obiect vizibil în scene interioare dens aglomerate - cu o bogăție de atribute suficientă pentru sarcini de interacțiune robotică.
Shaip a construit conducta de adnotare end-to-end care acoperă segmentarea casetelor de delimitare și a poligoanelor, includerea obiectelor dense, etichetarea relațiilor spațiale și gestionarea suprafețelor reflectorizante — producând seturi de date gata de model pentru percepția robotică, navigare și interacțiunea om-mediu.
Statistici cheie
Obiecte / Imagine
Anii 100
Categorii
dens
Aplicate
Casetă + Poligon
Straturi de atribute
4
Activități
- Adnotarea fiecare obiect vizibil în imagini de camere dens aglomerate — sute pe cadru
- Alegerea metodei potrivite — Segmentare cutie delimitatoare vs. segmentare poligon — bazat pe complexitatea obiectului
- Inclusiv obiecte mici precum întrerupătoare, prize și obiecte decorative esențiale pentru interacțiunea robotică
- Manipularea suprafete reflectorizante (oglinzi, mese de sticlă) fără adnotări fantomă
- Etichetarea relații spațiale și stări ale obiectelor pentru IA robotică conștientă de context
Soluţie
Incluziunea cuprinzătoare a obiectelor
Fiecare obiect vizibil din fiecare imagine a camerei a fost adnotat individual într-o gamă largă de categorii - mobilier (scaune, mese, canapele, paturi, rafturi), electrocasnice (televizoare, frigidere, cuptoare cu microunde, lămpi), obiecte personale (genți, cărți, sticle, îmbrăcăminte), elemente structurale (uși, ferestre, pereți, podele) și obiecte mici (telecomenzi, cești, farfurii, tastaturi, întrerupătoare, prize).
Selectarea metodei per obiect
Obiectele au fost etichetate cu precizie folosind casete de încadrare sau segmentare poligon, în funcție de forma și complexitatea obiectului. Casetele au fost folosite pentru obiecte dreptunghiulare obișnuite; poligoanele au surprins forme organice și elemente strâns ambalate, unde casetele se suprapuneau excesiv. Această selecție a metodei pentru fiecare obiect a asigurat limite clare chiar și în scene aglomerate.
Etichetarea relațiilor spațiale
Fiecare obiect adnotat a fost îmbogățit cu atribute care acoperă starea obiectului (deschis sau închis pentru uși și sertare), etichete de relații spațiale care indică proximitatea și plasarea în raport cu alte obiecte, starea de ocluzie și condiția obiectului. Acest strat de inteligență spațială permite sistemelor robotice de inteligență artificială să înțeleagă contextul, nu doar să detecteze obiectele.
Obiecte mici și interacțiuni - Acoperire critică
Adnotatorii au urmat reguli stricte de includere pentru a eticheta fiecare obiect vizibil, indiferent de dimensiune - inclusiv obiecte mici, cum ar fi întrerupătoare, prize și obiecte decorative, esențiale pentru sarcinile de interacțiune robotică. Aceste elemente determină adesea dacă un robot își poate îndeplini sarcina, așadar nu au putut fi depriorizate.
Manipularea suprafețelor reflectorizante
Suprafețele reflectorizante, cum ar fi oglinzile și mesele de sticlă, necesitau o manipulare specială pentru a evita adnotările duplicate sau fantomă. Existau instrucțiuni specifice care reglementau dacă obiectele reflectate erau etichetate separat, ignorate sau semnalizate — asigurându-se că modelele din aval nu învățau din etichetele încărcate cu artefacte.
Domeniul de aplicare al proiectului
| Tipul setului de date | Acoperire | Aplicate | Categorii | Atribute | Manipulare specială |
|---|---|---|---|---|---|
| Adnotare obiect scenă interioară | Fiecare obiect vizibil | Casetă + poligon | Mobilier, electrocasnice, obiecte personale, structuri, mici | 4 straturi (stare, spațial, ocluzie, condiție) | Reguli privind suprafețele reflectorizante |
Rezultate
- A stabilit un conductă de adnotare cu densitate de obiecte pentru percepția robotică în interior
- standardizat selecția metodei per obiect între casetele de încadrare și segmentarea poligoanelor
- Livrat etichetarea relațiilor spațiale permiterea inteligenței artificiale robotice conștiente de context
- Pus în aplicare manipularea suprafețelor reflectorizante pentru a preveni adnotările fantomă
- A activat clientul casă, depozit, magazin și unitate medicală implementarea roboticii prin inteligență artificială
Per total, Shaip a contribuit la transformarea unei cerințe de adnotare densă în obiecte pentru interior într-o conductă structurată, pregătită pentru producție - una capabilă să susțină navigarea robotică, automatizarea de tip „pick-and-place”, monitorizarea inteligentă a mediului și interacțiunea om-robot în diverse medii de implementare în interior.
Shaip a adnotat camerele așa cum le văd roboții noștri — fiecare obiect, fiecare relație, fiecare element mic care contează. Atenția lor la întrerupătoare, prize și suprafețe reflectorizante a făcut ca modelul nostru de percepție să nu se împiedice de lucrurile pe care majoritatea seturilor de date le ignoră.
