Adnotare 3D LiDAR Bounding Box pentru conducere autonomă
Cum a oferit Shaip adnotări precise 3D de tip cuboid bounding box pentru 14 clase de obiecte, cu ~53 de casete pe cadru pe date de nor de puncte cu un singur cadru — calibrate în funcție de imagini 2D pentru percepția vehiculelor autonome la scară de producție.
rezumatul proiectului
Pe măsură ce percepția condusului autonom se îndreaptă spre implementarea în producție, clientul avea nevoie de o conductă de adnotare 3D LiDAR extrem de specializată, capabilă să plaseze cuburi de delimitare precise, la densitatea necesară pentru datele reale de antrenament AV - cu etichetare multi-atribut și calibrare a imaginilor 2D.
Shaip a construit conducta de adnotare end-to-end care acoperă plasarea cuboidului 3D, impunerea dimensiunilor implicite, etichetarea multi-atribut, gestionarea cazurilor limită de mediu și validarea imaginilor de referință — oferind seturi de date de percepție AV pregătite pentru model în 14 clase de obiecte.
Stare cheie
Clase de obiecte
14
Cutii per cadru
~ 53
Straturi de atribute
5
Niveluri de ocluzie
4
Activități
- plasare ~53 de cutii cuboide 3D pe cadru cu potrivire precisă la marginile norilor de puncte
- Manipularea 14 clase de obiecte peste vehicule, pietoni, animale și obiecte mobile
- De lucru simultan cu imagini de calibrare 2D și nor de puncte 3D de date
- De conducere nori punctuali fantomă, reflexii pe sol, ceață, abur și stropi de apă
- aplicarea dimensiuni implicite per clasă pentru consecvență între cadre
Soluţie
Flux de lucru pentru plasarea cuboidului 3D
Adnotatorii au plasat cuburi de delimitare 3D precise pe datele norului de puncte dintr-un singur cadru simultan cu referința imaginii de calibrare 2D. Fiecare clasă a venit cu dimensiuni implicite definite ale cutiei de delimitare pentru a asigura consecvența dimensiunilor în toate cadrele - mașini 3.4–5.1 m, camioane 3.4–14 m, pietoni 0.4–1.2 m lățime.
Etichetare cu atribute multiple
Dincolo de plasarea în cadrul cutiei de delimitare, fiecare obiect adnotat a primit etichete de atribute care acoperă starea vehiculului (în mers/parcat), starea vehiculului cu două roți (cu/fără șofer), starea pietonului (în picioare/așezat/culcat), starea de ocluzie (4 niveluri: nicio ocluzie, parțială, majoritară, completă) și starea extremităților (obiecte proeminente, uși deschise, echipamente atașate).
Gestionarea situațiilor limită de mediu
Reguli stricte au guvernat adnotarea obiectelor puternic ocluzate sau îndepărtate, a norilor de puncte fantomă cauzați de calibrarea greșită dublă a LiDAR, a reflexiilor la sol și a zgomotului ambiental provenit de la stropii de apă, ceață și abur. Oglinzile laterale, ușile deschise, brațele macaralei, portbagajele de acoperiș și bagajele pietonilor au fost excluse în mod explicit; sirenele de urgență și containerele de pe platformele camionului au fost incluse.
Validarea potrivirii strânse a cutiei
Cutiile trebuiau să fie ajustate strâns la marginile norilor de puncte, cu goluri vizibile minime. Orientarea a fost verificată prin intermediul datelor de calibrare și al contextului benzii unde norii de puncte erau ambigui. Scenele nocturne și ploioase au fost tratate echivalent cu condițiile diurne pentru consecvența adnotărilor.
Asigurarea calității intermodală
Toate adnotările au fost validate în raport cu imagini 2D de referință pentru a verifica dimensionarea și orientarea corectă. Acest strat QA intermodal a detectat nealinieri care nu ar fi fost vizibile doar din norul de puncte, asigurând o precizie de nivel de producție pentru antrenamentul modelului de percepție AV în aval.
Domeniul de aplicare al proiectului
| Tipul setului de date | Clase | Cutii/Rame | Atribute | Niveluri de ocluzie | Validare |
|---|---|---|---|---|---|
| Percepție AV LiDAR 3D | 14 | ~53 medie | 5 straturi de atribute | 4 (0–100%) | Verificare încrucișată a imaginii 2D |
Rezultate
- Înființat a conductă densă de adnotare LiDAR 3D cu ~53 de casete per cadru la precizia producției
- standardizat Ontologie de obiecte cu 14 clase cu impunerea dimensiunii implicite per clasă
- Livrat 5 straturi de atribute inclusiv clasificarea ocluziei pe 4 niveluri
- Pus în aplicare Asigurarea calității intermodală validarea cutiilor 3D în raport cu imagini de calibrare 2D
- A activat clientul percepția vehiculului autonom, ADAS și condusul autonom antrenament model
Per total, Shaip a contribuit la transformarea unei cerințe complexe de percepție LiDAR 3D într-o conductă de adnotare structurată, gata de producție - una capabilă să susțină dezvoltarea de sisteme de conducere autonomă, sisteme ADAS, robotaxi și camioane autonome cu o precizie de calibrare în condiții reale dificile.
Shaip a gestionat cazurile limită antivirus care încalcă majoritatea canalelor de adnotare - ceață, nori de puncte fantomă, ocluzie densă și ~53 de casete pe cadru. Validarea încrucișată 2D-3D ne-a oferit date de antrenament al percepției în care aveam încredere.
