Transformarea înțelegerii scenei feroviare cu LiDAR și adnotare 2D
Descoperiți cum serviciile Shaip de adnotare a datelor LiDAR, prin cameră și 2D ajută modelele de inteligență artificială să detecteze obiecte, să înțeleagă mediile feroviare și să îmbunătățească percepția mobilității autonome.
rezumatul proiectului
Sistemele moderne de percepție feroviară necesită mai mult decât o etichetare generică a obiectelor. Acestea necesită un context specific șinei, o geometrie precisă și o consistență fiabilă între senzori în norii de puncte LiDAR și vizualizări sincronizate ale camerelor.
Pentru a răspunde acestei nevoi, Shaip a fost angajată pentru un proiect de adnotare a datelor feroviare LiDAR care acoperă scene de infrastructură feroviară. Domeniul de aplicare a inclus adnotarea norilor de puncte LiDAR susținută de cinci imagini de referință 2D sincronizate per scenă, utilizând o taxonomie de 29 de clase cu elemente obligatorii și opționale.
atribute pentru fiecare clasă.
Scopul a fost de a crea un set de date structurat, cu calitate controlată, capabil să antreneze și să valideze modele de percepție feroviară pentru detectarea obiectelor, înțelegerea scenei, conștientizarea șinelor și interpretarea infrastructurii.
Statistici cheie
Configurare senzor
Nor de puncte LiDAR
Taxonomie
29 de clase specifice feroviare
Obiective de calitate
Precizie generală a adnotării ≥99%
Consistență între senzori
≥99% LiDAR – aliniere 2D
Activități
- Adnotarea consecventă a scenelor feroviare multimodale în imagini LiDAR și 2D
- Gestionarea unei taxonomii specifice feroviare de 29 de clase cu atribute detaliate și relații cu obiectele
- Menținerea consecvenței între senzori între adnotările 3D și 2D
- Păstrarea preciziei geometrice pentru structuri liniare, cum ar fi șinele și cablurile
- Îndeplinirea unor praguri stricte de precizie pentru etichetele de clasă, geometrie și atribute într-un mediu pilot
Soluţie
Shaip a conceput un flux de lucru pentru adnotări axat pe căile ferate, adaptat cerințelor tehnice ale proiectului.
Strategia datelor
A fost definită o conductă de adnotare multimodală care acoperă date de nor de puncte LiDAR și cinci imagini de referință 2D sincronizate per cadru LiDAR.
Cadrul de adnotare
Am aplicat mai multe metode de adnotare bazate pe tipul de obiect și structura scenei:
- Adnotare Cuboidală 3D pentru obiecte volumetrice discrete
- Adnotare polilinie 3D pentru structuri liniare legate de șine
- Cutie de delimitare 2D pentru localizarea obiectelor în imagini
- Poligon 2D pentru limite neregulate ale obiectelor
- Polilinie 2D pentru șine, cabluri și marcaje
- Cuboid 3D în vederi 2D unde era necesar context de orientare și adâncime
Designul taxonomiei specifice transportului feroviar
A adnotat 29 de clase predefinite care cuprind persoane, obiecte personale, vehicule, trenuri, vagoane, animale, șine, macazuri, stâlpi catenari, stâlpi de semnalizare, semnale, poduri de semnalizare, opriri tampon, obiecte de testare reflectorizante și alte entități din peisajul feroviar.
Adnotare bogată în atribute
A înregistrat atât atribute obligatorii, cât și opționale, inclusiv:
- Niveluri de ocluzie
- Stat și tip
- Conectivitate prin connectedTo
- Identificatori de cale ferată și de cale ferată
- Ordinea și orientarea obiectelor
- Fața semnalului, aspectul și proprietățile structurale
ID și Integritatea Relațiilor
M-am asigurat că fiecare adnotare are un ID unic de adnotare și că fiecare obiect are un ID unic de obiect în format UUID, cu relații bidirecționale de tip „connectedTo” într-o manieră sensibilă la senzori.
Reguli de precizie și asigurarea calității
Reguli de adnotare implementate, inclusiv:
- Estimarea ocluziei în 2D și 3D
- Pragul de etichetare 2D al obiectelor cu înălțimea sau lățimea ≥25 px
- Toleranță 2D de ±3 px
- Toleranță 3D de până la 10 cm
- Alinierea rotației pe axa z pentru consecvența cu obiectul orientat
- Controlul calității pe 3 straturi cu bucle de corecție pentru ieșiri sub prag
Domeniul de aplicare al proiectului
| Elementul setului de date | Specificație |
|---|---|
| Modalitatea principală | Date LiDAR pe norul de puncte |
| Modalitate de referință | 5 imagini 2D sincronizate per cadru LiDAR: 3 imagini IR și 5 imagini RGB |
| Total clase | 29 de clase specifice feroviare |
| Tipuri de adnotări 3D | Cuboid 3D, Polilinie 3D |
| Tipuri de adnotări 2D | Casetă de delimitare 2D, Poligon 2D, Polilinie 2D, Cuboid 3D în vizualizări 2D |
| Volumul pilot | secvențe din 2 |
| Standard de identificare | ID-ul adnotării și ID-ul obiectului bazate pe UUID |
| Ținte de precizie | ≥99% per total, ≥99% atribut, ≥99% consistență între senzori |
Exemplu de acoperire a clasei
| Categorii | Clase de probă | Tip de adnotare |
|---|---|---|
| Oameni și mobilitate | persoană, scaun cu rotile, scuter, bicicletă, mulțime | BB 2D / poligon cu 4 puncte / BB 3D |
| Active feroviare | tren, față_de_tren, vagoane, șină, macaz, pantof_de_tren | poligon de contur / polilinie / BB 3D |
| Semnalizare și instalații aeriene | semnal, stâlp_de_semnal, pod_de_semnal, stâlp_catenar | BB 2D / poligon contur / BB 3D |
| Mediu și diverse | vehicul_rutier, animal, grup_de_animale, obiecte_reflectorizante_de_test, fum, flacără | variat în funcție de clasă |
Rezultate
- A fost stabilit un cadru de adnotare multimodală specific feroviar pentru datele LiDAR și de imagine.
- A fost definită o taxonomie feroviară cu 29 de clase, cu o gestionare detaliată a atributelor
- Stabiliți standarde de calitate de ≥99% pentru acuratețea adnotărilor, atribute și consecvență între senzori
- A creat o bază pregătită pentru proiecte pilot, pentru construirea de modele de percepție feroviară de înaltă fiabilitate
Din punct de vedere strategic, acest proiect poziționează sistemele de inteligență artificială ale trenurilor clientului cu o înțelegere mai puternică a scenei în mediile feroviare, unde geometria, continuitatea obiectelor și contextul infrastructurii sunt esențiale.
Abordarea de adnotare multimodală a lui Shaip ne-a ajutat să structurăm un set de date feroviare extrem de specializat, cu precizia necesară pentru dezvoltarea modelului de percepție. Concentrarea lor pe profunzimea taxonomiei, acuratețea geometrică și consecvența între senzori a creat o bază solidă pentru pipeline-ul nostru de inteligență artificială feroviară.
