LiDAR multimodal feroviar și adnotare 2D
Cum a realizat Shaip unul dintre cele mai diverse proiecte din domeniul inteligenței artificiale feroviare din punct de vedere al tipurilor de adnotări — combinând imagini 2D de la camere și nori de puncte LiDAR 3D pentru peste 39 de clase de obiecte și 8 tipuri distincte de etichete pentru a alimenta sistemele autonome de percepție a trenurilor și de siguranță feroviară.
rezumatul proiectului
Pe măsură ce percepția trenurilor autonome se îndreaptă spre implementarea în producție, clientul avea nevoie de o conductă de adnotare multimodală la scară largă, capabilă să eticheteze întregul mediu feroviar atât prin imagini 2D ale camerei, cât și prin date 3D LiDAR din norul de puncte, cu o precizie spațială constantă.
Shaip a construit conducta de adnotare multimodală end-to-end care acoperă 8 tipuri distincte de etichete, peste 39 de clase de obiecte și peste 25 de clasificări ale stărilor semnalului în sistemele de semnal H/V și Ks — oferind seturi de date validate încrucișat, pregătite pentru modelare, pentru autonomia și siguranța feroviară prin inteligență artificială.
Stare cheie
Clase de obiecte
39+
Tipuri de adnotări
8
Statele de semnal
25+
Modalități
2D + 3D
Activități
- Manipularea Adnotare multimodală 2D + 3D cu consistență spațială validată încrucișat
- Adnotarea Peste 39 de clase de obiecte care cuprinde persoane, vehicule, infrastructură, animale și obiecte de siguranță
- Operând pe tot parcursul 8 tipuri de adnotări — Casete de încadrare 2D/3D, paralelipiped cuboide, polilinii, poligoane
- Clasificarea Peste 25 de stări de semnal distincte prin sistemele de semnalizare germane H/V și Ks
- Aplicarea logica pragului de mulțime și adnotare continuă a liniei sub obiectele vagonului
Soluţie
Conductă de adnotare multimodală
Shaip a configurat o rețea de adnotări paralelă cu o cameră 2D și o rețea 3D-LiDAR, cu validare încrucișată între modalități. Adnotatorii au lucrat simultan cu ambele surse de date pentru a asigura consecvența spațială, stările de ocluzie fiind evaluate exclusiv din datele norului de puncte, mai degrabă decât din imagini 2D.
Ontologie de clasă 39+
Ontologia de adnotare a acoperit persoane (cu grupă de vârstă, ajutor de mobilitate, rol funcțional, postură corporală, obiecte transportate și atribute de distragere a atenției), vehicule (biciclete, motociclete, vehicule rutiere pe subcategorii), 18 specii de animale și infrastructură feroviară, inclusiv linii ferate, macazuri, stâlpi catenari, semnale, opriri tampon, poduri de semnalizare, saboți de tractare și obiecte de testare reflectorizante.
Clasificarea stării semnalului
Semnalele au fost adnotate cu o clasificare detaliată a aspectelor în sistemele de semnalizare H/V și Ks, acoperind peste 25 de stări distincte ale semnalului. Adnotatorii au identificat aspectele exacte ale semnalului atât din vedere frontală, cât și din vedere din spate, distingând între semnalele luminoase și cele de formă în mai multe sisteme de semnalizare feroviară germane.
Pragul de mulțime și logica de grup
Adnotările de mulțime necesitau un prag minim de 6 persoane suprapuse înainte de a trece de la adnotarea individuală la cea de grup. Grupurile de biciclete și grupurile de animale au urmat aceeași logică a pragurilor, cu reguli consistente privind poziția și speciile în cadrul grupurilor. Acest lucru a asigurat etichetarea scenelor cu densitate mare, cu eficiență operațională, fără a sacrifica detaliile.
Adnotare continuă a pistei
Liniile au fost adnotate continuu chiar și sub obiectele din tren sau vagoane, zonele de macaz și opririle tampon fiind mapate cu precizie. Acest strat de continuitate este esențial pentru planificarea traseului feroviar în aval și pentru modelele de detectare a obstacolelor.
Domeniul de aplicare al proiectului
| Tipul setului de date | Modalități | Clase | Tipuri de etichete | Statele de semnal | Systems |
|---|---|---|---|---|---|
| Percepția mediului feroviar | LiDAR 2D + 3D | 39+ | 8 (cutii, paralelipiped, polilinii, poligoane) | 25+ | Înălțime/V, Ks |
Rezultate
- Înființat a conductă de adnotare LiDAR 2D + 3D multimodală pentru percepția autonomă a trenurilor
- standardizat 39+ ontologii de clase de obiecte care acoperă oameni, vehicule, animale și infrastructura feroviară
- Livrat Peste 25 de clasificări ale stărilor de semnal prin sistemele de semnalizare germane H/V și Ks
- Pus în aplicare logica pragului de mulțime și adnotare continuă a șinei sub vagoane
- A activat clientul tren autonom, siguranță și detectarea obstacolelor prin inteligență artificială foaie de parcurs
Per total, Shaip a contribuit la transformarea unei cerințe de percepție multimodală a transportului feroviar într-o conductă de adnotare structurată, gata de producție - una capabilă să susțină operarea autonomă a trenurilor, siguranța feroviară prin inteligență artificială și sisteme de recunoaștere a semnalelor cu consistență spațială 2D-3D validată încrucișat la scară largă.
Shaip a gestionat complexitatea adnotărilor pe care majoritatea furnizorilor nu o vor aborda. Peste 39 de clase, 8 tipuri de etichete, peste 25 de stări de semnal, validare încrucișată 2D + 3D - și le-au livrat ca o singură rețea coordonată. Drept urmare, modelele noastre de percepție a șinelor s-au antrenat mai rapid.
