Jernbane multimodal LiDAR og 2D-annotering
Hvordan Shaip leverede et af de mest annotationstype-forskellige projekter inden for jernbane-AI – ved at kombinere 2D-kamerabilleder og 3D LiDAR-punktskyer på tværs af mere end 39 objektklasser og 8 forskellige etikettyper for at drive autonome togopfattelses- og jernbanesikkerhedssystemer.
Projektoversigt
I takt med at autonom togopfattelse bevæger sig mod produktionsimplementering, havde klienten brug for en storstilet, multimodal annotationspipeline, der var i stand til at mærke hele jernbanemiljøet på tværs af både 2D-kamerabilleder og 3D LiDAR-punktskydata med ensartet rumlig nøjagtighed.
Shaip byggede den komplette multimodale annotationspipeline, der dækker 8 forskellige etikettyper, 39+ objektklasser og 25+ signaltilstandsklassifikationer på tværs af H/V- og Ks-signalsystemerne – og leverer krydsvaliderede, modelklare datasæt til jernbaneautonomi og sikkerheds-AI.
Nøglestatus
Objektklasser
39 +
Annotationstyper
8
Signaltilstande
25 +
Retningslinjer
2D + 3D
Udfordringer
- Håndtering 2D + 3D multimodal annotering med krydsvalideret rumlig konsistens
- Anmærkning 39+ objektklasser spænder over mennesker, køretøjer, infrastruktur, dyr og sikkerhedsobjekter
- Opererer på tværs 8 annotationstyper — 2D/3D-afgrænsningsbokse, kuber, polylinjer, polygoner
- klassificering 25+ forskellige signaltilstande på tværs af de tyske H/V- og Ks-signalsystemer
- Anvendelse logik om tærskelværdi for publikum og kontinuerlig sporannotation under vognobjekter
Løsning
Multimodal annotationspipeline
Shaip konfigurerede en parallel 2D-kamera- og 3D-LiDAR-annotationspipeline med krydsvalidering mellem modaliteter. Annotatorer arbejdede samtidigt med begge datakilder for at sikre rumlig konsistens, hvor okklusionstilstande udelukkende blev vurderet ud fra punktskydata i stedet for 2D-billeder.
39+ Klasse Ontologi
Annotationsontologien dækkede personer (med aldersgruppe, mobilitetshjælpemiddel, funktionel rolle, kropsstilling, bærende genstande og distraktionsegenskaber), køretøjer (cykler, motorcykler, vejkøretøjer efter underkategori), 18 dyrearter og jernbaneinfrastruktur, herunder spor, sporskifter, køreledningsmaster, signaler, bufferstop, signalbroer, slæbesko og reflekterende testobjekter.
Klassificering af signaltilstand
Signalerne blev annoteret med detaljeret aspektklassificering på tværs af H/V- og K-signalsystemer, der dækkede mere end 25 forskellige signaltilstande. Annotatorerne identificerede nøjagtige signalaspekter fra både forfra og bagfra og skelnede mellem lys- og formsignaler på tværs af flere tyske jernbanesignalsystemer.
Tærskelværdi for publikum og gruppelogik
Publikumsannotationer krævede en minimumstærskel på 6 overlappende personer, før der skiftedes fra individuel til gruppeannotation. Grupper af cykler og grupper af dyr fulgte den samme tærskellogik med ensartede pose- og artsregler inden for grupperne. Dette sikrede, at scener med høj tæthed blev mærket med operationel effektivitet uden at gå på kompromis med detaljer.
Kontinuerlig sporannotation
Spor blev annoteret kontinuerligt, selv under tog- eller vognobjekter, med præcist kortlagte sporskifteområder og bufferstop. Dette kontinuitetslag er afgørende for planlægning af jernbanespor nedstrøms og modeller til forhindringsdetektering.
Projektets omfang
| Datasættype | Retningslinjer | Klasser | Etikettyper | Signaltilstande | Systemer |
|---|---|---|---|---|---|
| Opfattelse af jernbanemiljøet | 2D + 3D LiDAR | 39 + | 8 (kasser, kuber, polylinjer, polygoner) | 25 + | H/V, Ks |
Resultater
- Etableret en multimodal 2D + 3D LiDAR-annotationspipeline til autonom togopfattelse
- standardiseret 39+ objektklasseontologi spænder over mennesker, køretøjer, dyr og jernbaneinfrastruktur
- Delivered 25+ signaltilstandsklassifikationer på tværs af tyske H/V- og Ks-signalsystemer
- implementeret logik om tærskelværdi for publikum og kontinuerlig sporannotation under vogne
- Aktiverede klientens autonom tog-, sikkerheds- og forhindringsdetektering med kunstig intelligens køreplan
Samlet set hjalp Shaip med at transformere et krav om multimodal jernbaneopfattelse til en struktureret, produktionsklar annotationspipeline – en pipeline, der er i stand til at understøtte autonom togdrift, jernbanesikkerheds-AI og signalgenkendelsessystemer med krydsvalideret 2D-3D rumlig konsistens i stor skala.
Shaip håndterede annotationskompleksitet, som de fleste leverandører ikke rører ved. 39+ klasser, 8 etikettyper, 25+ signaltilstande, 2D + 3D krydsvalidering – og de leverede det som en enkelt koordineret pipeline. Vores skinneopfattelsesmodeller blev trænet hurtigere som følge heraf.
