Fremme af indlejret AI med egocentriske videodata fra den virkelige verden
Muliggør genkendelse af menneskelig aktivitet, robotteknologi og interaktionsmodeller mellem hænder og objekter med skalerbar video optaget i husholdnings- og industrielle miljøer.
Projektoversigt
Klienten indgik et partnerskab med Shaip for at etablere et skalerbart indsamlingsprogram for egocentriske videodata af høj kvalitet. Bidragyderne ville optage ægte husholdnings- og industriaktiviteter ved hjælp af sikkert monterede mobile enheder placeret i pandehøjde.
Målet var at opbygge et mangfoldigt, naturalistisk videodatasæt, der er egnet til træningsmodeller til at:
- Genkende komplekse menneskelige aktiviteter og opgavesekvenser
- Fortolk interaktioner mellem hænder og objekter
- Forstå virkelige husholdnings- og arbejdsmiljøer
- Understøtter robotteknologi og indbyggede AI-applikationer
- Forbedre modelgeneralisering på tværs af lokationer, enheder, objekter og driftsforhold
I engagementet blev der lagt vægt på naturlig opgaveudførelse, stabil kamerapositionering, kontinuerlig udførelse, samtykke fra bidragydere og streng kvalitetsvalidering.
Egocentrisk videodatasæt: Nøglespecifikationer
Datavolumen
30,000 timer indsamlet, 24,000+ timer kommenteret
Bidragyderkapacitet
Op til 100 godkendte videotimer pr. deltager
Godkendte enheder
iPhone 11+, Google Pixel 6+ og Samsung Galaxy S21+
Geografisk dækning
USA og Latinamerika
Aktivitetsmiljøer
Husholdnings-, industri- og kommercielle miljøer
Udfordringer ved egocentrisk videodataindsamling
- Indfangning af naturlig menneskelig adfærd: Bidragyderne skulle udføre ægte aktiviteter uden iscenesatte, overdrevne eller robotagtige bevægelser.
- Vedligeholdelse af førstepersons framing: Begge hænder, arbejdsområdet og relevante genstande skulle forblive synlige under hele den aktive opgaveudførelse.
- Styring af kamerastabilitet: Hovedmonterede mobile enheder skal forblive sikre med minimal slingring, overdreven hældning eller forhindring.
- Indsamling på tværs af forskellige miljøer: Datasættet krævede autentiske optagelser fra boliger, industri, detailhandel, hotel- og restaurationsbranchen, landbrug, byggeri og servicevirksomheder.
- Minimering af inaktiv eller ikke-opgavebaseret optagelse: Optagelserne skulle demonstrere kontinuerligt, bevidst arbejde med begrænsede pauser og unødvendig bevægelse.
- Sikring af autorisation og samtykke: Alle bidragydere og optagelsessteder krævede passende tilladelse, samtykke og overholdelse af regler.
- Skalering uden at gå på kompromis med kvaliteten: Store mængder optagelser skulle gennemgås hurtigt med klare afvisningsårsager og effektive arbejdsgange til genindsamling.
Hvordan Shaip indsamlede de egocentriske videodata
Indsamlingsstrategi
Shaip udformede en fleksibel ramme, der dækkede autentiske husholdnings-, kommercielle og industrielle aktiviteter. Bidragyderne valgte opgaver, der var i overensstemmelse med deres naturlige rutiner, i stedet for at følge iscenesatte manuskripter.
Onboarding af bidragydere
Deltagere i USA og Latinamerika blev trænet i opgavevalg, enhedskrav, kameraplacering, samtykke og forbudte optagelsesforhold.
Mobil videosamling
Optagelserne blev optaget via en dertil indrettet mobilapplikation med automatisk indsendelse og placeringsverifikation for at bekræfte optagelse inden for godkendte regioner.
Opsætning af hovedmonteret kamera
Godkendte smartphones blev sikkert monteret i pandehøjde og vinklet cirka 45° nedad for at holde bidragyderens hænder, genstande, arbejdsområde og, når den var stille, tæer synlige.
Naturlig opgaveudførelse
Bidragyderne udførte kontinuerlige, målrettede aktiviteter, mens de stod eller gik og interagerede naturligt med værktøj, udstyr og hverdagsgenstande.
Kvalitetsvalidering
Hver optagelse blev kontrolleret for kamerastabilitet, belysning, fokus, synlighed af hånd-objekt, opgavekontinuitet, kropsholdning, omgivelser og autorisation.
Hurtig gennemgang og genindfangning
Indsendelser blev gennemgået inden for én dag. Tydelige afvisningsårsager gjorde det muligt for bidragydere hurtigt at rette og genskabe optagelser.
Styringskontroller
Samtykke, lokationsgodkendelse, sikker indsendelse, lokationsvalidering og tildeling af intellektuel ejendom blev integreret i arbejdsgangen.
Projektomfang og aktiviteter
| Datasegment | Repræsentative aktiviteter | Krav til optagelse |
|---|---|---|
| Husholdningsaktiviteter | Vaskeri, rumorganisering, køkkenoprydning, kæledyrspasning, plantepleje, havearbejde og vedligeholdelse af hjemmet. | Stående eller gående; naturlig udførelse; hænder og arbejdsområde synligt. |
| Lager og logistik | Pakning, sortering, lagerhåndtering, inspektion og materialeflytning. | Stabil hovedmonteret optagelse med kontinuerlig opgaveaktivitet. |
| Kommerciel og hotel- og restaurationsbranchen | Rengøringsarbejde, rengøring, lagerføring i detailhandlen og restaurationsarbejde. | Autoriseret optagelsesplacering og tydelig objektinteraktion. |
| Industrielle aktiviteter | Let fremstilling, montering, vedligeholdelse af udstyr og produktionsprocesser. | Ægte udførelse på arbejdspladsen med de nødvendige tilladelser. |
| Landbrug og Landskabspleje | Vedligeholdelse af grunde, havearbejde, landbrugsarbejde og udendørs materialehåndtering. | Tilstrækkelig belysning, stabil indramning og sikker opgaveudførelse. |
| Faglærte håndværkere og felttjenester | Byggeri, bilservice, reparationer, installation og vedligeholdelse. | Tydelig udsyn til værktøj, hænder, komponenter og arbejdsområde. |
Kvalitetsramme
Optagelser blev afvist på grund af:
- Blokeret, overdrevent hældende eller ustabil kameravisning
- Svag belysning, svag fokus, utydelig sigtbarhed
- Lange perioder med inaktivitet eller optagelser uden opgaver
- Kunstig, konstrueret eller robotudførelse
- Overdreven bevægelse af hoved, hånd eller krop
- Hænder uden for rammen i mere end 10% af aktiv gribe-og-slip-aktivitet
- Uautoriserede optagelsessteder
- Manglende samtykke fra bidragyder
En vellykket optagelse var nødvendig for at:
- Optag autentisk husholdnings- eller industriarbejde
- Bevar et stabilt førstepersonsperspektiv
- Hold hænder, genstande og arbejdsområdet synligt
- Demonstrer kontinuerlig og bevidst aktivitet
- Opfyld godkendte krav til enheds- og kameraplacering
- Være egnet til AI-træning, der involverer aktivitetsgenkendelse og robotopfattelse
Resultater: Robotikklare egocentriske videodata
- Autentiske aktivitetsdata: Naturlig opgaveudførelse indfangede menneskelige handlinger, interaktioner mellem hånd og objekt og operationelle sekvenser.
- Skalerbar datasætudvidelse: Hver deltager kunne bidrage med op til 100 godkendte timer, mens variationer i objekter, værktøjer, placeringer, belysning og opgavesekvenser udvidede datasættets diversitet og skalerede programmet til anslået 30,000 timer indsamlet egocentrisk video, hvoraf over 24,000 timer var annoteret og godkendt til modeltræning.
- Robotikklar kontekst: Stabile førstepersonsoptagelser gav tydeligt overblik over hænder, genstande, udstyr, arbejdsområder og opgaveprogression.
- Hurtig kvalitetsindgriben: Endags evalueringscyklusser muliggjorde hurtig feedback, rettelse og genoptagelse.
- Geografisk og enhedsdiversitet: Indsamling i USA og Latinamerika, ved hjælp af godkendte Apple-, Google- og Samsung-enheder, introducerede praktisk miljømæssig og hardwaremæssig variation.
- Integreret styring: Samtykke, godkendelse, lokationsvalidering, sikker indsendelse og kvalitetskontrol var integreret i hele programmet.
Den resulterende indsamlingstilgang giver et stærkt fundament for at bygge AI-systemer, der forstår menneskelig handling fra et operatørperspektiv og fungerer mere pålideligt.
Shaips strukturerede tilgang til egocentrisk videoindsamling gav os den skala, kvalitetskontrol og den virkelige diversitet, der kræves til vores AI-træningsprogram. Deres hurtige gennemgangsworkflow og detaljerede optagelsesstandarder skabte et pålideligt fundament for at fremme aktivitetsgenkendelse og robotmodeller.
