Det seneste ordsprog om, at data er den nye olie, er sandt, og ligesom dit almindelige brændstof bliver det svært at finde.
Alligevel data fra den virkelige verden giver næring til enhver organisations maskinlæring og AI-initiativer. Det er dog en udfordring at få kvalitetsuddannelsesdata til deres projekter. Det skyldes, at kun få virksomheder kan få adgang til en datastrøm, mens resten laver deres egen. Og disse selvfremstillede træningsdata kaldet syntetiske data er effektive, billige og tilgængelige.
Men hvad er det præcist syntetiske data? Hvordan kan en virksomhed generere disse data, overvinde udfordringerne og udnytte dens fordele?
Hvad er syntetiske data?
Syntetiske data er computergenererede data, der hurtigt bliver et alternativ til data fra den virkelige verden. I stedet for at blive indsamlet fra dokumentation fra den virkelige verden genererer computeralgoritmer syntetiske data.
Syntetiske data er kunstigt genereret ved hjælp af algoritmer eller computersimuleringer, der statistisk eller matematisk afspejler data fra den virkelige verden.
Syntetiske data har ifølge forskning de samme prædiktive egenskaber som faktiske data. Det genereres ved at modellere de statistiske mønstre og egenskaber af data fra den virkelige verden.
Branchetendenser?
Ifølge Gartner forskning, kunne syntetiske data være bedre til AI-træningsformål. Det bliver foreslået, at syntetiske data nogle gange kan vise sig at være mere gavnlige end rigtige data indsamlet fra faktiske begivenheder, personer eller genstande. Denne syntetiske dataeffektivitet er derfor dyb læring neurale netværksudviklere bruger det i stigende grad til at udvikle avancerede AI-modeller.
En rapport om syntetiske data forudsagde, at i 2030 var de fleste af de data, der blev brugt til maskinlæringsmodel træningsformål ville være syntetiske data genereret gennem computersimuleringer, algoritmer, statistiske modeller og meget mere. Syntetiske data udgør dog mindre end 1 % af markedsdataene i øjeblikket, dog pr 2024 det forventes at bidrage med mere end 60 % af alle de genererede data.
Hvorfor bruge syntetiske data?
I takt med at avancerede AI-applikationer udvikles, finder virksomheder det vanskeligt at erhverve store mængder kvalitetsdatasæt til træning af ML-modeller. Syntetiske data hjælper dog datavidenskabsmænd og udviklere med at klare disse udfordringer og udvikle meget troværdige ML-modeller.
Men hvorfor gøre brug af syntetiske data?
Den tid, der skal til generere syntetiske data er meget mindre end at indhente data fra virkelige begivenheder eller objekter. Virksomheder kan erhverve syntetiske data og udvikle et tilpasset datasæt til deres projekt hurtigere end datasæt, der er afhængige af den virkelige verden. Så inden for en kort periode kan virksomheder få fingrene i annoterede og mærkede kvalitetsdata.
Antag for eksempel, at du har brug for data om begivenheder, der sjældent forekommer, eller dem, der har meget lidt data at gå efter. I så fald er det muligt at generere syntetiske data baseret på dataeksempler fra den virkelige verden, især når der kræves data til kantsager. En anden fordel ved at bruge syntetiske data er, at det eliminerer privatlivsproblemer, da dataene ikke er baseret på nogen eksisterende person eller begivenhed.
Forstærkede og anonymiserede versus syntetiske data
Syntetiske data må ikke forveksles med udvidede data. Dataforøgelse er en teknik, som udviklere bruger til at tilføje et nyt sæt data til et eksisterende datasæt. De kan f.eks. gøre et billede lysere, beskære eller rotere.
Anonymiserede data fjerner alle personlige identifikationsoplysninger i henhold til statslige politikker og standarder. Derfor er anonymiserede data meget afgørende, når man udvikler økonomiske eller sundhedsmæssige modeller.
Mens anonymiserede eller udvidede data ikke betragtes som en del af syntetiske data. Men udviklere kan lave syntetiske data. Ved at kombinere disse to teknikker, såsom at blande to billeder af biler, kan du udvikle et helt nyt syntetisk billede af en bil.
Typer af syntetiske data
Udviklere bruger syntetiske data, da det giver dem mulighed for at bruge data af høj kvalitet, der maskerer personlige fortrolige oplysninger, mens de bevarer de statistiske kvaliteter af data fra den virkelige verden. Syntetiske data falder generelt ind i tre hovedkategorier:
Fuldsyntetisk
Den indeholder ingen information fra de originale data. I stedet bruger et datagenererende computerprogram visse parametre fra de originale data, såsom funktionstæthed. Derefter genererer den, ved at bruge sådan en egenskab i den virkelige verden, tilfældigt estimerede funktionstætheder baseret på generative metoder, som sikrer fuldstændig databeskyttelse på bekostning af dataaktualitet.
Delvis syntetisk
Det erstatter visse specifikke værdier af syntetiske data med data fra den virkelige verden. Derudover erstatter delvis syntetiske data visse huller i de originale data, og dataforskere anvender modelbaserede metoder til at generere disse data.
Hybrid
Den kombinerer både virkelige data og syntetiske data. Denne type data udvælger tilfældige poster fra det originale datasæt og erstatter dem med syntetiske poster. Det giver fordelene ved syntetiske og delvist syntetiske data ved at kombinere databeskyttelse med nytte.
Bruger du eksempler på syntetiske data?
Selvom de genereres af en computeralgoritme, repræsenterer syntetiske data virkelige data nøjagtigt og pålideligt. Desuden er der mange use cases for syntetiske data. Dets brug føles dog akut som en erstatning for følsomme data, især i ikke-produktionsmiljøer til træning, test og analyse. Nogle af de bedste use-cases af syntetiske data er:
Kurser
Muligheden for at have en nøjagtig og pålidelig ML-model afhænger af de data, den trænes på. Og udviklere er afhængige af syntetiske data, når de er i den virkelige verden træningsdata er svær at komme til. Da syntetiske data øger værdien af data fra den virkelige verden og fjerner ikke-samples (sjældne hændelser eller mønstre), hjælper det med at øge AI-modellernes effektivitet.
Test
Når datadrevet test er afgørende for udviklingen og succesen af ML-modellen, skal syntetiske data anvendes. Grunden til at syntetiske data er meget nemmere at bruge og hurtigere at fremskaffe end regelbaserede data. Den er også skalerbar, pålidelig og fleksibel.
Analyse
Syntetiske data er fri for bias, der typisk er til stede i data fra den virkelige verden. Det gør syntetiske data til et meget velegnet datasæt til stresstestning af AI-modeller af sjældne hændelser. Den analyserer også datamodellens adfærd.
Fordele ved syntetiske data
Dataforskere leder altid efter data af høj kvalitet, der er pålidelige, afbalancerede, fri for bias og repræsenterer identificerbare mønstre. Nogle af fordelene ved at bruge syntetiske data inkluderer:
- Syntetiske data er nemmere at generere, mindre tidskrævende at kommentere og mere afbalancerede.
- Da syntetiske data supplerer virkelige data, gør det det nemmere at udfylde datahuller i den virkelige verden
- Det er skalerbart, fleksibelt og sikrer beskyttelse af privatlivets fred eller personlige oplysninger.
- Det er fri for dataduplikationer, bias og unøjagtigheder.
- Der er adgang til data relateret til kantsager eller sjældne hændelser.
- Datagenerering er hurtigere, billigere og mere nøjagtig.
Udfordringer ved syntetiske datasæt
I lighed med enhver ny dataindsamlingsmetode kommer selv syntetiske data med udfordringer.
første Den største udfordring er, at syntetiske data ikke følger med outliers. Selvom de er fjernet fra datasæt, hjælper disse naturligt forekommende outliers til stede i virkelige data med at træne ML-modellerne nøjagtigt.
kvaliteten af syntetiske data kan variere gennem datasættet. Da dataene genereres ved hjælp af frø- eller inputdata, afhænger syntetisk datakvalitet af kvaliteten af frødata. Hvis der er bias i frødataene, kan du roligt antage, at der vil være bias i de endelige data.
Menneskelige annotatorer bør tjekke syntetiske datasæt grundigt for at sikre nøjagtighed ved at bruge nogle kvalitetskontrolmetoder.
Metoder til generering af syntetiske data
En pålidelig model, der kan efterligne autentiske datasæt, skal udvikles for at generere syntetiske data. Afhængigt af de datapunkter, der er til stede i det rigtige datasæt, er det derefter muligt at generere lignende i de syntetiske datasæt.
At gøre dette, data forskere gøre brug af neurale netværk, der er i stand til at skabe syntetiske datapunkter svarende til dem, der findes i den oprindelige distribution. Nogle af hvordan neurale netværk genererer data er:
Variationelle autoencodere
Variationelle autoencodere eller VAE'er optager en original distribution, konverterer den til latent distribution og transformerer den tilbage til den oprindelige tilstand. Denne indkodnings- og afkodningsproces medfører en 'rekonstruktionsfejl'. Disse uovervågede datagenerative modeller er dygtige til at lære den medfødte struktur af datadistribution og udvikle en kompleks model.
Generative kontradiktoriske netværk
I modsætning til variationelle autoencodere er en uovervåget model, generative adversarial networks eller GAN, en overvåget model, der bruges til at udvikle meget realistiske og detaljerede datarepræsentationer. I denne metode, to neurale netværk er trænet – et generatornetværk vil generere falske datapunkter, og den anden diskriminator vil forsøge at identificere rigtige og falske datapunkter.
Efter flere træningsrunder vil generatoren blive dygtig til at generere fuldstændig troværdige og realistiske falske datapunkter, som diskriminatoren ikke vil være i stand til at identificere. GAN fungerer bedst, når der genereres syntetisk ustrukturerede data. Men hvis det ikke er konstrueret og trænet af eksperter, kan det generere falske datapunkter af begrænset mængde.
Neuralt udstrålingsfelt
Denne syntetiske datagenereringsmetode bruges til at skabe nye visninger af en eksisterende delvist set 3D-scene. Neural Radiance Field eller NeRF-algoritmen analyserer et sæt billeder, bestemmer fokale datapunkter i dem og interpolerer og tilføjer nye synspunkter på billederne. Ved at se på et statisk 3D-billede som en bevægende 5D-scene, forudsiger det hele indholdet af hver voxel. Ved at være forbundet til det neurale netværk udfylder NeRF manglende aspekter af billedet i en scene.
Selvom NeRF er yderst funktionel, er den langsom at gengive og træne og kan generere ubrugelige billeder i lav kvalitet.
Så hvor kan du få syntetiske data?
Indtil videre har kun få meget avancerede udbydere af træningsdatasæt været i stand til at levere syntetiske data af høj kvalitet. Du kan få adgang til open source værktøjer som f.eks Syntetisk databoks. Men hvis du ønsker at anskaffe dig et meget pålideligt datasæt, Saip er det rigtige sted at tage hen, da de tilbyder en bred vifte af træningsdata og annoteringstjenester. Takket være deres erfaring og etablerede kvalitetsparametre henvender de sig desuden til en bred branchevertikal og leverer datasæt til adskillige ML-projekter.