Casestudie: Samtaler AI
Over 3k timers data indsamlet, segmenteret og transskriberet for at bygge ASR på 8 indiske sprog
Regeringen sigter mod at give sine borgere nem adgang til internet og digitale tjenester på deres eget modersmål gennem Bhashini-projektet.
BHASHINI, Indiens AI-drevne sprogoversættelsesplatform, er en vital del af Digital India-initiativet.
Designet til at levere kunstig intelligens (AI) og Natural Language Processing (NLP) værktøjer til MSME'er, startups og uafhængige innovatører, fungerer Bhashini-platformen som en offentlig ressource. Dens mål er at fremme digital inklusion ved at gøre det muligt for indiske borgere at interagere med landets digitale initiativer på deres modersmål.
Derudover sigter det mod betydeligt at udvide tilgængeligheden af internetindhold på indiske sprog. Dette er især rettet mod områder af offentlig interesse såsom regeringsførelse og politik, videnskab og teknologi osv. Dette vil følgelig tilskynde borgerne til at bruge internettet på deres eget sprog og fremme deres aktive deltagelse.
Virkelig verdens løsning
Frigør kraften ved lokalisering med data
Indien havde brug for en platform, der kunne fokusere på at skabe flersprogede datasæt og AI-baserede sprogteknologiske løsninger for at kunne levere digitale tjenester på indiske sprog. For at lancere dette initiativ indgik Indian Institute of Technology, Madras (IIT Madras) et partnerskab med Shaip for at indsamle, segmentere og transskribere indiske sprogdatasæt for at bygge flersprogede talemodeller.
Udfordringer
For at hjælpe klienten med deres taleteknologiske køreplan for indiske sprog, var teamet nødt til at erhverve, segmentere og transskribere store mængder træningsdata for at bygge en AI-model. Kundens kritiske krav var:
Dataindsamling
- Få 3000 timers træningsdata på 8 indiske sprog med 4 dialekter pr. sprog.
- For hvert sprog vil leverandøren indsamle Extempore Speech og
Samtaletale fra aldersgrupper på 18-60 år - Sikre en mangfoldig blanding af talere efter alder, køn, uddannelse og dialekter
- Sørg for en mangfoldig blanding af optagemiljøer i henhold til specifikationerne.
- Hver lydoptagelse skal være mindst 16 kHz, men helst 44 kHz
Datasegmentering
- Opret talesegmenter på 15 sekunder og tidsstempler lyden til millisekunder for hver given højttaler, lydtype (tale, pludren, musik, støj), vendinger, ytringer og sætninger i en samtale
- Opret hvert segment til dets målrettede lydsignal med en 200-400 millisekunders polstring ved start og slut.
- For alle segmenter skal følgende objekter udfyldes, dvs. starttidspunkt, sluttidspunkt, segment-id, lydstyrkeniveau, lydtype, sprogkode, højttaler-id osv.
Datatransskription
- Følg detaljerede retningslinjer for transskription omkring tegn og specielle symboler, stavning og grammatik, store bogstaver, forkortelser, sammentrækninger, individuelle talte bogstaver, tal, tegnsætninger, akronymer, flydende, tale, uforståelig tale, ikke-målsprog, ikke-tale osv.
Kvalitetstjek og feedback
- Alle optagelser skal gennemgå kvalitetsvurdering og validering, kun valideret tale skal leveres
Løsning
Med vores dybe forståelse af konversationsbaseret AI hjalp vi klienten med at indsamle, segmentere og transskribere data sammen med et team af ekspertindsamlere, lingvister og annotatorer for at opbygge et stort korpus af lyddatasæt på 8 indiske sprog.
Shaips arbejde omfattede, men var ikke begrænset til, at indsamle store mængder lydtræningsdata, segmentere lydoptagelserne i flere, transkribere dataene og levere tilsvarende JSON-filer indeholdende metadataene [SpeakerID, alder, køn, sprog, dialekt, modersmål, kvalifikation, erhverv, domæne, filformat, frekvens, kanal, lydtype, antal talere, antal fremmedsprog, anvendt opsætning, smalbånds- eller bredbåndslyd osv.].
Shaip indsamlede 3000 timers lyddata i skala, samtidig med at de ønskede kvalitetsniveauer blev opretholdt for at træne taleteknologi til komplekse projekter. Formularen til eksplicit samtykke blev taget fra hver af deltagerne.
1. Dataindsamling
2. Datasegmentering
- De indsamlede lyddata blev yderligere opdelt i talesegmenter på 15 sekunder hver og tidsstemplet til millisekunder for hver given taler, lydtype, vendinger, ytringer og sætninger i en samtale.
- Oprettet hvert segment til dets målrettede lydsignal med en 200-400 millisekunders polstring i starten og slutningen af et lydsignal.
- For alle segmenter var følgende objekter til stede og udfyldt, dvs. starttidspunkt, sluttidspunkt, segment-id, lydstyrkeniveau (højt, normalt, stille), primær lydtype (tale, babbel, musik, støj, overlap), sprogkode højttaler-id, transskription osv.
3. Kvalitetstjek og feedback
- Alle optagelser blev vurderet for kvalitet, og kun validerede taleoptagelser med WER på 90 % og TER på 90 % blev leveret
- Kvalitetstjekliste fulgt:
» Maks. 15 sekunders segmentlængde
» Transskription fra specifikke domæner, nemlig: Vejr, forskellige typer nyheder, sundhed, landbrug, uddannelse, job eller finans
» Lav baggrundsstøj
» Intet lydklip fra – Ingen forvrængning
»Korrekt lydsegmentering til transskription
4. Datatransskription
Alle talte ord, inklusive tøven, fyldord, falske start og andre verbale tics, blev fanget nøjagtigt i transskriptionen. Vi fulgte også detaljerede retningslinjer for transskription omkring store og små bogstaver, stavemåde, store bogstaver, forkortelser, sammentrækninger, tal,
tegnsætning, akronymer, flydende tale, ikke-tale støj osv. Desuden er arbejdsflowet, der følges for indsamling og transskription, som nedenfor:
Resultat
Lyddata af høj kvalitet fra ekspertlingvister vil gøre det indiske institut for teknologi – Madras i stand til præcist at træne og bygge flersprogede talegenkendelsesmodeller på 8 indiske sprog med forskellige dialekter inden for den fastsatte tid. Talegenkendelsesmodellerne kan bruges til at:
- Overvind sprogbarrieren for digital inklusion ved at knytte borgerne til initiativerne på deres eget modersmål.
- Fremmer Digital Governance
- Katalysator til at danne et økosystem for tjenester og produkter på indiske sprog
- Mere lokaliseret digitalt indhold inden for områder af offentlig interesse, især regeringsførelse og politik
Vi var imponerede over Shaips ekspertise inden for konversationel AI. Deres samlede projekteksekveringskompetence, lige fra sourcing, segmentering, transkribering og levering af de nødvendige træningsdata fra ekspertlingvister på 8 sprog inden for strenge tidsfrister og retningslinjer, samtidig med at de opretholder en acceptabel kvalitetsstandard.
