Licenserede tekstdatasæt til LLM- og AI-uddannelse
Licensér brugsklare tekstkorpora til LLM-, NLP- og generativ AI-træning — samtalebaserede spørgsmål og svar, kode, nyheder, kliniske, akademiske og flersprogede data, skræddersyet til dit projekt.
Licenserede tekstdatasæt til LLM- og NLP-træning
Shaips tekstdatakatalog giver AI-teams tekstdatasæt, der er klar til licensering, til træning, finjustering og evaluering af store sprogmodeller (LLM'er) og NLP-systemer. Det dækker otte kategorier. Hvert datasæt er hentet fra materiale fra den virkelige verden og kan tilpasses dit projekt.
Kataloget indeholder datasæt med samtalebaserede spørgsmål og svar samt instruktionsdatasæt på engelsk og arabisk, der dækker moderne standardarabisk og saudiske, emiratiske, egyptiske og levantinske dialekter. Det har også kodelagerdatasæt på ni programmeringssprog, hvoraf flere har fuld pull-request- og commit-historik. For aktuelle begivenhedsmodeller og RAG er der nyhedsdatasæt på engelsk, spansk og arabisk, herunder et arkiv med 975,000 artikler, der går tilbage til 1999. Sundhedsfaglige AI-teams kan bruge kliniske spørgsmål og svar- og casedatasæt , der er tilgængelige som gyldne og sølvfarvede sæt, inklusive afidentifikation.
Til forberedelse af træning findes der rå tekst og web-skala korpora , herunder et arabisk korpus på 20 millioner ord. Scannede dokumentkorpora understøtter dokumentation, AI og informationsudtrækning. Akademisk og udgivertekst dækker tolv naturvidenskabelige og ingeniørmæssige emner, og manuskriptbaseret underholdningstekst dækker film, tv, animation og mikrodramaer.
Hvert datasæt leveres med klar licens og kvalitetskontrol. Prøver er tilgængelige, så du kan evaluere et datasæt, før du køber. Gennemse en kategori nedenfor, eller kontakt os for at drøfte brugerdefineret tekstdataindsamling.
Samtale Q&A og instruktionsdatasæt
Disse datasæt indeholder menneskeskabte spørgsmål-og-svar-par og instruktionsstil-prompter på arabisk og engelsk, der spænder over moderne standardarabisk samt saudiske, emiratiske, egyptiske og levantinske dialekter. Domænespecifikke sæt dækker STEM, fødevarer og landbrug. De understøtter instruktionsjustering, finjustering og evaluering af sprogmodeller, hvor regional dialektdækning og kulturelt forankret viden er vigtig.
Kode- og softwarearkivdatasæt
Produktionskodebaser hentet fra rigtig, leveret software på tværs af C#, React, TypeScript, Angular, Java, Go, PHP, Swift og BrightScript. Flere poster inkluderer fuld pull-request- og commit-historik, der viser, hvordan koden er ændret under gennemgang. De understøtter kodefærdiggørelse, kodegenerering, kodeforståelse og kodegennemgangsmodeltræning, med arkiver tilgængelige til evaluering før licensering.
Nyheds- og journalistiske tekstdatasæt
Professionelt forfattede og redigerede nyhedsartikler fra en stor international nyhedsorganisation, tilgængelige som et tilbagevendende feed på engelsk, spansk og arabisk, og som et arkivkorpus af 975,000 artikler udgivet siden 1999. Hver artikel har tags med byline, dato, overskrift, brødtekst og emne. De er velegnede til træning af aktuelle begivenheder, genfindingsudvidet generering og tidsmæssig ræsonnement.
Kliniske spørgsmål og svar og casedatasæt
Medicinske spørgsmål-svar-sæt, kliniske case-resuméer og medicinske artikler i fuldtekst til sundhedsfokuseret modeltræning og -evaluering. Gyldne og sølvfarvede datasæt er tilgængelige, førstnævnte udarbejdet til en højere gennemgangsstandard til benchmarking. Hvor kildemateriale indeholder personligt identificerbare eller beskyttede sundhedsoplysninger, er redigering, afidentifikation og maskering inkluderet i engagementet.
Rå tekst og webskala korpus
Store mængder råtekst-, prompt- og tekst-til-tale-skriptkorpus, der spænder over moderne standardarabisk og regionale dialekter, inklusive et råkorpus på 20 millioner ord. De understøtter foruddannelse af sprogmodeller og udvidelse af ordforråd og dialektdækning i modeller, der håndterer MSA godt, men klarer sig dårligt på talte regionale varianter.
Dokument- og scannet tekstkorpus
Virkelige scannede dokumenter og strukturerede formularer leveret som PDF'er i autentiske layouts og scanningskvalitet i stedet for syntetiske gengivelser. De understøtter dokument-AI, OCR-tilhørende naturlig sprogbehandling og informationsudtrækning, især til forståelse af nøgleværdier og tabeller i dokumenter, hvor layout har lige så stor betydning som selve teksten.
Akademiske og udgivertekstdatasæt
Fuldtekstbøger og tidsskriftartikler licenseret fra et akademisk forlag og leveret via API, der dækker tolv emneområder på tværs af fysiske videnskaber og ingeniørvidenskab - astronomi, biomedicin, civilvidenskab, elektroteknik, energi, industri, materialevidenskab, mekanik, nanoteknologi, fysik, polymervidenskab og sikkerhedsstyring. De er egnede til videnskabelig og teknisk forberedelse og søgning frem for fagfællebedømt kildemateriale.
Manuskriptunderholdning og fortællende tekst
Produktionsmanuskripter, transskriptioner og fortællende tekst hentet fra et stort katalog af manuskriptbaseret underholdning, der spænder over spillefilm, tv, animation og vertikale mikrodramaer på tværs af drama, komedie, science fiction, western, action, mysterier, romantik, thriller og trosgenrer. De understøtter generering af fortællende tekster og dialoger, modellering af manuskriptformater og tilpasning af manuskript til scene.
Ofte stillede spørgsmål (FAQ)
1. Hvad er tekstdatasæt til AI-træning?
Tekstdatasæt til AI-træning er kuraterede samlinger af skrevet sprog, såsom spørgsmål-og-svar-par, instruktioner, artikler, kode, kliniske journaler, bøger og manuskripter, der bruges til at fortræne, finjustere og evaluere store sprogmodeller (LLM'er) og NLP-systemer. Shaips tekstdatakatalog tilbyder licensklare datasæt på tværs af otte kategorier, der hver især er hentet fra materiale fra den virkelige verden.
2. Hvilke typer tekstdatasæt tilbyder Shaip?
Kataloget dækker otte kategorier: datasæt med samtalebaserede spørgsmål og svar og instruktionsdatasæt, kode- og softwarearkivdatasæt, nyheds- og journalistisk tekst, datasæt med kliniske spørgsmål og svar og cases, råtekst og webkorpora, scannede dokumentkorpora, akademisk og udgivertekst samt manuskriptbaseret underholdnings- og fortællende tekst.
3. Hvilke sprog og dialekter er dækket?
Datasæt er tilgængelige på engelsk, arabisk og spansk. Arabisk dækning omfatter moderne standardarabisk sammen med saudiske, emiratiske, egyptiske og levantinske dialekter, hvilket hjælper modeller, der håndterer MSA godt, men har problemer med talte regionale varianter.
4. Hvilke AI-anvendelsesscenarier understøtter disse datasæt?
Almindelige anvendelsesscenarier omfatter LLM-foruddannelse, instruktionsjustering og finjustering, modelevaluering og benchmarking, retrieval-augmented generation (RAG), kodefuldførelse og kodegennemgang, AI inden for sundhedsvæsenet, dokument-AI og informationsudtrækning samt dialog- og manuskriptgenerering.
5. Kan jeg evaluere et datasæt, før jeg licenserer det?
Ja. Prøver eller adgang til evaluering kan arrangeres, før du licenserer et datasæt, så dit team kan kontrollere egnethed, format og kvalitet. Kontakt os med din use case for at anmode om en prøve fra den relevante kategori.
6. Hvordan håndteres følsomme data såsom PII og PHI?
Hvor kildemateriale indeholder personligt identificerbare eller beskyttede sundhedsoplysninger, som f.eks. kliniske data, er redigering, anonymisering og maskering inkluderet i opgaven, så dataene opfylder dine privatlivs- og compliance-krav.
7. Hvad er forskellen mellem gyldne og sølvfarvede datasæt?
Gyldne datasæt udarbejdes efter en højere gennemgangsstandard og er bedst egnet til benchmarking og evaluering. Sølvdatasæt gennemgår standardgennemgang og er velegnede til træning i større skala, hvor volumen betyder mere.
8. Kan datasættene tilpasses eller udvides?
Ja. Datasæt kan tilpasses dit projekt efter sprog, domæne, volumen eller format. Hvis kataloget ikke dækker det, du har brug for, kan Shaip indsamle og annotere brugerdefinerede tekstdata efter dine specifikationer.
9. Hvilke licensmuligheder er tilgængelige?
Licensering er begrænset til hvert engagement baseret på datasættet, volumen, tilsigtet anvendelse og varighed. Nogle datasæt, såsom nyhedsindhold, er tilgængelige både som et tilbagevendende feed og som et engangsarkivkorpus.
10. Hvordan leveres datasættene?
Leveringen afhænger af datasættet. Mulighederne omfatter strukturerede filer, PDF'er til scannede dokumenter, tilbagevendende feeds til nyheder og API-levering af akademisk og udgiverindhold. Leveringsformatet kan tilpasses din træningspipeline.
11. Hvor meget koster tekstdatasæt?
Prisen afhænger af kategori, volumen, eksklusivitet og licensvilkår. Del dine krav med vores team for at få et tilbud skræddersyet til dit projekt.
12. Hvordan kommer jeg i gang?
Gennemse den kategori, der matcher din use case, og kontakt derefter Shaip med dine krav. Vores team vil dele datasætdetaljer, arrangere prøver og fastsætte en licens til dit projekt.
