Seturi de date text licențiate pentru instruire LLM și AI
Licențiați corpusuri de text gata de utilizare pentru instruire în LLM, NLP și inteligență artificială generativă — întrebări și răspunsuri conversaționale, cod, știri, date clinice, academice și multilingve, adaptate proiectului dumneavoastră.
Seturi de date text licențiate pentru instruire LLM și NLP
Catalogul de date text Shaip oferă echipelor de inteligență artificială seturi de date text gata de licențiere pentru antrenament, reglarea fină și evaluarea modelelor lingvistice mari (LLM) și a sistemelor NLP. Acesta acoperă opt categorii. Fiecare set de date este obținut din materiale din lumea reală și poate fi adaptat proiectului dumneavoastră.
Catalogul include seturi de date cu întrebări și răspunsuri conversaționale și instrucțiuni în engleză și arabă, acoperind araba standard modernă și dialectele saudite, emirateze, egiptene și levantine. De asemenea, are seturi de date de tip depozit de cod în nouă limbaje de programare, mai multe cu istoric complet de solicitări de extragere și commit-uri. Pentru modelele de evenimente curente și RAG, există seturi de date de știri în engleză, spaniolă și arabă, inclusiv o arhivă de 975,000 de articole care datează din 1999. Echipele de inteligență artificială din domeniul sănătății pot utiliza seturi de date clinice cu întrebări și răspunsuri și cazuri , disponibile ca seturi aurii și argintii, cu anonimizare inclusă.
Pentru pre-antrenament, există text brut și corpusuri la scară web , inclusiv un corpus arab de 20 de milioane de cuvinte. Corpusurile de documente scanate acceptă inteligența artificială a documentelor și extragerea informațiilor. Textele academice și editoriale acoperă douăsprezece discipline științifice și inginerești, iar textele de divertisment scenarizate acoperă filmul, televiziunea, animația și microdramele.
Fiecare set de date este însoțit de licențiere clară și de o evaluare a calității. Sunt disponibile mostre, astfel încât să puteți evalua un set de date înainte de a-l cumpăra. Răsfoiți o categorie de mai jos sau contactați-ne pentru a discuta despre colectarea personalizată a datelor text.
Seturi de date cu întrebări și răspunsuri conversaționale și instrucțiuni
Aceste seturi de date conțin perechi de întrebări și răspunsuri create de oameni și sugestii de instruire în arabă și engleză, acoperind araba standard modernă alături de dialectele saudite, emirateze, egiptene și levantine. Seturile specifice domeniilor acoperă STEM, alimentația și agricultura. Acestea sprijină ajustarea instruirii, ajustarea fină și evaluarea modelelor lingvistice acolo unde contează acoperirea dialectelor regionale și cunoștințele ancorate cultural.
Seturi de date pentru depozite de cod și software
Baze de cod de producție extrase din software real, livrat, în C#, React, TypeScript, Angular, Java, Go, PHP, Swift și BrightScript. Mai multe intrări includ istoricul complet al solicitărilor de extragere și al commit-urilor, arătând cum s-a modificat codul în timpul revizuirii. Acestea acceptă completarea codului, generarea de cod, înțelegerea codului și antrenarea modelului de revizuire a codului, cu depozite disponibile pentru evaluare înainte de licențiere.
Seturi de date de știri și texte jurnalistice
Articole de știri scrise și editate profesional de la o importantă organizație internațională de știri, disponibile ca flux recurent în engleză, spaniolă și arabă, precum și ca un corpus de arhivă de 975,000 de articole publicate din 1999. Fiecare articol conține etichete de semnătură, dată, titlu, corp și subiect. Acestea sunt potrivite pentru antrenarea modelelor de evenimente curente, generarea augmentată prin recuperare și sarcini de raționament temporal.
Întrebări și răspunsuri clinice și seturi de date de caz
Seturi de întrebări și răspunsuri medicale, rezumate de cazuri clinice și articole medicale integrale pentru instruirea și evaluarea modelelor axate pe asistență medicală. Sunt disponibile seturi de date de calitate superioară și cea de calitate superioară, primele fiind pregătite conform unui standard de evaluare mai ridicat pentru evaluarea comparativă. În cazul în care materialul sursă conține informații medicale de identificare personală sau protejate, redactarea, anonimizarea și mascarea sunt incluse în cadrul misiunii.
Text brut și corpora la scară web
Corpusuri de text brut, prompturi și scripturi text-vorbire de volum mare, care acoperă araba standard modernă și dialecte regionale, inclusiv un corpus brut de 20 de milioane de cuvinte. Acestea susțin pre-antrenarea modelelor lingvistice și extinderea acoperirii vocabularului și dialectelor în modele care gestionează bine MSA, dar au performanțe slabe pe variantele regionale vorbite.
Documente și corpora de text scanat
Documente scanate din lumea reală și formulare structurate livrate ca PDF-uri, în machete autentice și calitate de scanare, mai degrabă decât randări sintetice. Acestea acceptă inteligența artificială a documentelor, procesarea limbajului natural adiacent OCR-ului și extragerea informațiilor, în special pentru înțelegerea documentelor cheie-valoare și tabelare, unde macheta are la fel de multă semnificație ca textul în sine.
Seturi de date cu text academic și editorial
Cărți și articole de revistă în text integral, licențiate de la o editură academică și livrate prin API, acoperind douăsprezece domenii din științe fizice și inginerie - astronomie, biomedicală, civilă, electrică și electronică, energie, industrială, știința materialelor, mecanică, nanotehnologie, fizică, știința polimerilor și managementul securității. Acestea sunt potrivite pentru pre-instruire și recuperare științifică și tehnică, comparativ cu materialele sursă evaluate de colegi.
Divertisment scenarizat și text narativ
Scenarii de producție, transcrieri și texte narative extrase dintr-un catalog vast de divertisment cu scenariu, care cuprinde filme de lung metraj, televiziune, animație și microdrame verticale, în genuri precum dramă, comedie, science fiction, western, acțiune, mister, romantism, thriller și religie. Acestea susțin generarea de narațiune și dialog, modelarea formatului scenariului și alinierea scenariului cu scena.
Întrebări Frecvente (FAQ)
1. Ce sunt seturile de date text pentru antrenamentul IA?
Seturile de date text pentru antrenamentul IA sunt colecții curatoriate de limbaj scris, cum ar fi perechi de întrebări și răspunsuri, instrucțiuni, articole, cod, dosare clinice, cărți și scripturi, utilizate pentru pre-antrenament, reglarea fină și evaluarea modelelor lingvistice mari (LLM) și a sistemelor NLP. Catalogul de date text al Shaip oferă seturi de date gata de licențiere în opt categorii, fiecare provenind din materiale din lumea reală.
2. Ce tipuri de seturi de date text oferă Shaip?
Catalogul acoperă opt categorii: seturi de date cu întrebări și răspunsuri conversaționale și instrucțiuni, seturi de date cu depozite de cod și software, știri și text jurnalistic, seturi de date cu întrebări și răspunsuri clinice și cazuri, text brut și corpora la scară web, corpora de documente scanate, text academic și editorial și text narativ și de divertisment cu scenariu.
3. Ce limbi și dialecte sunt acoperite?
Seturile de date sunt disponibile în engleză, arabă și spaniolă. Acoperirea limbii arabe include araba standard modernă, împreună cu dialectele saudite, emirateze, egiptene și levantine, ceea ce ajută modelele care gestionează bine limbajul standard multilateral (MSA), dar care au dificultăți cu variantele regionale vorbite.
4. Ce cazuri de utilizare a inteligenței artificiale sunt suportate de aceste seturi de date?
Cazurile de utilizare comune includ pre-antrenamentul LLM, reglarea și reglarea fină a instrucțiunilor, evaluarea și benchmarking-ul modelelor, generarea augmentată prin recuperare (RAG), completarea și revizuirea codului, inteligența artificială în domeniul sănătății, inteligența artificială a documentelor și extragerea informațiilor, precum și generarea de dialoguri și scenarii.
5. Pot evalua un set de date înainte de a-l licenția?
Da. Se pot aranja mostre sau acces pentru evaluare înainte de a licenția un set de date, astfel încât echipa dvs. să poată verifica compatibilitatea, formatul și calitatea. Contactați-ne cu cazul dvs. de utilizare pentru a solicita o mostră din categoria relevantă.
6. Cum sunt gestionate datele sensibile, cum ar fi informațiile cu caracter personal (PII) și informațiile protejate de sănătate (PHI)?
În cazul în care materialul sursă conține informații medicale de identificare personală sau protejate, cum ar fi în cazul datelor clinice, redactarea, anonimizarea și mascarea sunt incluse în cadrul misiunii, astfel încât datele să îndeplinească cerințele dumneavoastră de confidențialitate și conformitate.
7. Care este diferența dintre seturile de date aurii și cele argintii?
Seturile de date „gold” sunt pregătite conform unui standard de evaluare mai ridicat și sunt cele mai potrivite pentru benchmarking și evaluare. Seturile de date „silver” trec printr-o evaluare standard și sunt potrivite pentru instruirea la scară mai largă, unde volumul contează mai mult.
8. Pot fi personalizate sau extinse seturile de date?
Da. Seturile de date pot fi limitate la proiectul dvs. în funcție de limbă, domeniu, volum sau format. Dacă catalogul nu acoperă ceea ce aveți nevoie, Shaip poate colecta și adnota date text personalizate conform specificațiilor dvs.
9. Ce opțiuni de licențiere sunt disponibile?
Licențierea este limitată la fiecare angajament în funcție de setul de date, volum, utilizare preconizată și durată. Unele seturi de date, cum ar fi conținutul de știri, sunt disponibile atât ca flux recurent, cât și ca corpus de arhivă unic.
10. Cum sunt livrate seturile de date?
Livrarea depinde de setul de date. Opțiunile includ fișiere structurate, PDF-uri pentru documente scanate, fluxuri recurente pentru știri și livrare API pentru conținut academic și editorial. Formatul de livrare poate fi aliniat cu fluxul dvs. de instruire.
11. Cât costă seturile de date text?
Prețurile depind de categorie, volum, exclusivitate și termenii licențierii. Împărtășiți cerințele dumneavoastră cu echipa noastră pentru o ofertă adaptată proiectului dumneavoastră.
12. Cum încep?
Răsfoiți categoria care corespunde cazului dvs. de utilizare, apoi contactați Shaip cu cerințele dvs. Echipa noastră va împărtăși detalii despre setul de date, va aranja mostre și va stabili o licență pentru proiectul dvs.
