Un model de învățare automată de succes începe cu date de antrenament de înaltă calitate. Însă una dintre cele mai frecvente întrebări pe care echipele le pun la începutul unui proiect de inteligență artificială este: Câte date de antrenament sunt suficiente?
Răspunsul sincer este că nu există un număr fix care să funcționeze pentru fiecare proiect. Cantitatea de date de care aveți nevoie depinde de sarcină, complexitatea modelului, numărul de clase, calitatea datelor, acuratețea etichetelor și standardul de performanță pe care doriți să îl atingeți.
În practică, cea mai bună modalitate de a estima necesarul de date pentru antrenament este să începeți cu un eșantion reprezentativ, să antrenați pe subseturi progresiv mai mari și să măsurați momentul în care performanța modelului începe să se stabilizeze. Acest lucru ajută echipele să ia decizii informate cu privire la costuri, cronologie, efort de adnotare și rezultatele așteptate.
În acest blog, analizăm principalii factori care afectează volumul datelor de antrenament, explicăm cum să estimezi cerințele în practică și arătăm ce trebuie să faci atunci când ai nevoie de mai multe date fără a întârzia foaia de parcurs a IA.
De ce contează datele de antrenament
Datele de antrenament sunt fundamentul oricărui sistem de învățare automată. Indiferent cât de avansat este algoritmul, acesta poate învăța doar tiparele prezente în datele utilizate pentru antrenament. Dacă datele sunt incomplete, părtinitoare, zgomotoase sau prea limitate, modelul va avea dificultăți în generalizarea în lumea reală.
Datele solide despre antrenament ajută echipele:
- îmbunătățirea preciziei modelului
- reduce părtinirea și punctele moarte
- estimați costul și fezabilitatea proiectului mai precis
- reducerea relucărilor în timpul iterației modelului
- construirea unor canale de validare și testare mai fiabile
De aceea, colectarea, curățarea, etichetarea și validarea datelor ocupă adesea cea mai mare parte a efortului în proiectele de inteligență artificială. Dacă datele sunt slabe, și predicțiile vor fi slabe.
Nu există un număr universal, dar există o modalitate practică de a-l estima
Multe articole încearcă să răspundă la această întrebare cu un singur număr. Acesta este rareori util.
Un model pentru clasificare binară simplă poate funcționa bine cu un set de date relativ mic, în timp ce un model de limbaj mare care ajustează fin fluxul de lucru sau un sistem de viziune computerizată pentru cazuri limită poate necesita mult mai multe exemple. Întrebarea mai bună nu este „care este numărul magic?”, ci:
Care este cantitatea minimă de date de antrenament reprezentative și de înaltă calitate necesare pentru a atinge performanța țintă pentru acest caz de utilizare?
O modalitate practică de a răspunde la această întrebare este utilizarea curbelor de învățare: antrenați modelul pe cantități tot mai mari de date și observați cât de mult se îmbunătățește performanța cu fiecare pas. Când îmbunătățirea începe să se aplatizeze, aveți un semnal mult mai clar dacă colectarea mai multor date merită investiția. Această abordare este recomandată în mod obișnuit în fluxurile de lucru practice de învățare automată.
7 factori care determină cantitatea de date de antrenament de care aveți nevoie
1. Tipul modelului: ML clasic vs. Deep Learning
Tipul de model are un impact major asupra cerințelor de date. Modelele clasice de învățare automată, cum ar fi regresia logistică, arborii de decizie sau amplificarea gradienților, pot adesea funcționa bine pe seturi de date structurate mai mici, în special atunci când caracteristicile sunt bine proiectate.
Modelele de deep learning necesită, în general, mai multe date, deoarece învață automat caracteristicile și conțin mult mai mulți parametri. Pentru sarcinile legate de imagine, audio și limbaj, modelele de deep beneficiază de obicei semnificativ de volumul și diversitatea suplimentară a datelor.
2. Învățare supravegheată vs. învățare nesupravegheată
Învățarea supravegheată necesită date etichetate, care sunt adesea mai greu și mai costisitoare de colectat. Dacă modelul dumneavoastră are nevoie de oameni pentru a adnota imagini, a transcrie audio, a eticheta entități sau a clasifica documente, necesarul de date trebuie să țină cont atât de cantitate, cât și de efortul de etichetare.
Învățarea nesupervizată nu necesită date etichetate, dar beneficiază în continuare de seturi de date mari și reprezentative. Chiar și fără etichete, modelul are nevoie de o acoperire suficientă pentru a detecta tipare și structuri semnificative.
3. Complexitatea sarcinii și numărul de clase
O sarcină simplă de clasificare binară este foarte diferită de o problemă de imagistică medicală multi-clasă sau de un sistem de recunoaștere a vorbirii multilingv.
Pe măsură ce complexitatea sarcinii crește, cerințele privind datele de antrenament cresc de obicei, deoarece modelul trebuie să învețe:
- mai multe clase
- distincții mai fine între categorii
- mai multe cazuri limită
- mai multă variabilitate contextuală
De exemplu, a distinge între „pisică” și „câine” este mult mai ușor decât a identifica zeci de defecte de produs similare din punct de vedere vizual, în funcție de condițiile de iluminare, unghiurile camerei și fundalurile.
4. Calitatea datelor și acuratețea etichetelor
Mai multe date nu sunt întotdeauna mai bune dacă calitatea este slabă.
Un set de date mai mic, cu etichete precise, reprezentare echilibrată și formatare consistentă, poate depăși performanța unui set de date mai mare, dar cu zgomot. Etichetele de calitate scăzută, înregistrările duplicate, definițiile slabe ale claselor, metadatele lipsă și ghidurile inconsistente de adnotare reduc performanța modelului.
Înainte de a colecta mai multe date, echipele ar trebui să întrebe:
- Sunt etichetele consecvente?
- Acoperim toate scenariile importante ale utilizatorilor?
- Sunt datele reprezentative pentru condițiile de producție?
- Sunt seturile de antrenament, validare și testare separate corespunzător?
Pentru multe proiecte, îmbunătățirea calității datelor produce câștiguri mai rapide decât simpla creștere a volumului de date.
5. Diversitate, acoperire și echilibru de clasă
Un model ar trebui să învețe din variabilitatea din lumea reală cu care se va confrunta după implementare. Aceasta înseamnă că setul de date ar trebui să reflecte diferite scenarii, grupuri de utilizatori, tipuri de dispozitive, accente, medii, formate de documente, condiții de imagine și cazuri limită.
Dacă o clasă sau un segment este subreprezentat, modelul poate părea precis în general, dar poate eșua lamentabil în subgrupurile critice. De aceea, diversitatea și echilibrul claselor contează la fel de mult ca dimensiunea brută.
În multe cazuri, întrebarea nu este „Avem suficiente date?”, ci „Avem suficiente date corecte?”.
6. Transfer de învățare și modele pre-antrenate
Dacă porniți de la un model pre-antrenat, este posibil să aveți nevoie de mult mai puține date specifice sarcinii decât dacă antrenați de la zero.
Acest lucru este valabil mai ales pentru:
- Clasificarea imaginilor folosind coloane vertebrale vizuale
- Sarcini NLP folosind modele bazate pe transformatoare
- modele de vorbire adaptate la un nou accent sau domeniu
- fluxuri de lucru pentru adaptarea domeniului
Transferul de învățare permite echipelor să reutilizeze cunoștințele învățate pe seturi de date mari existente, ceea ce poate reduce dramatic sarcina de adnotare. Articolul original a tratat deja bine acest aspect; ar trebui să rămână, dar cu exemple mai clare.
7. Strategia de validare și performanța țintă
Cantitatea de date de care aveți nevoie este, de asemenea, influențată de cât de bun trebuie să fie modelul.
Un prototip poate funcționa cu cantități modeste de date. Un model de producție în mediile medicale, financiare, de asigurări, auto sau cu o înaltă exigență în materie de conformitate va necesita o acoperire mai puternică, etichete mai clare, o validare mai bună și performanțe mai fiabile în diverse situații limită. Cu cât rata de eroare acceptabilă este mai strictă, cu atât setul de date trebuie să fie mai robust.
Cum să estimezi cerințele de date pentru instruire în practică
În loc să ghiciți, folosiți un proces structurat de estimare.
Pasul 1: Începeți cu un set de date pilot reprezentativ
Colectați un eșantion mai mic, dar reprezentativ, din spațiul problemei. Includeți clase importante, formate, tipuri de utilizatori și variante din lumea reală.
Pasul 2: Împărțiți corect datele
Creați seturi separate pentru antrenament, validare și testare. Asigurați-vă că setul de testare reflectă condițiile de producție și nu este niciodată utilizat în timpul antrenamentului.
Pasul 3: Antrenarea pe eșantioane progresiv mai mari
Antrenați modelul folosind porțiuni crescătoare din setul de date, cum ar fi 10%, 20%, 40%, 60%, 80% și 100%.
Pasul 4: Trasați o curbă de învățare
Urmăriți indicatori de performanță precum acuratețea, scorul F1, reamintirea, precizia sau măsurile de calitate specifice sarcinii pe măsură ce dimensiunea setului de date crește.
Pasul 5: Căutați platoul
Dacă performanța modelului se îmbunătățește brusc cu mai multe date, probabil că aveți nevoie de mai multe. Dacă îmbunătățirile se aplatizează, este posibil ca blocajul să nu mai fie volumul - ci poate fi calitatea etichetelor, designul caracteristicilor, alegerea modelului sau dezechilibrul claselor.
Pasul 6: Examinați performanța la nivel de segment
Verificați cum performează modelul nu doar per ansamblu, ci și în cadrul claselor importante și al cazurilor limită. Un model poate stagna per total, dar totuși are performanțe slabe pe segmentele minoritare. Această metodă oferă părților interesate o estimare mai realistă a cantității de date suplimentare care merită colectate.
Cum să știi când ai suficiente date de antrenament
Probabil aveți suficiente date atunci când:
- Performanța modelului se îmbunătățește doar marginal pe măsură ce se adaugă mai multe date
- rezultatele validării sunt stabile pe mai multe rulări sau plieri
- Clasele importante au performanțe acceptabile, nu doar clasa majoritară
- performanța se menține pe un set de teste curat, neatins
- erorile rămase sunt cauzate mai mult de zgomotul sau ambiguitatea etichetelor decât de lipsa exemplelor
Probabil ai nevoie de mai multe date atunci când:
- curba de învățare este încă în creștere
- Clasele rare au performanțe slabe
- modelul eșuează la variațiile comune din lumea reală
- rezultatele fluctuează foarte mult între runde
- performanța testelor scade brusc în comparație cu performanța validării
Cum să reduci cerințele de date de antrenament
Uneori, provocarea nu este designul modelului, ci deficitul de date, bugetul sau timpul de lansare pe piață. În aceste cazuri, echipele își pot reduce dependența de volume masive de date cu strategiile potrivite.
Augmentarea datelor
Augmentarea datelor creează noi exemple de antrenament din datele existente. În viziunea computerizată, aceasta poate include decuparea, rotirea, inversarea sau ajustarea luminozității. În NLP și vorbire, augmentarea trebuie să fie mai atentă, dar transformările controlate pot fi totuși de ajutor.
Folosită corect, augmentarea îmbunătățește robustețea și ajută modelele să generalizeze mai bine. Folosită necorespunzător, poate introduce zgomot sau exemple nerealiste.
Transferul învățării
Transferul de învățare vă permite să adaptați un model existent pentru o sarcină nouă, în loc să antrenați de la zero. Aceasta este adesea una dintre cele mai eficiente modalități de a reduce cerințele de date pentru antrenament.
Modele pre-antrenate
Modelele pre-antrenate, cum ar fi modelele NLP de tip BERT sau structurile de viziune deja stabilite, pot oferi puncte de plecare solide. În loc să învețe totul de la zero, modelul începe cu cunoștințe anterioare utile.
Învățarea activă
Dacă etichetarea este costisitoare, învățarea activă poate ajuta la prioritizarea exemplelor cele mai informative. Acest lucru îmbunătățește eficiența adnotării și poate reduce numărul de etichete necesare pentru a obține performanțe utile.
Date sintetice
Datele sintetice pot fi utile atunci când datele din lumea reală sunt rare, sensibile sau dificil de colectat, în special în domenii precum asistența medicală, finanțele, sistemele autonome și simularea cazurilor limită. Dar acestea ar trebui să completeze - nu să înlocuiască orbește - datele reale, reprezentative.
Exemple reale de proiecte de învățare automată cu seturi de date minime
Deși poate părea imposibil ca unele proiecte ambițioase de învățare automată să poată fi executate cu un minim de materii prime, unele cazuri sunt uimitor de adevărate. Pregătește-te să fii uimit.
| Raport Kaggle | Farmaceutice | Oncologie clinică |
| Un sondaj Kaggle arată că peste 70% dintre proiectele de învățare automată au fost finalizate cu mai puțin de 10,000 de eșantioane. | Cu doar 500 de imagini, o echipă MIT a pregătit un model pentru a detecta neuropatia diabetică în imagini medicale din scanările oculare. | Continuând exemplul cu asistența medicală, o echipă de la Universitatea Stanford a reușit să dezvolte un model pentru detectarea cancerului de piele cu doar 1000 de imagini. |
Făcând presupuneri educate
Nu există un număr magic cu privire la cantitatea minimă de date necesară, dar există câteva reguli de bază pe care le puteți folosi pentru a ajunge la un număr rațional.
Regula de 10
Ca regula degetului mare, pentru a dezvolta un model AI eficient, numărul de seturi de date de antrenament necesare ar trebui să fie de zece ori mai mare decât fiecare parametru de model, numit și grade de libertate. Regulile „de 10” au scopul de a limita variabilitatea și de a crește diversitatea datelor. Ca atare, această regulă generală vă poate ajuta să începeți proiectul, oferindu-vă o idee de bază despre cantitatea necesară de seturi de date.
Invatare profunda
Metodele de învățare profundă ajută la dezvoltarea modelelor de înaltă calitate, dacă sunt furnizate mai multe date sistemului. Este în general acceptat că a avea 5000 de imagini etichetate pe categorie ar trebui să fie suficient pentru a crea un algoritm de învățare profundă care poate funcționa la egalitate cu oamenii. Pentru a dezvolta modele excepțional de complexe, sunt necesare cel puțin 10 milioane de articole etichetate.
Computer Vision
Dacă utilizați învățarea profundă pentru clasificarea imaginilor, există un consens că un set de date de 1000 de imagini etichetate pentru fiecare clasă este un număr corect.
Curbe de învățare
Curbele de învățare sunt folosite pentru a demonstra performanța algoritmului de învățare automată în raport cu cantitatea de date. Având abilitățile de model pe axa Y și setul de date de antrenament pe axa X, este posibil să înțelegem modul în care dimensiunea datelor afectează rezultatul proiectului.
Costul de a avea prea puține date
Când echipele se antrenează pe seturi de date limitate, înguste sau părtinitoare, modelul poate părea promițător în dezvoltare, dar poate eșua în producție.
Prea puține date pot duce la:
- supraîncadrarea
- generalizare slabă
- predicții instabile
- performanțe slabe în rândul claselor minoritare
- risc mai mare de prejudecată
- mai mult timp de iterație mai târziu
Cu alte cuvinte, limitările datelor de antrenament devin adesea limitările produsului tău.
Ce trebuie să faceți dacă aveți nevoie de mai multe seturi de date
Când identificați o lacună în date, soluția nu este întotdeauna „colectarea tuturor datelor”. Abordarea mai inteligentă este extinderea strategică a setului de date.
1. Folosiți seturile de date deschise cu atenție
Seturile de date deschise pot fi utile pentru prototipare sau benchmarking, dar nu sunt întotdeauna potrivite pentru utilizare în producție. Echipele ar trebui să verifice proveniența, consimțământul, calitatea, relevanța și acoperirea înainte de a se baza pe acestea.
2. Colectați date personalizate pentru cazul dvs. de utilizare
Dacă mediul țintă este foarte specific, colectarea personalizată a datelor este adesea cea mai bună opțiune. Acest lucru este valabil mai ales pentru fluxurile de lucru axate pe domenii, cum ar fi inteligența artificială în domeniul sănătății, inteligența artificială conversațională, cazurile limită de viziune computerizată și sistemele multilingve.
3. Îmbunătățiți datele existente prin adnotare
Multe echipe au deja date brute, dar le lipsește structura. Adnotarea, reetichetarea, curățarea taxonomiei și revizuirea calității pot debloca valoare mai rapid decât colectarea de seturi de date noi.
4. Reechilibrarea claselor subreprezentate
Dacă performanța este slabă la anumite categorii, concentrați colectarea și etichetarea asupra acelor lacune cu impact ridicat, în loc să extindeți uniform întregul set de date.
5. Adăugați date sintetice sau augmentate acolo unde este cazul
Când datele reale sunt limitate sau sensibile, datele sintetice și augmentate pot ajuta la îmbunătățirea acoperirii - dar acestea ar trebui validate cu atenție în raport cu distribuțiile din lumea reală.
6. Lucrați cu un partener specializat în date
Pentru echipele care construiesc inteligență artificială pentru producție la scară largă, parteneriatul cu un furnizor care poate colecta, licenția, adnota, valida și gestiona date de instruire de înaltă calitate poate reduce semnificativ riscul proiectului și poate accelera implementarea.
Gânduri finale
Nu există un număr magic pentru antrenarea datelor în învățarea automată. Cantitatea potrivită depinde de cazul de utilizare, tipul de model, calitatea datelor, diversitatea claselor, strategia de validare și performanța țintă.
Cea mai eficientă modalitate de a estima nevoile de date de antrenament este de a începe cu un eșantion reprezentativ, de a măsura performanța folosind curbe de învățare și de a extinde setul de date strategic pe baza punctelor unde modelul încă eșuează.
Pentru unele proiecte, un set de date modest, de înaltă calitate, poate fi suficient. Pentru altele, în special mediile cu miză mare sau extrem de variabile, succesul depinde de seturi de date mari, atent selectate și bine adnotate.
Cel mai important lucru nu este pur și simplu să ai mai multe date, ci să ai date corecte.
Ai un proiect grozav în minte, dar aștepți seturi de date personalizate pentru a-ți antrena modelele sau te străduiești să obții rezultatul potrivit din proiectul tău? Oferim seturi extinse de date de instruire pentru o varietate de nevoi ale proiectelor. Valorificați potențialul Shaip vorbind cu unul dintre noștri oamenii de știință de date astăzi și înțelegerea modului în care am oferit clienților seturi de date de înaltă performanță și de calitate în trecut.
Câte date de antrenament sunt suficiente pentru învățarea automată?
Nu există un număr fix. Cantitatea corectă depinde de sarcină, complexitatea modelului, calitatea etichetelor, echilibrul claselor și acuratețea țintei. Cea mai fiabilă modalitate de a o estima este antrenarea pe subseturi tot mai mari și măsurarea îmbunătățirilor de performanță.
Cum știu dacă am nevoie de mai multe date de antrenament?
Probabil veți avea nevoie de mai multe date de antrenament dacă performanța modelului continuă să se îmbunătățească pe măsură ce dimensiunea datelor crește, dacă clasele rare au performanțe slabe sau dacă rezultatele sunt instabile în timpul rulărilor.
Poate transferul de învățare să reducă cerințele de date pentru instruire?
Da. Transferul de învățare permite modelelor să reutilizeze cunoștințele din sistemele antrenate anterior, ceea ce poate reduce semnificativ cantitatea de date etichetate specifice sarcinilor necesare.
Sunt mai multe date întotdeauna mai bune pentru învățarea automată?
Nu neapărat. Mai multe date de calitate inferioară sau etichetate necorespunzător pot afecta performanța. În multe cazuri, îmbunătățirea calității, echilibrului și reprezentativității datelor este mai valoroasă decât simpla creștere a volumului.
De câte date am nevoie pentru deep learning?
Modelele de deep learning necesită de obicei mai multe date decât modelele clasice de machine learning, în special pentru sarcini legate de imagine, vorbire și limbaj. Cu toate acestea, modelele pre-antrenate și învățarea prin transfer pot reduce această cerință.
