- Colectare de date: Formarea mea a început cu o gamă variată de text pe internet. Cu toate acestea, ar trebui să remarc că, deși am fost instruit pe un set de date larg, nu știu detalii despre ce documente făceau parte din acel set de instruire sau care au acces la orice documente sau surse specifice.
- Antrenament inițial (pre-antrenament): Aici am învățat să prezic următorul cuvânt dintr-o propoziție. Nu am început să știu engleza sau altă limbă. În schimb, prezicând următorul cuvânt în milioane de propoziții, am învățat treptat despre gramatică, fapte despre lume și unele abilități de raționament. Cu toate acestea, acest lucru înseamnă și că s-ar putea să fi învățat din informații părtinitoare sau incorecte, deoarece datele nu au fost filtrate complet.
- Reglaj fin: După formarea inițială, creatorii mei de la OpenAI au oferit îndrumări suplimentare cu un set de date mai specific, generat cu ajutorul recenzenților umani. Acești evaluatori urmează liniile directoare pentru a revizui și evalua posibilele rezultate ale modelului pentru o serie de exemple de intrări. Procesul de reglare fină este un fel de dialog între model și recenzori care mă ajută să mă aliniez mai bine la valorile umane.
- Învățare continuă: Deși nu învăț din interacțiunile individuale din motive de confidențialitate, OpenAI lucrează continuu cu o echipă de evaluatori umani pentru a oferi feedback și pentru a face îmbunătățiri iterative bazate pe modele și perspective mai largi.
- Exemplu de pre-antrenament: Să presupunem că avem propoziția „Pisica sa așezat pe __”. În faza de pre-antrenament, modelul ca mine ar învăța să prezică următorul cuvânt din propoziție, care ar putea fi „mat”, „acoperiș” sau „copac”. Acest lucru este învățat prin procesarea a miliarde de propoziții din diverse texte de pe internet, implicând indirect interacțiunea umană, deoarece oamenii au creat conținutul original.
- Exemplu de reglare fină: După faza de pre-antrenament, modelul intră în faza de reglare fină. Iată cum ar putea funcționa:
Revizorului uman i se dă sarcina de a examina posibilele rezultate ale modelului pentru intrare, cum ar fi „Traduceți următorul text în engleză în franceză: „Bună ziua, ce mai faceți?””. Modelul ar putea genera mai multe răspunsuri precum „Bonjour, comment ça va?” sau „Salut, comment vas-tu?” etc.
Revizorul evaluează aceste răspunsuri pe baza unor factori precum acuratețea, fluența și caracterul adecvat. Aceste evaluări ajută modelul să se generalizeze și să răspundă la intrări similare în viitor.
Rețineți că exemplele furnizate aici sunt simplificate pentru a ilustra procesul. Antrenamentul propriu-zis implică algoritmi complecși și cantități mari de date.
- Varietate de date: Nu este vorba doar de volumul datelor, ci și de varietate. Datele trebuie să fie diverse pentru a acoperi o gamă largă de subiecte, stiluri și tonuri găsite în limbajul uman.
- Calitatea datelor: Calitatea datelor utilizate pentru instruire poate influența, de asemenea, cât de eficient învață modelul. Date de o calitate mai bună pot reduce volumul necesar pentru un antrenament eficient.
- Arhitectura modelului: Arhitectura modelului (cum ar fi numărul de straturi sau parametrii din rețeaua neuronală) poate afecta, de asemenea, cât de multe date sunt necesare. Modelele mai mari, cum ar fi GPT-3 sau GPT-4, necesită de obicei mai multe date decât modelele mai mici.
- Obiective de instruire: Tipul de sarcini pe care modelul este destinat să le realizeze poate influența cantitatea de date necesară. Un model conceput pentru o anumită sarcină poate necesita mai puține date dacă este bine direcționat, în timp ce un model de uz general precum GPT-3 sau GPT-4, conceput pentru a gestiona o gamă largă de sarcini, va necesita mai multe date pentru o înțelegere mai largă.
În cazul lui GPT-3, de exemplu, modelul are 175 de miliarde de parametri și a fost antrenat pe sute de gigaocteți de text. Dar aceste cifre nu surprind pe deplin complexitatea procesului. Specificul procesului de instruire, inclusiv cantitatea exactă de date utilizate, sunt detalii deținute de OpenAI și organizații similare.
- Start mic: În special pentru probleme simple sau prototipuri de model inițial, un set de date mai mic poate fi adecvat. De exemplu, dacă construiți un clasificator de imagini de bază, puteți începe cu câteva sute sau mii de imagini pe categorie.
- Luați în considerare complexitatea: Problemele mai complexe necesită de obicei mai multe date. Dacă dezvoltați un model de învățare profundă sau lucrați cu o problemă complexă, cum ar fi procesarea limbajului natural, este posibil să aveți nevoie de milioane de puncte de date.
- Calitate peste cantitate: Datele de calitate și relevante pot fi adesea mai benefice decât o cantitate masivă de date de proastă calitate. Este crucial să vă asigurați că datele dvs. sunt curățate, adnotate și reprezentative pentru problema pe care încercați să o rezolvați.
- Echilibrați-vă cursurile: Pentru sarcinile de învățare supravegheată, asigurați-vă că aveți un echilibru bun de exemple pentru fiecare clasă. Un set de date dezechilibrat poate duce la un model care are performanțe slabe pe clase subreprezentate.
- Utilizați seturi de validare și de testare: O parte din setul dvs. de date ar trebui să fie pusă deoparte pentru validare (ajustarea parametrilor modelului) și testare (evaluarea performanței modelului). Diviziunile comune ar putea reprezenta 70% din date pentru instruire, 15% pentru validare și 15% pentru testare, deși aceste proporții pot varia.
- Experimentați și repetați: Începeți cu o cantitate inițială de date, antrenați-vă modelul, evaluați-i performanța și adăugați în mod iterativ mai multe date, modificați modelul sau îmbunătățiți-vă calitatea datelor pe baza rezultatelor.
Amintiți-vă, mai multe date îmbunătățesc de obicei performanța modelelor de învățare automată, dar numai până la un punct. După un anumit moment, colectarea mai multor date ar putea fi mai consumatoare de timp și mai costisitoare decât valoarea sa și poate fi mai benefic să vă concentrați pe îmbunătățirea calității datelor sau pe rafinarea arhitecturii modelului.
- Pre-antrenament: În această fază, modelul este expus la o cantitate mare de date text pe internet. Aceste date nu sunt adnotate explicit, dar modelul este antrenat să prezică următorul cuvânt dintr-o propoziție. Acest lucru oferă modelului o înțelegere generală a gramaticii, a faptelor despre lume și a unor abilități de raționament.
- Reglaj fin: După pregătire preliminară, modelul este rafinat în continuare pe un set de date mai restrâns, generat cu ajutorul recenzenților umani. Acești evaluatori urmează liniile directoare de la OpenAI pentru a revizui și evalua posibilele rezultate ale modelului pentru o serie de intrări. În acest sens, procesul de reglare fină poate fi privit ca o formă de adnotare, în care recenzenții umani ghidează răspunsurile modelului, ajutându-l să se alinieze mai bine la valorile umane și asigurându-se că evită conținutul inadecvat sau nesigur.
Deci, în timp ce setul de date inițial utilizat pentru pre-instruire nu este adnotat în sensul tradițional, procesul de reglare fină implică o formă de adnotare, în care recenzenții umani ghidează comportamentul modelului prin evaluarea diferitelor rezultate.
Corectitudine: Revizorii evaluează dacă rezultatul modelului este corect din punct de vedere faptic.
Exemplu:
Adecvarea: Ieșirea modelului este evaluată pentru adecvarea sa în raport cu intrarea dată.
Exemplu:
Siguranță: Rezultatele sunt revizuite pentru a se asigura că nu includ instrucțiuni dăunătoare sau limbaj ofensator.
Exemplu:
Exhaustivitate: Aceasta evaluează dacă răspunsul modelului răspunde pe deplin la întrebarea utilizatorului.
Exemplu:
Fluenţă: Revizorii verifică dacă rezultatul modelului este fluent și coerent din punct de vedere lingvistic.
Exemplu:
Aceste categorii sunt doar exemple. Procesul real de ajustare implică un sistem de evaluare mai complex și feedback continuu între evaluatori și echipa de dezvoltare AI. Scopul acestor adnotări este de a face răspunsurile modelului mai utile, sigure și aliniate cu valorile umane.
OpenAI, organizația din spatele ChatGPT, nu dezvăluie public numărul exact de evaluatori implicați în procesul de reglare fină. Cu toate acestea, având în vedere amploarea și complexitatea formării unui model lingvistic atât de mare, este sigur să spunem că procesul implică probabil o echipă substanțială de evaluatori.
Acești evaluatori umani urmează liniile directoare oferite de OpenAI pentru a revizui și evalua posibilele rezultate ale modelului. Este un proces continuu, iterativ, în care feedbackul recenzenților este folosit pentru a îmbunătăți și a perfecționa modelul în timp. OpenAI menține o buclă puternică de feedback cu recenzenții, inclusiv întâlniri săptămânale pentru a răspunde întrebărilor și a oferi clarificări.
- Complexitatea sarcinii: Activitățile simple, cum ar fi etichetarea imaginilor sau clasificarea textului, ar dura mai puțin timp per PDF, permițând unui singur adnotator să gestioneze mai multe fișiere. Pe de altă parte, sarcinile complexe precum extracția detaliată a entităților sau analiza semantică ar necesita mai mult timp per document și, prin urmare, mai mulți adnotatori pentru același volum de PDF-uri.
- Lungimea și complexitatea fișierelor PDF: Un PDF mai lung sau mai complex va dura mai mult timp pentru adnotare decât unul mai scurt sau mai simplu.
- Cerințe de calitate: Dacă este necesară o precizie ridicată, ar putea fi necesar să aveți mai mulți adnotatori per PDF pentru a verifica încrucișat adnotările.
- Constrângeri de timp: Dacă adnotările trebuie finalizate rapid, ar fi nevoie de mai mulți adnotători.
Ca exemplu ipotetic, să presupunem că un adnotator poate adnota 5 PDF-uri pe zi pentru o anumită sarcină și funcționează 5 zile pe săptămână. În acest caz, pentru a adnota 10,000 de fișiere PDF, un singur adnotator ar avea nevoie de 2000 de zile sau aproximativ 8 ani.
Cu toate acestea, dacă ați avea o echipă de 20 de adnotatori, aceștia ar putea finaliza sarcina în aproximativ 5 luni (presupunând 20 de zile lucrătoare pe lună). Cu 100 de adnotatori, aceeași sarcină ar putea fi finalizată în aproximativ o lună.
Rețineți, aceste numere sunt pur ilustrative, iar viteza reală de adnotare ar depinde de factorii menționați mai sus. În plus, pregătirea adecvată a adnotatorilor și controlul consecvent al calității sunt esențiale pentru succesul oricărui proiect de adnotare la scară largă.
