Pre-antrenament

Definiție

Pre-antrenamentul este antrenamentul inițial al unui model de învățare automată pe seturi de date mari de uz general, înainte de ajustarea fină a sarcinilor specifice.

Scop

Scopul este de a oferi modele cu reprezentări largi care se transferă la mai multe sarcini, reducând cerințele de date și de calcul pentru adaptarea în aval.

Importanță

• Fundația pentru LLM-uri moderne și modele de viziune.
• Îmbunătățește performanța în diverse sarcini.
• Costisitor din punct de vedere al datelor și al calculelor.
• Necesită o selecție atentă a setului de date pentru a evita prejudecățile.

Cum funcționează

1. Colectați seturi masive de date generale (text, imagini).
2. Definiți sarcini de învățare nesupervizate sau autosupervizate.
3. Antrenați modelele pentru a învăța caracteristici generale.
4. Salvați greutățile antrenate în prealabil pentru reutilizare.
5. Ajustați fin seturile de date mai mici, specifice sarcinilor.

Exemple (din lumea reală)

• BERT a fost pre-antrenat pe Wikipedia și BooksCorpus.
• CLIP a fost antrenat pe perechi imagine-text.
• Modelele GPT au fost pre-antrenate pe text de internet la scară largă.

Referințe/Lecturi suplimentare

• Devlin și colab. „BERT: Pre-antrenamentul transformatoarelor bidirecționale profunde.” NAACL 2019.
• Radford și colab. „Modelele lingvistice sunt elevi cu puține șanse.” NeurIPS 2020.
• Raport tehnic OpenAI GPT-4.