Model de limbă mare (LLM)

Definiție

Un model lingvistic extins (LLM) este o rețea neuronală antrenată pe corpusuri textuale vaste pentru a înțelege și genera limbaj uman. LLM-urile utilizează miliarde de parametri pentru a capta modele lingvistice.

Scop

Scopul este de a permite sarcini NLP avansate, cum ar fi generarea de text, sumarizarea și traducerea. Metodele de învățare în cunoștință de cauză (LLM) sunt utilizate în chatbot-uri, instrumente de căutare și instrumente de productivitate.

Importanță

• Susține inteligența artificială conversațională modernă.
• Risc de prejudecăți, dezinformare și halucinații.
• Costuri ridicate de calcul și de mediu.
• Necesită o aliniere și o guvernanță atentă.

Cum funcționează

1. Colectați seturi de date textuale la scară largă.
2. Tokenizează textul în reprezentări numerice.
3. Antrenează modele de transformatoare cu miliarde de parametri.
4. Învață să prezici următorul token în context.
5. Ajustați fin sau adaptați la sarcinile ulterioare.

Exemple (din lumea reală)

• GPT-4 (OpenAI): utilizat în ChatGPT.
• PaLM (Google): LLM la scară largă pentru cercetare și produse.
• LLaMA (Meta): LLM deschis, axat pe cercetare.

Referințe/Lecturi suplimentare

• Vaswani și colab. „Atenția este tot ce ai nevoie.” NeurIPS 2017.
• Placă de sistem OpenAI GPT-4.
• Stanford CRFM. „Modele de fundații”.
• Tot ce trebuie să știi despre LLM