Învățare prin consolidare din feedbackul uman (RLHF)

Definiție

Învățarea prin consolidare din feedback-ul uman (RLHF) este o metodă de aliniere a modelelor de inteligență artificială cu valorile umane prin încorporarea judecăților umane în procesul de antrenament. Este adesea utilizată pentru a rafina modelele lingvistice mari.

Scop

Scopul este de a face rezultatele inteligenței artificiale mai sigure, mai utile și mai aliniate cu preferințele umane. RLHF îmbunătățește sistemele conversaționale prin reducerea răspunsurilor dăunătoare, părtinitoare sau irelevante.

Importanță

• Oferă supraveghere umană în instruirea IA.
• Îmbunătățește fiabilitatea sistemelor de inteligență artificială.
• Necesită multă muncă din cauza nevoilor de adnotare umane.
• Legat de modelarea preferințelor și cercetarea alinierii.

Cum funcționează

1. Colectați feedback uman comparând rezultatele modelului.
2. Antrenați un model de recompensă pe baza preferințelor umane.
3. Folosește învățarea prin consolidare pentru a ajusta fin modelul de bază.
4. Evaluați performanța în raport cu obiectivele de aliniere.
5. Iterați cu feedback suplimentar.

Exemple (din lumea reală)

• OpenAI ChatGPT: optimizat cu RLHF pentru răspunsuri mai sigure.
• IA constituțională de la Anthropic: ghidată de principii mai degrabă decât de feedback direct.
• InstructGPT: model OpenAI timpuriu care demonstrează RLHF.

Referințe/Lecturi suplimentare

• Christiano și colab. „Învățare prin consolidare profundă din preferințele umane”. NeurIPS 2017.
• Lucrare OpenAI InstructGPT.
• Cadrul NIST de gestionare a riscurilor de inteligență artificială.
• Ce este învățarea prin consolidare cu feedback uman (RLHF)?