Halucinaţie

Definiție

În inteligența artificială, halucinația se referă la cazurile în care un model generează rezultate care sunt fluente, dar incorecte din punct de vedere factual sau lipsite de sens. Este deosebit de frecventă în modelele lingvistice mari și în inteligența artificială generativă.

Scop

Studierea halucinațiilor ajută la îmbunătățirea fiabilității și siguranței modelului. Aceasta permite dezvoltatorilor să proiecteze măsuri de siguranță pentru a detecta și reduce rezultatele inexacte.

Importanță

• Reduce încrederea în IA dacă nu este abordată.
• Poate provoca daune în aplicații sensibile, cum ar fi asistența medicală sau legislația.
• Evidențiază limitele modelelor generative actuale.
• Stimulează cercetarea în metodele de fundamentare și recuperare a informațiilor.

Cum funcționează

1. Modelul primește o solicitare sau o interogare.
2. Generează rezultate bazate pe modele învățate, nu pe verificarea faptelor.
3. Poate produce rezultate plauzibile, dar incorecte.
4. Se aplică tehnici de detectare și corecție (de exemplu, RAG).

Exemple (din lumea reală)

• ChatGPT generează ocazional informații incorecte atunci când i se solicită.
• Demonstrația inițială a Google Bard a arătat erori factuale.
• Sfaturile medicale generate de inteligența artificială conțin uneori inexactități.

Referințe/Lecturi suplimentare

• „Reducerea halucinațiilor în modelele lingvistice mari” — preprint arXiv.
• Cadrul NIST de gestionare a riscurilor de inteligență artificială.
• Mitchell și colab. „Fișe model pentru raportarea modelelor”. ACM FAccT.
• Cauzele halucinațiilor AI