Date de instruire AI

Definiție

Datele de antrenament AI sunt setul de date etichetate folosit pentru a învăța modelele de învățare automată cum să identifice tipare și să genereze predicții. Acestea reprezintă „adevărul fundamental” în funcție de care modelele își ajustează parametrii interni.

Scop

Scopul este de a oferi exemple care să ghideze algoritmii în învățarea relațiilor statistice. Permite modelelor să generalizeze de la exemple la date nevăzute.

Importanță

• Calitatea datelor de antrenament are un impact direct asupra preciziei modelului.
• Datele părtinitoare sau dezechilibrate produc modele nedrepte sau nefiabile.
• Seturile de date suficient de mari îmbunătățesc generalizarea.
• Scurgerea de date de antrenament în seturi de testare compromite evaluările.

Cum funcționează

1. Definiți sarcina de predicție și cerințele setului de date.
2. Colectați date brute relevante.
3. Etichetați sau adnotați datele cu ieșirile corecte.
4. Împărțit în seturi de antrenament, validare și testare.
5. Antrenați modelul să ajusteze ponderile pe baza datelor de antrenament.

Exemple (din lumea reală)

• Set de date COCO: imagini adnotate pentru detectare și segmentare.
• Common Crawl: set de date text web la scară largă pentru pre-antrenarea LLM-urilor.
• LibriSpeech: set de date vocale pentru antrenamentul ASR.

Referințe/Lecturi suplimentare

• Date de antrenament pentru învățarea automată — IBM Research.
• ISO/IEC 23053: Cadrul pentru sistemele de inteligență artificială care utilizează ML — ISO.
• Cadrul NIST de gestionare a riscului de inteligență artificială — NIST.
• Ce sunt datele de antrenament în învățarea automată – Shaip