Halucinácie AI a ako ich znižovať

Halucinácia v AI znamená, že model vytvorí výstup, ktorý znie presvedčivo, ale nie je správny alebo nie je podložený dostupným zdrojom. Môže ísť o vymyslenú citáciu, neexistujúci zákon, nesprávny technický postup alebo presný údaj bez opory v dátach.

Prečo vznikajú

Jazykové modely generujú text podľa naučených vzorov a kontextu. Ich cieľom nie je prirodzene overovať pravdu v externom svete. Ak prompt neobsahuje dostatok informácií alebo sa pýta na niečo neisté, model môže doplniť pravdepodobne znejúci text namiesto priznania neistoty.

Ako riziko znížiť

Pomáha jasne uviesť zdroje, použiť RAG, obmedziť model na poskytnutý kontext a vyžadovať citácie. Pri kritických oblastiach treba pridať pravidlá na odmietnutie odpovede, keď zdroj nestačí. Dôležité je aj testovanie otázok, na ktoré systém nemá vedieť odpovedať.

Čo nefunguje spoľahlivo

Nestačí napísať nehalucinuj. Taká inštrukcia môže pomôcť tónu odpovede, ale nie je technickou garanciou. Nestačí ani dlhší kontext, ak obsahuje šum alebo protichodné informácie. Model môže vybrať nesprávnu časť alebo spojiť fakty neplatným spôsobom.

Praktické pravidlo pre Education

Každý článok, ktorý obsahuje materiálne tvrdenia, má mať zdroje a stav overenia. Pri neistých alebo rýchlo sa meniacich témach je lepšie napísať, že stav sa môže meniť, než predstierať definitívnu pravdu. Kvalitný AI obsah má byť užitočný aj vtedy, keď prizná limity.