Halucinace AI: co jsou a jak je odstranit?

Co jsou halucinace AI?

Představme si, že AI požádáme o identifikační čísla (IČO) 20 pražských firem, kterým rostou tržby. Můžeme dostat zdánlivě logický a úplný seznam, jenže… všechna uvedená IČO budou smyšlená.

Právě tato zdánlivá logika je pro halucinace typická: odpovědi působí přesvědčivě a AI nedává najevo žádné pochybnosti. Proto rozhraní jazykových modelů upozorňují, že je třeba uváděná čísla a fakta ověřovat.

Proč halucinace AI vznikají?

Halucinace proto vznikají zejména ve třech situacích:

• chybějí data (hlavní příčina – model hádá);
• zadání je nepřesné (model doplňuje mezery);
• úkol je příliš složitý (model se snaží udělat vše najednou).

Nejde tedy jen o problém jazykových modelů, ale také o jejich přístup k datům. Halucinace nevznikají zcela nahodile: souvisejí s podmínkami, které můžeme ovlivnit.

Jak halucinace AI omezit?

Halucinacím AI lze předcházet přímým a strukturovaným přístupem k datům. V takovém prostředí dokážou jazykové modely nejlépe interpretovat informace, rozhodovat se a vyvozovat závěry.

K tomu směřují následující tři metody. Kterou zvolit, záleží na vašich technických možnostech.

Příprava souboru s daty

Poskytnout modelu hotová data je nejjednodušší způsob, jak riziko halucinací výrazně snížit. AI tak nenecháváme prostor, aby si údaje „domýšlela“.

Začátečníci často přistupují k jazykovému modelu, jako by v sobě spojoval vyhledávač, ETL pipeline i nástroj pro získávání dat z webu. Pokud však úkol vyžaduje sběr, čištění a standardizaci dat, může snadno přesáhnout kapacitu kontextového okna a riziko halucinací prudce vzroste.

Proto se vyplatí rozdělit sběr dat do několika menších zadání a průběžně kontrolovat, zda AI uvádí pravdivé informace. Může to znít zdlouhavě, ale právě tak vytvoříme pevný základ, na němž mohou jazykové modely ukázat svůj skutečný potenciál: práci s dostupnými daty.

Využití API

Připojení přes API představuje pokročilejší řešení: umožňuje rychlejší přístup k datům ve větším měřítku a data navíc mohou zůstávat aktuální. Jestliže připravený soubor s daty připomíná podání vědra vody, API je jako otevření kohoutku.

Vyhledávání, které používají ChatGPT, Claude nebo Gemini, se v mnohém podobá lidskému postupu. Jazykové modely procházejí obsah externích webů, například Redditu či Wikipedie, a na jeho základě sestaví odpověď.

U tohoto postupu však nemáme jistotu, že nalezený obsah je správný a aktuální. Zdroje nejsou jednotně standardizované, pocházejí z různých období a mohou obsahovat lidské chyby nebo názory. API tuto slabinu pomáhá řešit tím, že poskytuje stabilní, programově dostupný zdroj očištěných dat.

Například API služby Monitly poskytuje přístup ke statistikám z celého světa díky přímému napojení na zdroje institucí, jako jsou Český statistický úřad, Eurostat, World Bank, WHO či IMF. AI tak nemusí hledat informace na různých webech: pošle dotaz přímo do API a získá aktuální výsledek, který může dále analyzovat a interpretovat.

Připojení pomocí MCP

Propojení AI prostřednictvím MCP (Model Context Protocol) umožňuje jazykovým modelům přímý přístup k souborům, tabulkám, kódu či aplikacím. Riziko halucinací tím výrazně klesá, protože model může pracovat s dostupnými daty.

Například platforma s firemními daty Compabase zpřístupnila vlastní MCP, díky němuž může AI rychle ověřovat místní společnosti. Když ji tentokrát požádáme o IČO 20 pražských firem s rostoucími tržbami, místo smyšlených údajů dostaneme ucelený, ověřený seznam. Rozdíl není v tom, že by model náhle „zmoudřel“. Dříve k těmto datům neměl přístup; nyní může databázi položit jednoduchý SQL dotaz a získat konkrétní výsledek.

Jinými slovy:

Bez MCP:

• některé firmy neexistují;
• finanční údaje jsou nahodilé;
• IČO jsou smyšlená.

S MCP:

• model odešle dotaz do databáze;
• získá konkrétní záznamy;
• výsledek dotazu je deterministický.

Samotná možnost halucinací ovšem nezmizí, pokud od AI nadále očekáváme příliš složité zpracování a propojování dat. Když jí však zajistíme prostředí se strukturovanými, průběžně aktualizovanými daty a omezíme prostor pro volný výklad, přestane hádat a začne analyzovat skutečné informace.