Každá firma má rovnaký problém: dvadsať rokov dokumentov, zmlúv a manuálov, v ktorých nikto nič nenájde. RAG — retrieval augmented generation — je technológia, ktorá z nich spraví asistenta odpovedajúceho vlastnými slovami. Ak sa postaví správne.
Ako to funguje a čo to stojí
Dokumenty sa rozdelia na časti, prevedú na vektory a uložia do databázy. Otázka používateľa nájde relevantné pasáže a LLM z nich zostaví odpoveď s odkazmi na zdroj. Realistický rozpočet: pilot nad jednou doménou dokumentov 15 000 až 25 000 €, prevádzka pri stovkách dopytov denne 200 až 600 € mesačne za inferenciu.
Tri chyby, ktoré projekt pochovajú
Prvá: nasypať do systému všetko vrátane neplatných verzií smerníc — asistent potom sebavedomo cituje dokument z roku 2019. Druhá: žiadne vyhodnocovanie — bez testovacej sady otázok neviete, či odpovedá správne na 60 alebo 95 %. Tretia: chýbajúce práva — asistent nesmie mzdovej účtovníčke prezradiť zmluvu konateľa.
Správne postavený RAG šetrí desiatky hodín hľadania mesačne a odpovede vždy doloží zdrojom. Zle postavený je drahý generátor sebavedomých nezmyslov. Rozdiel nie je v modeli — je v dátach a meraní.