Každá firma má rovnaký problém: dvadsať rokov dokumentov, zmlúv a manuálov, v ktorých nikto nič nenájde. RAG — retrieval augmented generation — je technológia, ktorá z nich spraví asistenta odpovedajúceho vlastnými slovami. Ak sa postaví správne.
Ako to funguje a čo to stojí
Dokumenty sa rozdelia na časti, prevedú na vektory a uložia do databázy. Otázka používateľa nájde relevantné pasáže a LLM z nich zostaví odpoveď s odkazmi na zdroj. Realistický rozpočet: pilot nad jednou doménou dokumentov 15 000 až 25 000 €, prevádzka pri stovkách dopytov denne 200 až 600 € mesačne za inferenciu.
Tri chyby, ktoré projekt pochovajú
Prvá: nasypať do systému všetko vrátane neplatných verzií smerníc — asistent potom sebavedomo cituje dokument z roku 2019. Druhá: žiadne vyhodnocovanie — bez testovacej sady otázok neviete, či odpovedá správne na 60 alebo 95 %. Tretia: chýbajúce práva — asistent nesmie mzdovej účtovníčke prezradiť zmluvu konateľa.
Kde RAG končí a začína agent
Čisté RAG odpovedá na otázky — ale skutočná hodnota prichádza, keď asistent vie aj konať. Z „nájdi mi platobné podmienky“ sa stane „priprav návrh dodatku podľa nich“; z „aký je stav objednávky“ sa stane „pošli zákazníkovi aktualizáciu“. Tu RAG prechádza na agenta s prístupom k systémom — a s tým rastie aj dôraz na kontrolné brány a oprávnenia. Začíname vždy odpovedaním; konanie pridávame, až keď firma asistentovi verí.
Vaše dáta neopustia firmu
Najčastejšia obava pri RAG nie je presnosť, ale súkromie: „pošleme dvadsať rokov zmlúv do cudzieho modelu?“ Odpoveď je nie. Dokumenty aj vektorová databáza zostávajú vo vašej infraštruktúre alebo v EÚ cloude, do modelu ide len relevantná pasáž k danej otázke a citlivé údaje vieme pred odoslaním anonymizovať. Spracovateľská zmluva podľa GDPR je súčasťou každého projektu — bez nej sa rozhovor ani nezačne.
Správne postavený RAG šetrí desiatky hodín hľadania mesačne a odpovede vždy doloží zdrojom. Zle postavený je drahý generátor sebavedomých nezmyslov. Rozdiel nie je v modeli — je v dátach a meraní.