Ce este RAG și când ai nevoie de el în companie

Toată lumea a văzut ChatGPT răspunzând cu aplomb ceva complet greșit. Într-o conversație e amuzant. Într-o firmă — despre un contract, o politică de retur, o procedură — un răspuns inventat cu încredere e periculos. RAG e soluția la exact problema asta, și e mai simplă decât sună acronimul.

De ce inventează AI-ul (și de ce nu e „prost”)

Un model de limbaj nu „caută” informația când răspunde — o prezice. A învățat, dintr-un munte uriaș de text, care e următorul cuvânt cel mai probabil. E ca un coleg foarte citit care, când nu știe ceva, nu spune „nu știu”, ci ghicește fluent și convingător. Despre documentele interne ale firmei tale n-a citit niciodată — așa că, întrebat, umple golul cu ceva plauzibil. Asta se numește „halucinație”.

RAG, tradus cuvânt cu cuvânt

RAG = Retrieval-Augmented Generation. Retrieval = regăsire (caută). Augmented = completat cu. Generation = generare (scrie răspunsul). Pe românește: înainte să răspundă, caută întâi în documentele TALE și scrie răspunsul din ele, cu sursă. Atât. Restul e cum faci asta bine.

Cum funcționează, pas cu pas

Prima parte se face o singură dată, la setup. Documentele tale — proceduri, contracte, manuale — sunt tăiate în bucăți mici („chunks”), iar fiecare bucată e transformată într-un șir de numere care îi codifică înțelesul (un „embedding”). Sunt stocate într-o „bază de date vectorială”. Analogia care contează: e ca un raft uriaș unde lucrurile nu-s aranjate alfabetic, ci după sens — ce vorbește despre același subiect stă aproape.

Apoi, la fiecare întrebare: întrebarea trece prin aceeași transformare și devine și ea un punct pe acel raft. Sistemul ia bucățile cele mai apropiate ca sens — de asta găsește răspunsul chiar dacă ai folosit alte cuvinte decât scrie în document. La final, modelul primește întrebarea plus bucățile găsite și e instruit să răspundă DOAR din ele, cu trimitere la sursă.

„Dar nu pot să antrenez AI-ul pe datele mele?”

Aici se încurcă lumea cel mai des. „Antrenarea” (fine-tuning) și RAG sunt două lucruri diferite. Antrenarea schimbă modelul însuși — e scumpă, lentă, iar datele se „lipesc” de model (greu de actualizat, greu de scos). RAG nu atinge modelul; doar îi pune documentele pe masă la momentul întrebării.

De asta, pentru majoritatea firmelor, RAG bate antrenarea: actualizezi instant (modifici procedura, chatbotul o știe pe loc), poți verifica sursa fiecărui răspuns, iar datele rămân ale tale, la locul lor.

Când ai nevoie de RAG (și când nu)

• DA, dacă echipa pierde timp căutând prin proceduri, contracte sau documentație tehnică.
• DA, dacă vrei un chatbot pe site care răspunde strict din informațiile tale reale, nu din internet.
• DA, dacă un răspuns greșit are cost real — juridic, financiar sau de suport.
• NU neapărat, dacă întrebările tale nu depind de documente proprii — atunci un model generic e de-ajuns.

Unde dă greș RAG (partea onestă)

• Gunoi la intrare, gunoi la ieșire. Dacă documentele sunt vechi sau se contrazic, răspunsurile vor fi la fel de proaste. RAG e exact atât de bun cât sunt documentele tale.
• Regăsire, nu raționament. RAG găsește și rezumă; nu rezolvă probleme care cer gândire în pași. Pentru asta ai nevoie de altceva (un agent).
• Tăierea în bucăți contează. Dacă o informație e ruptă între două „chunks”, se poate pierde. De asta contează cum e construit, nu doar că există.
• Trebuie întreținut. Documentele se schimbă; cineva trebuie să le țină la zi, altfel răspunde din trecut.