Izrada RAG sistema po mjeri
Izrađujemo RAG chatbotove i sisteme koji odgovaraju na pitanja iz vaših ugovora, priručnika, spisa predmeta i baza znanja i uz svaki odgovor navode tačan odlomak. Korisnici vide samo sadržaj koji smiju vidjeti, a kvalitet pretrage mjerimo pri svakoj novoj verziji.
Šta je to i kada odgovara
RAG (retrieval-augmented generation, AI koji odgovara iz vaših dokumenata) pronalazi najvažnije odlomke u vašem sadržaju i daje ih jezičkom modelu da napiše odgovor. Najveći dio kvaliteta dolazi iz dijelova koje korisnici nikad ne vide: obrade dokumenata, dijeljenja teksta na manje dijelove, hibridne pretrage, ponovnog rangiranja i filtera za prava pristupa. Za svaki od tih dijelova pravimo posebne testove, a kvalitet pretrage i kvalitet odgovora mjerimo odvojeno.
RAG je pravi izbor kada odgovori moraju doći iz određenih dokumenata koji se mijenjaju i kada korisnici trebaju provjeriti izvor. Manje je pogodan za zadatke gdje je važan ujednačen stil ili format kroz milione odgovora, gdje može pomoći fine-tuning, ili za pitanja koja su zapravo upiti nad bazom podataka. Upravo zato RAG često kombinujemo sa strukturiranim upitima.
Šta izrađujemo
Chatbotovi za pitanja o dokumentima
Chat koji odgovara iz pravilnika, ugovora, priručnika ili spisa predmeta, s izvorima na koje kliknete i dođete do odlomka.
Unos i obrada dokumenata
Obrada PDF-ova, skeniranih dokumenata, tabela i Excel fajlova, s izvlačenjem metapodataka i ponovnim indeksiranjem po rasporedu kada se izvori promijene.
Hibridna pretraga i rangiranje
Vektorska pretraga i pretraga po ključnim riječima zajedno, uz ponovno rangiranje podešeno na pitanjima koja vaši korisnici stvarno postavljaju.
Pristup prema pravima
Pravila pristupa na nivou dokumenta i polja primjenjuju se pri svakom upitu, u skladu s vašim sistemom za prijavu i izvornim sistemima.
Evaluacije pretrage i odgovora
Skupovi testova mjere obuhvat, tačnost navedenih izvora i vjernost izvoru, a pokreću se automatski prije svakog puštanja nove verzije.
Kako teče rad
- 01
Prikupljanje izvora i pitanja
Od ljudi koji će koristiti sistem prikupimo reprezentativne dokumente i stvarna pitanja s očekivanim odgovorima.
- 02
Prvo dobra pretraga
Izradimo obradu dokumenata, dijeljenje na dijelove i pretragu, i mjerimo nalazi li sistem prave odlomke prije nego što model napiše ijedan odgovor.
- 03
Izrada sloja za odgovore
Dodajemo pisanje odgovora, izvore, provjere prava pristupa i korisnički interfejs, i mjerimo vjernost izvoru na istom skupu testova.
- 04
Praćenje u upotrebi
Pratimo povratne informacije, pitanja bez odgovora i odgovore s niskom pouzdanošću, a skup testova raste sa svakim pronađenim problemom.
Povezani projekti
Tehnologije
Sve tehnologijeZa dalje čitanje
Šta je RAG? Kako radi, uz primjere iz prakse
Šta je RAG, jednostavnim riječima: retrieval-augmented generation omogućava jezičkom modelu da odgovara na pitanja iz vaših dokumenata i navede izvore. Kako radi, četiri primjera, poređenje s fine-tuningom i dugim kontekstom i šta može poći po zlu.
8 min čitanja
Kako izraditi RAG chatbot koji radi u praksi
Šta je potrebno da RAG eksperiment koji obećava postane chatbot kojem ljudi vjeruju: unos dokumenata, hibridna pretraga, izvori, prava pristupa i evaluacije.
6 min čitanja
Kako evaluirati RAG: metrike pretrage, vjernost izvoru i zlatni skup
Kako pravilno raditi RAG evaluaciju: pretragu odvojite od odgovora, vjernost izvoru provjerite tvrdnju po tvrdnju i sastavite zlatni skup kojem možete vjerovati.
4 min čitanja
RAG ili fine-tuning: šta vam zaista treba?
RAG daje modelu vaše znanje u trenutku odgovora, a fine-tuning oblikuje njegovo ponašanje. Kako izabrati, kada ih kombinovati i koliko šta košta.
4 min čitanja
Česta pitanja
Od raznolikosti i kvaliteta vaših dokumenata, broja izvornih sistema, složenosti prava pristupa i toga koliko tačni odgovori moraju biti. Najviše posla traže skenirani dokumenti i složene tabele. Obim procjenjujemo nakon pregleda uzorka vašeg sadržaja.
Pouzdanom pretragom, uputom modelu da odgovara samo iz pronađenih odlomaka, obaveznim navođenjem izvora i provjerom vjernosti izvoru kroz evaluacije. Kada sistem ne nađe dobar izvor, kaže da ne zna.
Može. Vektorska baza, dokumenti i logovi mogu raditi u EU regijama. Možemo koristiti modele hostovane u EU preko servisa Mistral, Azure OpenAI ili AWS Bedrock, ili otvorene modele na vašoj infrastrukturi.
Često pgvector unutar Postgresa, jer vektore drži uz vaše podatke i prava pristupa. Za vrlo velike zbirke ili one s mnogo filtera koristimo Qdrant ili Elasticsearch. Izbor zavisi od obima i sistema koje već imate.