Problem
Asistent za dokumente vrijedi samo ako ga možete provjeriti. Većina njih odgovori u urednom pasusu ispod fusnote koja navodi naziv datoteke, a to je otprilike korisno koliko i nikakva fusnota. Treba vam rečenica koju je pročitao. Dobijete naziv datoteke.
Šta smo izradili
PDF pored chata. Odgovor stiže u toku, s numerisanim referencama, a svaka nosi stranicu i raspon znakova koje je pretraga zaista dala, ocjenu podudaranja i citat provjeren riječ po riječ uz izvorni tekst. Klik pomjeri PDF na tu stranicu i označi odlomak u tekstualnom sloju samog dokumenta, izmjeren u fontu koji je ugrađen u PDF. Pretraga je gusta i rijetka u isto vrijeme: bge-m3 embeddinzi u Vectorizeu uz BM25, spojeni recipročnim rangom, i isječeni tako da odlomak nikad ne pređe granicu stranice i ne izgubi broj stranice koji mu treba za referencu. Panel s ključnim činjenicama sažima dokument, uz link na stranicu kod svake činjenice. Kad model nema ništa, to i kaže.
Rezultat
Primjer dokumenta je NIST Cybersecurity Framework 2.0, djelo američke vlade u javnom vlasništvu, a posjetilac može poslati i vlastiti PDF. Poslani dokument nikad ne napusti browser u cijelosti: pdf.js izvuče tekst stranice u browseru i šalje se samo taj tekst, odlomci i njihovi vektori žive sat vremena, a cron ih obriše.