Citati koji mogu biti pogrešni: kako utemeljiti RAG odgovor da se tvrdnja i izvor zaista poklapaju

Zašto RAG sistem citira stvaran dokument, a ipak kaže nešto što taj dokument ne podržava?

Zato što je citat druga tvrdnja, a u standardnom RAG cevovodu je skoro ništa ne proverava.

Korak generisanja proizvodi odgovor i skup oznaka izvora. Odgovor je uslovljen pronađenim odlomcima, zbog čega je sa njima obično saglasan. Oznake proizvodi isti proces generisanja — to je tekst koji je model ispisao, a ne izračunata veza nazad ka delu koji rečenicu podržava. Kada se to dvoje raziđe, u cevovodu to ništa ne primeti, a interfejs rezultat prikazuje vizuelnom gramatikom dokumenta sa fusnotama, što je oblik koji najviše uliva poverenje u stručnom pisanju.

To je problem u jednom redu: interfejs sa citatima obećava proveru koju sistem nikada nije izvršio.

Ovo je inženjerski vodič utemeljen na produkcionoj isporuci sistema za pretragu. Nije pravni savet. Kada od izlaza zavisi regulisana odluka, obaveze o kojima govorimo na kraju su vaše i vašeg pravnog savetnika.

Četiri različite stvari koje ljudi zovu „halucinirani citat"

Imaju različite uzroke i različita rešenja, a tretiranje svih kao jednog problema razlog je što timovi dodaju ponovni rangirač i budu iznenađeni kada se ništa ne popravi.

1. Izvor ne postoji. Klasična izmišljena referenca — uverljiv identifikator dokumenta, stvarno zvučeće ime predmeta, broj strane za stranu koja nikada nije napisana. U RAG sistemu sa zatvorenim korpusom ovo je najređi otkaz, jer model bira među odlomcima koje ste mu predali. Čest je u sistemima koji modelu dozvoljavaju da citira i iz parametarske memorije, a ne samo iz pretrage, i rešenje je strukturno: citati se smeju ispisati samo kao identifikatori pronađenih delova, provereni prema skupu pretrage pre iscrtavanja. Citat koji se ne razrešava u identifikator dela u ovom zahtevu se odbacuje, a ne prikazuje.

2. Dokument je stvaran, ali tvrdnju ne podržava. U praksi dominantan otkaz i onaj koji svi nedovoljno testiraju. Pronađeni odlomak je tematski susedan — pominje isti entitet, istu uredbu, isti proizvod — ali konkretne tvrdnje iz rečenice u njemu nema. Recenzenti ovo prihvataju u visokom procentu, jer provera zahteva pošteno čitanje izvora, a citat je već tu i sugeriše da je to neko uradio.

3. Dokument podržava tvrdnju, ali više ne. Zamenjena politika, promenjena stopa, pomeren rok. Pretraga je bila tačna po sličnosti i pogrešna po vremenu. Korpusi ovo tiho gomilaju, jer kod zastarelog dokumenta vektorskoj pretrazi ništa ne izgleda zastarelo.

4. Tvrdnja je tačna, a oznaka je na pogrešnoj rečenici. Citati na nivou odgovora, zakačeni za pasus sa više tvrdnji, gde dve od četiri potiču iz citiranog dela, a druge dve odnekud drugde ili niodkud. Čita se kao potpuno potkrepljeno. Nije.

Ocene vernosti mere generator, a ne istinu

Standardni cevovod utemeljenosti — rastavi odgovor na atomarne tvrdnje, za svaku izvedi proveru logičke posledice prema pronađenom kontekstu, oceni udeo podržanih — jeste zaista koristan instrument i meri jednu određenu stvar: da li je generator ostao unutar odlomaka koje je dobio.

O tome da li su ti odlomci bili tačni ne govori ništa. Sistem može postići vernost 0,95 i proizvesti pogrešan odgovor, verno utemeljen u zastarelom ili netačnom dokumentu. Otkaz 3 odozgo mu je po konstrukciji nevidljiv, a otkaz 2 je uhvaćen samo onoliko koliko je provera posledice stroža od čoveka koji čita.

Još dva upozorenja o samom instrumentu, jer se često uvodi kao da je merenje, a ne procena:

• Cevovod je krhak u sredini. Izdvajanje tvrdnji je i samo poziv modelu. Kada rastavljanje proizvede maglovite ili složene tvrdnje, korak posledice oceni nešto drugo od onoga što je odgovor tvrdio, a ocena samouvereno ostaje u opsegu.
• Model kao sudija je nekalibrisan dok ga ne kalibrišete. Uobičajeni okviri sude modelom i prijavljuju broj bez utvrđene osnovne tačnosti, bez slaganja među sudijama i sa neizmerenim sopstvenim pristrasnostima sudije. Nezavisna procena je pokazala da okviri iz te porodice teško uopšte razlikuju činjenično pogrešan kontekst od tačnog. To nije argument protiv njihove upotrebe — to je argument da izdvojite ljudski označen skup i svog sudiju povremeno proverite prema njemu, isto kao što biste validirali bilo koji drugi klasifikator koji niste sami trenirali.

Namerno nisam naveo udarni procenat o tome koliko bilo koja tehnika smanjuje greške u citatima. Brojevi koji kruže uglavnom su iz dobavljačkih tekstova i sekundarnih sažetaka, na korpusima koji nisu nalik vašem, a njihovo ponavljanje u tekstu o disciplini citiranja bilo bi šala na sopstveni račun.

Šta graditi umesto toga

Pet stvari, redom po isplativosti.

Neka citati budu strukturni, a ne generisani. Generator bira među identifikatorima delova koje je dobio; sloj iscrtavanja te identifikatore razrešava i odbacuje sve što se ne razreši. Ovo otkaz 1 potpuno uklanja — ne smanjuje, uklanja — i košta jedan prolaz provere. Svaka arhitektura u kojoj model može ispisati slobodnu tekstualnu referencu jeste ona koja će je povremeno izmisliti.

Citirajte na nivou tvrdnje, ne odgovora. Pripisivanje ispod nivoa rečenice ili po tvrdnji jeste više posla u promptu i u interfejsu, i upravo to čini otkaz 4 vidljivim umesto upijenim. Ako rečenica sadrži tvrdnju koju nijedan deo ne podržava, to mora biti predstavljivo u vašem izlaznom formatu. Ako vaša šema dozvoljava citate samo na pasusima, nepodržane tvrdnje nemaju gde da se pojave.

Posledicu proveravajte odvojeno od generisanja, drugim modelom. Posle generisanja svaku tvrdnju proverite prema odlomku koji citira — mali unakrsni koder ili NLI model za to je pogodan i znatno jeftiniji od generatora. Ispod kalibrisanog praga citat nemojte tiho zadržati: ili ga povucite ili tvrdnju prikažite kao neproverenu. Važna reč je kalibrisan: prag izaberite prema označenom skupu iz sopstvenog korpusa i preispitajte ga kada se korpus promeni. To je direktan napad na otkaz 2 i najvrednija komponenta na spisku.

Vremenu dajte sopstveni tretman. Pretraga po sličnosti zastarelost neće rešiti. Datume važenja i odnose zamene nosite kao metapodatke, po njima pri upitu filtrirajte ili smanjite težinu, a datum dokumenta učinite vidljivim u citatu. Za bilo šta regulatorno, izričito „na dan" u odgovoru vredi više od još jednog poena tačnosti pretrage. To je jedina stvarna odbrana od otkaza 3 i problem je upravljanja korpusom prerušen u pretragu.

Isporučite putanju odbijanja. Najmanje izgrađena komponenta u produkcionom RAG-u: sistem koji ume da kaže korpus ne podržava odgovor na ovo. Zahteva prag, zaseban režim odgovora i — teži deo — interfejs i očekivanje zainteresovanih strana koji odbijanje tretiraju kao ispravno ponašanje, a ne kao neuspeo upit. Sistemi bez nje svaki promašaj pretrage pretvaraju u samouveren, lepo formatiran, pogrešan odgovor. Stopu odbijanja vredi pratiti u oba smera: nula je loš znak.

Testirajte to onako kako biste testirali izolaciju

Obrazac kojem se vraćamo: svojstvo koje niko ne može da obori jeste uverenje, a ne svojstvo. Testovi koji ovde zaslužuju mesto po konstrukciji su protivnički.

Sastavite mali evaluacioni skup iz sopstvenog korpusa, sa namernim zamkama umesto sa reprezentativnim pitanjima: pitanje čiji je odgovor samo u zamenjenom dokumentu; pitanje čijeg odgovora zaista nema i gde je ispravan izlaz odbijanje; pitanje kod kojeg tematski najbliži deo sadrži suptilno drugačiju tvrdnju od one o kojoj se pita. Zatim tvrdite o ponašanju, a ne o oceni — ovaj upit mora odbiti, ovaj citat mora da se razreši u deo X, ova tvrdnja mora biti označena kao neproverena.

Uobičajeni evaluacioni skupovi sastavljeni su od pitanja na koja korpus dobro odgovara, i baš zato prolaze. A proveru pokrećite u CI-ju nad cevovodom, a ne jednom tokom prikaza izvodljivosti: promene deljenja na delove, promene modela ugnežđavanja i izmena prompta svi pomeraju ponašanje utemeljenja, i nijedan to ne najavljuje.

Ista disciplina se javlja i kod granice između zakupaca — namerno tvrdite negaciju, pa tvrdnju napravite takvom da je CI može pokrenuti.

Gde ovo prestaje da bude inženjerska sklonost

Kada sistem za pretragu jednom počne da informiše odluke o ljudima, zapis citata prestaje da bude ugodnost interfejsa i postaje sloj dokaza.

Član 86 Akta o VI daje licu koje je nepovoljno pogođeno odlukom donetom na osnovu visokorizičnog sistema iz Aneksa III pravo na jasno i smisleno objašnjenje uloge sistema i glavnih elemenata odluke. Član 26, stav 6 od korisnika sistema traži čuvanje automatski generisanih logova. Odgovor koji ne ume da kaže koji su ga odlomci pokrenuli ne može podržati nijedno od toga — a nijedno se ne može ugraditi naknadno, jer informacija nikada nije zabeležena. Ceo skup obaveza popisali smo u tekstu član 26 pročitan kao inženjerski spisak zadataka.

Prosto rečeno: isti strukturirani zapis koji vam omogućava da otklonite grešku u sistemu za pretragu jeste zapis koji odgovara regulatoru. Timovi koji ga grade iz prvog razloga spremni su za drugi slučajno, a timovi koji ga grade samo zbog usklađenosti obično naprave nešto što ne zadovoljava nijedan.

Gde mi stojimo

Podrazumevano koristimo citate na nivou tvrdnje, razrešene prema skupu pretrage, datirane izvore i putanju odbijanja, jer je alternativa sistem čije su greške na prvi pogled nerazlučive od njegovih uspeha — što ga čini nepreglednim, a nepregledan sistem u regulisanom okruženju klijentu ne možemo pošteno predati.

Srodni delovi: izolacija zakupaca za granicu ispod pretrage, privatno LLM zaključivanje za to gde se model izvršava, i naše stranice bezbednost i usklađenost za ostalo. Ako imate RAG sistem pred korisnicima i nemate odgovor na pitanje „kako znate da je citat tačan", to je kratak razgovor za početak.