Navedbe, ki so lahko napačne: kako utemeljiti odgovor RAG, da se trditev in vir res ujemata

Zakaj sistem RAG navede resničen dokument in vseeno pove nekaj, česar ta ne podpira?

Ker je navedba druga trditev in je v standardnem cevovodu RAG skoraj nič ne preverja.

Korak generiranja proizvede odgovor in nabor oznak virov. Odgovor je pogojen s pridobljenimi odlomki, zaradi česar je z njimi običajno skladen. Oznake proizvede isti proces generiranja — to je besedilo, ki ga je model izpisal, in ne izračunana povezava nazaj do odseka, ki stavek podpira. Ko se to dvoje razide, tega v cevovodu nič ne opazi, vmesnik pa rezultat prikaže z vizualno slovnico dokumenta z opombami, kar je najbolj zaupanje vzbujajoča oblika v strokovnem pisanju.

To je težava v eni vrstici: vmesnik z navedbami obljublja preverjanje, ki ga sistem nikoli ni opravil.

To je inženirsko vodilo, utemeljeno na produkcijski dostavi sistemov za pridobivanje. Ni pravni nasvet. Kadar je od izhoda odvisna regulirana odločitev, so obveznosti, obravnavane na koncu, vaše in vašega pravnega svetovalca.

Štiri različne stvari, ki jim ljudje pravijo »halucinirana navedba«

Imajo različne vzroke in različne rešitve, obravnavanje vseh kot ene težave pa je razlog, da ekipe dodajo ponovni razvrščevalnik in so presenečene, ko se nič ne izboljša.

1. Vir ne obstaja. Klasična izmišljena referenca — verjeten identifikator dokumenta, resnično zveneče ime primera, številka strani za stran, ki ni bila nikoli napisana. V sistemu RAG z zaprtim korpusom je to najredkejša odpoved, ker model izbira med odlomki, ki ste mu jih izročili. Pogosta je v sistemih, ki modelu dovolijo navajati tudi iz parametričnega spomina in ne le iz pridobivanja, rešitev pa je strukturna: navedbe se smejo izpisati samo kot identifikatorji pridobljenih kosov, preverjeni ob naboru pridobitve pred izrisom. Navedba, ki se ne razreši v identifikator kosa v tej zahtevi, se zavrže in ne prikaže.

2. Dokument je resničen, a trditve ne podpira. V praksi prevladujoča odpoved in tista, ki jo vsi premalo testirajo. Pridobljeni odlomek je tematsko soseden — omenja isto entiteto, isto uredbo, isti izdelek — vendar konkretne propozicije iz stavka v njem ni. Pregledovalci to sprejemajo z visoko stopnjo, ker preverjanje zahteva pošteno branje vira, navedba pa je že tam in namiguje, da je to nekdo storil.

3. Dokument trditev podpira, a ne več. Nadomeščena politika, spremenjena stopnja, premaknjen rok. Pridobitev je bila pravilna po podobnosti in napačna po času. Korpusi to tiho kopičijo, ker pri zastarelem dokumentu vektorskemu iskanju nič ni videti zastarelo.

4. Trditev je pravilna, oznaka pa je na napačnem stavku. Navedbe na ravni odgovora, pripete odstavku z več trditvami, kjer dve od štirih izhajata iz navedenega kosa, drugi dve pa od drugod ali od nikoder. Bere se kot popolnoma podprto. Ni.

Ocene zvestobe merijo generator, ne resnice

Standardni cevovod utemeljenosti — razstavi odgovor na atomarne trditve, za vsako izvedi preverjanje logične posledice glede na pridobljeni kontekst, oceni delež podprtih — je resnično uporaben instrument in meri eno določeno stvar: ali je generator ostal znotraj odlomkov, ki jih je dobil.

O tem, ali so bili ti odlomki pravilni, ne pove nič. Sistem lahko doseže zvestobo 0,95 in proizvede napačen odgovor, zvesto utemeljen v zastarelem ali napačnem dokumentu. Odpoved 3 zgoraj mu je po zasnovi nevidna, odpoved 2 pa je ujeta le toliko, kolikor je preverjanje posledice strožje od človeka, ki bere.

Še dve opozorili o samem instrumentu, ker se pogosto uvaja, kot da bi bil meritev in ne ocena:

• Cevovod je krhek na sredini. Izluščenje trditev je tudi samo klic modela. Kadar razstavljanje proizvede ohlapne ali sestavljene trditve, korak posledice oceni nekaj drugega, kot je odgovor trdil, ocena pa samozavestno ostane v območju.
• Model kot sodnik je neumerjen, dokler ga ne umerite. Običajna ogrodja sodijo z modelom in poročajo številko brez ugotovljene izhodiščne točnosti, brez ujemanja med sodniki in z neizmerjenimi lastnimi pristranskostmi sodnika. Neodvisna ocena je pokazala, da ogrodja te družine težko sploh ločijo dejansko napačen kontekst od pravilnega. To ni argument proti njihovi uporabi — je argument za to, da si pridržite človeško označeno množico in svojega sodnika občasno preverite ob njej, tako kot bi validirali katerikoli drug klasifikator, ki ga niste sami natrenirali.

Namenoma nisem navedel udarnega odstotka o tem, koliko katerakoli tehnika zmanjša napake v navedbah. Številke, ki krožijo, so večinoma iz dobaviteljskih zapisov in sekundarnih povzetkov, na korpusih, ki niso podobni vašemu, njihovo ponavljanje v zapisu o disciplini navajanja pa bi bilo šala na moj lasten račun.

Kaj zgraditi namesto tega

Pet stvari, po vrstnem redu donosnosti.

Navedbe naj bodo strukturne, ne generirane. Generator izbira med identifikatorji kosov, ki jih je dobil; izrisna plast te identifikatorje razreši in zavrže vse, kar se ne razreši. To odpoved 1 popolnoma odpravi — ne zmanjša, odpravi — in stane en preverjalni prehod. Vsaka arhitektura, v kateri lahko model izpiše prosto besedilno referenco, je taka, ki jo bo občasno izmislila.

Navajajte na ravni trditve, ne odgovora. Pripisovanje pod ravnjo stavka ali na trditev je več dela v pozivu in v vmesniku, in prav to naredi odpoved 4 vidno namesto vsrkano. Če stavek vsebuje trditev, ki je noben kos ne podpira, mora biti to v vaši izhodni obliki predstavljivo. Če vaša shema dovoljuje navedbe le na odstavkih, se nepodprte trditve nimajo kje pokazati.

Posledico preverjajte ločeno od generiranja, z drugim modelom. Po generiranju vsako trditev preverite glede na odlomek, ki ga navaja — majhen križni kodirnik ali model NLI je za to primeren in precej cenejši od generatorja. Pod umerjenim pragom navedbe ne ohranite tiho: bodisi jo umaknite bodisi trditev prikažite kot nepreverjeno. Pomembna beseda je umerjen: prag izberite ob označeni množici iz lastnega korpusa in ga ponovno pretehtajte, ko se korpus spremeni. To je neposreden napad na odpoved 2 in najbolj vredna sestavina na seznamu.

Času dajte lastno obravnavo. Iskanje po podobnosti zastarelosti ne bo rešilo. Datume veljavnosti in razmerja nadomeščanja nosite kot metapodatke, po njih ob poizvedbi filtrirajte ali zmanjšajte utež in datum dokumenta naredite viden v navedbi. Za karkoli regulatornega je izrecno »na dan« v odgovoru vredno več kot še ena točka natančnosti pridobivanja. To je edina resnična obramba pred odpovedjo 3 in je težava upravljanja korpusa, preoblečena v pridobivanje.

Izdelajte pot zavrnitve. Najmanj zgrajena sestavina v produkcijskem RAG: sistem, ki zna reči korpus odgovora na to ne podpira. Zahteva prag, ločen način odgovora in — težji del — vmesnik in pričakovanje deležnikov, ki zavrnitev obravnavata kot pravilno vedenje in ne kot neuspelo poizvedbo. Sistemi brez nje vsak zgrešek pridobivanja pretvorijo v samozavesten, lepo oblikovan, napačen odgovor. Stopnjo zavrnitev je vredno spremljati v obe smeri: nič je slabo znamenje.

Preizkušajte tako, kot bi preizkušali izolacijo

Vzorec, h kateremu se vračamo: lastnost, ki je nihče ne more ovreči, je prepričanje in ne lastnost. Preizkusi, ki si tu zaslužijo mesto, so po zasnovi nasprotniški.

Sestavite majhno ocenjevalno množico iz lastnega korpusa, z namernimi pastmi namesto z reprezentativnimi vprašanji: vprašanje, na katero je odgovor samo v nadomeščenem dokumentu; vprašanje, katerega odgovora resnično ni in je pravilen izhod zavrnitev; vprašanje, pri katerem tematsko najbližji kos vsebuje nekoliko drugačno propozicijo od tiste, po kateri sprašujete. Nato trdite o vedenju in ne o oceni — ta poizvedba mora zavrniti, ta navedba se mora razrešiti v kos X, ta trditev mora biti označena kot nepreverjena.

Običajne ocenjevalne množice so sestavljene iz vprašanj, na katera korpus dobro odgovarja, in prav zato jih sistem prestane. Preverjanje poganjajte v CI nad cevovodom in ne enkrat med predstavitvijo izvedljivosti: spremembe razkosavanja, spremembe modela vložitev in urejanje poziva vsi premaknejo vedenje utemeljevanja in nobeden tega ne napove.

Ista disciplina se pokaže pri meji med najemniki — namerno trdite nikalno in nato trditev naredite takšno, da jo CI lahko požene.

Kje to neha biti inženirska preferenca

Ko sistem za pridobivanje enkrat obvešča odločitve o ljudeh, zapis navedb neha biti prijetnost vmesnika in postane plast dokazov.

86. člen Akta o UI daje osebi, ki jo je škodljivo prizadela odločitev, sprejeta na podlagi visoko tveganega sistema iz Priloge III, pravico do jasne in smiselne obrazložitve vloge sistema in glavnih elementov odločitve. 26. člen, 6. odstavek od uvajalcev zahteva hrambo samodejno ustvarjenih dnevnikov. Odgovor, ki ne zna povedati, kateri odlomki so ga pognali, ne more podpreti nobenega od obojega — in nobenega ni mogoče vgraditi naknadno, ker informacija ni bila nikoli zabeležena. Celoten sklop obveznosti smo popisali v 26. členu, prebranem kot inženirski seznam nalog.

Preprosto povedano: isti strukturirani zapis, ki vam omogoča razhroščevanje sistema za pridobivanje, je zapis, ki odgovori regulatorju. Ekipe, ki ga zgradijo iz prvega razloga, so za drugega pripravljene po nesreči, ekipe, ki ga zgradijo samo zaradi skladnosti, pa običajno zgradijo nekaj, kar ne zadosti nobenemu.

Kje stojimo mi

Privzeto uporabljamo navedbe na ravni trditve, razrešene ob naboru pridobitve, datirane vire in pot zavrnitve, ker je alternativa sistem, katerega napake so na prvi pogled nerazločljive od njegovih uspehov — kar ga naredi nepregledljivega, nepregledljivega sistema pa v reguliranem okolju stranki ne moremo pošteno izročiti.

Sorodni deli: izolacija najemnikov za mejo pod pridobivanjem, zasebno sklepanje LLM za to, kje teče model, ter naši strani varnost in skladnost za ostalo. Če imate sistem RAG pred uporabniki in nimate odgovora na vprašanje »kako veste, da je navedba pravilna«, je to kratek pogovor za začetek.