Poziv modelu ne more preprečiti, da si izmisli številko

Napaka

1. avgusta 2026 smo ujeli svoj lastni generator oglasov, kako ustvarja dokazne točke, ki jih ni nihče izmeril: 42 %, 63 %, 40 % in 34 % — štiri različne vrednosti za isto trditev — ob sklicu na „EU financial client", ki ne obstaja.

Štiri različne številke za eno trditev so boljša ponazoritev kot ena napačna, ker pokažejo, kaj se v resnici dogaja. Vrednost ni bila zmotna. Bila je poljubna.

Navodilo, naj si ne izmišljuje številk, je bilo v pozivu že od prve različice, ubesedeno na več načinov skozi več popravkov.

To ni zapis o modelu, ki se slabo obnaša. Gre za napako v kategoriji, ki smo jo naredili sami in jo popravili — ker ista napaka tiči v velikem delu LLM sistemov, ki nastajajo prav zdaj, povsod tam, kjer je varovalo pred lažno trditvijo stavek v pozivu.

Zakaj navodilo ne more delovati

Jezikovni model nima registra stvari, za katere ve, da so resnične, in tistih, ki si jih izmišljuje. Ustvariti 42 % in ustvariti in je ista operacija: naslednji žeton glede na vse pred njim. Kadar je okoliški kontekst oglas za tehnični izdelek, je odstotek izjemno verjetno nadaljevanje — ker je to tisto, kar takšni stavki vsebujejo v besedilih, iz katerih se je model učil.

„Ne izmišljuj si statistik" tekmuje s tem pritiskom. Ne premaga ga. Tudi sledenje navodilom je verjetnostno — močna težnja, ne omejitev — in najšibkejše je prav tam, kjer struktura stavka najbolj kliče po številki.

Navodilo torej odpove v primeru, zaradi katerega obstaja, in odpove tiho. Ni napake, ni oznake o nizki zanesljivosti, ni zavrnitve. Izhod je dobro oblikovan oglas, edini signal, da je nekaj narobe, pa je človek, ki slučajno prepozna izmišljeno vrednost.

Splošno pravilo pod tem: poziv je prošnja, ne nadzor. Karkoli se ne sme zgoditi, mora preprečiti nekaj, kar ni model.

Kaj ga je nadomestilo

Trije deli, in zanimivo pri njih je, da sklepajo nasprotne kompromise.

1. Zapis tega, kar se sme reči

Generator ne piše iz splošnega znanja o podjetju. Piše iz strukturiranega zapisa dovoljenih trditev, in trditev, ki je v tem zapisu ni, generatorju sploh ni na voljo. Ne šibkejša — odsotna.

Vnosi so namenoma v dveh oblikah. Nekateri so navadne vrstice, ki jih je nekdo natipkal in zanje osebno jamči. Drugi nosijo strukturo: trditev, kdo jo zatrjuje in kje je zapisana. Oba odgovarjata na isto vprašanje — ali se to sme reči — strukturirana oblika pa dodatno na po čigavi pristojnosti.

Najbolj uporabno v tem zapisu je danes tisto, česar v njem ni. Seznam dovoljenih meritev je prazen, prav tako seznam strank, ki jih je dovoljeno imenovati. Ne „skop": prazen. Kar pomeni, da je pošteno stanje sistema tole: ne sme podati nobene količinske trditve in se ne sme sklicevati na stranko, ker meritve ni in stranke ni.

Če to izpeljete do konca, pove nekaj ostrejšega od „vrata so stroga". Ker je množica dovoljenega prazna, pade vsaka številka, saj je ni s čim primerjati. Preverba danes ni nastavljena na strogo; stroga je, kolikor sploh more biti, po konstrukciji — in popustila bo natanko tako hitro, kot bo kdo kaj izmeril in zapisal.

Ta zapis se je izkazal na nepričakovan način. En vnos je mesece nosil dokazno vrstico „v delovnem prostoru ni ločenega repozitorija; ni namestitve, ni stranke." Bila je točna. Bila je tudi neprebrana — vnos je stal tam, medtem ko je naša lastna spletna stran isto stvar opisovala kot pripravljeno za namestitev, dokler ni nepovezana preverba končno primerjala obojega. Informacija ni nikoli manjkala. Manjkal je bralec.

Od tod drugo pravilo: dokazna opomba deluje samo, če jo bere nekaj strojnega. Polje, ki ga pregleduje zgolj človek, je dokumentacija — in dokumentacija je kraj, kjer napačne trditve preživijo.

2. Deterministična preverba, ki teče še preden slika obstaja

Ustvarjeno besedilo gre skozi preverbo, v kateri ni modela: regularni izraz in primerjava podnizov proti dovoljenim trditvam. Išče tri oblike, vsako videno v živo:

• številko ali odstotek (primer 42/63/40/34);
• količino z besedami — „thousands of…", „hundreds of…";
• implicirano stranko — „our clients", kadar je seznam imenljivih strank prazen.

Karkoli ujame, se mora dobesedno pojaviti v neki dovoljeni trditvi, sicer se kreativa zavrže.

Dvoje pri tem je treba povedati natančno, ker je oboje enostavno preveč obljubiti.

Teče, preden se ustvari slika. Ne po njej — in v tem je razlika med zavrnitvijo in neobstojem: kreativa z nepreverjeno številko sploh nikoli ne nastane. Nobena slika ni plačana, noben material ni shranjen, nič ne vstopi v vrsto za pregled. Najcenejša vrata so tista, ki se sprožijo pred dragim korakom.

Preverba je ozka, in prav ozkost je pošteni del. Bere naslov in glavno besedilo ter išče tiste tri oblike. Izmišljena trditev brez številke skoznjo gre. „Certified under ISO 27001", „built on the same stack the banks use" — preverba jih ne vidi. Te držita poziv in človek, ki odobri objavo, torej natanko mehanizem, za katerega ta zapis trdi, da ni nadzor.

To ni luknja, ki bi jo skrivali. To je obseg, ki smo ga izbrali, in poimenovati ga je razlika med vrati in trditvijo o vratih.

3. Tudi slika je trditev — in ta preverba je model

Ustvarjen oglas ni le besedilo. Slika nosi trditve, ustvarjena slika pa nosi artefakte, ki jih nobena besedilna preverba nikoli ne vidi.

Tu se kompromis obrne. Nad trditvami se model ne sme uporabiti: vprašati drugi LLM „se ti zdi to točno?" ponovi izvorno težavo eno plast višje, z dodatno slabostjo, da zveni avtoritativno. Nad piksli determinističen nadomestek ne obstaja — slika nima seznama dovoljenih trditev, proti kateremu bi jo primerjali — zato sodi vizualni model.

Sprejemljivo tega ne dela zaupanje, temveč omejen mandat: vizualna preverba sme samo zavrniti. Nikoli ne more ničesar poriniti v objavo; ta še vedno zahteva imenovano človeško odločitev. In kadar ne more odgovoriti, ne gre ven nič.

Tole je njena sodba o kreativi, ki jo je zavrnila, dobesedno iz našega internega zapisa:

„Ob vstavljenem logotipu v spodnjem desnem kotu je viden osamljen črkovni fragment 'L', ki ne pripada niti logotipu niti besedilu naslova — videti je kot AI artefakt (odrezan ali naključen besedilni ostanek)."

„Več praznih oranžnih in sivih oblik 'značk' na strežniških ploščah nima berljive vsebine; delujejo kot dekorativni AI artefakti brez funkcije."

Isto poročilo je zabeležilo tudi, kaj je bilo v redu, in pošteno je navesti obe polovici:

„Besedilo naslova 'AI Incident Triage, Zero Cloud Exposure' je berljivo in pravopisno pravilno, barve večinoma ustrezajo paleti (primary, accent, tech_dark), prepovedanih trditev ni."

Ta kreativa je bila zavrnjena, ne popravljena. Besedilo je bilo čisto in trditve so se razrešile — kar smemo trditi kot lastnost vrstnega reda in ne kot vtis, saj je kreativa, ki sploh ima sliko, deterministično preverbo že prestala. Slika je imela ob logotipu lebdeč črkovni fragment in prazne značke na izrisani strežniški omari: vizualni ustreznik samozavestnega stavka o ničemer.

Dan, ko je haluciniral preverjevalec

Zapis, ki trdi, da si modeli izmišljujejo, vam dolguje primer, ko je to storil naš lastni preverjevalec.

Na pravilno izrisani srbski sliki je vizualna vrata vrnila padec z obrazložitvijo „'ć' namesto 'ć'" — isti znak na obeh straneh stavka. Pri tej ločljivosti model ne razlikuje zanesljivo med ć, č in ę, zato si je razliko izmislil in ji nato napisal utemeljitev.

Cena ni bila abstraktna. Vsak padec sproži ponovno generiranje — približno pet centov na sliko, do meje ponovnih poskusov — nato pa je kreativa označena kot padla. Jezik z diakritiko bi torej porabil dvojni proračun in ne ustvaril ničesar. In sklep, ki je čakal, da ga kdo potegne, je bil, da generator slik ne obvlada diakritike — čeprav je ni obvladal preverjevalec. Napačna sodba ne stane le ponovnega poskusa; postreže vam s prepričljivo razlago, ki kaže na napačno komponento.

Tudi popravek ni bil boljši poziv za preverjevalca. Bila je strukturna ločitev: navodila zdaj ločujejo sodbo od opažanja. Črka, ki je vidno razpadla, podvojena ali je postala druga beseda, je padec. „Ne razberem, kateri diakritični znak je to" je omejitev modela in ne napaka slike — to se zapiše med opombe in pusti sodbo nedotaknjeno.

Kar je isti nauk eno raven nižje: modelove pretirane samozavesti ne popraviš tako, da ga prosiš, naj bo manj samozavesten. Spremeniš, o čem sme odločati.

Koliko to stane

Kreative umirajo, najhitrejše še preden nastanejo. To je namerno vedenje in dela sistem počasnejši ter manj ploden od različice z navodilom v pozivu. Trajno, ne kot stvar nastavitev.

Odpove zaprto, a je popravljivo. Kadar vizualna preverba ne more teči, kreativa ne gre ven — a je parkirana in ne zavržena ter jo je mogoče presoditi pozneje nad shranjeno sliko. Dokončni padec in nedosegljiv preverjevalec sta oba „nič se ne objavi"; le eden od njiju zavrže sliko, ki ste jo že plačali.

Najprej potrebujete zapis. Vrata so dobra le toliko, kolikor je dober zapis, proti kateremu razrešujejo. Graditi ga je nehvaležno, ohranjati ga prebranega pa je ločen problem od ohranjati ga točnega.

Besedila ne naredi dobrega. Vse tu govori o trditvah, ne o kakovosti. Dolgočasen, točen oglas prestane vsako opisano preverbo. To so tla, ne standard.

In poštena osrednja številka: preverba trditev se v produkciji ni sprožila nikoli. Nič zavrnitev v zapisu. To ni dokaz, da deluje — vrata, ki še nikoli niso rekla ne, v živo še niso dokazana. Najverjetnejša razlaga sledi iz praznega seznama meritev: ker ni dovoljena nobena količinska trditev, generator od nastanka zapisa številke sploh ni poskusil. Dve drugi preverbi sta se sprožili — preverba novosti dvakrat in vizualna vrata nad zgoraj citirano kreativo.

Kaj se posplošuje

• Nevaren izhod je verjeten izhod. Model, ki odpove vidno, je rešen problem; model, ki izmisli lepo oblikovano vrednost, ni.
• Nadzor premaknite iz poziva. Če mora pravilo držati, ga mora uveljaviti nekaj zunaj modela — uveljavljanje pa pomeni, da izhod ne gre ven, ne da je označen.
• Poceni preverbo postavite pred drag korak. Zavrnitev po generiranju stane toliko, kolikor je stalo generiranje.
• Kjer moraš model preverjati z modelom, omeji njegov mandat. Naš sme samo zavrniti, nikoli objaviti, njegova negotovost pa se zapiše kot opažanje in ne kot sodba.
• Odpovej zaprto, a ohrani delo. Nedosegljivo ni isto kot padlo; oboje obravnavaj kot „ne objavi", le eno kot „zavrzi".
• Povej, kje se vrata ustavijo. Preverba, opisana kot popolna, ko pokriva tri oblike, je trditev tiste vrste, ki naj bi jo preprečevala.
• Poskrbite, da vaše zapise bere nekaj strojnega. Točna zabeležka, ki je nihče ne bere, ima enak učinek kot napačna.

Štiri odstotke z 1. avgusta je ujel človek. Vse opisano obstaja zato, da naslednjega ujame preverba — in da je takrat, ko je narobe sama preverba, tudi to vidno.

Opisani sistem je marketar, naša lastna avtomatizacija trženja, ki teče na naših lastnih kampanjah. To je inženirsko vodilo iz tega dela; kadar ima vaša trditev regulatorno težo, so obveznosti vaše in vašega pravnega svetovalca.