Privatna LLM inferencija za regulisane EU timove: self-hosting, API u EU regionu ili hostovanje u SAD?

Self-hosting, API u EU regionu ili hostovanje u SAD — koji model privatne LLM inferencije odgovara regulisanom EU timu?

Postoje tri stvarna načina da se LLM pokrene iza regulisanog EU radnog opterećenja, i svi leže na spektru između kontrole i operativnog tereta. Self-hostovana inferencija — otvorene težine koje rade na sopstvenom hardveru ili u single-tenant VPC-u, on-prem ili air-gapped — daje vam maksimalnu kontrolu, ali i maksimalan operativni trošak. Upravljani API u EU regionu — hostovani model sa ugovorno zagarantovanom rezidentnošću podataka u EU — daje vam najveći deo koristi od rezidentnosti, bez ijedne GPU operacije. API hostovan u SAD nudi najširi izbor modela i najmanji operativni teret, ali svaki poziv pretvara u prekogranični prenos koji morate da opravdate. To je okvir koji u TechRevati koristimo da biramo promišljeno za svako radno opterećenje ponaosob, umesto da celu platformu unapred svedemo na jedan odgovor.

Ovo je inženjersko i praktičarsko uputstvo, utemeljeno u produkcijskoj isporuci sistema za pretragu i inferenciju. Nije pravni savet i nije garancija usklađenosti. Odgovornost za vaše GDPR prenose, vaše obaveze po EU AI Act-u i vaš DORA registar ostaje na vašoj organizaciji i vašem pravnom savetniku. Dobavljač isporučuje činjenice o tome gde i kako sistem radi; obaveza je na vašoj firmi. Sve navedeno ovde proverite u odnosu na zvanične tekstove i sa svojim DPO-om.

Jedno pojašnjenje na početku. Osa hostovanja u ovom tekstu — gde je i kako model postavljen — odvojena je od ose provajdera, čije težine pokrećete. Pitanje provajdera, modele evropskog porekla poput Mistral-a naspram američkih frontier modela, obradili smo u tekstu o EU-suverenom AI steku. Ovde model ostavljamo po strani i odlučujemo o hostovanju: isti model se često može koristiti kao API u SAD, API u EU regionu ili self-hostovan, a te tri opcije imaju veoma različite profile usklađenosti i troška.

Četiri faktora koji zapravo presuđuju

Procenite radno opterećenje prema njima pre nego što izaberete — za svako opterećenje ponaosob, ne za celu kompaniju. Asistent za sastavljanje dokumenata i model za trijažu prevara neće dobiti isti odgovor.

1. Osetljivost podataka: šta zapravo ulazi u prompt?

Krenite od podataka, jer oni ograničavaju vaše opcije. LLM opterećenje pomera podatke na tri mesta, a svako od njih traži odgovor o rezidentnosti: prompt (korisnički upit plus dohvaćeni kontekst — često najosetljiviji sadržaj), embeddings (vektorske reprezentacije koje nisu pouzdano anonimizovane — mogu se delimično rekonstruisati ka izvornom tekstu, pa ih tretirajte kao izvedene lične podatke) i logovi i telemetrija koje provajder zadržava, ponekad tokom perioda koji ne kontrolišete.

• Podaci posebne kategorije ili regulisani podaci — zdravstveni i finansijski zapisi, biometrija, javni sektor, sve što je pod pravnom privilegijom: tu se self-hosting ili strogo ograničena EU putanja isplati. To smo radili od početka do kraja — AI Nexus ITSM postavljen on-prem, bez odliva podataka, i potpuno lokalni Ollama-plus-ServiceNow asistent kod kojeg Microsoft Defender podaci nikada nisu napustili perimetar klijenta — upravo zato što podaci nisu smeli da izađu.
• Poverljivi poslovni podaci, pseudonimizovani ili lični podaci malog obima: API u EU regionu sa rezidentnošću i ugovorom o obradi podataka je obično srazmeran riziku.
• Javni, sintetički ili nelični podaci: hostovanje u SAD je sasvim u redu. Nemojte preterivati sa suverenošću za sadržaj koji ne nosi nikakvu obavezu — to je trošak bez ikakvog povraćaja.

2. Regulativa: AI Act, DORA, GDPR

Tri režima se primenjuju na različite načine, i nijedan se ne zadovoljava samim izborom hostovanja.

• GDPR međunarodni prenosi. Slanje ličnih podataka američkom servisu jeste ograničeni prenos. Nakon Schrems II presude, on počiva na zakonitom mehanizmu — standardnim ugovornim klauzulama uz procenu uticaja prenosa, ili na oslanjanju na EU–US Data Privacy Framework tamo gde je provajder sertifikovan. Dugoročna održivost DPF-a i sama je sporna, pa strategija prenosa koja počiva isključivo na njemu nosi rizik. Putanja hostovana u SAD nije nezakonita; ona je uslovna — tu procenu morate da sprovedete, dokumentujete i održavate. Putanja sa rezidentnošću u EU u potpunosti uklanja prekogranični prenos, pa nema ničega što biste morali da branite. Za mnoge regulisane kupce, „nema prenosa koji treba procenjivati" vredi više od par poena kvaliteta modela.
• EU AI Act. Zakon reguliše upotrebu i dokumentaciju, a ne to gde se težine nalaze. Američki model korišćen pažljivo može biti usklađen; evropski model korišćen nemarno neće biti. Ali self-hostabilna EU infrastruktura znatno olakšava obaveze upravljanja podacima, logovanja i vođenja evidencije za sisteme visokog rizika — logove držite direktno u svojim rukama. Ona smanjuje trenje; usklađenost ne dodeljuje.
• DORA. Ako isporučujete ICT nekom EU finansijskom subjektu, vaš endpoint za inferenciju i vektorska baza jesu ICT i završavaju u Registru informacija — a zavisnost od jednog dobavljača i jednog regiona za LLM je udžbenički primer koncentracionog rizika koji DORA traži da iznesete na videlo. Self-hosting ili apstrahovana, zamenljiva granica inferencije jeste način da odgovorite na stavke „stvarni region obrade", „podizvođači" i „plan izlaska". Prošli smo kroz to stavku po stavku u DORA čeklisti za izgradnju.

3. Latencija

Fizika je stvaran činilac. Model hostovan u EU koji opslužuje EU korisnike izbegava transatlantski put u oba smera, a smeštanje modela i vektorske baze u isti EU region obično je najbrža putanja za EU saobraćaj. API u SAD dodaje prekoatlantske skokove svakom pozivu — podnošljivo za asinhroni ili batch rad, ali primetno u interaktivnom četu ili agentskoj petlji koja pravi mnogo uzastopnih poziva. Self-hosting blizu vaših korisnika može biti opcija sa najmanjom latencijom od svih, pod uslovom da ste kapacitet dimenzionisali tako da zahtevi ne čekaju u redu zbog nedostatka GPU-a. Nedovoljno dimenzionisan self-host je sporiji od bilo kog hostovanog API-ja, a ne brži.

4. Trošak

Budite iskreni o tome kako izgleda račun. Hostovani API-jevi (u SAD ili u EU regionu) naplaćuju po tokenu, bez ikakvog operativnog tereta, i ubedljivo pobeđuju pri malom ili neujednačenom obimu — plaćate samo ono što potrošite, i nema GPU-a koji stoji u praznom hodu. Self-hosting menja naknade po tokenu za GPU kapital ili trošak rezervisane instance, uz stvaran operativni teret: serving, autoskaliranje, zakrpe, planiranje kapaciteta, dežurstva i MLOps ljude koji sve to vode. On se ekonomski isplati samo pri trajno visokoj iskorišćenosti, i samo ako zaista imate tim. GPU koji preko noći radi u prazno je čist gubitak; API koji jednostavno ne pozivate je besplatan. Prvo napravite model svog stvarnog radnog ciklusa — većina timova precenjuje iskorišćenost i potcenjuje operativnu stavku.

Tabela odluke

Šta je zapravo self-hostovani stek

Ako se odlučite za self-hosting, referentna arhitektura ima pet slojeva koje u celosti posedujete. Serving runtime — vLLM je naš podrazumevani izbor za produkcijsku, višekorisničku inferenciju (PagedAttention uz kontinuirano batchovanje, OpenAI-kompatibilan API); TGI je solidna alternativa; Ollama je pravi izbor za razvojne radne stanice, interne alate malog obima i air-gapped edge uređaje, ali ne i za opterećenja sa visokom konkurentnošću. Otvorene težine koje možete da povučete, fiksirate i pokrenete unutar svoje granice — Mistral je naš podrazumevani izbor (sposoban, self-hostabilan, evropskog porekla), pri čemu su i Llama i Qwen izvodljivi (licence se razlikuju — Apache-2.0 za otvorene Mistral modele, community licenca za Llama — pa proverite uslove pre isporuke); model dimenzionišite prema zadatku, a ne prema tabeli rangiranja. Qdrant kao self-hostabilna, EU-rezidentna vektorska baza, smeštena uz inferenciju, uz filtriranje po payload-u koje nameće granice između zakupaca u trenutku upita. Gateway koji govori OpenAI-kompatibilan API, što je deo sa najvećim uticajem: donosi vam zamenljivost (ublažavanje DORA koncentracionog rizika), rutiranje na osnovu osetljivosti u samom kodu, jedno mesto za autorizaciju i ograničenje broja poziva, i jednu tačku za kontrolu troška. I osmatranje postavljeno za dve svrhe — za operacije (latencija, propusnost, iskorišćenost GPU-a, dužina reda) i za reviziju (strukturirani logovi ulaza, modela i verzije, izvora pretrage i izlaza, uz odbranjivo zadržavanje). Pošto ga sami hostujete, ti logovi su EU-rezidentni po samoj konstrukciji.

Isti stek se postavlja na tri načina: on-prem GPU (maksimalna kontrola, vaš hardver i vaše operacije), EU-suvereni oblak (vaš VPC u EU regionu — proverite da su i logovanje i telemetrija regionalizovani, ne samo inferencija) i air-gapped (bez odliva; modeli se povlače jednom, kroz kontrolisan kanal, a ažuriranja stižu kroz pregledani pipeline artefakata). Potpuno lokalni kraj ovog spektra vodili smo u produkciji, tako da je air-gapped topologija isporučeni obrazac, a ne slajd.

Naša preporuka: rutirajte po klasi podataka, nemojte birati jedan odgovor

Gotovo nijedna stvarna platforma nije monolitna. Pragmatična arhitektura je hibrid rutiran po klasifikaciji podataka: regulisane i podatkovno osetljive putanje podrazumevano usmerite ka self-hostabilnom, EU-rezidentnom deployment-u; poverljiv ali manje rizičan saobraćaj šaljite ka upravljanom API-ju u EU regionu; a istinski neosetljiva ili javna opterećenja pustite da koriste koji god hostovani model je najbolji i najjeftiniji. Rutiranje neka bude eksplicitno u kodu i čitljivo u vašoj mapi podataka — rutiranje po osetljivosti koje nastane slučajno upravo je ono što pada na reviziji.

Jedina odluka koja sve ovo čini opozivim jeste da granicu inferencije apstrahujete od prvog dana. Ako vaša aplikacija komunicira sa tankim internim gateway-em umesto da namrtvo ugradi SDK jednog dobavljača, onda „self-host, EU region ili hostovanje u SAD" postaje pitanje rutiranja i konfiguracije za svako opterećenje. Ugradite pravilo da self-hostovani primarni sistem prelazi na američki API samo kada klasa podataka to dozvoljava — nemojte se oslanjati na to da će se operater toga setiti u tri ujutru. Dodajte strukturirano logovanje i fiksirano poreklo modela, i vaša DORA zamenljivost i priča o izlasku postaju deployment koji već vodite, a ne dijagram za koji se nadate da će izdržati. Predvidite u budžetu i evaluaciju na zlatnom skupu (golden-set) koju možete iznova pokrenuti na svakom kandidat-modelu — self-hosting znači da nadogradnju posedujete vi, a bez regresionog paketa je svaki novi set težina kockanje čiji ishod otkrivate tek u produkciji.

Iskrena ograničenja

Self-hosting nije besplatna pobeda. Preuzimate na sebe GPU trošak, planiranje kapaciteta, stalan ciklus nadogradnji i operativni teret koji hostovani API prosto nema. Na samom vrhu, najnapredniji američki (frontier) modeli i dalje po pravilu prednjače u najtežem rezonovanju, agentskoj upotrebi alata i zadacima sa dugim kontekstom — razlika se naglo suzila, i za odgovaranje utemeljeno u pretrazi, za ekstrakciju i klasifikaciju EU-rezidentni model je više nego dovoljan (tu je usko grlo kvalitet pretrage, a ne veličina modela), ali razlika na samom vrhu je stvarna. Inferencija hostovana u SAD ostaje validan, zakonit izbor za veliki deo radnih opterećenja. Poenta ovog okvira nije da sve gurne on-prem; već da izbor učini promišljenim i zabeleženim, a ne podrazumevanim. Suverenost koja vam nije potrebna je samo trošak.

Gde se TechRevati uklapa

Ako ove izbore mapirate na živi ili planirani sistem, naš pregled bezbednosti pokriva kako rukujemo izolacijom, logovanjem i granicama podataka na koje se ovaj okvir oslanja — uključujući on-prem i deployment-e bez odliva. Pregled usklađenosti mapira svaku obavezu po AI Act-u, DORA i GDPR na dokaz koji isporučujemo, a ne na obećanje. A Sovereign RAG Pilot je ograničen, single-tenant način da se podigne upravo ovaj stek — self-hostabilni serving runtime nad otvorenim težinama, Qdrant za pretragu, EU-rezidentno — u odnosu na vaše sopstvene brojke o rezidentnosti, latenciji i koncentracionom riziku, tako da kompromisi iz ovog teksta postaju merenja umesto procena, uz revizorski trag koji nastaje kao nusproizvod. Pišite nam na hello@techrevati.com.