Pustili smo AI koji je zabranjen zbog hakovanja da testira naš finteh

U junu je Anthropic objavio Claude Fable 5 — model koji samostalno pronalazi zero-day ranjivosti i piše eksploite. Tri dana kasnije blokiran je po nalogu Ministarstva trgovine SAD-a. Devetnaest dana posle toga vratio se s novim ograničenjima.
Mi smo platna kompanija u Srbiji. Obrađujemo transakcije, priključujemo trgovce na ekvajring i radimo s podacima platnih kartica. Kada je model poznat po tome da je „previše dobar u probijanju sistema" ponovo postao dostupan, morali smo da ga isprobamo na sopstvenom kodu.
Ali ovaj tekst nije samo o pen-testu. Reč je o granici koju svaka finteh kompanija mora da povuče: gde AI zaista pomaže, a gde nema šta da traži. Provera bezbednosti koda je jedna stvar. Dati AI pristup platnim podacima klijenata — potpuno je nešto drugo.
Model koji je zabranila vlada proverava naš kod
Kada se Fable 5 vratio 1. jula, provukli smo kroz njega izvorni kod platnog servisa. Pre toga smo već radili sličan prolaz s Claude Sonnetom u okviru priprema za PCI-DSS sertifikaciju — tada smo pronašli osam ranjivosti, sve umerene: stack trace-ovi su cureli u API odgovore. Popravljeno za par dana.
Fable 5 je išao dublje. Model koji je zabranjen zbog sposobnosti pronalaženja zero-day ranjivosti je, u praksi, besplatni prvi prolaz pre skupog revizijskog audita. Ne zamenjuje eksterni pen-test s iskusnim stručnjakom — to pitanje je kod nas i dalje otvoreno. Ali za cenu pretplate dobijate nivo analize koji je ranije koštao hiljade evra.
Jedan detalj je ključan: AI analizira kod, ali nema pristup podacima iz produkcije. Otpremamo izvorne fajlove — ne baze podataka, ne konfiguracije s ključevima, ne dempove transakcija. Kod je javni deo onoga što radimo. Ranjivosti u njemu su upravo ono što bi napadač tražio. Zato AI ovde ima smisla.
Gde AI funkcioniše: daleko od podataka klijenata
Nakon pen-testa, isprobali smo AI u još nekoliko oblasti. Svaka uspešna primena ima jednu zajedničku osobinu: AI nikada ne dodiruje podatke klijenata, tokove plaćanja ni produkcijsko okruženje.
Pregled ugovora
Počeli smo da propuštamo ugovore s trgovcima kroz Claude pre potpisivanja. Otpremite PDF — dobijete listu rizika, nejasnih formulacija i propuštenih odredbi.
Rezultati su nas iznenadili. AI je hvatao stvari koje smo mi sami propuštali: nedostajuće klauzule o odgovornosti za ispade trećih strana, nejasne uslove automatskog produženja, propuste u zaštiti podataka. Ovo je sada standardni korak u našem procesu.
Ne zamenjuje advokata. Ali hvata očigledne probleme pre nego što dokument ode na potpis.
Dokumentovanje sastanaka
Priključili smo AI na radne sastanke: automatska transkripcija, izvlačenje odluka, praćenje zadataka. Iz toga je izrasao sistem upravljanja znanjem koji koristi ceo tim.
Za mali tim bez projektnog menadžera, ovo se pokazalo kao stvarno važno. Ranije su odluke nestajale u porukama. Sada postoji jedan izvor istine.
Prototipovanje interfejsa
Jedan od osnivača je za jednu noć napravio više od 25 komitova uz pomoć Claude-a — karuseli, stranice kategorija, sidebar. Za testiranje ideja i brzo napredovanje — moćan alat.
Ali — i to je principijelno — svaki komit prolazi kroz pregled čoveka pre nego što stigne u produkciju.
Gde AI stvara probleme: lekcije koje smo platili
Nije sve što smo probali funkcionisalo. Deo eksperimenata koštao nas je novca i živaca.
Automatski pregled na svaki PR
Podesili smo Claude kao GitHub Action — automatsko pokretanje na svaki pull request. Na papiru — odlična ideja. U praksi:
- Frontend repozitorijum je generisao 50–100 komitova dnevno. Svaki je pokretao pregled koji traje 5–6 minuta.
- Besplatni limit GitHub Actions-a: 2.000 minuta mesečno. Trošili smo ih za nedelju dana.
- Dokupljivali smo: 10 dolara, pa 20, pa 40.
- Na backendu Claude je svaki put završavao s greškom. Ni jedan koristan pregled.
Prešli smo na ručni režim: programer sam odlučuje kada da pozove AI. Na jednom PR-u za integraciju platnog provajdera, Claude je prijavio 28 problema — pola je bilo šum, pola korisno. Signal postoji, ali samo kada kontrolišete proces.
AI testira sopstveni kod
Kada je jedan od osnivača počeo da gradi frontend uz pomoć Claude-a, testiranje je bilo sledeće prirodno pitanje. Logičan potez: neka Claude napiše i testove.
Ovo je zamka. Isti model koji je napisao kod proverava da li radi ispravno. Slepe tačke autora postaju slepe tačke recenzenta. Za stranicu „O nama" to nije kritično. Za formu za plaćanje — nedopustivo.
AI napravio tri javna repozitorijuma
Tokom jedne radne sesije, Claude je napravio tri posebna repozitorijuma van glavnog projekta. Podrazumevana vidljivost: javni. S delovima radnog koda platnog sistema unutra.
Za kompaniju usred PCI-DSS sertifikacije, javni repozitorijum s produkcijskim kodom nije „ups" momenat — to je potencijalni bezbednosni incident. Posle toga smo uveli stroga ograničenja: AI radi samo unutar postojećih repozitorijuma, ne može da kreira nove, i svaka promena prolazi pregled čoveka.
Crvena linija: gde AI ne sme da bude
Evo pravila do kojeg smo došli: AI ne dobija pristup ničemu čemu ne bi smeo da pristupi stažista prvog dana na poslu.
Konkretno:
- Platni podaci klijenata — nijedan AI ne vidi brojeve kartica, CVV kodove ni lične podatke platiša. Tačka.
- Produkcijsko okruženje — AI radi samo u dev i staging okruženju. Deploy u produkciju je ručni proces koji zahteva ljudsku potvrdu.
- Ključevi i konfiguracije — API ključevi platnih provajdera, tajni ključevi za enkripciju, pristupi bazama podataka — sve to ostaje van vidokruga.
- Finansijske operacije — refundacije, isplate trgovcima, izmene provizija — isključivo ručno, uz eksplicitnu potvrdu na svakom koraku.
Ovo nije preterana opreznost. To je zahtev industrije. Kada obrađujete tuđi novac, poverenje klijenata nije apstrakcija — to je temelj biznisa. Jedan incident sa curenjem podataka — i merhanti odlaze kod konkurenta gde „AI ne dira moje podatke".
Fable 5 i nova realnost
Fable 5 se vratio s novim klasifikatorom bezbednosti, sistemom procene pokušaja zaobilaženja zaštite i programom otkrivanja grešaka kroz HackerOne. Anthropic je prepoznao problem i izgradio odbrambene mehanizme.
Ali sama činjenica da model može da pronalazi zero-day ranjivosti promenila je ekonomiku bezbednosti u fintehu. Nekada je kompletan bezbednosni audit koštao desetine hiljada evra i trajao nedeljama. Sada prvi prolaz košta cenu pretplate.
To ne znači „uključite AI i zaboravite". To znači da su male platne kompanije po prvi put dobile pristup alatu koji je ranije bio rezervisan samo za korporacije s budžetom za eksterne revizore.
Gde je granica
| AI ima mesta ovde | AI nema mesta ovde |
|---|---|
| Revizija izvornog koda na ranjivosti | Pristup podacima klijenata |
| Pregled ugovora pre potpisivanja | Operacije s novcem klijenata |
| Transkripcija sastanaka i dokumentovanje | Deploy u produkciju |
| Prototipovanje interfejsa | Upravljanje ključevima i tajnim podacima |
| Pregled koda na zahtev programera | Automatske radnje bez nadzora čoveka |
Glavni zaključak: AI nije autopilot za finteh. To je alat koji radi oko osetljivih zona — nikada unutar njih. Proverava kod, ali ne dodiruje podatke. Ubrzava rad, ali ne donosi odluke. Pronalazi probleme, ali ih ne popravlja bez čoveka.
Svaki dan koristimo AI. Ali naši klijenti mogu biti sigurni: između AI i njihovog novca uvek stoji čovek.
Ukratko
- Fable 5 je pronašao dublje ranjivosti u kodu našeg platnog servisa nego prethodne verzije — za delić cene tradicionalnog bezbednosnog audita.
- Svaki slučaj gde je AI bio koristan ima jednu zajedničku osobinu: bez podataka klijenata, bez pristupa produkciji, bez živih tokova plaćanja.
- Automatizovani pregled na svaki PR potrošio je naš GitHub Actions budžet za nedelju dana i nije dao nijedan koristan rezultat na backendu.
- AI koji pravi javne repozitorijume s produkcijskim kodom je stvarni rizik — koji smo lično doživeli tokom PCI-DSS sertifikacije.
- Osnovno pravilo: AI dobija isti pristup kao stažista prvog dana. Platni podaci klijenata, produkcijski sistemi i finansijske operacije uvek ostaju van domašaja.