Bojište bez odgovornosti: Umjetna inteligencija i kriza ratnog prava

Kako izgleda budućnost ratovanja u doba dronova, algoritama i sve dublje moralne praznine? Intervju s paterom A. Seixas Nunesom SJ.

Može li svećenik biti stručnjak za rat?
Pater Afonso Seixas Nunes SJ, profesor međunarodnog prava i član Družbe Isusove, proučava najgore što čovjek može učiniti drugome – i pritom ne gubi vjeru. U ovom ekskluzivnom intervjuu govori o pravnoj i moralnoj praznini koju u ratno pravo unosi umjetna inteligencija, o rojevima dronova, odgovornosti bez krivca, i o tome zašto još uvijek ima smisla govoriti o moralu. I sve to – s pogledom na Gazu, Ukrajinu, Izrael, London, i… Elona Muska.

Pater Afonso Seixas Nunes, portugalski isusovac, nije poznat samo po svojoj učenosti nego i po kulinarskom umijeću. Rado peče personalizirane svadbene torte parovima koje vjenčava, birajući sastojke u skladu s njihovim osobnostima.

Kada nije u kuhinji, Seixas Nunes predaje i istražuje. Trenutno djeluje kao predavač i znanstvenik na Sveučilištu Saint Louis u američkom Missouriju, gdje se ubraja među vodeće stručnjake za međunarodno humanitarno pravo, osobito za pravne i etičke izazove koje donosi primjena umjetne inteligencije u ratovanju.

Bavi se, kako sam kaže, „najgorim što ljudi mogu učiniti jedni drugima“.

U opsežnom razgovoru za The Pillar, Seixas Nunes govorio je o svojim istraživanjima i dao uvid u to kako bi mogla izgledati budućnost ratovanja u doba umjetne inteligencije.

Intervju je vođen na portugalskom jeziku. Redakcijski je prilagođen radi jasnoće, ali nije skraćivan.

Što točno predstavlja autonomno oružje? Koliki je stupanj ljudske intervencije dopušten prije nego što sustav prestane biti „autonoman“?

To je iznimno važno pitanje!

Čak i unutar vojnih struktura vlada značajna konfuzija oko toga. Ono što čini autonomne sustave ratovanja revolucionarnima jest njihova sposobnost da samostalno identificiraju, odaberu i napadnu vojnu metu – bez ikakve ljudske intervencije.

Umjetna inteligencija nije novost – koristi se već godinama. No ono što je danas novo jest sposobnost AI sustava da samostalno prepoznaje ciljeve. Sustavi koji su se dosad koristili – poput izraelskog Iron Domea – programirani su za uništavanje unaprijed određenih vrsta prijetnji. Kad takav objekt uđe u domet radara, sustav ga detektira i uništi. Meta je, dakle, već bila definirana.

Novi sustavi obogaćeni umjetnom inteligencijom, međutim, mogu obraditi podatke u količini, raznolikosti i brzinom koja je ljudskom operateru jednostavno nedostižna. Ti sustavi postaju učinkovitiji od ljudskih vojnika.

Na primjer, danas sustav za potporu odlučivanju temeljen na AI-u može obavijestiti vojnog zapovjednika da određeno vozilo – iako naizgled običan automobil – prevozi oružje te je stoga legitimna vojna meta.

Prema toj definiciji, daljinski upravljani dron nije autonomni sustav. A što je, primjerice, s minom?

Protupješačke mine ponekad se pogrešno svrstavaju među „autonomne sustave“, no one to zapravo nisu. Jednom kada se aktiviraju, mine ne razlikuju između djeteta, životinje ili vojnika. Nemaju mogućnost identifikacije, niti se mogu prilagoditi novonastalim situacijama na bojištu. A upravo je sposobnost prilagodbe jedna od ključnih značajki autonomnih sustava.

Zamislimo sljedeći scenarij: ja sam zakonita vojna meta. Sustav me detektira i priprema se za eliminaciju. No što ako iznenada uđem među grupu civila? Autonomni sustav mora biti sposoban prekinuti napad i prilagoditi se novim okolnostima.

Upravo tu ulazi generativna umjetna inteligencija – najnovije poglavlje u razvoju AI sustava.

Kažete da ta tehnologija već postoji?

Sustav koji pomoću prepoznavanja lica može identificirati metu, utvrditi jesu li u blizini civili i – kada je meta izolirana – eliminirati je bez ljudske intervencije?

Da i ne. Ti sustavi doista postoje, ali se zasad ne koriste – jer su izuzetno ranjivi na kibernetičke napade.

Njihova otvorenost prema novim podacima s bojišta omogućuje im visoku razinu prilagodljivosti, ali ih istodobno čini osjetljivima na manipulacije i sigurnosne prijetnje.

Znamo da Sjedinjene Američke Države, Južna Koreja i Rusija već posjeduju takve sustave. Što točno ima Kina – teško je reći – no procjenjuje se da ih također već razvija. Ipak, sve te zemlje vrlo su oprezne u njihovoj operativnoj upotrebi upravo zbog navedenih rizika. Zato su znatna sredstva usmjerile prema razvoju sustava druge vrste: tzv. AI Decision Support Systems (AI-DSS) – sustava umjetne inteligencije koji služe kao podrška pri odlučivanju.

Upravo se takvi sustavi koriste i u aktualnom ratu u Gazi.

AI-DSS funkcionira na principu tzv. „dubinskog osluškivanja“ (deep sensing): riječ je o više različitih sustava koji istodobno primaju podatke – bilo putem satelita, bilo putem dronova – i te informacije prosljeđuju vojnom zapovjedniku.

Na taj način zapovjednik dobiva obavještajne podatke s terena te stječe uvid u okolnosti koje mu inače ne bi bile poznate – primjerice, točne lokacije na kojima se pripadnici Hamasa nalaze ili skrivaju.

Što, pretpostavljam, otvara niz etičkih i pravnih dilema…

Naravno.

Pokušajmo to objasniti jednom jednostavnom analogijom: student može zamoliti ChatGPT da mu napiše esej o nekom romanu. No ako sam taj roman nije pročitao – kako će znati je li esej zapravo dobar?

Ista se logika može prenijeti na bojište.

Vojni zapovjednik, kada mu sustav identificira metu, nema nikakav uvid u to koji su izvorni podaci korišteni niti kako su ti podaci obrađeni. Jednostavno mu se kaže da „vjeruje sustavu“ – iako o njegovom funkcioniranju zna vrlo malo.

Znači, ako nešto pođe po zlu, zapovjednik može jednostavno okriviti sustav?

To je prvi veliki problem – raskid u komunikacijskom lancu.

Pod tim pojmom mislim na realnost u kojoj autonomni sustavi samostalno prikupljaju, obrađuju i djeluju na temelju neuronskih mreža koje su ljudskom operateru potpuno neprozirne. Ti algoritmi djeluju kao tzv. „crne kutije“ – do danas nije moguće znati kako i zašto algoritam povezuje određene podatke i formira obrasce.

To otvara prostor za dvostruki bijeg od odgovornosti. S jedne strane, za sve se optužuje stroj – „kriv je sustav, ne čovjek“. S druge strane, neki pravni stručnjaci, pozivajući se na načelo opreza, inzistiraju da zapovjednik snosi punu odgovornost.

No ako prvi pristup vodi prema dekriminalizaciji ratnog prava, drugi dovodi do apsurda u kojem se zapovjednika proglašava odgovornim za radnje o kojima nije mogao imati nikakvu spoznaju. U tom slučaju, pod međunarodnim kaznenim pravom – odgovornost jednostavno ne može biti utvrđena.

To je središnji izazov o kojem danas intenzivno raspravljaju države, znanstvenici i nevladine organizacije: kako spriječiti nastanak „praznine odgovornosti“.

Jer u suprotnom – bojište postaje prostor nekažnjivosti.

Ako sam dobro razumio, želite reći da ove nove forme ratovanja – koje se obično prikazuju kao način da se izbjegne pogibija vlastitih vojnika – u konačnici mogu dovesti do anarhije kad je riječ o ratnom pravu?

Mislim da ste to sasvim točno formulirali – i upravo to trenutno gledamo u Izraelu.

Postoji li, prema vašem mišljenju, nada da će međunarodna zajednica – nakon ove promjene paradigme – uspjeti pronaći novi pravni okvir?

Budimo iskreni.

S jedne strane, imam nade – moram je imati. Bez nade čovjek vrlo lako sklizne u depresiju. Budući da sam svakodnevno uronjen u ovo područje i iz dana u dan svjedočim sve većem broju civilnih žrtava, bez vjere i molitve bilo bi nemoguće nastaviti raditi ovaj posao.

S druge strane, ako pogledamo što čini aktualna američka administracija – od preispitivanja uloge međunarodnih organizacija poput NATO-a do strukturalnih problema u primjeni Povelje Ujedinjenih naroda – teško je ne osjećati određeno obeshrabrenje i nesigurnost u pogledu budućnosti međunarodnog prava.

Nakon Drugog svjetskog rata ostvareni su brojni pravni iskoraci. Ali kada danas promatramo ratove u Ukrajini, Gazi ili Sudanu, čini se da nazadujemo u zaštiti najranjivijih na bojištu – civila i civilne infrastrukture.

Rat u Ukrajini, čini se, prvi je sukob u kojem se dronovi koriste u rojevima. Ranije su dronovi služili za precizne napade, ali ovo je nešto posve novo. Je li vas to iznenadilo?

Nije.

Intel je bio prva kompanija koja je pokušala orkestrirati roj dronova – njih 200 – i uspjela je. Kad su pokušali s 500, to je bio potpuni promašaj. No zatim je Kina lansirala nekoliko tisuća dronova u zrak u obliku simuliranog vatrometa – i to je bio šok za Zapad. Mi još uvijek nismo u stanju učinkovito uskladiti ni 500 dronova istodobno.

Danas je, dakle, moguće koristiti čitave rojeve dronova – ne nužno sve naoružane. Neki služe isključivo za nadzor, dok su drugi opremljeni oružjem. No svi zajedno sudjeluju u koordiniranim vojnim operacijama.

U ratu u Ukrajini pojavile su se i druge tehnološke novine, primjerice – kamuflažna odijela koja vojnika čine potpuno nevidljivim za radare. To je zasad vjerojatno najvažniji tehnološki iskorak tog sukoba.

No kad govorimo o umjetnoj inteligenciji – prvi pravi „AI rat“ vodi se u Gazi.

Upotreba dronova i umjetne inteligencije u ratovanju uvela je i nove aktere: one koji razvijaju i upravljaju tehnologijom, često daleko od bojišta. Bi li, primjerice, bilo zakonito likvidirati operatera drona dok sjedi u stanu u Moskvi?

S aspekta međunarodnog prava – da.

Ako pogledamo definiciju borca iz Ženevske konvencije, osobito iz Dodatnih protokola iz 1977., ona se odnosi i na osobe poput operatera dronova. Jer on je – bez obzira na svoju fizičku udaljenost – sastavni dio oružanih snaga. Nije važno je li na bojištu ili u vlastitom stanu – on ima status borca i može biti zakonita vojna meta u svakom trenutku.

Dat ću vam još radikalniji primjer: Elon Musk teoretski bi mogao biti smatran legitimnom metom Rusije, s obzirom na to da njegova kompanija Starlink Ukrajini omogućuje pristup iznimno važnim informacijama.

Riječ je o civilu koji – preko svoje privatne tvrtke – neposredno sudjeluje u ratnom sukobu.

Pitanje je, doduše, može li se Musk osobno smatrati „stranom u sukobu“. No Starlink kao infrastruktura sasvim sigurno može biti vojni cilj. To je, uostalom, bila tema razgovora između ruskog veleposlanika u SAD-u i samog Muska – kojemu je navodno poručeno da će, ako nastavi s pružanjem komunikacijske podrške Ukrajini, njegovi sateliti postati legitimna meta.

To je nagovještaj onoga što nas čeka u bliskoj budućnosti: radikalna promjena u poimanju „strana u sukobu“. Već danas imamo nedržavne aktere, poput terorističkih skupina – a uskoro ćemo imati i privatne korporacije kao izravne sudionike ratova, osobito u kontekstu eksploatacije svemira i morskog dna.

Čovjek od pamtivijeka razvija tehnologiju kako bi naštetio neprijatelju s čim veće udaljenosti. Možemo li reći da je današnja situacija samo prirodni nastavak tog razvoja – ili se ipak suočavamo s pravom promjenom paradigme?

Povijest oružja u svojoj je srži povijest pokušaja da se neprijatelju nanese šteta s maksimalne fizičke udaljenosti. No ono što se sada mijenja jest prekid komunikacije – o kojem sam ranije govorio – a koji je usko povezan s novim oblikom prekida: prekidom rizika.

Zanimljivo je da je papa Inocent II. još 1139. izdao bulu kojom zabranjuje upotrebu samostrela – iz razloga koji danas ponovo dolaze na stol u raspravama o dronovima. Sveti Otac je tada s pravom strahovao da će borac izgubiti osjećaj za posljedice vlastite sile – da više neće vidjeti što ta sila čini onome tko je pogođen.

Naravno, ta zabrana tada nije imala stvarnog učinka na terenu. Ali istu stvar danas vidimo s dronovima: postupno se gubi osjetljivost vojnika. A s uporabom umjetne inteligencije – taj rizik još se više produbljuje. Posljedice su prepuštene isključivo žrtvama.

Papa Inocent II. imao je, dakle, moralni instinkt – ali praktičnih posljedica nije bilo jer se samostreli nisu prestali koristiti. Danas bi skeptici mogli reći: „Sve su to samo etička razmatranja, a oružje će se i dalje razvijati i koristiti.“ Ima li uopće više smisla govoriti o etici i moralu?

Itekako ima!

Ljudi s pravom gube povjerenje u međunarodno pravo jer ga doživljavaju kao nefunkcionalno, apstraktno – ne vide konkretne posljedice, posebno kad je riječ o odgovornosti za zločine.

Mislim da je administracija Donalda Trumpa dodatno pogoršala tu situaciju. Da su Sjedinjene Države imale administraciju sličnu onoj prethodnoj, uvjeren sam da Rusija ne bi tako lako napala Ukrajinu, a ni Izrael ne bi provodio tako široku i labavu politiku vojnog djelovanja.

Ali često zaboravljamo pozitivne primjere. Poput Chilcotove istrage u Ujedinjenom Kraljevstvu, koja se bavila britanskim sudjelovanjem u drugoj invaziji na Irak.

Ta je istraga zaključila da je odluka o ulasku u rat bila motivirana osobnom željom za osvetom, a ne stvarnim dokazima o oružju za masovno uništenje. Tony Blair, tadašnji premijer, bio je u izvješću praktički označen kao ono što bismo danas nazvali ratnim zločincem.

Zanimljivo je da Ujedinjeno Kraljevstvo, iako potpisnik Rimskog statuta, nije otvorilo službeni postupak protiv njega. No moralna osuda bila je toliko snažna da je Blair praktički nestao iz političkog života. To pokazuje da moralne posljedice ponekad mogu biti snažnije i učinkovitije od zatvorske kazne.

Upravo ta moralna dimenzija otvara prostor za obranu prava nevinih – osobito civila.

Ljudi Vas često pitaju kako možete raditi na ovim temama kao svećenik. Zašto se bavite ratom i destrukcijom?

To mi zaista često postavljaju kao pitanje.

Moj svakodnevni posao je analizirati ono najgore što čovjek može učiniti drugome čovjeku. Ali ono što me pokreće jesu civilne žrtve – oni čija imena nikada nećemo znati.

Vojnici se nakon rata vraćaju, bivaju odlikovani, dobiju zaslužena priznanja – i to je u redu. No nevini civili, čija imena nitko ne zna, ostaju samo brojke: 50 mrtvih, 100 mrtvih… Zbog toga sam i odlučio posvetiti se ovom području.

Jer ljudi nisu brojke. Ljudi su osobe. A nevini civili nisu samo kolateralne žrtve – oni su lice i naličje svakog rata.

Papa Franjo je u jednom trenutku sugerirao da više ne možemo govoriti o „pravednom ratu“. Je li to bio jasan raskid s teorijom pravednog rata? Ima li ta teorija još uvijek smisla u katoličkoj tradiciji? Može li se prilagoditi novim oblicima ratovanja?

Zbog te je izjave papa Franjo bio izložen oštrim kritikama – osobito iz konzervativnih krugova u Sjedinjenim Državama. Što je, blago rečeno, krajnje nepravedno.

Papa je rekao ono što bi svaki kršćanin trebao moći reći: da ne postoji opravdanje za rat, jer je rat – razaranje Božjeg stvorenja. Ni sveti Toma Akvinski ni sveti Augustin, utemeljitelji teorije pravednog rata, nikada nisu tvrdili da je rat nešto dobro. Oni su tražili uvjete pod kojima bi uporaba sile bila najmanje moralno neprihvatljiva.

Papa Franjo nastavlja tu tradiciju. On ne opravdava rat – on ga moralno osuđuje. I kada kaže da više ne možemo govoriti o „pravednom ratu“, on ne raskida s crkvenim naukom, već ga radikalizira u svjetlu evanđelja. Papa Lav XIV. je to dodatno pojasnio kada je rekao: „Nema neizbježnih ratova.“

Ipak, Crkva je kroz povijest razvila razumijevanje po kojem je uporaba sile, iako moralno problematična, ponekad nužna za obranu života i prava nevinih. Ne mogu zamisliti bolji primjer za to od ruske invazije na Ukrajinu. Ne vidim drugu legitimnu i razmjernu opciju osim samoobrane – uporabe sile kako bi se zaustavio napad.

U tom kontekstu posebno mi je zanimljiv jedan članak ukrajinskog teologa sa Sveučilišta Yale, koji analizira papinu retoriku u odnosu na Rusiju. Pokojni papa Franjo bio je, suprotno nekim interpretacijama, izuzetno jasan u podršci pravu Ukrajine na samoobranu.

Ključno pitanje glasi: što je moralno legitimna reakcija u situacijama koje krše osnovne norme i prijete opstanku naroda? Vjerujem da je odgovor – legitimna obrana. Problem nije pravo na obranu, nego način na koji se to pravo provodi. Pogledajte primjer Izraela. Nitko ne osporava pravo na obranu nakon terorističkog napada 7. listopada, ali ono što danas svjedočimo nije samoobrana, nego rat za uništenje palestinskoga naroda.

Naslov Vaše doktorske disertacije glasi: „Legitimnost i odgovornost pri uporabi autonomnih oružanih sustava u okviru međunarodnog humanitarnog prava“. Kako je jedan svećenik završio u tom području?

Pomalo slučajno, pomalo iz osobne radoznalosti.

Na početku mojeg studija teologije kontaktirao me provincijal s neobičnim i izazovnim prijedlogom. Papa Benedikt XVI. tada je naglasio potrebu da Crkva razvije stručnjake za međunarodno humanitarno pravo – dakle, zakone ratovanja.

Oduvijek me zanimalo međunarodno pravo, iako ne nužno aspekti vezani uz rat. No ta je inicijativa potaknula ideju. Nakon završene teologije, upisao sam magisterij međunarodnog prava na London School of Economics. Tu sam prvi put ozbiljnije ušao u svijet ratnog prava – konkretno, u pitanja zakonitosti američkih napada dronovima u Pakistanu.

Kasnije sam upisao doktorat na Sveučilištu Essex, gdje me mentor usmjerio na autonomne oružane sustave. I tako sam ostao u ovom području.

Jesu li vojne institucije pokazale interes za Vaš rad? Surađujete li s nekom vladom – posebno s američkom?

Prije dolaska u SAD, surađivao sam s nizozemskim oružanim snagama te s britanskim i izraelskim ministarstvima obrane. Njima je često provokativno zanimljiva činjenica da svećenik djeluje u ovom području.

Sjedinjene Države imaju vrlo specifičan pogled na ratno pravo. Primjerice, prije samo dva tjedna, američki ministar obrane Pete Hegseth proglasio je da proučavanje međunarodnog humanitarnog prava u američkoj vojsci više nije obavezno. To me duboko žalosti. SAD je nekoć bio jedan od pionira u razvoju modernog ratnog prava – i upravo zbog toga ova odluka djeluje kao veliki korak unatrag.

Većina britanskih časnika koje poznajem aktivni su anglikanci i moralna dimenzija u njihovom djelovanju je vrlo izražena. U Americi sam, međutim, često imao dojam da učinkovitost borbe i eliminacija neprijatelja nadilaze svako moralno razmatranje. U takvom kontekstu, moral se percipira kao nešto korisno, ali samo ako štiti vlastite vojnike. Neprijatelj je, u tom narativu, sveden na „stvar“ koju treba uništiti.

U nekim ste odgovorima kritični prema američkoj administraciji. Bojite li se mogućih posljedica?

Do sada nisam imao nikakvih službenih pritisaka ni sankcija. No znam kolege koji su ih imali – ne samo u području ratnog prava, već i u zdravstvu i etici, posebno kada su njihova istraživanja bila kritična prema politici Trumpove administracije.

U Sjedinjenim Državama postoji razrađen sustav nadzora nad onim što se objavljuje. Ponekad istraživač dobije pismo glavnog državnog odvjetnika u kojem se navodi da je njegovo istraživanje pod istragom. Ponekad to rezultira formalnim sankcijama. Ponekad ne. Ponekad dobiju tek tihu, ali jasnu poruku: nemojte više objavljivati na tu temu.