Ga naar de inhoud

Boekbespreking: War Virtually

Het boek War Virtually: The Quest to Automate Conflict, Militarize Data and Predict the Future van Roberto J González beschrijft nieuwe wapens; de wapens van deze eeuw. Niet die met grote explosieve kracht en enorme reikwijdte, maar militaire technologie gebouwd op rekenkracht en met data als de brandstof waarop oorlogen zullen draaien. De “hoogwaardige technologie kan oorlogen verergeren,” aldus de schrijver.

17 min leestijd

(Door Martin Broek, overgenomen van zijn blog)

Het gaat om (semi)-autonome wapens, van gericht afluisteren tot de inzet van killer robots. In deze militaire toepassingen wordt veelal kunstmatige intelligentie (AI) gebruikt. De voorstanders zullen er op wijzen dat militaire technologie met AI ook ingezet kunnen worden om onderzeese kabels te beschermen of om mijnen te ruimen na een conflict. Maar anderzijds inzet (op afstand) tegen geradicaliseerde minderheden in landen zoals Pakistan, Jemen, Somalië, Afghanistan, Irak en anderen vergroot de kloof tussen overheid en die groepen. Ook daar wordt AI gebruikt om doelen te bepalen. Het verminderd het geweld niet maar verdiept het. Het maakt de wereld dus onveiliger. Het ingaan op lokale grieven, het versterken van lokaal bestuur en cultuur zou beter werken dan die inzet, zo haalt de schrijver professor internationale relaties en veelzijdig en invloedrijk schrijver Akbar Ahmed aan.

Misschien is het verminderen van conflicten niet de reden dat er al zoveel miljarden in de ontwikkeling is gestoken, maar gaat het vooral om het achter de horizon opdoemende – en schijnbaar niet te vermijden – conflict met China. Als dit zo is dan veranderd ook de inzet van de technologie in het politieke debat. Dan wordt het eten of gegeten worden; als eerste toeslaan of te laat komen. Von Clauzewitz noemde als het tweede principe van strategische planning ‘snelheid van handelen’, en daarbij niet dralen zo stelde hij. (On War, boek acht, hoofdstuk 9) In die zin alleen al is AI een geschenk voor militairen van de groot- en supermachten in de voorbereiding op een oorlog. We zien die ontwikkeling al. Recentelijk werd de productie voor de Oekraïne van killer drones opgevoerd. De Switchblade 600, brengen moderne techniek en AI samen, de drones zijn in staat automatisch doelen te herkennen. De andere kant gebruikt ze ook, uit Iran. De ontwikkeling is geen toekomst model, maar het begin is al gemaakt.

Wapenwedloop

We stevenen af op een AI-wapenwedloop tussen de Verenigde Staten en zijn tegenstanders. Die ontwikkeling is groter dan alles wat we tot nu toe hebben gezien. Alleen al het gegeven dat de CIA organisatie voor investeringen in technologie bedrijven, het zogenaamde In-Q-Tel in 2014 325 bedrijven financierde die voorheen geen band met de militaire en inlichtingen organisaties hadden, wijst hier op. In 2019 gaf de Verenigde Staten al 9,7 miljard dollar uit aan de ontwikkeling van robotsystemen (evenveel als de militaire uitgaven van België en Denemarken samen). Het gaat er niet om of door AI-wapens er komen, maar hoeveel autonomie er zal zijn. Tussen helemaal niets en volledig liggen honderden mogelijkheden. Velen dringen aan op een verbod van volledig autonome wapens. Dat is nog lang niet genoeg. Duidelijke afspraken op een terrein waar bijvoorbeeld geschoven kan worden met een begrip als ‘betekenisvolle menselijke controle’ zijn er nog niet en tussen die controle en het wapen volledig autonoom laten opereren staat vaak alleen een opdracht, vergelijkbaar met het omzetten van een hendeltje. Dat kan niet goed gaan. Die afspraken moeten er komen.

Hoop of zwartkijken

Het boek van González werpt dystopische ideeën ver van zich en sluit juist af met een positieve noot, er is veel verzet binnen de wereld van de technologiereuzen tegen medewerking aan militaire projecten. Zonder protest en verzet wordt de zogenaamde onvermijdelijkheid van AI-toepassingen en robotwapens een zich zelf vervullende voorspelling, stelt de schrijver. Hij geeft een ellenlange opsomming van activiteiten tegen de wapens. Het is niet moeilijk hier wekelijks een of meerdere nieuwe protesten aan toe te voegen. Overigens moet je daar ook wel een beetje doorheen kijken. Begin oktober stuurden zes tech bedrijven een brief waarin ze vroegen hun producten niet te bewapenen. Een week later verschijnt in de Military Times een artikel waarin dit beleefde verzoek op zijn waarde beoordeeld wordt. In het artikel wordt er fijntjes op gewezen dat een robot van een van de zes al bewapend is.

Antropologie

De schrijver heeft een technische opleiding gevolgd, maar voelde zich daarna toch beter thuis bij een studie antropologie. Niet vaak kom je zoveel antropologen tegen in een boek over militaire technologie als hier. Ze vervullen twee rollen. Allereerst om de bijzondere wereld van de militair-industrieel-politiek-wetenschappelijkcomplex (MISC) stam te bestuderen. Anderzijds zijn antropologen ook deel geworden van de militaire industrie. Dat loopt uiteen van de leiding van grote projecten binnen het wetenschaplijkstudiecentrum voor de krijgsmacht van de Verenigde Staten, het Defense Adanced Research Projects Agency (DARPA), door Adam Russell (de rugbyer die bijna een heel hoofdstuk vult en sociale wetenschappen acceptabel maakte in de omgeving van harde techneuten) tot een ingehuurde kracht, Scott Attran, die uitzoekt waarom mensen zich inlaten met geweld en radicaliseren. Andere sociale wetenschappers houden zich bezig met het menselijk lichaam. Dat kan gaan om prestatie verhogende activiteiten of aanpassingen aan het menselijk lichaam. (Over dat laatste schreef ik in een andere bespreking al eens. Een VPRO-zomergast, psychiater en filosoof vertelde in 2015 hoe hij er voor had bedankt mee te werken aan het veranderen van het brein binnen een DARPA programma.) González verwacht evenwel dat de werving van sociale wetenschappers door het MISC steeds krachtiger zal worden aangepakt.

Kennis als dual-use

Het boek gaat niet over explosieven, zelfs niet over chips, transistoren, chemicaliën en andere producten van de industrie. Het gaat enigszins over hightech, maar toch vooral over kennis als product. Zelfs cultuur wordt gezien als een bruikbaar fabricaat in de geciteerde woorden van antropoloog Kerry Fosher, werkzaam in militaire kringen. Opvallend is dat González de term dual-use (producten voor tweeërlei gebruik: militaire en civiel) hanteert voor veel van wat in Silicon Valley wordt ontwikkelt, én ook voor kennis. Een virtuele bril kan je gebruiken om spelletjes te spelen, maar ook als piloot of infanterist. Sociale wetenschappen kunnen ingezet worden om mensen te beïnvloeden of manipuleren, maar ook als een effectief middel om polarisatie te verminderen. Meestal is het middel niet goed of fout; het gaat er om hoe je het inzet. Het zijn de intenties van ontwikkeling of aanschaf wat de beoordeling of beperkingen moet bepalen.

Inmiddels is er een militarisering van de sociale wetenschappen gaande. Opgegroeid met tanks, marineschepen, bommenwerpers en chemische wapens is het nog steeds geen gesneden koek om zo over militaire productie en dual-use te denken. Het is wel noodzaak het blikveld te verbreden, want dat is de realiteit van de militaire ontwikkelingen. Het gaat bijvoorbeeld om programma’s die data opslurpen en op grond daarvan de toekomst voorspellen, ‘de sociale radar’ genoemd. De wereldwijd gegenereerde data voedt controle- en observatiesystemen en dat is al routine. Dat de gemiddelde mens ruim drie uur per dag het mobieltje gebruikt, is alleen maar handig bij het in kaart brengen van mensen om dreigingsanalyses voor de toekomst te maken. Er zijn al vele honderden miljoenen dollars in deze glazen bol gestoken, de heilige graal voor veiligheidselite, maar er is nauwelijks bewijs dat ze werkt. Toch gaan die investeringen door.

Deze ontwikkelingen zijn gedreven door toegenomen militarisering en techno-optimisme. Het internet smeed deze beide delen aaneen. Militarisme is volgens de schrijver: “een wijdlopig proces waarin de culturele normen, beleid, dominante ideologieën, en instituties binnen de samenleving zich richten naar militaire macht en worden gevormd door oorlog.” (Hier een andere omschrijving.) Techno-optimisme “is het idee dat wetenschappelijke en technologische verbeteringen ingewikkelde sociale, economische en milieuproblemen op zullen lossen,” aldus de auteur van het boek. Hij voegt daar aan toe dat het vooral de belanghebbende ondernemers en wetenschappers zijn die dit naar voren schuiven. In de Verenigde Staten speelt nog een ander idee een drijvende kracht. Dat is het idee dat het land fundamenteel anders is en superieur ten opzichte van andere staten. Daarom mocht het Westen onomstreden, onder hoede van Washington, ook als eerste een cyberinterventie uitvoeren, drones met kunstmatige intelligentie inzetten en zelfs voor het gooien van atoombommen was een rechtvaardiging (maar dat laatste is een categorie apart).

Onderscheid

Het boek behandelt een zeer breed terrein. Van het oogsten van sociale media gegevens om doelgericht mensen te beïnvloeden, tot de inzet van drones met raketten. AI en big data zijn de overkoepelende elementen, maar toch is psychologische oorlogsvoering wat anders dan het doelgericht vermoorden van tegenstanders op basis van een door algoritmen bepaald dreigingsbeeld, of het benaderen van groepen om voor Trump, de Keniaanse president Kenyata of Brexit te kiezen. Dit had de schrijver duidelijker kunnen onderscheiden. Dit had ook het zicht op de overeenkomsten versterkt. Het verband wordt wel beschreven in zin als deze: “De raakvlakken tussen Cambridge Analytica/SCL en de kampioenen van van het Pentagon in opstandsbestrijding op basis van data en cyber-oorlog leidde tot verontrustende vragen toen dit aan het licht kwam.” De verschillende elementen vullen elkaar aan en het uit elkaar trekken is voor bestudering zinnig, maar in de realiteit zijn het toch verschillende kanten van een zelfde ontwikkeling.

Wat ook mist zijn militair praktische zaken. Is een verdediging tegen heel snel van over de horizon inkomende raketten of zwermen drones vergelijkbaar met het zelf afvuren van een zwerm killerdrones die op basis van een programma doelwitten kiest? Dit nog los van de context; verdedig je de eigen middelen tijdens een offensieve operatie of is het anderzijds een defensieve actie.

Militair onderzoek

Het internet is een vinding gefinancierd door het ARPA (destijds nog zonder de D van Militair). Dit directe verband helpt bij het begrijpen waarom big data – inclusief vangst op de sociale media – zo makkelijk een wapen is geworden. Het is niet alleen het militaire establishment, maar ook Silicon Valley dat belang heeft bij de ontwikkeling van autonome wapens. González laat zien dat de vermeende en vaak genoemde kloof tussen Big Tech en Pentagon niet op feiten berust maar veeleer een kunstmatig onderscheid is. Niet voor niets heeft het Amerikaanse leger vestigingen in de regio. Het gaat hier bijvoorbeeld om de Defense Innovation Unit Experimental (DIUx), bedoeld om werving en nauwe samenwerking te organiseren.

Overigens is het niet alleen in de Verenigde Staten zo dat de militaire industrie zich op deze technologie richt. Ook het Nederlandse leger opent vestigingen bij technische universiteiten om zo de jonge deskundigen binnen te halen, het zogenaamde Military INnovation by Doing (MIND) program gestart in Rotterdam uitgebreid naar de universiteiten van Enschede en Eindhoven (en op Delft en Leiden is het nog even wachten.)

Naast het Pentagon zit ook Lockheed Martin in de Valley; het is er zelfs de grootste werkgever, dus niet een bedrijf als Apple, maar de met afstand grootste wapenfabrikant van de wereld. Je kan er op wachten dat Amazon Raytheon koopt, schrijft González.
Overigens ook hier zetelt Thales dicht bij de studenten van de drie technische universiteiten.

Het bouwen van een wereld als een scheepje in een fles, het Worldwide Integrated Early Warning System (W-ICEWS) is voorlopig het grootste systeem dat werd opgezet in 2006 en al snel onder leiding kwam te staan van Lockheed Martin. Een bizar project onder de magische mantel van de wetenschap. Je kan er over grappen, maar het is kennis die met al zijn falen wordt ingezet om doelgericht mensen uit te schakelen, te doden, te vermoorden.

Problemen

Er kleven nogal wat problemen aan de technologisering van oorlog. Er is het bekende voorbeeld van dronepiloten die vanuit hun gevechtsacties naar huis rijden als hun ‘werk’ er op zit. Ze komen dan thuis bij partner en kinderen. Van het doden van tegenstanders op 16.000 km afstand naar de eettafel met grapjes, smalltalk en afspraken over de was en boodschappen. Het is voor vele piloten niet te behappen. Maar er is veelheid aan psychologie gerelateerde problemen rond de nieuwe wapens. Militairen vertrouwen niet vanzelfsprekend op hun robotwapens; sterker nog dat vertrouwen creëren is een enorm ingewikkeld proces. Doen die wapens wel wat militairen van ze moeten kunnen verwachten of juist niet zoals de semiautonome raketten die tijdens de Golfoorlog (2003) eigen vliegers neerhaalden. Hoe groot is de kans dat ze door de tegenstander gehackt worden? Zijn ze niet vooral extra ballast die ook nog eens een paar ogen en handen binden die je dan tijdens een gevechtsmissie kwijt bent? Sociale wetenschappers zijn noodzakelijk om dergelijke weerstanden te lijf te gaan. Bedieningsgemak maakt dat (killer)robots eerder geaccepteerd worden, zo bleek bijvoorbeeld. Het boek bevat ook een voorbeeld van een robot die bermbommen ruimde tot dat hij er een teveel tegenkwam. Boomer, zijn bijnaam, werd ter aarde besteld alsof het een mens met persoonlijkheid was. Dat is niet nieuw. Mensen geven voorwerpen al veel langer menselijke trekken, zoals kano’s en voertuigen en dat geldt zeker civiele robots, een vorm van techno-animisme. Maar weerstand is er niet alleen in militaire kringen, maar ook in de maatschappij. De Nederlandse militaire kennis- en onderzoeksinstellingen (TNO, Marin, NLR) hebben een programma rond maatschappelijke acceptatie van Kunstmatige Intelligentie. zo vertelde Minister van Defensie Ollongren onlangs tijdens het debat rond autonome wapens (zie video).

Dodelijke fouten

Machines en de software zijn niet foutloos. Soms zijn die fouten marginaal, maar vaak ook groot, ook in de meest geavanceerde systemen. Toch gaat de ontwikkeling door alsof er niets aan het handje is. Als een fout in de software wordt geschreven kan het jaren duren voordat dit tot een falen leidt. Spoken in de machine heet dit treffend. Is het niet de techniek dan zijn het de gebruikers ervan die een foute inschatting maken, eigen troepen als vijand zien, een feest als verzameling tegenstanders etc. Dat is te verwachten. De techniek versterkt het gevoel dat je alles ziet, alles hoort, alles weet, en dus de juiste beslissingen neemt. Maar het tegenovergestelde is eerder het geval, de fog of war wordt dikker, aldus González. Burgers zijn heel vaak het slachtoffer. Drones van de Verenigde Staten doodden tussen de 8.500 en 12.000 mensen in Afghanistan, Pakistan, Somalië, en Jemen, waaronder 1.700 burgers (400 waren kinderen), zo haalt de schrijver het Bureau for Investigative Journalism aan. Je hebt geen psycholoog, socioloog of antropoloog nodig om te begrijpen dat dit de politieke situatie niet kalmeert, maar dat het de kans op een oplaaiende veenbrand van woede veel groter maakt.

Techniek met een geschiedenis

Algoritmes zijn bovendien geen neutraal technologisch product. Ze zijn gebed in de culturele en sociale bagage van samenlevingen met een geschiedenis en dus ook met misvattingen en vooroordelen. Als je ze inzet is de kans niet denkbeeldig dat je fouten maakt. Het blijkt bijvoorbeeld dat mensen met een donkerder gezicht vaker als verdacht aangemerkt worden dan met een lichter gekleurd gelaat. Onderklasse, vrouwen, en etnische minderheden lopen grotere risico’s dan de dominante witte mannen uit de middenklasse, blijkt uit onderzoek. Er is een verband tussen geschiedenis, data, cultuur en algoritmes. Het wordt pas een probleem als je niet wilt zien dat hier geen sprake is van objectieve feiten en formules. Dit wordt nog problematischer als je deze technologie los laat op situaties in landen die je slecht kent, zoals “steden en sociale verbanden in Afrika, Latijns-Amerika, Azië of het Midden-Oosten.” En onthoud alsjeblieft “mensen zijn niet gewoonweg een verzameling van data stippen,” het zijn wezens met oneindig veel mogelijkheden en eigenaardigheden. Dat kan onhandig zijn voor de verwerking in programma’s, maar het is wel wie we echt zijn. Ergens in het boek wordt het handelen van financiële deskundigen opgevoerd, die allerlei producten ontwikkelden, die ingewikkeld leken en pas toen de financiële crisis van 2008 zich ontrolde werden bestudeerd. We moesten wel. Maar toen zaten we al in de prut. Zo moeten we ook nu niet denken het is te ingewikkeld, anders zitten we straks opgescheept met de techniek van deskundigen die niet kunnen of willen begrijpen hoe schadelijk hun producten kunnen zijn. En dat geldt niet alleen voor China, maar ook voor het Westen.

Hindernis

De schrijver stelt dat een verbod op autonome wapens door de Verenigde Naties wenselijk is. In de Nederlandse Volkskrant stond een voorstel waarom en hoe dit aan te pakken (overigens was ook Salima Belhaj van D66 tijdens een debat over autonome wapens duidelijk over een route). Het is een aanpak die de methode van de campagne tegen anti-personeelsmijnen volgt van de jaren tachtig en negentig van de vorige eeuw en de evengoed of minder geslaagde campagnes tegen omstreden wapens die volgden. De hindernis daarbij wordt in het boek wel eens genoemd. De techniek is als koren op de militaire molen. De Chinese en Russische dreiging wordt gebruikt om het dringende en onvermijdelijke van dergelijke wapens te bepleiten. Daarmee wordt het militaire establishment in brede zin een machtige tegenstander.
De autonome wapens maken een verschil op het slagveld en je kan je moeilijk een digitaal Pearl harbour veroorloven door ze buiten te sluiten. Om met de woorden van VVD en CDA defensiewoordvoerders Valstar en Boswijk tijdens het debat over autonome wapens te spreken: “Als wij roomser zijn dan de paus, kan dat desastreuze gevolgen hebben.” De Nederlandse Minister van Defensie Ollongren ziet ook voordelen. Minister Hoekstra van Buitenlandse Zaken wil niet voor de troepen uitlopen en dan de Amerikanen te hulp roepen als we ze nodig hebben. Allen benadrukken dat ze zich wel aan eht internationaal recht zullen houden. Het is een redenering die te volgen is, maar juist omdat de ontwikkeling zo ingrijpend is, is het nodig dat er verboden komen op autonome wapens vergelijkbaar met die voor NBC-wapens en beperkingen op het gebruik van niet volledig autonome wapens vergelijkbaar met die op omstreden wapens. We moeten dan wel zoeken naar een wereld met meer samenwerking in plaats van een wereld met meer polarisatie. Anders gaat het inderdaad niet lukken. Makkelijk zal dit niet zijn.

Zo lang autonome wapens een militair voordeel op kunnen leveren, hoge militaire uitgaven noodzakelijk maken (wat een schare aan goed betaalde lobbyisten oplevert) en de spanningen tussen Oost en West met de dag verder worden opgejaagd, zal een campagne tegenargumenten opleveren,* wat bramen weg vijlen, maar een kant op gaan waar al die campagnes goed geïnformeerd tegen strijden. Wetenschappelijke ontwikkelingen vallen immers niet te stoppen, zoals de Nederlandse Minister van Defensie stelde. Wat dan? Er is niet één antwoord. De antropologische invalshoek van Virtual War en de manier van vertellen geven veel stof tot nadenken. Op grond van de ideeën van González lijkt een verbreding van de samenwerking tussen sociale en technische disciplines, tussen regio’s, sociale lagen, tussen een Myanmarese vrijheidsstrijder, een Russische deserteur, een moeder uit Charkov, een klimaatvluchteling uit Kiribati, een Koerd uit Syrië en een student uit Eindhoven van groot belang. Luister naar elkaars kritiek om het leven op deze planeet te verbeteren. En inderdaad geautomatiseerde oorlog past daar niet in. We zijn niet gediend met een wapenwedloop 3.0. Ontwapening en ontspanning, diplomatie en verzet tegen ontwikkelingen die slechts de belangen een elite in Oost en West en Noord en Zuid dienen zijn de noodzakelijke ingrediënten. Goed geïnformeerd dat wel, maar slechts een technocratische aanpak zal mislukken. Net zoals de landmijnen bleven liggen daar waar men dat nodig vond ondanks het verbod. Hier zullen dergelijke lacunes oneindig veel schadelijker zijn.

——————–

* Alleen al in de afgelopen week kwamen twee boek aankondigen in mijn virtuele omgeving voorbij: Christopher Sabatini, ‘Reclaiming Human Rights in a Changing World Order,’ en Thomas Reinhold & Niklas Schörnig (red) ‘Armament, Arms Control and Artificial Intelligence. The Janus-faced Nature of Machine Learning in the Military Realm’.