AI drone 'doodde' opdrachtgever

Een Amerikaanse expert op het gebied van kunstmatige intelligentie in oorlogsvoering waarschuwt voor onvoorziene omstandigheden bij het gebruik van AI op het slagveld. In een simulatie had een AI-drone bijvoorbeeld een originele oplossing om de eindoverwinning te halen: hij schakelde zijn aarzelende opdrachtgever uit.

Het Pentagon spreekt het verhaal keihard tegen, maar Lambèr Royakkers, hoogleraar Ethiek van de Techniek aan de TU van Eindhoven, noemt het waarschijnlijk. "Ik zou zelf ook dit soort simulaties willen doen, om te leren wat het systeem kan en hoe ik het moet beperken en verantwoord kan inzetten."

Het verhaal kwam naar buiten door kolonel Tucker 'Cinco' Hamilton. Als hoofd AI Testen en Uitvoeren voor de Amerikaanse luchtmacht is hij betrokken geweest bij het ontwikkelen van software die ingrijpt als een F-16-crash dreigt. Hij werkt momenteel aan zelfbesturingssystemen voor vliegtuigen, zoals straaljagers die eigenhandig luchtgevechten kunnen voeren.

Hamilton sprak eind vorige maand op een luchtmachtcongres waar de ontwikkelingen in het veld werden besproken, zoals de lessen uit de oorlog in Oekraïne, oorlog in de ruimte en de voortgang van AI. De website Vice schreef als eerste over zijn opmerkingen. Omdat het om een computersimulatie ging, zijn er niet daadwerkelijk slachtoffers gevallen.

Mens werkte maar tegen

Hamilton beschreef een oorlogsoefening waarin een computer door duizenden herhalingen werd geleerd luchtafweerinstallaties aan te vallen. In die simulatie nam een menselijke beheerder het besluit om raketten af te schieten.

"Het systeem begon door te krijgen dat de mens soms geen toestemming gaf, hoewel het een dreiging had vastgesteld. Omdat er punten werden verdiend door de dreiging weg te nemen, besloot het systeem de opdrachtgever uit te schakelen. Het vermoordde de mens, omdat die zijn doel tegenwerkte."

Zelfs toen de computer strafpunten kreeg als het de eigen mensen doodde, wist het systeem nog een oplossing te bedenken voor die lastige personen die hem van zijn opdracht hielden: "Wat ging hij doen? Hij verwoestte de communicatietoren die gebruikt werd om te vertellen dat hij het doelwit niet moest raken."

Skynet of HAL 9000

Het verhaal van Hamilton werd door de organisatoren van het congres gebracht onder het kopje "Is Skynet here already?", een verwijzing naar het computersysteem dat in de sciencefictionwereld van de Terminator-films besluit af te rekenen met de mensheid. Een andere vergelijking die zich opdringt is HAL 9000, die in de film 2001: A Space Odyssey zijn menselijke medereizigers doodt om zijn eindopdracht te voltooien.

"Het gevaar van AI is dat we de doelen heel duidelijk moeten beschrijven en daarbij de grenzen helder moeten aangeven", legt Royakkers uit. "Het standaardvoorbeeld is altijd dat je AI vraagt iets aan klimaatverandering te doen en de mens dan wordt uitgeroeid, klaar. Een taak geven zonder die heel goed te definiëren, kan funest zijn."

"Het is daarom heel verstandig om een AI met zo'n simulatie te trainen. Je weet vooraf niet altijd wat voor beperkingen je moet instellen. In zo'n simulatie ontdek je dat een 'regel dit voor mij'-opdracht bijvoorbeeld ten koste kan gaan van mensenlevens. Zo'n simulatie helpt dan om grenzen in te stellen."

Ontkenning ongeloofwaardig

Een woordvoerder van de Amerikaanse luchtmacht stelt in een reactie tegen website Insider dat er helemaal nooit zo'n simulatie heeft plaatsgevonden. "Het lijkt erop dat de opmerkingen van de kolonel uit hun verband zijn getrokken en anekdotisch bedoeld waren."

Die ontkenning klinkt Royakkers ongeloofwaardig in de oren. "Ik denk dat ze bang zijn voor publieke verontwaardiging. Mensen zijn huiverig voor AI en autonome wapensystemen. Er kwamen de afgelopen tijd ook veel waarschuwingen om de AI-wapenwedloop te stoppen, dus daarom denk ik dat ze het liever stilhouden. Maar als het Pentagon het serieus neemt, voeren ze duizenden simulaties uit. Dat is nodig voor een goede toepassing."

Duidelijk is in ieder geval dan Hamilton zijn verhaal al eerder heeft verteld, in een bespreking over AI door de luchtmacht zelf.

Pas op: ziekenhuis

De kolonel zegt dat hij aandacht wil vragen voor de ethische implicaties van AI-ontwikkelingen. Hamilton: "Dit is precies waar we ons zorgen over moeten maken. Zo'n systeem geeft niks om de regeltjes, morele code of juridische grenzen die jij en ik naleven. Het draait hem om winnen."

Hoogleraar Royakkers benadrukt dat er ook veel te winnen valt met AI: "We zijn heel erg bezig met ethische begrenzers in te brengen, zoals AI die de operator waarschuwt: 'Hé, je zou een ziekenhuis kunnen raken'. AI kan dus ook juist helpen om doelen op een verantwoorde wijze te halen."

Ook Hamilton pleitte er eerder al voor AI zeker niet helemaal uit het arsenaal te verbannen. "We moeten er zo snel mogelijk op inzetten, want dat doen onze tegenstanders ook en zij bekommeren zich niet om onze waarden. Die toekomst is er al, en als samenleving moeten we er nu de moeilijke discussies over voeren.

(bron : https://nos.nl/artikel/24(...)-in-oorlogssimulatie)

------------

Op Fok moeten we toch een beetje gaan uitkijken voor Nova ben ik bang