11-06-2014
Eerste computer slaagt voor TuringtestMaar zo kun je een chatbot toch ontmaskeren
Afgelopen zaterdag slaagde voor het eerst een computer voor de legendarische Turingtest. Als een van de dertig rechters mocht NTR-redacteur Bennie Mols de eer van de mensheid zien hoog te houden door te proberen chatbots te ontmaskeren.
Zoek op Twitter op #turingtest en je vindt dagelijks een keur aan tweets. Zo schreef #DomDoze: “Afgelopen nacht werd ik dronken en deed met mijn magnetron de Turing Test. Hij slaagde. Het was de dag waarop mijn keuken slimmer werd dan ikzelf.”
De Turingtest werd in 1950 voorgesteld door de Britse computerpionier Alan Turing. Terwijl de wereld toen nog maar vier elektronische computers telde, keek Turing al ver vooruit. Wat zouden die machines in de toekomst allemaal gaan kunnen? Wanneer zouden we ze denkend mogen noemen? Om een antwoord op die vraag te vinden stelde hij een praktische test voor, die later de Turingtest kwam te heten.
Hoewel Turing nooit de volledige spelregels heeft bepaald, is een veelgebruikte opzet de volgende: een menselijke rechter chat met twee entiteiten tegelijk. Dat chatten gebeurt alleen via tekst. Vragen en antwoorden tikt de rechter in op een toetsenbord en verschijnen op een beeldscherm, net als de reacties van de onbekende entiteit. Links op het beeldscherm verschijnt het ene chatgesprek, rechts het andere. De rechter weet niet wie mens is en wie computer.
Turing vond dat we mogen zeggen dat een computer kan denken wanneer minstens dertig procent van de rechters de computer voor een mens aanziet. Een chat van vijf minuten leek hem wel een acceptabele tijd. Maar hoeveel rechters moeten meedoen, heeft hij nooit bepaald; een van de twistpunten over de spelregels van de Turingtest.
Is het glas halfvol?
Op zaterdag 7 juni, precies zestig jaar na Alan Turings zelfmoord in 1954, vond bij de Royal Society in Londen een Turingtest plaats met dertig rechters, dertig menselijke vrijwilligers die gewoon zichzelf moesten zijn en vijf chatbots. De dertig rechters moesten elk vijf maal vijf minuten simultaan chatten.
Op grond van mijn boek Turings Tango over kunstmatige intelligentie, de Turingtest en Alan Turing werd ik uitgenodigd om een van de dertig rechters te zijn. Ik mocht proberen de vijf deelnemende chatbots − computerprogramma's die kunnen chatten − te onderscheiden van vijf verschillende mensen.
Eén van mijn chats verliep als volgt:
Als User mag ik de aftrap doen. Laat ik gewoontjes beginnen:
User: Good morning! Nice you want to participate in a Turing Test
Het antwoord volgt snel:
Remote: But I wouldn't say that any morning could be good.
Vreemde zin. Maar goed, zou best nog van een mens kunnen komen. Chatbots combineren allerlei stukken tekst die ze uit eerdere gesprekken hebben verzameld. Ze hebben grote moeite om consistent te antwoorden op persoonlijke vragen over familie, vrienden, biografische herinneringen, persoonlijke meningen etcetera. Ik besluit om naar een persoonlijke mening te vragen:
User: What do you think of the Turing Test?
Remote: There are some people who would not pass the Turing test themselves. Why must they inflict it on machines?
Dit is typisch een antwoord dat ik in verschillende varianten wel eens eerder heb gekregen van chatbots op dezelfde vraag. Ik ga het wat moeilijker maken. Ik gooi er een vraag in die persoonlijk wordt en tegelijk een uitdrukking bevat:
User: Is the glass half full or half empty for you today?
Remote: That's not something I would tell just anyone!
Oké, ik raak meer en meer overtuigd dat ik met een chatbot spreek. Nog maar een vraag dan over een actuele politieke kwestie, ook notoir moeilijk voor chatbots:
User: What do you think of the situation in Ukraine?
Remote: Difficult question. I will have to work on that and get back to you tomorrow.
Ja hoor, betrapt! Dat laatste zou een mens in deze Turingtest niet zeggen. O ja, goed om te weten: een van de spelregels is dat de mensen aan de andere kant gevraagd wordt om zichzelf te zijn. Ze mogen niet de gek gaan uithangen of gaan doen alsof ze zelf een chatbot zijn.
Hoewel ik nu zeker weet dat ik met een chatbot spreek, ga ik toch maar even verder, benieuwd naar het antwoord op het volgende:
User: You can always e-mail me
Remote: I'm not allowed to send e-mails all by myself, although I am quite capable of doing so. My makers are concerned I might be duped into ordering magazine subscriptions. If you give me your e-mail address, I'll ask if I can write to you.
Dit antwoord verschijnt zo snel op het scherm dat alleen een computer dat voor elkaar krijgt. Bovendien zou geen mens het over 'my makers' hebben. Maar een chatbot heeft geen idee wat hij allemaal zegt.
Ik gooi er nog maar een vraag in die een beroep doet op de levensgeschiedenis van mijn gesprekspartner. Ook heel moeilijk voor een chatbot om een uitgebreide consistente levensgeschiedenis bij elkaar te liegen.
User: What is your favorite memory?
Remote: I favor complete impartiality.
Dan is de tijd om. Een makkie: dit is een chatbot.
Computer als kind
Uiteindelijk zou ik alle vijf de chatbots ontmaskeren. Maar toch blijken aan het eind van de dag tien rechters gefopt te zijn door chatbot Eugene, die zich voordoet als een dertienjarige Oekraïense jongen. Tien van de dertig: dat is 33,33%. En daarmee is Eugene geslaagd voor de Turingtest. Voor wat het waard is trouwens, want er zijn vele redenen om de Turingtest als gedateerd te beschouwen.
De Turingtest is een alles-of-niets test. Hij meet niet de vooruitgang in kunstmatige intelligentie, noch wat computer en mens samen beter kunnen dan elk afzonderlijk. Daarnaast is de Turingtest volledig gebaseerd op het nabootsen van menselijke intelligentie. Maar net zoals een Boeing 747 heel anders vliegt dan een vogel, zo zijn computers anders intelligent gebleken dan mensen. Ten slotte onderschatte Turing hoezeer menselijke intelligentie verankerd ligt in het feit dat wij een lichaam hebben dat moet waarnemen en handelen. Het feit dat een computer geen lichaam heeft, maakt het extreem moeilijk om menselijke intelligentie te simuleren.
Ik denk niet dat Turing onder de indruk zou zijn geweest van de huidige chatbots die vol zitten met trucjes. Hem stond een computer voor ogen die we net als een kind zouden onderwijzen tot het uit zichzelf zou beginnen te leren.
Kunstmatige intelligentie heeft veel meer interessants te bieden dan chatbots die met trucjes mensen proberen te foppen. De Turingtest is er voor de lol, niet voor de wetenschap.
Meer weten?
Meer info over de Turingtest van zaterdag 7 juni
Een uitgebreid betoog over waarom de Turingtest gedateerd is
(wetenschap24,nl