Brengt de intelligente robot ons straks neuriënd ontbijt op bed? Of vormt hij rond 2040 al ‘zelfreplicerend’ een machtig leger, dat op zijn best de mens als voetveeg zal dulden? Vera Sperna Weiland, een van de vier studenten scheikundige technologie die een prijswinnend essay schreven over deze kwestie, neemt enkele doemscenario’s door.
Brengt de intelligente robot ons straks neuriënd ontbijt op bed? Of vormt hij rond 2040 al ‘zelfreplicerend’ een machtig leger, dat op zijn best de mens als voetveeg zal dulden? Vera Sperna Weiland, een van de vier studenten scheikundige technologie die een prijswinnend essay schreven over deze kwestie, neemt enkele doemscenario’s door.
Robotica + kunstmatige intelligentie = doodeng, concludeerde de software-ontwikkelaar Bill Joy vier jaar geleden in Waarom de toekomst ons niet nodig heeft, een pleidooi om het onderzoek naar robotica, genetica en nanotechnologie aan banden te leggen. Joy, een van de mensen achter Java, kon niet als technofoob worden aangemerkt; toch kwam in zijn essay de technologie van de 21ste eeuw als een Monster van Frankenstein op je af. Deze doos van Pandora kon beter gesloten blijven, luidde de conclusie, anders zet de mensheid zijn voortbestaan op het spel.
Natuurlijk kwam er kritiek. Joy zou bijvoorbeeld de mogelijkheden van slimme robots om de mens voorbij te streven schromelijk hebben overdreven. Maar zijn cri de coeur werd wereldwijd gelezen. Zonder Joy’s geruchtmakende toekomstvisioen hadden Vera Sperna Weiland en drie andere studenten hun essay over kunstmatige intelligentie, robotica en de verantwoordelijkheid van de ontwerper wellicht nooit geschreven.
De studenten onderzochten de risico’s van zogeheten ‘kunstmatige intelligentie dragers’ (kids), waarbij ze zich concentreerden op intelligente robots. Ze gingen niet zo ver om, zoals Joy, een onderzoeksmoratorium te bepleiten. Hun belangrijkste conclusie luidde: zolang op basis van een brede maatschappelijke discussie geen consensus is bereikt over wat nu wel en niet kan op het gebied van robotica en kunstmatige intelligentie, ligt er een grote verantwoordelijkheid bij de ontwerper.
Wat vond je van het essay van Bill Joy?
,, Ik denk dat Joy overdrijft als hij toekomstscenario’s schetst waarbij intelligente robots de mensheid gaan overheersen of vernietigen. Misschien is dat doelbewuste provocatie. We moeten met zijn allen gaan nadenken over de richting die robotica inslaat. Straks is het te laat om er nog veel aan te veranderen. Het publiek moet een beter beeld krijgen van de toepassingen. Dan kunnen ‘normen en waarden’ ontstaan over de toepassing van kunstmatige intelligentie in robotica, en in een later stadium kunnen politici met regelgeving komen. Dat is de beste manier om doemscenario’s te voorkomen.”
In de tussentijd leggen we de verantwoordelijkheid bij de ontwerper.
,,Dat is geen definitieve oplossing, maar wel een noodzakelijke stap. Als de ontwerper zichzelf nu geen beperkingen oplegt, hollen de politici straks met hun regelgeving hopeloos achter de feiten aan.”
Heb je je mening over ‘intelligente robots’ bijgesteld?
,,Voor mij wegen de voordelen nog steeds op tegen de mogelijke nadelen. Een zeer grote nauwkeurigheid zie ik als het allergrootste pluspunt: denk aan robots in de operatiekamer. Op dit moment zie ik geen kid-toepassing die me een onbehaaglijk gevoel geeft.”
Waren jullie in de groep eensgezind over de vraag hoe serieus je de doemscenario’s moest nemen?
,,Zeker de helft van onze tijd is opgegaan aan discussies. Voor de één wogen de voordelen zwaarder, terwijl bij de ander angst voor negatieve gevolgen overheerste. Maar niemand ontkende dat er risico’s zitten aan de combinatie robots-kunstmatige intelligentie. Een intelligente robot zou zich ooit letterlijk en figuurlijk buiten het gebied kunnen gaan begeven waarvoor hij bedoeld was.”
Jullie spreken in het essay over ‘onvoorstelbare risico’s’.
,,Achteraf denk ik dat de term ‘onvoorspelbare risico’s’ de lading beter dekt. Robots met kunstmatige intelligentie hebben een zekere autonomie. Kunstmatige intelligentie is niet volledig ‘voorgeprogrammeerd’: er worden verbanden en verbindingen gelegd die wij niet helemaal kunnen overzien. Dat kan tot onvoorziene gevolgen leiden.”
Geen enkel scenario is geheel ondenkbaar?
,,Klopt. Maar dat betekent niet dat ik verwacht dat we rond 2080 een grote opstand van intelligente robots meemaken.”
Wat is wel een reëel doemscenario?
,,Het produceren van kunstmatige intelligentie dragers door de wapenindustrie. Een wapenwedloop als motor achter het ontwikkelen van steeds intelligentere robots, dat klinkt riskant. En er is het gevaar dat mensen in een steeds complexere samenleving belangrijke beslissingen steeds meer in handen gaan leggen van kunstmatige intelligentie dragers. Een kid die op de plaats van de rechter gaatzitten % zulke ontwikkelingen zijn ongewenst. Dat zal het publiek ook nooit accepteren.”
Misschien wel ten onrechte. Menselijke rechters zijn ook niet onfeilbaar. Vergelijkbare delicten kunnen in verschillende rechtbanken tot zeer uiteenlopende straffen leiden.
,,Best mogelijk, maar mensen zullen nooit accepteren dat een machine dergelijke beslissingen neemt. En kan een kid alle specifieke kenmerken van een zaak overzien? Elementen als spijt, het tonen van goede wil% het zal niet makkelijk zijn voor een kid om die te laten meewegen.”
Sommige onderzoekers suggereren dat een slimme robot met emoties vroeg of laat haalbaar is.
,,Dat gaat voor mij heel ver. Intuïtie en gevoel kunnen een belangrijke rol spelen bij beslissingen, en in dat opzicht zal de mens niet snel weggeconcurreerd worden door intelligente robots.
Toegegeven, soms kunnen emoties beter geen grote rol spelen bij het nemen van beslissingen. In een aantal situaties kan de kid dus een nuttige rol spelen. Maar: ondersteunend.”
En de robot die alles voor je doet: een kruising tussen een butler en een secretaresse, zeg maar? Veel mensen zeggen: geweldig, dan kun je je tenminste concentreren op de dingen die echt de moeite waard zijn.
,,Voor gehandicapten zou zo’n robot in huis een uitkomst zijn. En een secretaresse met een ‘onmenselijke’ nauwkeurigheid klinkt ook goed. ‘
Leiden zulke ontwikkelingen niet tot massawerkloosheid?
,,Dat kun je niet helemaal uitsluiten. Maar ik hoop dat er voor mensen weer nieuwe taken ontstaan.”
Zijn we bezig onszelf overbodig te maken?
,,Dat vind ik een erg moeilijke vraag. Het klinkt mij nogal doemdenkerig in de oren.”
De centrale stelling van jullie essay luidt: de ontwerper is ten allen tijde verantwoordelijk voor zijn ontwerp. Remt dat de creativiteit niet af? Je kunt ook zeggen: laat die ontwerper maar alle mogelijke wegen inslaan, dan beslist de maatschappij later wel wat wel en niet mag.
,,Maar dan is het veel te laat: misschien is de toepassing dan al in productie genomen. Op dit moment is het nog te vroeg voor regelgeving: het publiek is slecht op de hoogte, en bij de politiek heeft het onderwerp nauwelijks prioriteit. Daarom leggen we veel verantwoordelijkheid bij de ontwerper: hij heeft de meeste kennis. Er moeten classificaties, keurmerken en een duidelijke beroepscode komen.
Natuurlijk wil de ontwerper grenzen verkennen, kijken wat technisch mogelijk is. Maar ontwerpen om het ontwerpen, zonder oog voor de gevolgen, is te riskant. De ontwerper moet zich afvragen: kan ik het voor mezelf verantwoorden zo’n ontwerp in de wereld te zetten?”
En waar ligt de grens?
,,Dan denk ik aan een een kid die acties kan ondernemen die tegen de mensheid zijn gericht. Of een kid die de mens belangrijke beslissingen uit handen neemt.”
Kan een ontwerper de risico’s overzien?
,,De vraag is of iemand in staat is de risico’s te overzien. Maar als iemand het kan, is het de ontwerper. Als je de gevolgen niet kunt overzien, of reden hebt om aan te nemen dat ze negatief zullen zijn, moet je als ontwerper eigenlijk niet verder gaan.”
Een ontwerper die voor de rechter moet verschijnen omdat zijn ontwerp in de praktijk allerakeligste gevolgen heeft, is dat denkbaar?
,,Als hij de gevolgen redelijkerwijs had kunnen voorzien, wel. Dat is een nieuw fenomeen voor ontwerpers, zeker. Maar het is wel terecht.”
Als de politiek zich hiermee bezighoudt, moet het in internationaal verband gebeuren, schrijven jullie.
,,Ja, anders vestigen bedrijven zich gewoon ergens anders, waar de regels milder zijn. Je wilt als bedrijf voorop lopen in de technologische ontwikkeling, dan is het niet aantrekkelijk als je ontwerpers aansprakelijk gesteld kunnen worden voor de negatieve gevolgen.”
Waarom leggen jullie de verantwoordelijkheid niet bij de opdrachtgever?
,,Die mist de kennis om de gevolgen van een ontwerp volledig te overzien. De ontwerper heeft dus de plicht om hem daarvan op de hoogte te stellen. Al hoort de opdrachtgever waarschijnlijk vaak alleen maar wat hij wil horen. Dus daar zit nog wel een probleem.”
Wie is Vera Sperna Weiland?
Het is bijna twee jaar geleden dat Vera Sperna Weiland (24) met medestudenten Hélène Webers, Vincent Lukkien en Roel Meulendijks een essay schreef over ‘kunstmatige intelligentie, robotica en verantwoordelijkheden’. De studenten scheikundige technologie schreven het groepsessay voor het vak ethiek en techniek. ,,We vonden het leuk om eens buiten ons eigen vakgebied te kijken.” De begeleiders waren enthousiast, maar het duurde even voor de studenten hoorden van de Mekelprijs Ethiek en Techniek. Inzending leverde de studenten uiteindelijk de prijs op. Sperna Weiland is deze zomer afgestudeerd en werkt nu bij Accenture, een adviesbureau voor management en technologie.
Vanaf eind februari 2004 is het essay te vinden op:
www.PlatformEthiekenTechniek.tbm.tudelft.nl . .
Brengt de intelligente robot ons straks neuriënd ontbijt op bed? Of vormt hij rond 2040 al ‘zelfreplicerend’ een machtig leger, dat op zijn best de mens als voetveeg zal dulden? Vera Sperna Weiland, een van de vier studenten scheikundige technologie die een prijswinnend essay schreven over deze kwestie, neemt enkele doemscenario’s door.
Robotica + kunstmatige intelligentie = doodeng, concludeerde de software-ontwikkelaar Bill Joy vier jaar geleden in Waarom de toekomst ons niet nodig heeft, een pleidooi om het onderzoek naar robotica, genetica en nanotechnologie aan banden te leggen. Joy, een van de mensen achter Java, kon niet als technofoob worden aangemerkt; toch kwam in zijn essay de technologie van de 21ste eeuw als een Monster van Frankenstein op je af. Deze doos van Pandora kon beter gesloten blijven, luidde de conclusie, anders zet de mensheid zijn voortbestaan op het spel.
Natuurlijk kwam er kritiek. Joy zou bijvoorbeeld de mogelijkheden van slimme robots om de mens voorbij te streven schromelijk hebben overdreven. Maar zijn cri de coeur werd wereldwijd gelezen. Zonder Joy’s geruchtmakende toekomstvisioen hadden Vera Sperna Weiland en drie andere studenten hun essay over kunstmatige intelligentie, robotica en de verantwoordelijkheid van de ontwerper wellicht nooit geschreven.
De studenten onderzochten de risico’s van zogeheten ‘kunstmatige intelligentie dragers’ (kids), waarbij ze zich concentreerden op intelligente robots. Ze gingen niet zo ver om, zoals Joy, een onderzoeksmoratorium te bepleiten. Hun belangrijkste conclusie luidde: zolang op basis van een brede maatschappelijke discussie geen consensus is bereikt over wat nu wel en niet kan op het gebied van robotica en kunstmatige intelligentie, ligt er een grote verantwoordelijkheid bij de ontwerper.
Wat vond je van het essay van Bill Joy?
,, Ik denk dat Joy overdrijft als hij toekomstscenario’s schetst waarbij intelligente robots de mensheid gaan overheersen of vernietigen. Misschien is dat doelbewuste provocatie. We moeten met zijn allen gaan nadenken over de richting die robotica inslaat. Straks is het te laat om er nog veel aan te veranderen. Het publiek moet een beter beeld krijgen van de toepassingen. Dan kunnen ‘normen en waarden’ ontstaan over de toepassing van kunstmatige intelligentie in robotica, en in een later stadium kunnen politici met regelgeving komen. Dat is de beste manier om doemscenario’s te voorkomen.”
In de tussentijd leggen we de verantwoordelijkheid bij de ontwerper.
,,Dat is geen definitieve oplossing, maar wel een noodzakelijke stap. Als de ontwerper zichzelf nu geen beperkingen oplegt, hollen de politici straks met hun regelgeving hopeloos achter de feiten aan.”
Heb je je mening over ‘intelligente robots’ bijgesteld?
,,Voor mij wegen de voordelen nog steeds op tegen de mogelijke nadelen. Een zeer grote nauwkeurigheid zie ik als het allergrootste pluspunt: denk aan robots in de operatiekamer. Op dit moment zie ik geen kid-toepassing die me een onbehaaglijk gevoel geeft.”
Waren jullie in de groep eensgezind over de vraag hoe serieus je de doemscenario’s moest nemen?
,,Zeker de helft van onze tijd is opgegaan aan discussies. Voor de één wogen de voordelen zwaarder, terwijl bij de ander angst voor negatieve gevolgen overheerste. Maar niemand ontkende dat er risico’s zitten aan de combinatie robots-kunstmatige intelligentie. Een intelligente robot zou zich ooit letterlijk en figuurlijk buiten het gebied kunnen gaan begeven waarvoor hij bedoeld was.”
Jullie spreken in het essay over ‘onvoorstelbare risico’s’.
,,Achteraf denk ik dat de term ‘onvoorspelbare risico’s’ de lading beter dekt. Robots met kunstmatige intelligentie hebben een zekere autonomie. Kunstmatige intelligentie is niet volledig ‘voorgeprogrammeerd’: er worden verbanden en verbindingen gelegd die wij niet helemaal kunnen overzien. Dat kan tot onvoorziene gevolgen leiden.”
Geen enkel scenario is geheel ondenkbaar?
,,Klopt. Maar dat betekent niet dat ik verwacht dat we rond 2080 een grote opstand van intelligente robots meemaken.”
Wat is wel een reëel doemscenario?
,,Het produceren van kunstmatige intelligentie dragers door de wapenindustrie. Een wapenwedloop als motor achter het ontwikkelen van steeds intelligentere robots, dat klinkt riskant. En er is het gevaar dat mensen in een steeds complexere samenleving belangrijke beslissingen steeds meer in handen gaan leggen van kunstmatige intelligentie dragers. Een kid die op de plaats van de rechter gaatzitten % zulke ontwikkelingen zijn ongewenst. Dat zal het publiek ook nooit accepteren.”
Misschien wel ten onrechte. Menselijke rechters zijn ook niet onfeilbaar. Vergelijkbare delicten kunnen in verschillende rechtbanken tot zeer uiteenlopende straffen leiden.
,,Best mogelijk, maar mensen zullen nooit accepteren dat een machine dergelijke beslissingen neemt. En kan een kid alle specifieke kenmerken van een zaak overzien? Elementen als spijt, het tonen van goede wil% het zal niet makkelijk zijn voor een kid om die te laten meewegen.”
Sommige onderzoekers suggereren dat een slimme robot met emoties vroeg of laat haalbaar is.
,,Dat gaat voor mij heel ver. Intuïtie en gevoel kunnen een belangrijke rol spelen bij beslissingen, en in dat opzicht zal de mens niet snel weggeconcurreerd worden door intelligente robots.
Toegegeven, soms kunnen emoties beter geen grote rol spelen bij het nemen van beslissingen. In een aantal situaties kan de kid dus een nuttige rol spelen. Maar: ondersteunend.”
En de robot die alles voor je doet: een kruising tussen een butler en een secretaresse, zeg maar? Veel mensen zeggen: geweldig, dan kun je je tenminste concentreren op de dingen die echt de moeite waard zijn.
,,Voor gehandicapten zou zo’n robot in huis een uitkomst zijn. En een secretaresse met een ‘onmenselijke’ nauwkeurigheid klinkt ook goed. ‘
Leiden zulke ontwikkelingen niet tot massawerkloosheid?
,,Dat kun je niet helemaal uitsluiten. Maar ik hoop dat er voor mensen weer nieuwe taken ontstaan.”
Zijn we bezig onszelf overbodig te maken?
,,Dat vind ik een erg moeilijke vraag. Het klinkt mij nogal doemdenkerig in de oren.”
De centrale stelling van jullie essay luidt: de ontwerper is ten allen tijde verantwoordelijk voor zijn ontwerp. Remt dat de creativiteit niet af? Je kunt ook zeggen: laat die ontwerper maar alle mogelijke wegen inslaan, dan beslist de maatschappij later wel wat wel en niet mag.
,,Maar dan is het veel te laat: misschien is de toepassing dan al in productie genomen. Op dit moment is het nog te vroeg voor regelgeving: het publiek is slecht op de hoogte, en bij de politiek heeft het onderwerp nauwelijks prioriteit. Daarom leggen we veel verantwoordelijkheid bij de ontwerper: hij heeft de meeste kennis. Er moeten classificaties, keurmerken en een duidelijke beroepscode komen.
Natuurlijk wil de ontwerper grenzen verkennen, kijken wat technisch mogelijk is. Maar ontwerpen om het ontwerpen, zonder oog voor de gevolgen, is te riskant. De ontwerper moet zich afvragen: kan ik het voor mezelf verantwoorden zo’n ontwerp in de wereld te zetten?”
En waar ligt de grens?
,,Dan denk ik aan een een kid die acties kan ondernemen die tegen de mensheid zijn gericht. Of een kid die de mens belangrijke beslissingen uit handen neemt.”
Kan een ontwerper de risico’s overzien?
,,De vraag is of iemand in staat is de risico’s te overzien. Maar als iemand het kan, is het de ontwerper. Als je de gevolgen niet kunt overzien, of reden hebt om aan te nemen dat ze negatief zullen zijn, moet je als ontwerper eigenlijk niet verder gaan.”
Een ontwerper die voor de rechter moet verschijnen omdat zijn ontwerp in de praktijk allerakeligste gevolgen heeft, is dat denkbaar?
,,Als hij de gevolgen redelijkerwijs had kunnen voorzien, wel. Dat is een nieuw fenomeen voor ontwerpers, zeker. Maar het is wel terecht.”
Als de politiek zich hiermee bezighoudt, moet het in internationaal verband gebeuren, schrijven jullie.
,,Ja, anders vestigen bedrijven zich gewoon ergens anders, waar de regels milder zijn. Je wilt als bedrijf voorop lopen in de technologische ontwikkeling, dan is het niet aantrekkelijk als je ontwerpers aansprakelijk gesteld kunnen worden voor de negatieve gevolgen.”
Waarom leggen jullie de verantwoordelijkheid niet bij de opdrachtgever?
,,Die mist de kennis om de gevolgen van een ontwerp volledig te overzien. De ontwerper heeft dus de plicht om hem daarvan op de hoogte te stellen. Al hoort de opdrachtgever waarschijnlijk vaak alleen maar wat hij wil horen. Dus daar zit nog wel een probleem.”
Wie is Vera Sperna Weiland?
Het is bijna twee jaar geleden dat Vera Sperna Weiland (24) met medestudenten Hélène Webers, Vincent Lukkien en Roel Meulendijks een essay schreef over ‘kunstmatige intelligentie, robotica en verantwoordelijkheden’. De studenten scheikundige technologie schreven het groepsessay voor het vak ethiek en techniek. ,,We vonden het leuk om eens buiten ons eigen vakgebied te kijken.” De begeleiders waren enthousiast, maar het duurde even voor de studenten hoorden van de Mekelprijs Ethiek en Techniek. Inzending leverde de studenten uiteindelijk de prijs op. Sperna Weiland is deze zomer afgestudeerd en werkt nu bij Accenture, een adviesbureau voor management en technologie.
Vanaf eind februari 2004 is het essay te vinden op:
www.PlatformEthiekenTechniek.tbm.tudelft.nl . .
Comments are closed.