‘Veiligheid is bijna in alle technologie ontwikkeling aanwezig’

Onder leiding van het Safety & Security Institute breiden de Technische Universiteit Delft, TNO en de Nationale Politie hun samenwerking uit om innovatieve oplossingen te bedenken voor nationale veiligheidsvraagstukken. Behnam Taebi is wetenschappelijk directeur van het instituut. Er lopen verschillende promotieonderzoeken, onder meer naar methoden om interessante personen beter te kunnen vinden in de grote hoeveelheden data en het verbeteren van risicoprofilering door middel van artificial intelligence (AI). Eerder begonnen er al twee grootschalige onderzoeksprojecten. Een op het gebied van hoe beschikbare agenten zo optimaal mogelijk in te zetten in bepaalde situaties zoals rellen of een vluchtende inbreker. Het andere op het gebied van slimme robots in gevaarlijke situaties.

Nu de inkt van de intentieverklaring is opgedroogd, wat is de volgende stap die u gaat zetten in deze samenwerking?
“We willen de bestaande onderzoeksprojecten uitbreiden en nieuwe onderzoeksterreinen voor samenwerking verkennen. De politie biedt hierin vraagstukken voor gezamenlijk onderzoek. Tegelijkertijd zien we bij de TU Delft nieuwe technologie en innovaties voor vraagstukken van de toekomst. Veiligheidsvraagstukken kunnen we vanuit verschillende wetenschappelijke disciplines beschouwen en alleen samen met belangrijke maatschappelijke partners beantwoorden. De driehoeksamenwerking met de Nederlandse Politie en TNO is daar een uitvloeisel van.”

‘Ik kan me goed voorstellen dat zo’n drone vragen oproept bij burgers’

Durft u te voorspellen wat voor vragen de Nationale Politie in de nabije toekomst gaat stellen?
“Ik denk dat we zeer uiteenlopende vragen kunnen verwachten. Een hypothetische casus is hoe drones ingezet worden voor vraagstukken rondom veiligheid. Drones worden steeds vaker voor crowd control gebruikt, in sommige landen zelfs voor het handhaven van coronamaatregelen. Daarnaast kunnen drones worden gebruikt voor gebieden waar je niet makkelijk kunt komen of als blusvoertuig voor de brandweer. Ik kan me goed voorstellen dat zo’n drone vragen oproept bij burgers: kan ik controleren wat er precies wordt gedetecteerd, worden de beelden opgeslagen, zijn er gezichten te zien op die beelden en wat gebeurt er verder met de data? Dit zijn cruciale vragen die je tijdens de ontwikkeling van technologie moet beantwoorden. Daarin moet je ook de ethische afwegingen meenemen.”

Op welke ethische afwegingen doelt u?
“Denk maar eens aan de enorme mogelijkheden van artificial intelligence. AI gebruikt ontzettend veel data op een intelligente manier, zonder dat we precies weten hoe. Daarmee is AI als een black box. Er wordt veel wetenschappelijk werk verzet om die black box te openen en de AI-toepassingen uitlegbaar en transparant te maken. Dat is misschien voor het politiewerk extra relevant. Uitlegbaarheid – of rekenschap kunnen afleggen over een conclusie – en transparantie zijn centrale maatschappelijke waarden. Waakzaam en dienstbaar zijn aan de waarden van de rechtstaat is een motto van de politie.”

U bent nu een jaar Scientific Director van het Safety & Security Institute. Waarom bent u destijds voor die functie gevraagd?
“Ik heb materiaalwetenschappen gestudeerd en ben gepromoveerd in de techniekfilosofie. Sindsdien houd ik me bezig met de langetermijnrisico’s van energie en klimaatvraagstukken. Hoe kunnen we grootschalige en langetermijnrisico’s beter begrijpen en beheersen? Ik ben ook zeer geïnteresseerd in de maatschappelijke en ethische vraagstukken die technologische risico’s met zich meebrengen. Ik denk dat ik gevraagd ben vanwege mijn interesse in veiligheid maar ook mijn achtergrond in engineering en filosofie.”

Wat beoogt u met het Safety & Security Instituut?
“Het instituut beoogt Nederland en de hele wereld veiliger te maken, in het bijzonder op het gebied van technologieontwikkeling. De vraagstukken van veiligheid zijn veelzijdig en complex; we moeten rekening houden met veiligheidsrisico’s als gevolg van een ongeval en tegelijkertijd onze technologieën beter bestand maken tegen opzettelijk misbruik door kwaadwillenden. Binnen ons instituut willen we safety en security integraal bestuderen.”

Kunt u een voorbeeld geven van die verschillende aspecten van veiligheid?
“De oude opgave van engineering is uiteraard het waarborgen van veiligheid. Denk maar aan de eerste Romeinse bruggen waar veiligheid centraal stond. De ontwerper van zo’n brug moest er zelfs onder staan op het moment dat het eerste rijtuig er overheen reed. Als ontwerper stond je dan niet alleen voor de veiligheid van de gebruiker maar ook die van jezelf. Met het complexer worden van technologie is ook het waarborgen van veiligheid complexer en uitdagender geworden. De laatste halve eeuw is het denken over risico’s veel verder ontwikkeld, met name omdat we grote ongevallen zoals in een kerncentrale of het crashen van een vliegtuig wilden voorkomen, of ten minste de kans daarop wilden verminderen. Dat bedoel ik met veiligheid op het gebied van safety. Security is technologie zo ontwerpen dat het bestand is tegen sabotage en aanvallen van buiten. Anno 2020 is dat natuurlijk geen luxe maar bittere noodzaak.”

‘In hoeverre geven we de autonomie weg aan de machine?’

Wat boeit u zo aan veiligheid?
“Wat mij wetenschappelijk boeit aan veiligheid is de veelzijdigheid en complexiteit ervan. Bijvoorbeeld de vraag: wiens veiligheid? We ontwikkelen technologie al lang niet meer alleen om de veiligheid van de gebruiker te waarborgen. En je ziet soms ook dat bij het oplossen van problemen vaak nieuwe problemen worden gecreëerd: dat intrigeert mij als engineer.”

Kunt u een voorbeeld geven van een probleem dat een nieuw probleem creëert?
“De zelfrijdende auto is onder andere ontworpen om het aantal auto-ongelukken vanwege menselijke fouten te verminderen. Tegelijkertijd moet je ook goed nadenken over de infrastructuur, de communicatie tussen auto’s en hoe een auto ethische keuzes maakt; wie is verantwoordelijk als er een ongeluk plaatsvindt? Dit is mijn fascinatie voor veiligheid: het is bijna in alle technologieontwikkeling aanwezig. Ook moet je nadenken over de diepere filosofische vraag: Hoe geef je op een betekenisvolle manier de interactie tussen mens en machine technologisch vorm en hoe reguleer je deze interactie?”

Hoe hangt die interactie tussen mens en machine precies samen met veiligheid?
“Veiligheid hangt hier samen met autonomie; in hoeverre zijn we bereid een stuk van onze menselijke autonomie weg te geven aan de auto? Aan de ene kant kan de zelfrijdende auto inderdaad voor meer veiligheid zorgen, omdat de ongelukken statistisch minder vaak zullen voorkomen. Tegelijkertijd blijft de auto afhankelijk van de bestuurder die moet toezien op het handelen van de auto en moet ingrijpen als de auto een fout maakt. Denk aan het ongeluk van een Uber-auto in Arizona waar een voetganger te laat werd gedetecteerd en werd aangereden. De bestuurder merkte het te laat en kon niet op tijd ingrijpen. Het blijft dus een mens-machine-interactie. Hoe zou je de bestuurder van een zelfrijdende auto kunnen trainen om te blijven opletten? En in hoeverre geven we de autonomie weg aan de machine? Hoe kunnen we op een betekenisvolle manier de interactie mens-machine reguleren?”

Houdt u zich daar bij het Safety & Security Instituut ook mee bezig?
“Bij ons instituut maken we onderscheid tussen vier thema’s. Ten eerste het beter berekenen van onzekerheden en het zo goed mogelijk begrijpen van risico’s. Ten tweede de safe by design oftewel, zodanig ontwerpen dat veiligheid als een centrale waarde wordt beschouwd. Ten derde het kunnen verminderen van gevolgen en tenslotte failure analysis. Om op dat laatste even in te gaan met nog een voorbeeld uit de auto-industrie. De zonneauto’s van de TU Delft zijn wereldberoemd, met name vanwege de cutting edge-technologieën en natuurlijk ook het feit dat onze studenten er wereldprijzen mee winnen. Maar er hebben ook ongelukken plaatsgevonden die ontstonden door problemen met de technologie. Het is belangrijk om die problemen te begrijpen om ervan te leren. Wij willen vaker leren van ongelukken om onze technologie beter te kunnen ontwerpen en veiliger te maken. Bij ons instituut staat het cyclisch denken over veiligheid centraal. Aan de ene kant willen we ongelukken voorkomen, maar anderzijds wordt de wereld altijd veiliger na een ongeluk, ten minste als we er voldoende lering uit trekken. Dat wordt ook weleens de paradox van veiligheid genoemd.”

Stel dat u over tien jaar nog steeds leiding geeft aan het Safety & Security Institute en samenwerkt met TNO en de Nationale Politie. Wat moet er allemaal gebeuren om die samenwerking als succesvol te zien?
“Ik denk dat ik die samenwerking geslaagd vind als we er in zouden slagen om samen met de politie en TNO technologische oplossingen te bedenken die maatschappelijk en ethisch goed ingebed zijn. Kortom: als we veiligheid op een interdisciplinaire manier benaderen. En ik hoop dat we daarmee de rest van de wereld kunnen inspireren om ook zo breed over veiligheid na te denken.”

• Behnam Taebi is sinds september 2019 wetenschappelijk directeur van het Safety & Security Institute. Sinds 2005 werkt hij als techniekfilosoof bij de faculteit Techniek, Bestuur en Management. Internationaal geldt Taebi als medegrondlegger van het onderzoeksgebied rondom de ethiek van kernenergie. Samen met Sabine Roeser stelde hij een boek samen: The Ethics of Nuclear Energy: Risk, Justice, and Democracy in the Post-Fukushima Era. En hij is de schrijver van het boek Ethics and Engineering voor Cambridge University Press. Taebi is medehoofdredacteur van het academisch tijdschrift  Science and Engineering Ethics. Hij is lid van de Jonge Akademie van de KNAW en lid van de OECD-expertgroep Transdisciplinary Research for Addressing Global Challenges. Hij studeerde materiaalkunde en techniekfilosofie aan de TU Delft.

Dit artikel verscheen eerder in Delft Integraal, het alumnimagazine van de TU Delft.

 

Auteur: Desiree Hoving, wetenschapsjournalist