Als het speelgoed dat u in huis heeft intelligenter is dan u zelf bent, is het een kwestie van tijd voordat dat speelgoed besluit u te termineren.
Los van het gegeven dat veel mensen hoe dan ook niet bereid zijn daarover na te denken, kun je eindeloos debatteren over de vraag wat we dan moeten verstaan onder 'intelligent', en bij extensie de vaardigheid om te 'besluiten'. In de wereld van de professionele vliegerij heeft automatisering gezorgd voor een scherpe toename in de veiligheid. Maar tegelijk realiseerde men zich, tot voor kort, dat het belangrijk was dat piloten van vlees en bloed op elk moment de controle over moesten kunnen nemen. De eindverantwoordelijkheid diende bij de piloot te liggen, die daarvoor geselecteerd moest zijn op vaardigheid, getraind moest zijn, en jaarlijks meerdere keren moest worden getest.
Het verhaal van de Boeing 737-MAX is dat de vliegers in de ramptoestellen niet langer de mogelijkheid hadden om de controle over te nemen, en de computers in die toestellen besloten hadden het leven van de inzittenden te beëindigen. 'Besloten' wordt hier door de meeste mensen niet geaccepteerd, toch meen ik dat het een correcte toewijzing is van de verantwoordelijkheid, waar de vliegers, noch de ontwerpers van het toestel moedwillig die 'denkfout' introduceerden. Op basis van de gegevens die de computer kreeg was de beslissing om de neus van het vliegtuig omlaag te drukken volkomen logisch.
De ontwerpers van het toestel hadden die vergaande automatisering doorgevoerd, omdat men vreesde dat piloten van vlees en bloed in een kritische situatie simpelweg niet bij machte waren te voorkomen dat het toestel zou verongelukken, omdat de aerodynamica van het toestel zo is dat herstel in een bepaalde fase fysiek niet meer mogelijk is, dus moest de automaat voorkomen dat het vliegtuig in die fase terechtkwam.
Een té groot vertrouwen in geautomatiseerde systemen kan u het leven kosten. Bij piloten werd dat erin gehamerd, maar de kopers van auto's met een geautomatiseerd besturingssysteem krijgen dat hooguit als een voetnoot in de brochure aangereikt. Sensoren die u waarschuwen voor objecten in de nabijheid kunnen falen. Automatische remsystemen, en systemen die gas terugnemen als u een auto die voor u rijdt te dicht nadert, kunnen falen. En hetzelfde geldt voor besturingssystemen die suggereren dat u 'handsfree' kunt rijden. De producenten van auto's met dergelijke systemen zeggen het er bij de aflevering wel bij, of anders staat het wel ergens als een 'disclaimer' in de brochure, maar het is een sterk verkoopargument om te claimen dat uw auto er stukken veiliger door is geworden. Statistieken wijzen echter iets anders uit.
Tot zover kunt u mij vermoedelijk nog wel volgen. Maar automatisering heeft inmiddels een enorme vlucht genomen. 'High Frequency Trading', waarbij de computer beslist of er 'verkocht' of 'gekocht' wordt in de financiële markten, is de norm. En de 'berekeningen' die ten grondslag liggen aan ons geloof in 'Klimaatverandering', en wat we daaraan moeten doen, komen uit de computer. Beleid in de zorg, het onderwijs en een hele keur aan andere terreinen rollen feitelijk uit de computer, die wordt gevoed met 'data' die worden ingevoerd door reeds overbelaste werknemers, waarvan sommigen wellicht op het lumineuze idee zijn gekomen dat ze de uitkomst kunnen beïnvloeden in een voor hen zelf gunstige richting door de 'data' te manipuleren. Samen met een onvolkomen 'model' zorgt dat voor beslissingen die een terminaal karakter hebben in de uitvoering.
In veel gevallen zit er geen getrainde, regelmatig geteste, hoog opgeleide eindverantwoordelijke meer in de 'cockpit' van maatschappelijke cruciale systemen die nog weet hoe je dat gevaarte 'op de hand' moet besturen, en wat daarbij zijn of haar eigen beperkingen zijn.