Human-in-the-loop

Human-in-the-loop is een ontwerpprincipe voor systemen, waaronder AI-systemen, waarbij een mens een vaste plaats heeft in de beslissingsketen. Het systeem verzamelt, analyseert of signaleert; de mens beoordeelt de uitkomst en neemt de beslissing.

Het principe kan op twee manieren worden ingevuld. Als disclaimer: het systeem beslist de facto, en de mens tekent af. Of als architectuur: het systeem is zo gebouwd dat het geen beslissing kan nemen, alleen input kan leveren aan wie beslist. In het tweede geval is de menselijke rol geen formaliteit maar een structureel kenmerk van het systeem.

In evaluatieve toepassingen betekent human-in-the-loop dat het systeem bevindingen aanlevert met een bronverwijzing, en dat een mens weegt wat elke bevinding waard is en wat eruit volgt. Het systeem scherpt het oordeel; het vervangt het niet.

Het begrip speelt ook een rol in Europese regelgeving rond AI, waar menselijk toezicht op AI-systemen als een waarborg wordt gezien, zeker waar beslissingen mensen raken.