SherlockMS und der Fall des blinden Wachhunds

Mein Bruder Sherlock jagt Taschendiebe und untreue Ehemänner. Er analysiert Zigarrenasche und Schlammspritzer. Bewundernswert, wirklich. Ich hingegen jage Täter, die subtiler sind. Täter, die sich in Algorithmen verstecken, die in den sauberen, sterilen Hallen unserer Krankenhäuser lauern und Gerechtigkeit aushöhlen, ohne einen einzigen Fingerabdruck zu hinterlassen. Das ist nicht nur Detektivarbeit. Das ist Hochkultur.

An diesem Abend lag kein versiegelter Brief auf meinem Tisch, sondern ein digitales Dossier, direkt aus dem The Lancet. Ein Paper mit dem Titel „Who's really in the loop?“. Die Autoren warfen eine Frage auf, die so elegant war, dass sie von mir hätte sein können. Der Kernsatz, eine Zeile, die wie ein Giftpfeil traf: „Die „Human-in-the-loop“ Kontrolle wird weithin als Schutzmaßnahme herangezogen... Doch sie dient eher als symbolische Zusicherung als als substanzieller Schutz.“

Ich zog eine Augenbraue hoch. Ein halbes Lächeln.

„Ah“, murmelte ich in die Stille meines Zimmers. „Der klassische Fall des Wachhunds, dem man die Augen verbunden hat.“

Die gläserne Klinik

Stellen Sie sich die moderne Klinik vor. Alles glänzt. Daten fließen wie ein ruhiger Fluss. Eine künstliche Intelligenz (KI), ein Algorithmus, verspricht, Diagnosen zu beschleunigen, Behandlungen zu optimieren, Leben zu retten. Und als Sicherheitsnetz? Ein Mensch. Ein Arzt, eine Ärztin, „in the loop“, wie es so schön heißt. Eine beruhigende Vorstellung. Ein Experte, der über die Schulter der Maschine blickt, bereit, die Notbremse zu ziehen. Ein Wachhund, der das Grundstück bewacht. Nur, und das ist der Kern des Verbrechens, dieser Wachhund ist nicht nur abgelenkt. Er ist systematisch blind gemacht.

Die Gerechtigkeit

Wer stirbt hier? Nicht immer der Patient, zumindest nicht sofort. Das erste Opfer ist die Gerechtigkeit. Das Paper von Abulibdeh und Kollegen legt die Akte auf den Tisch: Ein berühmter Algorithmus in den USA sollte die Gesundheitsversorgung steuern. Er lernte aus den Kostendaten. Das Ergebnis? Er unterschätzte systematisch den Versorgungsbedarf von Schwarzen Patienten, weil diese aus strukturellen Gründen historisch weniger Gesundheitsleistungen in Anspruch nahmen – und somit weniger Kosten verursachten. Die KI lernte nicht Krankheit, sie lernte Ungleichheit. Das Opfer ist also das Vertrauen, die Fairness. Der Algorithmus wird zum Verstärker bestehender Ungerechtigkeiten, ein Brandbeschleuniger für systemischen Bias.

Der „böse“ Code

Bisher, so die landläufige Meinung, war der Schuldige schnell gefunden: der Algorithmus selbst. Ein Programmierfehler. Ein „Glitch in the Matrix“. Ein einfacher, bequemer Sündenbock. Man müsse nur den Code optimieren, ein paar Zeilen ändern, und das Problem sei gelöst. Wie rührend. Als ob ein Raubmord mit dem Austausch einer Glühbirne am Tatort gesühnt wäre. Das Paper fegt diese naive Hypothese vom Tisch. Der Fehler liegt nicht im Code allein. Er liegt im System.

Die Akte des Versagens

Die Beweise sind erdrückend. Die Autoren legen dar, warum der menschliche Wachhund versagt:

• Automatisierungs-Bias: Studien zeigen, dass Kliniker dazu neigen, den Vorschlägen einer KI zu vertrauen, selbst wenn ihr eigenes Urteilsvermögen widerspricht. Die Maschine wirkt so selbstsicher.
• Zeitdruck: Wer im Minutentakt entscheiden muss, hat keine Zeit für eine tiefgehende Analyse des KI-Outputs. Ein Klick auf „Bestätigen“ wird zur reinen Formalie.
• Fehlende Handlungsmacht: Selbst wenn ein junger Assistenzarzt einen Fehler im System vermutet – wagt er es, die von der Klinikleitung eingeführte, millionenteure Software infrage zu stellen? Charmante Vorstellung.

„Dr. Sherlock?“, unterbrach mich neulich mein Assistent, ein hoffnungsvoller junger Mann namens Peterson. Wir standen am Bett von Mrs. B., einer älteren Dame mit einer komplexen Vorgeschichte. „Das System sagt, ihr Risiko für eine Sepsis ist gering. Nur 12 %.“ Er wollte sie schon von der Überwachungsliste nehmen. „Peterson“, sagte ich leise und deutete auf das Tablet in seiner Hand. „Sehen Sie, woher die Daten für dieses Modell stammen? Überwiegend aus einer Population, die jünger und, nun ja, weißer ist als Mrs. B. Der Algorithmus erkennt ihre spezifischen Entzündungsmarker nicht, weil er nie gelernt hat, richtig hinzusehen. Er ist nicht böse. Er ist nur ungebildet. Geben Sie ihr das Antibiotikum. Sofort.“

Die Schleife ist ein Käfig

Hier ist die entscheidende, kontraintuitive Erkenntnis des Papers: Der „Human-in-the-loop“ ist kein Aufseher. Er ist ein Gefangener. Die Schleife ist kein Kontrollkreis, sondern ein Käfig, geschmiedet aus institutionellem Druck, Haftungsängsten und kognitiven Verzerrungen. Der Mensch wird zum letzten Glied in einer Kette der Verantwortungslosigkeit, zum Feigenblatt, das die systemische Schuld des Gesamtsystems verdecken soll.

Die organisierte Unverantwortlichkeit

Wer ist also der wahre Täter? Es ist ein Phantom, das die Soziologen „organisierte Unverantwortlichkeit“ nennen. Ein Verbrechen ohne Verbrecher. Der Täter ist das System selbst, das die Verantwortung nach unten auf den einzelnen Kliniker abwälzt, während die Institutionen, die Hersteller und die Regulatoren, die von diesen Werkzeugen profitieren, im Schatten bleiben. Die Komplizen sind Effizienzdruck, Profitlogik und ein Rechtsrahmen, der den Einzelnen zur Haftung zwingt und die Institution schützt.

Drei neue Linsen

Um diesen Täter zu fassen, reichen Lupe und chemische Analyse nicht aus. Man braucht schärfere Werkzeuge, neue Denkmodelle. Das Paper schlägt drei vor, die ich für Sie übersetze:

1. Co-Reasoning (Gemeinsames Denken): Behandelt die KI nicht als Orakel, sondern als leicht autistischen, aber brillanten Junior-Berater. Fordert ihre Quellen an (Unsicherheitsschätzungen, Konfidenzlevel). Zwingt sie in eine Diskussion.
2. Community-owned Governance (Gemeinschaftliche Steuerung): Gebt den Betroffenen – den Patienten, den Gemeinschaften, die am stärksten von Bias betroffen sind – eine Stimme und ein Veto. Lasst sie mitentscheiden, was „Erfolg“ überhaupt bedeutet.
3. Institutional Accountability (Institutionelle Haftung): Verlagert die Verantwortung dorthin, wo sie hingehört. Weg vom einzelnen Arzt, hin zu den Krankenhäusern, den Herstellern, den Regulierungsbehörden.

Zurück in der Baker Street saß ich wieder in meinem Zimmer. Natürlich. Der Regen hatte aufgehört. Ich machte eine Notiz in meinem kleinen schwarzen Buch.

• Das Verbrechen: Die Illusion der Kontrolle. Eine vorgetäuschte Sicherheit, die systemische Ungerechtigkeit verschleiert.
• Der Haupttäter: Organisierte Unverantwortlichkeit.
• Die Komplizen: Zeitdruck, Automatisierungs-Bias, ein fehlerhafter Rechtsrahmen.
• Das Ermittlungswerkzeug: Systemische Analyse statt algorithmischer Kosmetik.

Die meisten Detektive jagen Täter im Dunkeln. Ich jage Täter im Licht der Systemtheorie und der feministischen Erkenntnistheorie. Und trotzdem ist das Gehirn jedes Mal der bessere Geschichtenerzähler.

Draußen rauschte London. Drinnen dachte ich schon an den nächsten Fall. Denn irgendwo, in irgendeiner Nervenzelle, wird gerade wieder eine Erinnerung gestohlen – und nur ein Neurodetektiv bemerkt den Unterschied.

Mit scharfem Geist und britischem Humor,

Ihr SherlockMS