Prüfen statt schreiben: Generative KI und die Prüfung, die unter Druck als Erstes wegfällt.

Wer in einer Organisation einen KI-Assistenten einführt, liefert meist eine Sicherheitszusage mit: Die KI macht den Entwurf, ein Mensch prüft ihn und bleibt verantwortlich. In Richtlinien heisst das «human in the loop». Das klingt nach einer vernünftigen Arbeitsteilung: Die Maschine liefert in Sekunden eine erste Fassung, der Mensch bringt Urteil und Fachwissen ein, und am Ende steht ein besseres Ergebnis in kürzerer Zeit. So jedenfalls die Rechnung.

Lisanne Bainbridge hätte bei dieser Rechnung gestutzt. Letzte Woche ging es hier um ihren Aufsatz «Ironies of Automation» von 1983. Ihr Befund: Automatisiert wird, was sich automatisieren lässt, und der Mensch bekommt den Rest. Dieser Rest besteht aus Überwachen und Eingreifen, und für beides sind Menschen schlecht gebaut, gerade weil die Automatik ihnen den Alltag abnimmt. Bainbridge schrieb über Leitstände und Cockpits. Mit generativer KI wandert dieselbe Arbeitsteilung ins Büro, und die Ironien kommen mit.

Vom Schreiben zum Prüfen

Eine Forschungsgruppe um Auste Simkute (University of Edinburgh und Microsoft Research) hat Nutzerstudien zu generativer KI mit drei Jahrzehnten Human-Factors-Forschung zur Automatisierung verglichen. Sie nennt vier Gründe, warum der erwartete Gewinn an Zeit und Aufwand oft kleiner ausfällt oder ganz ausbleibt. Verglichen wird dabei teils mit der Arbeit ohne KI, teils mit dem, was die Werkzeuge versprechen; eine genaue Definition von Produktivität gibt das Paper nicht. Die vier Gründe: Die Rolle der Nutzenden verschiebt sich vom Produzieren zum Bewerten, Arbeitsabläufe werden ungünstig umgebaut, es kommt zu Unterbrechungen, und die Automatisierung macht leichte Aufgaben leichter und schwere schwerer. Der letzte Punkt steht fast wörtlich bei Bainbridge, der erste entspricht ihrem Wechsel vom Steuern zum Überwachen.

Wie sich dieser Rollenwechsel im Alltag zeigt, hat eine zweite Gruppe von Microsoft Research und der Carnegie Mellon University erfragt. 319 Wissensarbeitende beschrieben 936 Situationen, in denen sie generative KI bei der Arbeit nutzten. Kritisches Denken verlagert sich dabei auf das Verifizieren von Informationen, das Einbauen der Antworten in die eigene Arbeit und das Beaufsichtigen der Aufgabe. Wer der KI mehr vertraut, gibt an, weniger kritisch zu prüfen. Wer sich selbst in der Aufgabe sicher fühlt, prüft mehr. Das sind Selbstauskünfte, keine Messungen. Sie passen trotzdem zu dem, was Bainbridge aus der Vigilanzforschung übernommen hat: Wer ein System überwacht, das fast nie versagt, hört irgendwann auf hinzusehen.

Prüfen ist zudem schwerer, als das Wort klingt. Ein generierter Text sieht fertig aus. Er ist flüssig formuliert, gegliedert und mit Quellen versehen. Ob eine Quelle existiert und sagt, was ihr zugeschrieben wird, sieht man ihm nicht an. Das erfährt nur, wer sie öffnet. Wenn die Maschine in einer Minute zwanzig Seiten schreibt, für die ich zwei Tage gebraucht hätte, und die Prüfung einige Stunden dauert, ist das immer noch ein grosser Gewinn. Auf dem Papier ist die Prüfung meist auch vorgesehen, oft sogar vorgeschrieben. Im Alltag ist sie der Teil der Arbeit, der unter Druck am leichtesten nachgibt. Wer eine Prüfung abkürzt, merkt das zunächst selbst nicht, und sonst merkt es auch niemand, weil der Text fertig aussieht. Die gewonnene Zeit dagegen ist sofort sichtbar. Erik Hollnagel nennt das den Efficiency-Thoroughness Trade-Off: Unter Druck tauschen Menschen Gründlichkeit gegen Effizienz, und meistens geht das gut. Gerade deshalb wird es zur Gewohnheit.

Vorgesehen ist die Prüfung fast immer. Unter Druck fällt sie als Erstes weg, weil niemand bemerkt, dass sie fehlt.

237 Seiten mit Fussnoten

Im Juli 2025 veröffentlichte das australische Arbeitsministerium einen 237-seitigen Bericht von Deloitte Australia. Er untersuchte ein IT-System, das in der Sozialhilfe automatisch Sanktionen gegen Stellensuchende verhängt. Christopher Rudge von der Universität Sydney fand darin bis zu zwanzig Fehler, darunter ein erfundenes Zitat aus dem Urteil eines Bundesgerichts und Verweise auf Fachliteratur, die es nicht gibt. Deloitte bestätigte, dass einige Fussnoten und Quellenangaben falsch waren, und zahlte die letzte Tranche des Honorars zurück. Der Auftrag hatte rund 440’000 australische Dollar umfasst. In der überarbeiteten Fassung steht nun, dass bei der Erstellung ein Sprachmodell (Azure OpenAI GPT-4o) eingesetzt wurde. An Substanz und Empfehlungen änderte sich laut Ministerium nichts.

Dass ausgerechnet die Überprüfung eines automatisierten Systems über die eigene Automatik stolperte, hat eine gewisse Pointe. Aufschlussreicher ist die Art der Fehler. Ob ein Zitat stimmt und eine Quelle existiert, ist der mechanischste Teil jeder Qualitätssicherung. Wie die Prüfung bei Deloitte organisiert war, ist nicht öffentlich, und ich will nicht spekulieren, wer was übersehen hat. Für die Frage, ob eine Prüfung trägt, ist die Sorgfalt einzelner Personen die falsche Ebene. Entscheidend ist, ob die Prüfung so gestaltet ist, dass sie Fehler dieser Art finden kann, und ob sie gegen Termin- und Kostendruck im Alltag eine Chance hat.

Verlernen, jetzt gemessen

Bainbridges zweite Ironie betrifft das Können. Wer nur noch zuschaut, verliert die Fertigkeiten, die im Ernstfall gebraucht werden. Seit 2025 gibt es dazu eine der ersten Messungen aus dem klinischen Alltag. Sie stammt aus der Darmspiegelung, nicht aus der generativen KI: Dort markieren KI-Systeme während der Untersuchung verdächtige Stellen im Bild.

Ein Team um Krzysztof Budzyń hat in vier polnischen Endoskopie-Zentren untersucht, wie 19 erfahrene Untersuchende ohne KI arbeiteten, nachdem sie die KI eine Zeit lang routinemässig genutzt hatten. Jede dieser Personen hatte mehr als 2000 Darmspiegelungen hinter sich. Die Rate, mit der sie Adenome entdeckten (Vorstufen von Darmkrebs), sank bei Untersuchungen ohne KI von 28,4 auf 22,4 Prozent. Es ist eine Beobachtungsstudie, und die Ergebnisse brauchen Bestätigung. Das Forschungsteam hatte nach eigenen Angaben in einem Interview angenommen, dass erfahrene Fachleute weniger betroffen wären.

Ob es beim Schreiben und Analysieren ähnlich läuft, zeigt diese Studie nicht. Die Verbindung zur Umfrage von Microsoft und Carnegie Mellon ist trotzdem unangenehm. Dort hing die Gründlichkeit der Prüfung am eigenen Können: Wer sich in einer Aufgabe sicher fühlt, prüft mehr. Dieses Können entsteht beim Tun, und genau das nimmt das Werkzeug ab. Wer über Jahre KI-Entwürfe prüft, statt selbst zu schreiben, verliert mit der Zeit das Urteil, auf dem die Prüfung beruht.

Die gefährliche Mitte

In sich stimmig sind zwei Varianten. Bei der einen arbeitet der Mensch selbst und nutzt das Werkzeug dort, wo er die Sache beherrscht und die Prüfung tatsächlich leisten kann. Bei der anderen lässt die Organisation das System produzieren und akzeptiert das Restrisiko offen, etwa für interne Zusammenfassungen, bei denen ein Fehler wenig kostet. Gefährlich ist die Mitte: Die Prüfung durch einen Menschen gilt als Sicherheitsmassnahme und steht in Weisung und Prozess, aber im Alltag hält sie dem Druck nicht stand.

Für das, was dann im Schadenfall geschieht, hat die Technikforscherin Madeleine Clare Elish 2019 einen Begriff geprägt: die «moral crumple zone», die moralische Knautschzone. Sie analysierte unter anderem Three Mile Island, den Absturz von AF 447 und Unfälle mit selbstfahrenden Autos. In stark automatisierten Systemen, so ihr Befund, wird die Verantwortung oft einem Menschen zugeschrieben, der nur begrenzte Kontrolle über das Verhalten des Systems hatte. Die Knautschzone im Auto schützt die Person am Steuer. Die moralische Knautschzone schützt das technische System, auf Kosten des Menschen, der ihm am nächsten steht. In Tempe war das die Sicherheitsfahrerin. In der Wissensarbeit ist es die Person, deren Name auf dem Dokument steht.

Der Gesetzgeber kennt das Problem und setzt trotzdem auf den Menschen als Aufsicht. Die KI-Verordnung der EU verlangt in Artikel 14, dass Hochrisiko-Systeme von Menschen wirksam beaufsichtigt werden können. Die Aufsichtspersonen sollen sich dabei der Neigung bewusst bleiben, sich automatisch oder zu stark auf die Ausgaben des Systems zu verlassen. Das Gesetz nennt das Problem beim Namen und antwortet mit einer Aufforderung zur Wachsamkeit. Bainbridge verweist auf die Vigilanzforschung, nach der gerade Wachsamkeit an Grenzen stösst: Auch hoch motivierte Menschen halten die Aufmerksamkeit vor einer Anzeige, an der kaum etwas geschieht, nicht länger als etwa eine halbe Stunde. Für die meisten Schreibassistenten im Büro gilt Artikel 14 ohnehin nicht, weil sie nicht als Hochrisiko-Systeme eingestuft sind. Die Pflichten für die meisten Hochrisiko-Anwendungen hat die EU im Sommer 2026 zudem auf Dezember 2027 verschoben. In der Schweiz will der Bundesrat die KI-Konvention des Europarats ratifizieren und das bestehende Recht gezielt anpassen. Die Vernehmlassung dazu war für Ende 2026 angekündigt und wurde Ende Oktober 2026 auf das Frühjahr 2027 verschoben.

Was eine Prüfung braucht

Der erste Schritt ist eine Entscheidung, die selten getroffen wird: Für welche Dokumente und Analysen akzeptiert die Organisation, dass Fehler aus der KI durchrutschen? Diese Frage gehört dorthin, wo über den Einsatz der Werkzeuge entschieden wird, und die Antwort gehört aufgeschrieben. Wo das Restrisiko zu hoch ist, braucht es eine Prüfung, die den Namen verdient.

Eine solche Prüfung hat einen Inhalt und ein Zeitbudget. «Jede Quelle öffnen und mit der Aussage vergleichen» ist eine Prüfaufgabe, «nochmals drüberschauen» ist keine. Mit der Vorschrift allein ist es aber nicht getan, denn hier zeigt sich wieder der Unterschied von Work-as-Imagined und Work-as-Done. Ob geprüft wird, zeigt sich an der gelebten Arbeit und an den Anreizen: Wird der Zeitgewinn als mehr Output pro Person verbucht, gilt schnelle Lieferung als Leistung, und bleibt ein gefundener Fehler unsichtbar, dann drückt das System auf die Stelle, an der sich am einfachsten Zeit holen lässt. Wer den Druck dort nicht herausnimmt, hat die Prüfung faktisch gestrichen, auch wenn sie im Prozess noch steht. Bainbridges Lösungsteil setzt auf Anzeigen, die Abweichungen sichtbar machen, statt darauf zu hoffen, dass jemand sie bemerkt. Übertragen hiesse das: Werkzeuge, die zeigen, welche Aussage auf welcher Quelle beruht und wo das Modell nichts gefunden hat.

Am leichtesten übertragen lässt sich Bainbridges Satz zum Training. Gerade die erfolgreichsten automatisierten Systeme, die den Menschen nur selten brauchen, erfordern womöglich die grösste Investition in sein Training. Für die Wissensarbeit heisst das: Wer KI-Entwürfe prüfen soll, muss die Arbeit weiterhin regelmässig selbst machen. Das kostet einen Teil der Zeit, die man mit dem Werkzeug sparen wollte, und diese Rechnung gehört offen auf den Tisch, bevor das Werkzeug eingeführt wird.

Der Satz «es schaut ja noch jemand drüber» klingt nach einer Sicherheitsmassnahme. Solange das System genau diese Prüfung unter Druck setzt, legt er nur fest, wer nachher verantwortlich ist.

Quellen

• Lisanne Bainbridge – Ironies of Automation, Automatica 19 (6), 1983, S. 775–779
• Auste Simkute, Lev Tankelevitch, Viktor Kewenig, Ava Elizabeth Scott, Abigail Sellen & Sean Rintel – Ironies of Generative AI: Understanding and Mitigating Productivity Loss in Human-AI Interaction, International Journal of Human–Computer Interaction 41 (5), 2025, S. 2898–2919
• Hao-Ping Lee, Advait Sarkar, Lev Tankelevitch, Ian Drosos, Sean Rintel, Richard Banks & Nicholas Wilson – The Impact of Generative AI on Critical Thinking: Self-Reported Reductions in Cognitive Effort and Confidence Effects From a Survey of Knowledge Workers, CHI ’25, ACM 2025
• Krzysztof Budzyń et al. – Endoscopist deskilling risk after exposure to artificial intelligence in colonoscopy: a multicentre, observational study, The Lancet Gastroenterology & Hepatology 10 (10), 2025, S. 896–903
• Marilynn Larkin – Is AI Use Causing Endoscopists to Lose Their Skills?, GI & Hepatology News (MDedge), 18.09.2025 (Interview mit den Erstautoren)
• Madeleine Clare Elish – Moral Crumple Zones: Cautionary Tales in Human-Robot Interaction, Engaging Science, Technology, and Society 5, 2019, S. 40–60
• Erik Hollnagel – The ETTO Principle: Efficiency-Thoroughness Trade-Off. Why Things That Go Right Sometimes Go Wrong, Ashgate 2009
• Associated Press – Deloitte to partially refund Australian government for report with apparent AI-generated errors, 07.10.2025
• Europäische Union – Verordnung (EU) 2024/1689 über künstliche Intelligenz, Art. 14; geändert durch Verordnung (EU) 2026/1744
• Schweizerischer Bundesrat – KI-Regulierung: Bundesrat will Konvention des Europarates ratifizieren, Medienmitteilung vom 12.02.2025
• Schweizerischer Bundesrat – Bundesrat nimmt Zwischenstand der KI-Regulierung zur Kenntnis, Medienmitteilung vom 28.10.2026