Schlagwort: Operational Learning

  • Was zwischen den Audits passiert

    Was zwischen den Audits passiert

    Ein Audit ist eine Momentaufnahme. Es prüft an einem festgelegten Datum, ob die Dokumentation den Anforderungen entspricht und die Verfahren so beschrieben sind, wie sie beschrieben sein müssen. Was es nicht prüft, ist, ob die Organisation ihre eigenen schwachen Signale sieht und aus Beinahevorfällen lernt. Diese Distinktion klingt akademisch, ist aber operativ folgenreich: Sie entscheidet darüber, ob eine Organisation ihre Sicherheit am Audit-Datum aufbaut oder dazwischen.

    Eine Polemik gegen Audits braucht es dafür nicht. Audits leisten, was sie sollen. Die ernsthafte Frage ist, was sie strukturell nicht leisten können. Und was an dieser Stelle daneben stehen muss, damit das, was zwischen den Audits passiert, nicht ein blinder Fleck der Organisation wird.

    Was Audits eigentlich messen

    Audits messen Konformität in einem definierten Beobachtungsfenster. Sie prüfen, ob die Dokumentation zum Zeitpunkt der Begehung das zeigt, was sie zeigen muss, und ob die Verfahren beschrieben sind, wie sie beschrieben sein müssen. Das ist eine berechtigte und nicht-triviale Aufgabe. Sie hat ihren Platz in der Vertrauenslandschaft, die komplexe Gesellschaften brauchen. Niemand würde in ein Flugzeug einer Airline ohne Zertifizierung steigen, kein Spital arbeitet ohne Akkreditierung, kein industrieller Betreiber operiert ohne regulatorischen Rahmen. Audits leisten diese Vertrauensproduktion über ein soziales Verfahren, dessen Funktion Michael Power in The Audit Society schon Ende der Neunziger präzise beschrieben hat: sie sind «rituals of verification», nicht Messinstrumente für die Eigenschaft, die sie zu prüfen vorgeben. Sie produzieren ein nachvollziehbares Bild von Ordnung, und dieses Bild ist anschlussfähig an Versicherung, Recht und Konzernreporting.

    Powers Pointe ist nicht, dass Audits nutzlos seien. Sie ist, dass das, was sie produzieren, nicht mit dem identisch ist, was sie zu produzieren scheinen. Ein bestandenes Audit sagt, dass das, was zum Zeitpunkt der Begehung dokumentiert war, den Anforderungen entsprach. Es sagt nichts darüber, ob die Organisation die schwachen Signale ihrer eigenen Praxis sieht, ob sie aus Beinahevorfällen lernt, ob ihre Anpassungsfähigkeit unter realem Druck reicht. Diese Eigenschaften sind nicht dokumentierbar in der Form, in der ein Audit dokumentierbare Befunde verlangt. Sie sind Prozesse, keine Zustände, und ein Audit ist konstruiert, um Zustände zu prüfen.

    Wer diese Distinktion nicht macht, baut sich eine Sicherheitsvorstellung, in der Compliance und Sicherheit dasselbe sind. BP hatte vor der Explosion in Texas City 2005 eine «lost time injury»-Rate, die unter dem Branchendurchschnitt lag, und ein Audit-Resultat, das diese Zahl bestätigte. Was sich gleichzeitig im selben Werk verschlechterte, war die Prozesssicherheit: ein Bereich, der von den geltenden KPIs nicht erfasst war. Andrew Hopkins hat das in Failure to Learn mit einer Klarheit beschrieben, die immer noch wehtut: die Organisation steuerte das, was sie messen konnte, und blendete das aus, was sich der Messung entzog. Das Audit bestätigte die Messung.

    Audits prüfen, ob das dokumentiert ist, was dokumentiert sein soll. Sie prüfen nicht, ob die Organisation sieht, was sie sehen müsste.

    Audit-Vorbereitung wird zur Daueraufgabe

    Aus dieser strukturellen Eigenschaft folgt eine zweite, die in vielen Organisationen sichtbar wird, sobald man auf die Aufwandverteilung über das Jahr schaut. Audit-Vorbereitung ist zu einer Daueraufgabe geworden, mit eigenen Ressourcen, eigenen Rollen, eigenen Quartalsrhythmen. Eine interne Compliance-Funktion, die das ganze Jahr darauf hin arbeitet, dass die externe Begehung gut verläuft. Pre-Audits, Mock-Audits, Action-Listen, «Gap-Analysen», die das Ergebnis vorwegnehmen sollen. Das ist nicht dumme Bürokratie, sondern die nachvollziehbare Reaktion auf einen Audit-Modus, der über die letzten zwanzig Jahre dichter, formalisierter und folgenreicher geworden ist.

    Schwierig wird diese Rationalität dort, wo sie Aufmerksamkeit verdrängt. Aufmerksamkeit ist endlich, Linienzeit ist endlich, und das, was sich in einem Audit auszahlt, konkurriert um genau diese Ressourcen mit dem, was sich in einem Audit nicht zeigen lässt. Erik Hollnagel beschreibt diesen Effekt in Safety-II in Practice als systematische Verstärkung des Work-as-Imagined: je dichter die Vorgabe, desto stärker arbeitet die Organisation an der Pflege der Vorgabenwelt. Was sie an Aufmerksamkeit dort einsetzt, fehlt der Beobachtung des Work-as-Done. Die Lücke zwischen den beiden wächst gerade dort am stärksten, wo am meisten dokumentiert wird, weil die Dokumentation eine eigene Realität schafft, die Pflege braucht.

    Die Verdrängung geschieht ohne böse Absicht. Sie folgt der Mechanik der Priorisierung unter Termindruck: ein operatives Signal, das nicht audit-relevant ist, wandert nach hinten, und «nach hinten» heisst im Jahresrhythmus bis zum nächsten Quartal, in dem dieselbe Logik wieder greifen wird. Im Moment der Priorisierung ist die Verschiebung sachlich korrekt. Über die Zeit ist sie ein Muster: was sich der Audit-Form entzieht, kommt selten zurück auf den Tisch.

    Konkret: Im November meldet eine Schichtführerin eine Anomalie an einer Mess-Stelle, die in keiner Audit-Checkliste auftaucht. Die Vorgesetzte ordnet es ein als «an Q1 weiterleiten». Das Q4-Audit läuft sauber. Im Q1 läuft die Vorbereitung des nächsten Audit-Sets, die Anomalie steht auf einer Liste, die niemand mehr öffnet. Im April hat ein anderer Schichtdienst auf derselben Mess-Stelle einen Beinahevorfall, der mit der ursprünglichen Meldung zusammenhängt. Die Verbindung sieht niemand mehr.

    Wer dieses Muster sehen will, muss aus der Audit-Logik heraustreten. Innerhalb ihrer Sortierung sieht jede einzelne Verschiebung nach sauberer Arbeit aus.

    Was daneben stehen muss

    Audits abzuschaffen ist weder möglich noch sinnvoll. Sie haben ihre Funktion, sie sind in Versicherungs- und Regulierungslogiken eingebaut, sie produzieren das Vertrauen, das eine arbeitsteilige Wirtschaft braucht. Was sie nicht leisten, muss daneben geleistet werden. Daneben, nicht statt.

    Das ist keine elegante Antwort. Sie verlangt eine zweite Schicht, die in den Normalbetrieb gehört und eine andere Logik hat als die Audit-Schicht. Diese zweite Schicht hat in der Resilience- und HOP-Literatur einen Namen: Operational Learning. Sie ist nicht die Sammlung von Lessons Learned aus Vorfallberichten. Sie ist der laufende Abgleich des Bildes der Arbeit mit dem, was im Betrieb tatsächlich passiert, bevor es zu einem Ereignis wird.

    Todd Conklin entwickelt in Pre-Accident Investigations zwei Werkzeuge, die für genau diese zweite Schicht konstruiert sind. Das erste sind Learning Teams: kleine, zeitlich begrenzte Gruppen aus Operating-Personal und einer Moderation, die sich nach einem Beinahevorfall oder einer Routineaufgabe für eine bis zwei Stunden hinsetzen. Ihre Aufgabe ist nicht, eine Lösung zu finden. Sie ist, zu rekonstruieren, was tatsächlich getan wurde, und es mit dem zu vergleichen, was hätte getan werden sollen. Der Output ist eine Beobachtung, keine Massnahme. Genau dieser Verzicht auf das Massnahmenformat ist die Bedingung, unter der die Beobachtung scharf wird. Wer sofort Lösungen sucht, sieht nichts mehr.

    Das zweite sind Pre-Job Briefs. Damit gemeint sind nicht die formellen Sicherheitsinstruktionen, die jeder kennt, sondern kurze strukturierte Gespräche am Beginn einer nicht-routinierten Tätigkeit: Was könnte schiefgehen. Welcher Trigger heisst, dass wir abbrechen. Wer hat in welcher Situation das Sagen. Der Output ist ein geteiltes mentales Modell, keine Liste. Eine gut gemachte Pre-Job-Brief-Praxis ist in einem Audit schwer zu zeigen, weil sie kein Papier hinterlässt. Sie ist in der täglichen Sicherheit wirksam, weil sie das, was schiefgehen kann, vor dem Tun zur Sprache bringt.

    Beide Werkzeuge teilen ein Prinzip. Sie sind auf das Sehen ausgerichtet, nicht auf das Steuern. Die Audit-Schicht steuert, was sichtbar dokumentiert ist. Die Lernschicht macht sichtbar, was in der Steuerung nicht ankommt. Steven Shorrock und Claire Williams nennen das in ihrer Arbeit über Human Factors in der Praxis die «professional curiosity» der lernfähigen Organisation: die Bereitschaft, das eigene Bild der Arbeit immer wieder mit der tatsächlichen Arbeit abzugleichen. Das ist kein einmaliges Projekt. Es ist eine laufende Praxis.

    Wichtig ist die Abgrenzung zu dem, was viele Organisationen unter «Lessons Learned» rapportieren. Lessons Learned sind ein Output-Format: was wir aus einem abgeschlossenen Vorfall mitnehmen, formuliert als Massnahme oder Erkenntnis, ablegbar in einem System, zitierbar im nächsten Audit. Operational Learning im Sinn von Conklin ist kein Output, sondern ein laufender Modus, in dem die Organisation ihr Bild der Arbeit fortwährend nachschärft. Das eine schliesst etwas ab, das andere hält etwas offen.

    Ein Beispiel zeigt den Unterschied am schärfsten. Ein Beinahevorfall in einem Kontrollraum: ein Operator stuft einen Alarm anders ein, als die Designer es vorgesehen hatten. Im Lessons-Learned-Format wird daraus eine Massnahme. «Alarm-Beschriftung präzisieren, Operator nachschulen.» Erledigt, abgehakt, im System ablegbar. Im Operational-Learning-Format wird daraus eine Beobachtung. «Operator unter Belastung X liest den Alarm im Kontext anderer Signale anders als der Designer annahm. Das Muster wiederholt sich unter Bedingungen Y. Was wir nicht wissen, ist, welche kontextuellen Cues die Interpretation mitsteuern.» Eine Frage statt eines Ergebnisses. Statt die Untersuchung abzuschliessen, hält sie sie offen.

    Wer Operational Learning in das Lessons-Learned-Format presst, hat das Konzept gerade verloren.

    Warum das schwerer ist als es klingt

    Die Audit-Logik und die Lernlogik konkurrieren um dieselbe Ressource: die Aufmerksamkeit der Linie. Die Audit-Logik gewinnt diesen Wettbewerb fast immer, weil ihre Konsequenzen kurzfristig und sichtbar sind. Ein verfehltes Audit zieht Nachfragen, Berichte, Rechtfertigungen nach oben. Eine ausgelassene Learning-Team-Sitzung zieht nichts. Sie wird einfach nicht gemacht, und niemand merkt es, bis ein Ereignis passiert, dessen Zusammenhang mit der unterlassenen Lernarbeit sich nicht mehr eindeutig zeigen lässt.

    Dazu kommt: Operational Learning hat keinen schönen KPI. Eine Organisation kann die Anzahl der durchgeführten Learning Teams zählen, aber sobald sie das tut, beginnt sie, das Format zu erfüllen statt es zu nutzen. Charles Goodhart hat diesen Effekt 1975 für die ökonomische Steuerung beschrieben: Sobald eine Kennzahl zum Steuerungsziel wird, verliert sie die Eigenschaft, die sie zur guten Kennzahl machte. Das macht die Lernschicht im Reporting nach oben sperrig, und Sperrigkeit ist in Organisationen unter Effizienzdruck eine knappe Eigenschaft.

    Wer diese zweite Schicht aufbauen will, akzeptiert, dass sie nicht in derselben Sprache rapportierbar ist wie die Audit-Schicht. Sie verlangt eine Geschäftsleitung, die Zeit und geschützte Räume freigibt, ohne sofort eine Wirkungsmessung zu verlangen. Sie verlangt eine Linie, die Beobachtung als legitime Tätigkeit anerkennt, nicht nur als Mittel zum Massnahmenzweck. Das ist die anspruchsvollere Form von Sicherheitsarbeit, und sie ist genau die, die zwischen den Audits passiert oder eben nicht passiert.

    Wo das Audit hingehört

    Audits werden bleiben, weil sie funktional sind. Was neben ihnen fehlt, ist die zweite Schicht: eine laufende Lernpraxis, die das Audit nicht ersetzt, aber die Sicherheitsarbeit übernimmt, die das Audit strukturell nicht leisten kann. Erst mit dieser zweiten Schicht wird das Audit zu dem, was es sein sollte: eine Bestätigung des Zustands, den die Organisation kennt. Nicht die Hauptquelle ihrer Sicherheitserkenntnis.


    Quellen

    • Michael Power – The Audit Society: Rituals of Verification, Oxford University Press 1997
    • Todd Conklin – Pre-Accident Investigations: An Introduction to Organizational Safety, Ashgate 2012
    • Erik Hollnagel – Safety-II in Practice: Developing the Resilience Potentials, Routledge 2018
    • Andrew Hopkins – Failure to Learn: The BP Texas City Refinery Disaster, CCH Australia 2008
    • Steven Shorrock & Claire Williams – Human Factors and Ergonomics in Practice, CRC Press 2017