Ab Juli 2010 mussten die Spitäler der kanadischen Provinz Ontario öffentlich ausweisen, wie konsequent ihre Operationsteams eine chirurgische Sicherheits-Checkliste anwenden. Die gemeldeten Werte waren hervorragend. Nach Juli 2010 fiel die Einhaltung nie mehr unter 98 Prozent. David Urbach und Kolleg:innen verglichen daraufhin in 101 Spitälern rund 109’000 Eingriffe vor der Einführung mit rund 106’000 danach. Ihre Ergebnisse erschienen 2014 im New England Journal of Medicine. Die bereinigte Sterblichkeit lag vorher bei 0,71 Prozent und nachher bei 0,65 Prozent, die Komplikationsrate bei 3,86 und 3,82 Prozent. Keiner der beiden Unterschiede war statistisch signifikant. Die Checkliste war eingeführt, sie wurde nach eigenen Angaben fast immer abgearbeitet, und für die Patient:innen änderte sich nichts Messbares.
Die Vorlage
Erwartet hatte man etwas anderes. Fünf Jahre vorher hatte dieselbe Zeitschrift die Studie gedruckt, die der Checkliste ihren Ruf verschaffte. In acht Spitälern auf fünf Kontinenten, von Seattle und London bis Manila und Ifakara in Tansania, sank nach Einführung der 19 Punkte umfassenden WHO-Checkliste die Sterblichkeit von 1,5 auf 0,8 Prozent und die Komplikationsrate von 11 auf 7 Prozent. Einer der Autoren, der Chirurg Atul Gawande, machte die Checkliste noch im selben Jahr mit seinem Buch The Checklist Manifesto weit über die Medizin hinaus bekannt.
Die WHO-Studie war ein Vorher-nachher-Vergleich ohne Kontrollgruppe. Das macht ihr Ergebnis nicht falsch, aber ein solches Design kann nicht trennen, was gewirkt hat: die Checkliste oder alles, was in den acht Spitälern mit ihr kam. Ontario liefert dazu, ungewollt, einen Hinweis. Dort kam die Checkliste per Verordnung, und vieles von dem, was sie in den Pilotspitälern begleitet hatte, kam nicht mit.
Wie eine Checkliste wirken soll
Wie eine wirksame Checkliste aussieht, beschreibt Gawande selbst, gestützt auf Daniel Boorman, der bei Boeing Checklisten für Cockpits entwickelt hat. Sie bleibt kurz, als Faustregel fünf bis neun Punkte. Sie legt fest, ob sie Schritt für Schritt abgearbeitet («Read-Do») oder nach getaner Arbeit gemeinsam bestätigt wird («Do-Confirm»). Und sie entsteht nicht am Schreibtisch. Erste Fassungen fallen immer auseinander, man muss beobachten, woran, und so lange überarbeiten, bis die Checkliste im echten Einsatz trägt.
Dazu kommt ein zweiter Zweck, der leicht übersehen wird. Vor dem ersten Schnitt sieht die WHO-Checkliste vor, dass sich alle im Saal mit Namen und Funktion vorstellen. Gawande beschreibt, dass Teammitglieder, die zu Beginn einmal gesprochen haben, später eher etwas sagen, wenn ihnen etwas auffällt. Die Checkliste schafft also einen Moment, in dem Chirurgie, Anästhesie und Pflege über die Hierarchie hinweg miteinander reden. Der Haken auf dem Formular zeigt nur, dass dieser Moment stattfinden sollte.
Was in Ontario fehlte
Auf die Ontario-Studie hat Gawande im März 2014 selbst geantwortet. Die Pflicht sei ohne Teamtraining eingeführt worden, ohne Anpassung an die einzelnen Spitäler und ohne zu verfolgen, ob die Checkliste tatsächlich benutzt wurde. Selbst gemeldete Einhaltung, schreibt er, hänge, wie Studien zeigten, mit der Wirklichkeit nicht im Entferntesten zusammen. Die Mortalität zu messen, ohne zu wissen, ob die Teams die Checkliste anwenden, sei wie eine Medikamentenstudie, in der niemand weiss, ob die Patient:innen das Medikament genommen haben. Sein Fazit: «If you don’t use it, it doesn’t work.»
Bemerkenswert ist, dass die Gegenseite kaum widerspricht. Urbach selbst hielt bei der Veröffentlichung fest, mit intensiverem Teamtraining oder besserer Überwachung der Anwendung könne die Wirkung grösser sein. So, wie die Checklisten eingeführt worden seien, hätten sie die Ergebnisse für die Patient:innen nicht verbessert. Beide Seiten suchen die Erklärung also in der Einführung. Das greift zu kurz. In den acht Pilotspitälern hat dieselbe Forschungsgruppe auch erhoben, wie die Operationsteams Teamarbeit und Sicherheitsklima einschätzen. Die Werte stiegen nach Einführung der Checkliste leicht, aber signifikant, auf einer Skala von 1 bis 5 im Mittel von 3,91 auf 4,01. Und die bessere Einschätzung ging mit dem Rückgang von Komplikationen und Todesfällen einher. Das ist eine Korrelation und kein Beweis. Sie passt aber zu dem, wofür die Vorstellungsrunde gedacht ist: Die Checkliste wirkt zu einem guten Teil über die Kultur im Saal, also darüber, ob jemand etwas sagt, wenn ihm etwas auffällt, und ob es gehört wird. Ken Catchpole und Stephanie Russ kommen 2015 für Checklisten im Gesundheitswesen allgemein zu einem ähnlichen Schluss: Wer sie wirksam einführen will, muss die soziokulturellen Bedingungen beachten, in die sie fallen, und nicht nur die Checkliste selbst.
Eine Erfüllungsquote misst, ob das Formular ausgefüllt wurde. Ob die Checkliste ein Gespräch ausgelöst hat, misst sie nicht.
Ein zweiter Fall zeigt, wie viel Kulturarbeit hinter einer erfolgreichen Checkliste stecken kann. Im Michigan-Projekt sank in 103 Intensivstationen die durchschnittliche Rate von Infektionen über zentrale Venenkatheter von 7,7 auf 1,4 pro 1000 Kathetertage nach achtzehn Monaten. Gawande erzählt das Projekt in seinem Buch als Beleg für die Kraft der Checkliste. Die Soziologin Mary Dixon-Woods und Kolleg:innen, darunter der Projektleiter Peter Pronovost selbst, haben 2011 untersucht, warum es funktionierte. Populäre Darstellungen seien «simplistic and partial» und hätten den Mythos genährt, der Erfolg gehe auf eine «simple checklist» zurück statt auf eine «complex social intervention». Einer der Mechanismen, die sie beschreiben, ist ein kultureller: Das Programm brach die Norm auf, solche Infektionen seien auf der Intensivstation unvermeidlich. Ein anderer war, dass die erhobenen Raten jede Station sichtbar machten und in eine Rangfolge brachten, was Druck erzeugte.
Was der Fall lehrt
Ontario hat eingeführt, was sich anordnen lässt: die Pflicht, das Formular und die Quote. Was die Checkliste in den Pilotspitälern und in Michigan wirksam gemacht hatte, lässt sich nicht anordnen. Das ist zum einen eine Checkliste, die das Team im Einsatz getestet und angepasst hat. Zum anderen ist es eine Kultur, in der am Haltepunkt tatsächlich gesprochen wird, auch von unten nach oben, und in der eine Rückmeldung zeigt, ob sich am Ergebnis etwas ändert. Die 98 Prozent haben das Abhaken gemessen, und das Abhaken war das Einzige, was nachweislich eingeführt war.
Das gilt weit über den Operationssaal hinaus, überall dort, wo Checklisten angeordnet und über Erfüllungsquoten gesteuert werden. Wenn du wissen willst, ob eine Checkliste bei dir wirkt, schau dir deshalb nicht die Quote an. Geh an einen der Haltepunkte und hör zu, ob dort jemand etwas sagt, das ohne die Checkliste ungesagt geblieben wäre.
Gedanken dazu? Schreib’s auf LinkedIn.
Kommentare gibt’s hier nicht – aber Diskussionen sehr gerne, dort wo eh alle sind.
Diskussion auf LinkedInQuellen
- David R. Urbach et al. – Introduction of Surgical Safety Checklists in Ontario, Canada, New England Journal of Medicine 370(11), 2014, S. 1029–1038
- Alex B. Haynes et al. – A Surgical Safety Checklist to Reduce Morbidity and Mortality in a Global Population, New England Journal of Medicine 360(5), 2009, S. 491–499
- Atul Gawande – The Checklist Manifesto: How to Get Things Right, Metropolitan Books 2009
- Atul Gawande – When Checklists Work and When They Don’t, The Incidental Economist, 15. März 2014
- Mary Dixon-Woods et al. – Explaining Michigan: Developing an Ex Post Theory of a Quality Improvement Program, Milbank Quarterly 89(2), 2011, S. 167–205
- Alex B. Haynes et al. – Changes in Safety Attitude and Relationship to Decreased Postoperative Morbidity and Mortality Following Implementation of a Checklist-Based Surgical Safety Intervention, BMJ Quality & Safety 20(1), 2011, S. 102–107
- Ken Catchpole & Stephanie Russ – The Problem with Checklists, BMJ Quality & Safety 24(9), 2015, S. 545–549
- ICES – Medienmitteilung zur Ontario-Studie, März 2014