Artikel 7:
Messung von Wirkung –
Haben wir das Ziel erreicht?

Das Problem der Erfolgsmessung

„Woher wissen wir, dass es funktioniert hat?“ Dies ist die Kernfrage des Evidence-Based Policing. Jerry Ratcliffe kritisiert, dass Polizeiaktionen oft nicht evaluiert werden oder die Evaluation methodisch schwach ist. Ein Rückgang der Kriminalität nach einer Razzia wird als Erfolg gefeiert, ohne zu prüfen, ob die Kriminalität nicht ohnehin gesunken wäre.   

In der Studie PolLageCH wird im Rahmen des AEK-Modells der Schritt „Konsequenzen“ definiert. Doch Konsequenzen (Massnahmen) sind wertlos, wenn ihre Wirkung (Impact) nicht überprüft wird. Dies ist der Schritt „Assess“ im PANDA-Modell oder „Tracking“ im 3-T-Modell (Targeting, Testing, Tracking).   

Experimente und Kontrollgruppen

Der Goldstandard der Evaluation ist das Randomisierte Kontrollierte Experiment (RCT). Ratcliffe beschreibt Beispiele wie das „Philadelphia Foot Patrol Experiment“. Dabei werden Gebiete zufällig in Behandlungs- und Kontrollgruppen eingeteilt. Nur so kann man sicher sein, dass der Effekt wirklich auf die Massnahme zurückzuführen ist.   

Für ein Schweizer Lagezentrum ist ein vollwertiges RCT oft schwer umsetzbar. Aber das Prinzip der Kontrollgruppe (Counterfactual) ist essenziell.

• Szenario: Kanton A führt eine Kampagne gegen Dämmerungseinbrüche durch. Die Einbrüche sinken um 10%. Erfolg?

• EBP-Check: Wie entwickelten sich die Zahlen im Nachbarkanton B, der keine Kampagne hatte? Wenn sie dort ebenfalls um 10% sanken, war die Kampagne vermutlich wirkungslos (allgemeiner Trend). Wenn sie dort gleich blieben, war die Kampagne erfolgreich.

Der Polizeiliche Lageverbund (Handlungsfeld 2 in PolLageCH) bietet hierfür eine ideale Plattform. Durch den Austausch von Daten können Kantone sich gegenseitig als Vergleichsgruppen dienen und so die Wirksamkeit ihrer Strategien validieren.   

Statistische Fallstricke: Regression zur Mitte

Ratcliffe warnt eindringlich vor der Regression zur Mitte. Extreme Werte (z.B. ein Monat mit extrem vielen Unfällen) tendieren dazu, sich im nächsten Zeitraum wieder dem Durchschnitt anzunähern – ganz natürlich, rein statistisch. Wenn die Polizei genau auf dem Höhepunkt (Peak) eingreift, wird die Zahl danach fast zwangsläufig sinken. Dies als polizeilichen Erfolg zu verkaufen, ist wissenschaftlich unredlich. Ein Lagespezialist muss Zeitreihenanalysen beherrschen, um natürliche Schwankungen von echten Effekten zu unterscheiden.   

Der „Winner’s Curse“

Ein weiteres Phänomen ist der „Winner’s Curse“ : Erste Studien zu einer neuen Methode zeigen oft übertrieben positive Ergebnisse (weil nur die erfolgreichen Versuche publiziert werden). Spätere Wiederholungen zeigen schwächere Effekte. Lagespezialisten sollten daher skeptisch gegenüber „Wundermitteln“ sein und auf die Replikation von Erfolgen achten.   

Fazit für die Lageführung

Messung von Wirkung ist mehr als das Zählen von Festnahmen. Es erfordert den Vergleich mit dem „Was wäre wenn“ (Kontrafaktisches Denken). Die Studie PolLageCH schafft mit den harmonisierten IT-Systemen (Handlungsfeld 5) die technische Basis für solche Analysen. Es liegt an den Lagespezialisten, diese Daten nicht nur für Lagebilder, sondern auch für knallharte Wirkungsanalysen zu nutzen. Nur so lernt die Organisation, was funktioniert und was nicht.