Często zdarza się, że autorzy zaprzęgają do swoich testów modele statystyczne ze sztuczną zmienną (dummy variable), odmierzającą uśrednione wskaźniki przestępczości “przed” i “po” uchwaleniu przepisów osłabiających lub zaostrzających restrykcje na broń dla cywilów. Wygląda to z grubsza tak, że badacze wyciągają średni wskaźnik przemocy z okresu poprzedzającego reformy i zestawiają go ze średnim wskaźnikiem wyciągniętym z okresu późniejszego. Argumentacja z korzyścią bądź na niekorzyść konkretnych rozwiązań legislacyjnych zależeć będzie od tego, która wartość okaże się wyższa, a która niższa:
Problem polega na tym, że takie strywializowane estymowanie średnich w żaden sposób nie pozwala stwierdzić, co faktycznie działo się z dynamiką wskaźników morderstw, rozbojów czy zgwałceń na przestrzeni kolejnych dekad. Uproszczenia w dostępie do broni mogą przecież korelować z redukcją zachowań kryminalnych nawet w sytuacji, gdy przeciętny współczynnik po implementacji przepisów wyjdzie identyczny albo wręcz wyższy niż przed ich liberalizacją. Proponuję rozważyć tę pozornie paradoksalną kwestię na kilku abstrakcyjnych przykładach.
Poniżej trzy diagramy ukazujące wahnięcia w natężeniu przemocy i jednocześnie bardzo różne średnie wskaźniki odnotowane “przed” i “po”. Pionowa czarna linia określa rok zmiękczenia restrykcji.
Na pierwszym rysunku (A) widać wyraźnie, że średni wskaźnik po wejściu w życie prawa jest niższy aniżeli przed jego wdrożeniem, natomiast na drugim (B) wykres został odwrócony, co jednak nie oznacza, iż przestępczość zwiększyła się na skutek wprowadzenia probroniowych regulacji. Analizując bowiem kształtowanie się wskaźników “przed”, można zauważyć, że tak naprawdę przez cały czas pięły się one w górę aż do momentu uchwalenia nowego prawa i dopiero po jego ustanowieniu zaczęły wreszcie spadać. Zamiast więc forsować narrację o eskalacji przestępczości, należałoby w tym wypadku mówić o jej obniżeniu, mimo ewidentnie wyższej średniej dla odcinka “po”. Ostatnia grafika (C) przedstawia inny jeszcze wariant, w którym tendencja wzrostowa “przed” i malejąca “po” wygenerowały zbliżone średnie, ale już rzeczywiste rezultaty dla obydwu okresów są diametralnie różne – po zluzowaniu obostrzeń wskaźniki przestępczości zjechały gwałtownie w dół:
Załóżmy teraz, że pionowe czarne linie wyznaczają rok dokręcania śruby, a nie jak wcześniej – łagodzenia procedur. Zaprezentowane niżej przykładowe kombinacje tylko potwierdzają, jak bardzo istotna w procesie interpretowania statystyk przemocy jest możliwość spojrzenia poza uśrednione liczby.
Przerywane kreski na schemacie D sugerują, że przestępczość pod postacią uśrednionego współczynnika spadła po implementacji ustaw antybroniowych. Dociekliwa osoba sprawdzi, czy taka konkluzja zgadza się z obserwowanymi trendami “przed” i “po”. Drugi rzut oka na diagram i okazuje się, że wskaźniki podlegały redukcji nieprzerwanie do chwili przyklepania reform, by krótko potem przyjąć kurs wznoszący. Ogólny przebieg tych zmian dowodzi zatem czegoś przeciwnego: sytuacja pogorszyła się w stosunku do lat poprzedzających reformy.
Rysunek E odzwierciedla hipotetyczny scenariusz, w którym średnia “po” jest dużo niższa niż “przed”, lecz stanowi zaledwie kontynuację trendu spadkowego, jaki wyklarował się na długo przed legislacyjną interwencją i w dodatku następował bez porównania szybciej niż w okresie późniejszym. Jeśli więc można z tego wynieść jakąś naukę, to będzie nią fakt, że zjawisko opadania wskaźników zostało wyhamowane po wdrożeniu prawa. Co się zaś tyczy wykresu F, myślę, że nie trzeba go szerzej tłumaczyć. Jest to dokładnie ten sam przypadek co na szkicu C – podobna średnia “przed” i “po”, zupełnie niepodobna dynamika:
Bazowanie wyłącznie na prostych uśrednieniach daje zafałszowany obraz przestępczości. Żeby wystrzec się błędnego wnioskowania, zawsze warto poddawać ewaluacji dane i trendy długofalowe (zobacz wpis o porównywaniu międzynarodowych wskaźników zabójstw → link).