Ogólny poziom recenzowanych tekstów o broni palnej jest katastrofalnie zły. Najlepiej świadczy o tym fakt, że z puli 12 916 artykułów, jakie ukazały się na przestrzeni lat 1995-2018 i zostały poddane weryfikacji przez organizację RAND Corporation, zaledwie 123 (~1 proc.) spełniało podstawowe standardy rygoru naukowego.
“Do Studies Show Gun Control Works?” (Reason, 03/31/2022)
W skrócie: sygnatariusze rzeczonych 123 prac, które otrzymały finalnie aprobatę RAND, przetestowali łącznie 722 odrębne hipotezy dotyczące wpływu broni (i przepisów regulujących dostęp do niej) na wskaźniki przemocy pod kątem tego, czy przekroczyły one próg statystycznej istotności. W literaturze peer review przyjęło się uznawać, że dany rezultat jest istotny statystycznie, gdy prawdopodobieństwo jego wystąpienia z powodu losowych fluktuacji, względnie szczęśliwego zbiegu okoliczności wynosi 1 na 20 albo mniej. Inaczej mówiąc, jeśli przeprowadzimy 100 eksperymentów w poszukiwaniu związku między dwoma zjawiskami, które z całą pewnością nie mają ze sobą nic wspólnego – dajmy na to, między konsumpcją mleka a wypadkami samochodowymi – wówczas możemy się spodziewać, iż w następstwie czystego przypadku dostaniemy pięć statystycznie istotnych konkluzji (że niby picie mleka koreluje z eskalacją bądź redukcją zdarzeń drogowych).
W kontekście wyselekcjonowanych przez RAND publikacji oznacza to, że nawet jeśli zależność na linii broń-przemoc w prawdziwym świecie nie zachodzi – tak samo jak nie zachodzi zależność między mlekiem a wypadkami – to i tak za sprawą ślepego trafu spośród 722 regresji przynajmniej 36 rezultatów (~5 proc.) powinno wykazać istnienie znaczącego statystycznie oddziaływania. Sęk w tym, że w ich zbiorze artykułów pozytywny związek odkryto dla raptem 18 kombinacji zmiennych (przykładowo: dla doraźnego blokowania transferów broni i samobójczych postrzeleń). Wartość ta jest o połowę niższa od sugerowanej w rachunku prawdopodobieństwa.
Poważne zastrzeżenia co do jakości tych 123 źródeł budzi również niemal zupełny brak efektów ujemnych. W tej samej grupie tekstów znaleziono bowiem pojedynczy wynik negatywny, tj. taki, który sygnalizuje możliwość, że surowsze regulacje prowadzą do wzrostu przemocy albo innych niekorzystnych skutków ubocznych. Mamy tu zatem do czynienia z analogiczną sytuacją jak opisana w akapicie wyżej – biorąc poprawkę na relatywnie dużą próbę testów, tylko na zasadzie losowej oryginalni autorzy powinni uzyskać więcej podobnych rezultatów. Tymczasem analitycy RAND zidentyfikowali 1 (dosłownie: jeden), wspierający hipotezę odwrotną.
Wchodzimy teraz w obszar domysłów, ale tak absurdalnie mała liczba może skłaniać ku spekulacjom, że badacze świadomie tuszowali albo ukrywali “politycznie niepoprawne” twierdzenia. Zarzut ten wcale nie jest przesadzony. Podejrzewa się, że większość rezultatów badań z dziedziny kryminologii to fałszywe alarmy, czyli że ich konkluzje są błędne (link). Wiadomo także, iż gros kryminologów (87 proc. → tabela, link) przyznaje się anonimowo do stosowania nieuczciwych z punktu widzenia etyki naukowej praktyk: selektywnego raportowania wyników, korygowania parametrów w modelach w przypadku otrzymania niepożądanych wniosków i ujawniania wyłącznie kalkulacji, które przekroczyły jakiś tam konwencjonalny stopień istotności statystycznej. Tematyka broni palnej stanowi jedno z najbardziej polaryzujących zagadnień, nietrudno więc o motywowanych ideologicznie oszustów. Obserwacja ta dotyczy też think tanku RAND Corp. (trochę prywaty: szef projektu “Gun Policy in America”, Andrew Morral, zablokował mnie na Twitterze, bo skomentowałem jego uwagi odnośnie ostatniej zwyżki zabójstw w USA, argumentując, że za strzelaniny odpowiadają głównie czarni i może na tym wypadałoby się skupić w pierwszej kolejności zamiast zwalać winę na broń).
John Ioannidis, epidemiolog ze Szkoły Medycznej Uniwersytetu Stanforda, ostrożnie szacuje, iż blisko połowa wszystkich publikacji z zakresu medycyny i psychologii zawiera przesadne albo fałszywe wnioski [1]. W innych dyscyplinach proporcje te mogą być podobne lub większe [2]. I już nawet nie chodzi o jakieś prywatne uprzedzenia żywione przez konkretnych akademików w stosunku do określonej idei czy też koncepcji, lecz o notoryczne zaprzęganie do eksperymentów wybrakowanej metodyki. W takiej sytuacji relatywnie prostym i efektywnym sposobem na empiryczny przegląd dorobku naukowego może być np. synteza rezultatów pochodzących z niezależnych badań. Prawidłowe procedury weryfikacyjne są w stanie rozpoznać wadliwe artykuły nagłaśniane z rozpędu zwłaszcza przez media.
Na tę chwilę twórcą największej makroskalowej metaanalizy oryginalnych, anglojęzycznych źródeł z dziedziny wpływu broni na przestępczość (łącznie 41 tytułów, najstarszy z 1932 roku) jest Gary Kleck, prof. kryminologii z Uniwersytetu Stanowego Florydy. Zawartość wykonanej przez niego kwerendy (która – zgodnie z prognozami Ioannidisa – dała niesamowicie ponury obraz stanu wiedzy w przedmiotowym temacie) ukazała się drukiem kilka lat temu na łamach dwumiesięcznika “Journal of Criminal Justice” (→ link). Deklarowaną intencją eksperymentu było w pierwszej kolejności zidentyfikowanie prac solidnych technicznie w oparciu o rozpiskę czytelnych (obiektywnych) kryteriów, następnie zaś porównanie ich konkluzji z rejestrem prac słabszych bądź też bardziej archaicznych.
Do tych kryteriów należą:
- Jak najdokładniejsze (czytaj – poprawne) oszacowanie wskaźnika posiadania broni palnej wśród mieszkańców badanego obszaru geograficznego [3].
- Uzupełnienie pomiarów o możliwie najszersze spektrum czynników kontrolnych (minimalny wymóg – pięć) i udowodnienie, że mają one statystycznie istotny związek ze zmienną objaśnianą (przestępczość) oraz skojarzone są z predyktorem (broń) w celu wykluczenia relacji pozornych.
- Ustalenie porządku przyczynowego lub rozwikłanie dylematu równoczesności, w sensie: stopień nasycenia populacji bronią palną przekłada się na wzrost przemocy czy przeciwnie – zagrożenie przestępczością już występującą na danym terytorium skłania ludzi do kupowania broni? [4]
Nowatorstwo w podejściu Klecka do zagadnienia polega więc na tym, że nie tyle zestawił on obok siebie poszczególne dysertacje i uśrednił ich wyniki (co robiono wcześniej wielokrotnie), lecz przede wszystkim dokonał syntetycznej ewaluacji zgromadzonego materiału pod kątem jego jakości (rzetelności) metodologicznej. W efekcie takiego zabiegu ostały się ledwo trzy zrecenzowane pozycje, które można z czystym sumieniem zaklasyfikować jako spełniające podstawowe wytyczne pełnoprawnego wywodu naukowego (w tabeli 1 oznaczone są kolorem czerwonym – dwa teksty Kovandzica et al. i jeden duetu Kleck-Patterson):
[po kliknięciu tabelka otworzy się w pełnej rozdzielczości w oddzielnym oknie]
Pula elaboratów najbardziej prymitywnych w konstrukcji, ze skromnym tudzież zgoła zerowym wachlarzem zmiennych kontrolnych [5], generowała zazwyczaj silnie dodatni związek między powszechnością broni palnej w rękach obywateli a wskaźnikami przestępczości. Dla kontrastu publikacje rygorystyczne w selekcji zmiennych oraz posługujące się adekwatnymi narzędziami do estymowania rozmiarów cywilnego uzbrojenia nie znajdowały żadnej statystycznej korelacji między bronią a poziomem przemocy (dowody zebrane przez zespół Tomislava Kovandzica z UT w Dallas wykazały nawet istnienie negatywnej korelacji o charakterze przyczynowym). Warto w tym miejscu odnotować, że w badaniach, w których ani jeden z postulowanych przez Klecka warunków jakościowych nie został dotrzymany, hipoteza o pozytywnej zależności na linii broń-zabójstwa była potwierdzana aż w 65 proc. przypadków:
Komentarz podsumowujący:
Ogólny wzorzec jest bardzo klarowny – im bardziej metodologicznie kompetentne studium, tym mniejsza szansa na wysnucie konkluzji, że więcej broni palnej w posiadaniu cywilów oznacza więcej przestępczości.
[The overall pattern is very clear – the more methodologically adequate research is, the less likely it is to support the more guns-more crime hypothesis.]
Z kronikarskiego obowiązku przypominam, że pionierskiego wysiłku uporządkowania wiedzy z zakresu użycia broni palnej na szerszym polu nauk społecznych podjęli się też na przełomie lat 70./80. XX stulecia dwaj socjologowie z Uniwersytetu Massachusetts-Amherst, James D. Wright i Peter H. Rossi. W toku paroletnich dociekań zostali zmuszeni do skonfrontowania się z własnymi uprzedzeniami, zaś ich finalny raport wzbudził niemałą konsternację w szeregach waszyngtońskich organizacji antybroniowych (→ link).
____________________
[1] O literaturze medycznej: Much published medical research is not reliable or is of uncertain reliability, offers no benefit to patients or is not useful to decision-makers. (…) In one survey of 60,352 studies, a meager 7% passed criteria of high quality methods and clinical relevancy and fewer than 5% passed a validity screening for an evidence-based journal. (cytat, artykuł)
[2] W literaturze ekonomicznej znakomita wiekszośc wyników jest wyolbrzymiona o dwa, trzy lub nawet cztery rzędy wielkości (diagramy, artykuł). W takich dziedzinach jak nauki o środowisku i nauki polityczne moc testowa badań oscyluje w żałosnych granicach 6-12% w przypadku environmental science oraz ~10% w przypadku political science (wariant optymistyczny, po uwzględnieniu efektu szuflady robi się jeszcze gorzej), zaś ponad połowa rezultatów jest fałszywie raportowana jako istotna statystycznie (cytat, metaanaliza / cytat, metaanaliza). Krótko: we wszystkich tych dyscyplinach naprodukowano przez dekady dosłownie setki sfuszerowanych artykułów i metaanaliz, które przeszły przez sito peer review.
[3] Teoretycznie powinien to być łatwy do odhaczenia punkt, lecz w praktyce większość autorów nagminnie stosuje niewłaściwe metody pośrednie przy mierzeniu poziomu uzbrojenia i formułowane przez nich wnioski obciążone są krytyczną usterką → link.
[4] Na fali medialnej histerii wywołanej masakrą dzieciaków w podstawówce Sandy Hook “New York Times” wypuścił felieton, stawiający znak równości między bronią palną a zabijaniem (“More Guns = More Killing” → link). Autorka, Elisabeth Rosenthal, streściła w nim swoje wrażenia z podróży po Iberoameryce:
Ostatnio odwiedziłam kilka krajów Ameryki Łacińskiej, w których czymś najzupełniej normalnym jest widok uzbrojonych ochroniarzy pilnujących biurowców, sklepów, bankomatów, restauracji i stacji benzynowych. Mimo to broń wcale nie sprawiła, że kraje te są bezpieczniejsze.
Klasyczne pomieszanie przyczyn i skutków. Kauzalna zależność, jaką kreśli reporterka nowojorskiego “Timesa”, jest dokładnie przeciwna: tereny, na których koncentruje się przestępczość, są z reguły bardziej zmilitaryzowane od regionów z niskimi wskaźnikami przemocy i broń palna nie przemienia ich magicznie w wylęgarnie patologii. Dzieje się raczej odwrotnie: wysoka przestępczość, będąca integralnym/endogenicznym składnikiem takich obszarów, pociąga za sobą potrzebę dozbrajania się, jak również inwestowania w technologie antywłamaniowe, począwszy od zakładania kratownic w oknach, poprzez instalowanie kamer, a na montowaniu wyrafinowanych systemów alarmowych kończąc. Nikt normalny nie powie chyba, że wzmacnianie zamków w drzwiach eskaluje bandytyzm? Krótko mówiąc, cywile zasiedlający przestępcze enklawy nabywają broń palną do ochrony, ponieważ dzielnice, które zamieszkują, pogrążane są w bezprawiu, co automatycznie przesuwa ocenę ryzyka z broni na te konkretne strefy.
[5] Problem pomijania zmiennych (omitted-variable bias) to częsty błąd w artykułach przeciwników broni. Ostatni głośny przypadek → link.