Poniższą notką chciałbym zainaugurować cykl tekstów,
w ramach którego to cyklu będę się pastwił nad
sondażami-krzakami (czasem pewnie zdarzy się też zahaczyć o
badanie innego rodzaju, ale sondaży będzie najwięcej).
To
miała być kolejna wrzutka na temat kolejnego sondażu z
(eufemizując) spieprzoną metodologią, ale jak sobie do niej
zasiadłem, to się okazało, że pojawiły się dwa kolejne sondaże,
o których warto by było wspomnieć (bo są równie spektakularne).
Ja wiem, że sondaże-krzaki (i badania, których metodologia
pozostawiała wiele do życzenia) się u nas zdarzały, ale teraz
jest tego po prostu zatrzęsienie.
Nawiasem mówiąc, ja rozumiem, że jak
się za robienie jakiegoś sondażu bierze CBOS albo Social Changes,
to wiadomo, czego się można spodziewać. Wiadomo również, że w
tych ośrodkach badawczych nikomu jakoś specjalnie nie zależy na
metodologii poprawnej (bo przecież nie chodzi tam o żadne poprawne
wykonane badania, ale o udowodnienie jakiejś tezy).
Niemniej jednak zastanawiam się nad
tym, jak przebiega proces decyzyjny w ośrodkach badawczych, które
chcą uchodzić za poważne (czyli nie takie jak CBOS i Social
Changes). Ok, wiem, że jak nie wiadomo o co chodzi, to chodzi o
pieniądze, ale przecież te sondaże-krzaki mogą mieć wpływ na
wiarygodność danej sondażowni.
Dzisiaj zajmiemy się
trzema sondażami. Pierwszy z nich należy do kategorii, która się
ostatnio rozpleniła bardzo. Tą kategorią jest robienie sondaży, w
których nie bada się poparcia, ale pyta się respondentów o to,
„kto ich zdaniem wygra wybory”. Tym razem pytanie było inne,
albowiem zapytano respondentów o to „jak ich zdaniem zakończą
się najbliższe wybory w Polsce?” (sondaż przeprowadziło
United Survey). Czemu przeprowadzono tego rodzaju badanie, zamiast
normalnego sondażu? Pewnie dlatego, że takie było zlecenie
Wirtualnej Polski. Nie pytajcie mnie, po co WP zleca przeprowadzenie
tego rodzaju sondaży, bo nie znam odpowiedzi na to pytanie. Jedyne,
co mi przychodzi do głowy, to walka o kliknięcia i zasięgi.
O ile ten sondaż był dość typowy,
to dwa sondaże, które przeprowadził ostatnio IBRIS, to była klasa
sama w sobie. Oba przeprowadzono w dniach 9-10 czerwca. W obu
pytanie, które postawiono respondentom było bardzo spektakularne.
W pierwszym (dowiedziałem się o tym
dlatego, że pochwalił się nim Szymon Hołownia [za moment będzie
jasne, dlaczego się nim pochwalił]) pytanie brzmiało następująco:
„Które ugrupowania na polskiej scenie politycznej w największym
stopniu sprzyjają interesom Rosji?” Odpowiedzi rozłożyły się
następująco: PiS - 23,2 proc, KO - 23,1 proc, Konfederacja - 13,6
proc, Lewica - 8,4 proc, AgroUnia - 5,1 proc, PSL - 0,4 proc, Polska
2050 Szymona Hołowni - 0 proc (i już wiadomo, czemu Hołownia się
tym sondażem emocjonował), Nie wiem/Trudno powiedzieć - 26,2
proc.
Mam nadzieje, że członkowie ugrupowania „Nie
wiem/Trudno powiedzieć” staną przed Państwową Komisją do spraw
badania wpływów rosyjskich. Nieco zaś bardziej na serio, to takie
rezultaty się dostaje, jak się zadaje respondentom źle
skonstruowane pytanie. W tym miejscu krótka anecdata. Jak
studiowałem jeszcze tę socjologie, to nas uczono (na kursach
dotyczących badań), że pytanie ma być zrozumiałe dla
respondenta.
Poza tym (co równie istotne) musimy mieć
pewność, że respondent ma wiedzę wystarczającą do odpowiedzi na
zadane pytanie. Rzecz jasna, można ten drugi punkt (z wiedzą)
pominąć, ale wtedy istnieje bardzo duże ryzyko, że respondent
potraktuje pytanie tak, jak robi to publiczność w programie
„Milionerzy” (jeżeli nie będzie wiedzieć, o co chodzi, to
wybierze którąkolwiek odpowiedź, bo nie ma innej opcji).
UWAGA! Artykuł sponsorowany przez suwerena!
https://patronite.pl/Piknik-na-skraju-g%C5%82upoty
Pamiętam, jak na jednych zajęciach
omawialiśmy czyjąś ankietę i zwróciliśmy uwagę na to, że no
generalnie to odpowiedź na pytania wymaga sporej wiedzy, tak więc
mamy do czynienia z tzw. „błędem znawstwa”. Jakież było nasze
zdziwienie, gdy się okazało, że nie mamy racji, bo jedną z
możliwych odpowiedzi jest „nie wiem”.
Czy dodanie
tego „nie wiem” (czy też „trudno powiedzieć”) cokolwiek
zmienia? Oprócz samopoczucia autora pytania raczej niewiele.
Respondent musi rozumieć pytanie. Jeżeli go nie rozumie, to wyniki
będzie sobie można wsadzić w buty. Przykładowo: o jaką formę
sprzyjania chodziło w pytaniu? O militarne? Ekonomiczne? Czy też
może sprzyjanie w wymiarze społecznym (np. podejście do wszelkiej
maści mniejszości)? Jeżeli respondenci nie wiedzą o co są
pytani, to sondaż (razem z wynikami) można sobie wsadzić w buty.
To był drugi sondaż, teraz pora
na trzeci sondaż. W tym przypadku IBRIS zapodał jeszcze bardziej
spektakularne pytanie. Otóż respondentom zadano pytanie o
następującej treści: „marsz 4 czerwca, w którym mogło
wziąć udział nawet pół miliona osób, to znak, że partie
opozycyjne po jesiennych wyborach przejmą
władzę w Polsce”
Gdyby w Sevres znajdował
się wzorzec „źle skonstruowanego pytania badawczego”, to byłoby
to właśnie to pytanie. Zacznijmy od tego, że pytanie ma sugerującą
treść (tl;dr: pytanie skonstruowane tak, że sugeruje
respondentowi, która odpowiedź jest „właściwa”). Po drugie,
treść pytania jest cokolwiek niezrozumiała. Po trzecie, znowu mamy
do czynienia z tzw. „błędem znawstwa”. Bo niby skąd respondent
ma wiedzieć, czy między tym marszem, a wynikiem wyborów w ogóle
wystąpi jakaś zależność i na czym będzie ona polegała? Po
czwarte, co w sytuacji, w której respondent nie zgadza się z tym,
że w tym marszu wzięło udział „prawie pół miliona osób”?
Po piąte i to jest w sumie najcięższy zarzut (który można uznać
za piętrowy błąd znawstwa): skąd respondent ma wiedzieć, które
partie badacz zalicza do partii opozycyjnych? Przecież w
komentarzach do części sondaży pojawiają się wyliczenia PiS +
Konfa i „reszta opozycji”. Skąd respondent ma wiedzieć, jak
potoczą się rozmowy koalicyjne?
Ja wiem, że zawsze w
takiej sytuacji ktoś może powiedzieć, że może i te sondaże są
takie, a nie inne, ale one po prostu badają to, „jak myślą
ludzie”. I wszystko fajnie tylko, że jakoś tak się złożyło,
że istnieje coś takiego jak metodologia badań i z jakiegoś powodu
jest ona taka, a nie inna. Jeżeli ma się w dupie metodologię, to
w praktyce można sobie w tych słupkach sondażowych powpisywać
cokolwiek. Wyniki będą tak samo legitne. Osobną kwestią jest to,
że jeżeli ktoś średnio się przejmuje metodologią w trakcie
układania pytań, to może tę metodologię mieć w dupie również
w trakcie doboru próby. Do tej pory w kreatywny dobór próby bawił
się głównie CBOS (no chyba że ktoś na serio wierzy, że oni
wszystko robią, jak trzeba i zupełnym przypadkiem im wychodzi, że
frekwencja w wyborach będzie powyżej 70% [jakiś czas temu
dojechali do 79%]), ale nie można wykluczyć, że owa przypadłość
rozprzestrzeni się na inne ośrodki badawcze.
Tak na sam
koniec. Jestem autentycznie ciekaw tego, jak długo potrwa ta
biegunka sondażowa. W teorii, powinna wyhamować po wyborach
parlamentarnych, ale w praktyce potem będą wybory samorządowe, a w
2018 już były ogólnopolskie sondaże z pytaniem „kto wygra
wybory w Warszawie”, tak więc może być bardzo różnie.
Tak
na drugi koniec: niebawem pojawi się pewnego raportu żałobny
rapsod* (tak, chodzi o ten raport, z którego wynikało, że młodzież
się zrobiła uber-konserwatywna, miałem to napisać już jakiś
czas temu, ale nie mogłem się zebrać, tak więc wrzucę to w
kolejnym odcinku Hejterskiego Przeglądu Sondażowego).
*żałobny,
bo ów raport został zdradzony o świcie przez sztabowców PiSu.
Źródła:
https://wiadomosci.radiozet.pl/polska/polityka/sondaz-ibris-ktore-partie-sprzyjaja-rosji-tak-uwazaja-polacy
https://wiadomosci.wp.pl/pis-odda-wladze-mamy-najnowszy-sondaz-6908633119255104a
Brak komentarzy:
Prześlij komentarz