Postoje tri vrste laži: laži, proklete laži i statistika.
Ne zna se tačno koji je genijalni um iznedrio ovu izreku (neki kažu Bendžamin Disraeli negde u 19 veku) ali je Mark Tven rečenicu ovekovečio u svojoj autobiografiji, a svako ko je ikada razumeo moć i ograničenja statistike složiće se da je (potencijalno) u pitanju najveća istina koja je o statistici ikada izrečena.
Agencije za marketing i komunikacije shvatile su ovo odavno a sprovodjenje istraživanja posebno u oblasti vezanoj za politički marketing odavno je prevazišlo svrhu dobijanja uvida u stvarno stanje na terenu i preraslo u marketinški alat. Statističke prečice i sitne manipulacije koriste se da bi se rezultati zakrivili baš na onu stranu na koju odgovara naručiocu istraživanja a da sve ostane u ispravnim metodološkim okvirima sa statističkom greškom od 5 % – jer u statistici je sve samo procena i to procena bazirana na nizu metodoloških odluka koje mi kao istraživači donosimo.
Zgodno, zar ne?
Uz odgovarajući izbor uzorka, obradu podataka i prezentaciju istih nema toga što nije moguće potvrditi, prognozirati ili barem dovoljno sugestivno prikazati, ostajući pri tome u manjoj ili većoj meri u okvirima potpuno legitimnih statističkih metoda.
Nereprezentativni uzorak recimo može da da rezultate koji nikakve veze sa realnim rezultatima nemaju.Tipičan primer ovakvog uzorka su različite ankete koje se sprovode na web portalima. Te ankete samo su merilo prosečnog stava posetioca tog sajta iz grupe onih koji aktivno koriste sadržaje (popunjavaju ankete, ostavljaju komentare isl), i apsolutno ničega više a sigurno ne generalnog stava šire populacije.
Šta je sa telefonskim anketama koje rade agencije, koliko su one reprezentativne? Rade se na slučajnom uzorku, odabirom brojeva iz telefonskog imenika na broju od 1000 do 2000 ispitanika - to je uglavnom sve što ćete u opisu metodologije istraživanja naći. Ono što nećete naći kod svih agencija je koji je tip uzorka u pitanju – da bi istraživanje bilo zaista primenljivo na nacionalnom nivou prost slučajni telefonski uzorak ne radi posao i potrebne su kompleksnije i dosta skuplje metode uzorkovanja poput stratifikovanih ili klasterskih.
Šta to znači u praksi ? Pa ono što je svakome zapravo jasno – da ako u anketi učestvuje 1000 ljudi iz tri najveće urbane oblasti rezultati će biti drugačiji nego kada u anketi učestvuju proporcionalno ljudi iz svih regiona zemlje.
Osim toga, telefonsko intervjuisanje koje je godinama bilo primarni način prikupljanja podataka ne daje reprezentativne uzorke kao ranije, pošto je procenat odbijanja anketa u odredjenim grupama jako visok. Naravno, slabo koja agencija će vam priznati ili staviti u disclaimer da je način anketiranja koji su vam papreno naplatili zapravo ne baš pouzdan.
Osim uzorkovanja koje je najočiglednije, način na koji se sredjuju i obradjuju podaci je od ključnog značaja za finalni rezultat. Ukoliko uzorak nije veliki, različitim metodama pripreme i obrade podataka možete doći do potpuno različitih rezultata iz jednog te istog seta podataka. Been there, done that, ne možete zamisliti kakve su varijacije sve moguće.
Da ne zaboravimo prikazivanje rezultata: grafičko prikazivanje je najzahvalnije za manipulacije. Smanjenjem skale na kojoj se prikazuje razlika, možemo dobiti vizuelni utisak velike razlike ili promene iako je u stvarnosti ona možda svega par procenata. Na donjem grafikonu je klasični primer ovakvog predstavljanja rezultata gde je jedan mali deo grafikona uvećan i prikazan na maloj skali da bi se prikazao veći porast plata vladinih službenika od realnog.
Preuzeto iz Huff - How to lie with statistics
Krajnji proizvod? Informacije koje su polovično ili potpuno tačne ali prezentovane pojednostavljeno, na način da vas navedu da pomislite da su razlike izmedju grupa ili pojava mnogo veće nego što u realnosti jesu i time utiču na vašu percepciju situacije a možda i donošenje odluka u zavisnosti od tipa i načina plasiranja informacija.
Zato – oprezno sa anketama, istraživanjima, izveštajima … pročitajte dva puta, pogledajte detalje, zapitajte se da li je nešto izostavljeno i ako jeste – zašto je izostavljeno. Budite svesniji manipulacija koje su moguće čak i u slučajevima kada je metodološki istraživanje sasvim u redu, a kamoli u slučajevima “istrazivanja” radjenih primarno sa ciljem medijskih promocija i manipulacija.
Odličan tekst!
Malo je onih koji mogu (i žele) da shvate da je statistika ozbiljna i kompleksna nauka. Sa druge strane predstavljanje staističkih rezultata sa par brojki ili na grafikonu, bez uvida u ostale parametre uzorka i rezultata je isto kao i gledanje u kristalnu kuglu. Nažalost većina voli i koristi upravo tu “statistiku” pa onda od nauke postane velika laž i oruđe za manipulaciju.
Dobro napisan stručni članak sa jasnim poukama.
Lepo i jasno. Čini mi se da su istraživači postali malo profesionalniji, da ne kažem pošteniji. Počeli su da objašnjavaju da je svako istraživanje slika trenutka. Doduše, oni to rade da bi unapred imali opravdanje za grešku, ali nije loše što time podsećaju ljude da rezultate anketa ne treba uzimati zdravo za gotovo.