Czytam właśnie Super Crunchers Iana Ayresa i jestem w trakcie rozważań autora o tym dlaczego proste modele statystyczne z reguły wykazują się większą trafnością prognoz niż eksperci. Bez wątpienia, jedną z przyczyn są błędy poznawcze, na przykład przecenianie wydarzeń o małym prawdopodobieństwie. Inną przyczyną można zobaczyć dzięki prostemu testowi.
Proszę odpowiedzieć na poniższe pytania sporządzając widełki, w których Waszym zdaniem na 90% znajduje się prawidłowa odpowiedź. Na przykład: jestem na 90% pewien, że Martin Luther King miał między 20 a 70 lat gdy umarł. Oczywiście można podać widełki dla pierwszego pytania jako 1 do 200, ale Waszym celem jest podanie jak najwęższych widełek (to kluczowe dla wyników testu), aczkolwiek z 90% prawdopodobieństwem zawierających prawidłową odpowiedź. Należy odpowiedzieć na wszystkie pytania. Prawidłowe odpowiedzi i komentarz znajduje się na odsyłaczem. Proszę najpierw odpowiedzieć na pytania i proszę postarać się nie używać Google.
-
Ile lat miał Martin Luther King gdy umarł?
-
Jak jest długość Nilu ( w km)?
-
Ile Państw należy do OPEC?
-
Ile ksiąg wchodzi w skład Starego Testamentu?
-
Jak długa jest średnica Księżyca ( w km)?
-
Ile waży pusty Boeing 747 (w kg)?
-
W którym roku urodził się Mozart?
-
Ile trwa ciąża u słonia indyjskiego?
-
Jak jest odległość pomiędzy Londynem a Tokio (w km)?
-
Jaka jest największa głębokość oceanów na Ziemi (w metrach)?
Z badań przeprowadzonych na ponad 1000 osobach wynika, że zaledwie 1% uczestników testu podało widełki, które zawierały poprawną odpowiedź 9 lub 10 raz. Większość ludzi miała rację w od 3 do 6 odpowiedziach.
Znalazłem się właśnie w tym przedziale (co jest winą tego, że Ayres korzysta z mil, funtów i stóp jako miar długości, wagi i głębokości co mnie podstępnie myliło) co oznacza, że w tym konkretnym przypadku, jak większość ludzi, wykazałem się zbyt dużą pewnością siebie. Co ciekawe, nie pomyliłem się w pytaniach, w których wiedziałem, że nie znam odpowiedzi i nie mam pojęcia o prawidłowej odpowiedzi i dlatego podawałem szerokie widełki.
Myślę, że nie muszę wyjaśniać jakie znaczenia na rynkach finansowych ma zbyt duża wiara w siłę swoich prognoz. Ten prosty test może pokazać, że większość z nas regularnie przecenia swoje możliwości prognostyczne.
Prawidłowe odpowiedzi: (1) 39, (2) 6695, (3) 12, (4) 39, (5) 3474, (6) około 178 000, (7) 1756, (8) około 645, (9) około 9500, (10) 10 911
Testy psychologiczne są fajne, (zwłaszcza te z samooceną ) ale sprawdzają się naprawdę w “dowodzeniu” tezy Sokratesa ” wiem że nic…”
Ja np “widziałem” że 747 waży około 200ton (chociaż wydawało mi się że to już zatankowanego – a tu wiki mówi że samo paliwo to 180-245 tys litrów czyli jakieś 100 ton)
Więc jak chce mieć 90% pewności to wyznaczę sobie widełki powiedzmy od 10- do 400ton. Tylko że to oczywiście brzmi fałszywie ( 10 ton to waży F16).
Tu podobnie jak dla Kinga widełki 20-70 pójście na łatwiznę ;)
Poza tym jedna taki teścik uczy pokory i rzeczywiście łatwiej popełnić gruby błąd sądząc że zna się odpowiedz ( dla mnie długość Nilu)
@Trystero
“jestem w trakcie rozważań autora o tym dlaczego proste modele statystyczne z reguły wykazują się większą trafnością prognoz niż eksperci.”
Heh, przypomniał mi się ładny cytat – nie pamiętam gdzie to przeczytałem (jakiś blog po ang chyba), ale ładnie pasuje do tematu. Szło to jakoś tak:
”
- prosty model statystyczny przyniesie lepsze wyniki niż ekspert,
- prosty model statystyczny przyniesie lepsze wyniki niż ekspert pracujący na prostym modelu statystycznym”
:-)
@ cabra
To moze byc Ayres. W ksiazce jest zawarta opinia, ze eksperci wspomagani przez modele sa lepsi niz eksperci korzystajacy tylko ze swojej wiedzy… i gorsi niz same modele.
@ lendo
Ja w podobny sposob pomylilem sie z Kingiem. Wiedzialem, ze umarl mlodo wiec dalem widelki 45-60.
Problem z takimi testami jest jeszcze taki, że niekiedy trudno operować czymś takim jak prawidłowa odpowiedź.
Prawdziwą? Nazwałbym ją raczej najbardziej popularną w danym czasie. Ja np. miałem poważny problem z takimi wartościami jak głębokość rowu mariańskiego i długość nilu. Już samo odwiedzenie google daje pogląd jak rożne odpowiedzi niekoniecznie “prawdziwe” może znać adresat pytania. Ja jestem lekko nie na czasie bo wg mojej pamięci rów mariański ma głębokość 11022 i wg 3 z 4 atlasów jakie mam w domu taka jest właśnie głębokość tego rowu. Wg 4 – 11003. Nie będę opisywał co znajduje się w rożnych książkach. Co do długości Nilu jest podobnie. Zmierzam do tego: cóż wykaże taki test jeżeli ktoś pamięta nie”prawdziwe” informacje?
@Trystero
1.W Starym Testamencie w zależności od założeń i opcji wyznaniowych przyjmuje się 39-47 ksiąg.Zawodowcy bibliści mówią jednak zazwyczaj o 44-46.dlatego tę odpowiedź uznaję za błędną.
2.Uzyskałem zaledwie 6 pkt.Uff…Pouczające ;-((
@ calkiemnikt
Zawodowi biblisci, ktorzy sa katolikami chciales powiedziec. Wersja oryginalna, to jest judaistyczna, liczy ksiag 39. A za nia wersje protestanckie. Apokryfom mowimy glosne: NIE :)
Moj wynik jest nienaturalnie wysoki, bo pamietam z geografii, ze dlugosc rownika to ok. 40tys. km, wiec latwo wyliczylem pytania 2, 5 i 9. Powinny byc mniej skorelowane ;)
Zapytam z głupia frant (bo piję dopiero poranną kawę) – co własciwie zmierzył ten test? Pewność czyjejś wiedzy/niewiedzy na tematy wybitnie ogólne? Test wydaje sie być przeznaczony dla uczniów ostatnich klas liceum, oni mają taką anegdotyczną, rozproszoną wiedzę (i daje im to złudne poczucie, że rozumieją świat) ;)
Jeżeli ktoś zajmuje się jakąś dziedziną dobrych kilka lat i to intensywnie, to jego prognozy dotyczące tej dziedziny będą o niebo lepsze. I nadmierna pewność mniej mu zaszkodzi…
@lendo
Jeśli dobrze rozumiem, w zabawie chodziło o podanie widełek odpowiadających 90% pewności: ani mniejszej, ani większej.
10-400 ton dla B747 lub 20-70 lat dla MLK dają grubo ponad 90% pewności (na przykład jeśli kojarzysz, że MLK był dorosły, ale umarł młodo, masz prawie 100% pewności, że żył 20-70 lat). Aby otrzymać odpowiedź o 90% ufności, powinieneś zawężyć widełki.
Oczywiście powstaje pytanie jak “zmierzyć” sobie w głowie pewność jakiejś odpowiedzi z dokładnością do kilku procent…
@ Dorota
Napisalas: Jeżeli ktoś zajmuje się jakąś dziedziną dobrych kilka lat i to intensywnie, to jego prognozy dotyczące tej dziedziny będą o niebo lepsze. I nadmierna pewność mniej mu zaszkodzi…
O ile z pierwszym zdaniem sie zgadzam w zupelnosci to mysle, ze nadmierna pewnosci siebie jest tak samo powaznym problemem dla ekspertow co dla ignorantow.
Szczerze mowiac, mialem tworzyc podobny test z wiedzy o rynkach finansowych by bezposrednio odniesc kwestie pewnosci siebie do inwestowania. Kiedys zrobie taki eksperyment.
Kompletne nieporozumienie. Co taki test może wykazać? Li tylko wiedzę encyklopedyczną i nic poza tym. Dobre to jest, ale w teleturniejach, a nie do udowodnienia jakiejś tezy. Po co mi znajomość długości ciąży słonia (chyba słonicy?!) indyjskiego?? Proponuję takie pytanie: jaką masę ma tona węgla (właśnie kupiłem)? Odp. 850 kg, nigdy więcej niż 1000kg.
Pytania powinny być tak ułożone, żeby na podstawie jakichś przesłanek wyciągnąć wnioski (prognozę) i podać prawdopodobieństwo ich prawdziwości.
Dla jasności podeprę się Platonem: “Jak czego nie wiem, to i nie myślę, że wiem”
@lendo
Żaden filozof nie powie “Wiem, że NIC nie wiem”. Jeżeli NIC nie wie, to nie wie nawet tego, że nic nie wie. Ech….powinni wprowadzić filozofię do szkół.
@ netka
Naprawde nie rozumiesz, ze ten test nie sprawdza Twojej wiedzy? To nie jest cel tego testu.
Ten test ma sprawdzic jak trafnie jestes w stanie ocenic poziom swojej wiedzy i niewiedzy.
W kwestii formalnej, masz mnostwo przeslanek do prognozowania dlugosci Nilu czy dlugosci ciazy slonia indyjskiego. Test sprawdza, czy jestes w stanie trafnie ocenic przydatnosc tych przeslanek.
A do szkol to powinni wprowadzic umiejetnosc logicznego myslenia bo bez tego nie ma sie co zabierac za filozofie…
Ta,akurat, ankieta jest niestety obarczona wewnętrzną słabością, z uwagi na bardzo nieprzemyślany dobór pytań.
O ile da się dokładnie odpowiedzieć na pytana nr 1,7 czy 3, to przy innych mogą być istotne problemy.
Na pytanie 4 judajczycy i protestanci odpowiedzą 39, katolicy 46 a ortodoksi 51 (albo i 53) i każdy z nich udzieli poprawnej odpowiedzi ze swojego punktu widzenia.
Ja natomiast znając dokładne odpowiedzi na pytania 2 oraz 10 byłem zaskoczony podanymi odpowiedziami.
Długość rzeki Nil podawana tradycyjnie w polskich źródłach (i nie tylko) to 6671 km, skąd wzięła się wielkość 6695 km absolutnie nie wiem, choć tak podaje polska Wiki. Ale angielska Wikipedia podaje już 6650 km ( 4132 mile) ???, inne 6695 km, choć najdłuższa wersja znana mi do dziś to 6857 km.
Jeśli idzie o głębokość Rowu Mariańskiego to u nas tradycyjnie podawano 11022 m , czasem 11034 m , lub poźniejszy japońskie badania dla UNESCO) to 10924 m).
Podana głębokość 10911 m to jakaś lipa, gdyż w 1960 r. Picard i Walsh zeszli w batyskafie na głębokość 10920 m, czyżby zakopali się w piachu na 9 m ?
I tak dobrze, że nie padało pytanie o długość Amazonki , bo tu potrzebne byłyby bardzo duże widełki, bo rozrzut w źródłach jest ogromny – od 5.500 km do ponad 7100 km. Tak tak, różnica jest ponad 1500 km, a więc 1,5 raza długości Wisły.
Encyklopedia Powszechna PWN, z 1973 roku, podaje starą długość 5500 km, aktualnie natomiast podaje się już 6400 km, albo ok. 6800 km, a nawet 7000-7100 km ( np. 7025 km Amazonka z Ucayali i Apurimac, inne 7040 km )choć nadal trwają spory gdzie jest wyjściowe źródło początkowe i jaka jest faktyczna długość rzeki).
A skwiz z zakresu ekonomii, moim zdaniem, może dać zabawne rezultaty, bo tu już trudno doszukać się kanonicznej wersji odpowiedzi, tyle jest szkół, teorii i jedynych słusznych poglądów. Choć może być całkiem ciekawie.
Całe szczęście, że nie mamy problemów z pewnością siebie.
@ GTC
Dobrze, ze nie sprawdziles ciazy slonia indyjskiego. Polska Wikipedia podaje 18-22 miesiace, ja za Ayresem podalem 645 dni…
Bez watpienia ankieta nie jest idealna, nie zamierzam jej bronic, tym bardziej, ze nie jest moja :)
Aczkolwiek, swoje zadanie, moim zdaniem, spelnia dobrze.
Nie wiem czemu, ale po lekturze wpisu od razu mi się przypomniały opinie ekspertów od global warming którzy twierdzą w raporcie że człowiek jest za nie odpowiedzialny z 90% pewnością.
Co do testu to 6 razy trafiłem z widełkami. Oczywiście prawie wszystkie błędy wynikały z chęci maksymalnego zawężenia widełek w pytaniach w których w miarę dokładnie potrafiłem oszacować odpowiedź. Tak więc uważam że test ten mierzy raczej poziom ambicji osoby rozwiązującej go. Bo na przykład bez problemu mogłem podać rozmiary księżyca na od 2000 do 10000, ale podszedłem do tematu ambitnie i podałem od 4000 do 8000. I oczywiście wtopa w prostym pytaniu :). Za to trafiłem z wiekiem kinga podające między 25 a 40.
Poniewaz tego typu testy nie sprawdzają WIEDZY o czym Trystero jasno pisze, to propozycja dla Czytelnikow. Pytanie z testu, który ja zadaje uczestnikom moich zajec (roznym – i z doswiadczeniem na rynku i bez doswiadczenia)
Prosze o szybka odpowiedz (bez sprawdzania i szukania).
Czyli korzystamy z naszej wiedzy i intuicji
A pozniej coś sprobuje wyjasnic
***
Jestem w 98 % pewny, że liczba spółek notowanych na GPW na koniec 1996 roku wyniosła nie mniej niż i nie więcej (podaj dolny i górny przedział)
80-120
@ GZ
98% to spore wymagania. Moje widelki to 15-60.
@ llukiz
Bardzo dobrze, ze Ci to przypomnialo. Bo Ci eksperci korzystaja wlasnie z modeli statystycznych opartych o regresje, czy nie?
A zajac znowu bez czapki :)
@Trystero
Khmm, khmm …
Jakby to delikatnie powiedzieć – nie biegaj nieostrożnie po moim ogródku ;-)
Ze 2,4 tyś młodzianków w Polsce właśnie pochyla się w ramach studiów nad akademickim podręcznikiem “Teologia Starego Testamentu” autorstwa KSIĘDZA PASTORA Gerharda von Rada( http://en.wikipedia.org/wiki/Gerhard_von_Rad ). To u nas (czyli w “dominującym wyznaniu”) – elementarz.Zwątpiwszy sięgnąłem na półkę po swój zaczytany egzemplarz.Tak.Pamięć mnie nie myliła.ST ma wg. niego ksiąg 47(Deutero i nawet Tryto-Izajasz).A – proszę mi uwierzyć,że coś takiego , jak biblistyka katolicka, protestancka itd. rozpłynęło się gdzieś po cichu w pierwszej poł. XX w.
Wyszło mi zatem, jak koledze od Rowu Mariańskiego ;-))
=========
Pozostańmy przy tym :ekonomii pokornie się uczę , zaś w braku lepszych – wiedzą teologiczną pokornie służę ;-)
A tak na marginesie – uzyskałem SŁABYCH 6 pkt, bo gdzie nie wiedziałem , dawałem szersze widełki , co nie wystawiłoby mi dobrej opinii , jako analitykowi ;-).
==================
Dewiacja za duża (patrz : http://okruhy.salon24.pl/150189,o-dewiacji-nie-klikaj-bo-sie-rozczarujesz ).Można czytać , bo choć Salon24 , to jednakże czyściutka i miła matematyka ;-)
@ calkiemnikt
Wiem, wiem, ze to Twoja dzialka. Zdaje tez sobie sprawe, ze Kosciol Katolicki uznaje ksiegi nienalezace do kanonu zydowskiego. Koscioly protestanckie odrzucaja te ksiegi.
Poniewaz blog nie posiada orientacji religijnej, odpowiedz 39 na to pytanie jest rownie poprawna co 46 czy 49.
8 / 10
Aile tych spółek było w 96?
Obstawiam 30 – 150.
Jakie są wytłumaczenia dla wyników testu? Czy można to zinterpretować, że uczestnicy poprostu nie rozumieją zadania. Skoro powinni wskazać z 90% skutecznością to nawet nie powinni się skupiać i doszukiwać w pamięci prawidłowej odpowiedzi tylko oszacować taką, która się zmieści, czyż nie?
Co na to autor?
@ Trystero
Bez śmichów, bo nie miałem z tym problemów i nie musiałem sprawdzać, bo akurat wiedziałem, że słoń afrykański nosi ok. 22 miesiące( 670 dni), więc tyle podałem i dla indyjskiego. Po sprawdzeniu okazało się, że u indyjskiego gestacja trwa tylko 640 dni (21 miesięcy) bo mniejszy. Tyle typowo się podaje w programach przyrodniczych, również teoretycznie wiarygodne źródła.
Ayers oparł się na innych źródłach, które podają 640 dni dla afrykańca i 645 dni ?? dla indyjczyka.
Tyle warte są te wszystkie dane na ile można na nich polegać, jeśli nawet nie da się jednoznacznie ustalić długości okresu ciąży słonia.
Dobrze, że nie zapytano ile godzin trwała sowiecka dniówka w ZSRR.
@trystero:
No i proszę, masz piękny przegląd psychiki Twoich komentatorów. :)
No mało osób jeszcze :)
No mało osób jeszcze :)
(Trys Twój automat od blogów próbujemi wmówić, że już powiedziałem to co powiedziałem ;)
“Wykryto duplikat komentarza”
@ GZ
Wiesz, nie dziwie sie. Ten automat jest niepoczytalny. Czasem probuje mi wmowic, ze spamuje wlasnego bloga i wrzuca moje komentarze do Spamu.
Skoro ciąża u człowieka trwa od 181 do 300 dni to jak można ustalić precyzyjniej ciąże u słonia indyjskiego.
choć pewnie jest krótsza jak słonia afrykańskiego (nie mylić z jaskółką afrykańską)
Dobrze, że nie padło pytanie o ciążę leniwca trójpalczastego, bo mogło by się okazać, że tu i wiedza i wyobraźnia i intuicja mogą zawieść i zenie widełki ale widły mogą być potrzebne.
Bo jak jest taki nieśpieszny w codziennych czynnościach życiowych to może i do rodzenia jest też nierychliwy i nie trzyma przewidzianych terminów. Ciekawe czy w ogóle kwapi się do rozrodu i czy leniwiec grzywiasty też taki ociągalski jest.
Zachodzę w głowę, usiłując dociec, co autor miał na myśli, ale idzie mi to jak po grudzie, widocznie z powodu mrozów.
Na szczęście w mazowieckiem nie jest jeszcze z tym tak najgorzej (z dociekaniem oczywiście), bo coś mi się wydaje widać, że w innych regionach naszego kraju może być z tym dużo gorzej.
PS
Jak miał na imię wielki polski poeta Adam Mickiewicz ?
@ GZ
Czekamy z niecierpliwością na rozwiązanie zagadki (i że “spróbujesz coś wyjaśnić” ) :)
ad 29.
Mój wpis 29 to taki żart. Uznałem ze etap poważnych komentarzy mamy już za sobą i aktualnie. Jaskółka afrykańska to ta od orzechów kokosowych.
Wpis GTZ nr 13 precyzyjniej komentuje problem poruszony w moim wpisie 4.
@kujawiak
Nie dworuj Waść sobie z psychiki Komentatorów.Wszak to zawsze challenge w anglo-saskim duchu i wyzwaniu trza sprostać ;-))
Jednakże chyba nikomu nie umknął morał :
1.Nie bądź zbyt pewny siebie(ograniczanie “widełek”)
2.Nawet Autor testu nie ustrzegł się “błędu eksperta”(w jego kręgu kulturowym(protestantów łącznie ok 175 mln) za Synodem z Jamni i M.Lutrem zwykło się przyjmować Kanon Żydowski i 39 ksiąg ST, ale 1 mld 155 mln chrześcijan z automatu odpowie inaczej na takie “oczywiste” pytanie”)
A ileż takich “oczywistosci” z najrozmaitszych dziedzin , w tym ekonomii nosimy w głowach ?
Zatem testowanie eksperta przez eksperta może być niezłym widowiskiem ;-)
Gorzej , gdy wszystkich “przetestuje” Rynek …
Pozdr.
@kujawiak
cd.Bo przecież istotą tego testu była ocena reakcji przeciętnego człowieka na konieczność podjęcia procesu decyzyjnego w warunkach niepełnej informacji.
Tony papieru na ten temat napisano i w ramach badań z zakresu psychologii społecznej , socjologii, ekonomii itd. , ale czasem taki prosty przykład jest bardzo pouczający.Więc po odłożeniu piór i opadnięciu pierwszych emocji przychodzi czas na ogólniejsze wnioski.A te IMHO wystarczająco uwzgledniają prowokację , jaką bez wątpienia był zarówno test , jak i przytoczenie go w blogu Trystero ;-)
Pozdr.
Mało chętnych było, ale już wyjaśniam.
W zdecydowanej większości ludzie podają bardzo małe wartości.
Mniejsze niż faktyczna liczba spółek – 83.
I teraz można się próbować zastanowić skąd biorą się te zaniżone wartości. Albo prześledzić swój
“tok rozumowania”
Pewnie w sporej liczbie przypadkó wyniki biorą się z takiego banalnego wnioskowania – skoro mamy 2010 rok to w 1996 czyli naście lat temu musiało być ich mało. Pewnie nie więcej niż 50.
Sporo osób, tych z doświadczeniem dodatkowo może mieć kotwicę w postaci długo pamiętanych 20-30 spółek, które były notowane w gorącym okresie 93-94.
A już kolejna sprawa, to samo podawanie odpowiedzi, jak ktoś nas o to pyta – dotyczy to dziennikarzy, analityków, ekspertów. Mało kto nie chce nic powiedzieć, przyznając się niejako (absurdalnie) do niewiedzy. Więc strzela “z dużą pewnością”. Stąd te wszystkie prognozy WIG20 na koniec roku, niesłychanie precyzyjne.
Trystero słusznie zauważył, że ta 98% pewność to dużo. Ale kłania się nam potoczne rozumienie “z prawdopodobieństwem 90% cośtamcośtam). Przecież w takich sformułowaniach,nikt tego prawdopodobieństwa nie liczy. A jeśli o czymś nie wiemy to im damy mniejsze widełki tym bardziej zmniejszamy sobie owo prawdopodobieństwo trafienia. Ot taka ludzka niekonsekwencja
@ GZ
W moim przypadku, ubzduralem sobie, ze pod koniec 1996 roku WGPW miala dopiero 3 lata. Tak jak mowiles, odpowiadalem szybko i jakos mi sie 1993 skojarzyl jako poczatek gieldy w Polsce. Stad niskie widelki.
Gdyby ktos chcial sprawdzic – tutaj jest rodowod spolek gieldowych do 1999 roku: http://www.gpw.pl/zrodla/gpw/rocznik2000/11.pdf
no to dałeś ciała, Trys ;)
A może raz na pięćdziesiąt razy zdarzyłoby się, że byś się pomylił w tego typu pytaniu i akurat zdarzyło się to teraz? ;)
Ja dałem widełki 20-180, biorąc pod uwagę tak wysoki poziom ufności. Mimo bardzo szerokich widełek moim zdaniem nie świadczy to o wybitnym braku wiedzy/orientacji.