Gregory Webster dokonał analizy około 54 000 tekstów naukowych, który ukazały się w Science w latach 1901-2000 i odkrył bardzo wyraźną korelację pomiędzy liczbą źródeł, które autor artykułu w nim cytuje a tym ile razy artykuł jest później cytowany. Zdaniem Webstera, zjawisko to statystycznie wyjaśnia nawet połowę wariancji w liczbie cytowań poszczególnych artykułów. Co więcej, zdaniem Webstera wspomniana korelacja rosła przez cały XX wieku.
Poniższy wykres przedstawia omawiana korelację przy uwzględnieniu ilości stron artykułów:
Za Gregory Webster
Badania są o tyle interesujące, że liczba cytowań, w świecie desperacko szukającym kwantytatywnych sposobów oceny wyników uchodzi za jeden z istotnych wskaźników rozwoju naukowego. Zdumiewa mnie natomiast wyjaśnienie Webstera, który od zaobserwowanej korelacji do związku przyczynowo-skutkowego przechodzi za pomocą teorii ‘ja Ciebie cytuję, a Ty mnie’. Daleki jestem od zaprzeczania, że taki efekt istnieje – to zjawisko da się nawet zaobserwować w blogosferze.
Zdumiewa mnie natomiast fakt, że nikt nie pochylił się nad najbardziej oczywistym rozwiązaniem zagadki. Otóż, ja nie wiem jak sytuacja wygląda w naukach ścisłych czy przyrodniczych oraz jak sytuacja wygląda na poziome uznanych naukowców. Mogę jednak powiedzieć, że na poziomie magistrów i doktorantów, w naukach społecznych, liczba cytowanych źródeł jest ściśle skorelowana… z jakością przeprowadzonych badań. Oczywiście są wyjątki, świetne artykuły z małą ilością cytowanych źródeł i słabe teksty ‘upstrzone’ cytowaniami. Generalnie jednak, solidnie przeprowadzone badania polegają między innymi na zapoznaniu się z możliwie szerokim zakresem literatury a to skutkuje częstym cytowaniem. W tym przypadku korelacja pomiędzy liczbą cytowań w artykule i liczbą cytowań artykułu byłaby wynikiem faktu, że obydwa wskaźniki skorelowane są z merytoryczną jakością artykułu.
A jakie są Wasze spostrzeżenia?
Wariancji, nie wariacji. R^2 na poziomie 0,47 to jednak za wysokie nie jest, chociaż w naukach społecznych różnie na to patrzą.
Nie to jakis zart, Rsq 0.47 ? Toz to plama jakas. W niektorych journalach zdarzaja sie limity na liczbe referencji, a czesciej – limity na dlugosc textu. To sztucznie modyfikuje te badanie, bo jak upchnac 70 referencji do pracy ktora ma 4 strony?
A czy wiadomo, jakie kryteria przyjął ów badacz co do tego, które badania mają wysoką jakość, a które nie? Coś mi te badania śmierdzą…
Zdaje mi się, że choć ich konkluzje są na pewno prawdziwe, to empiryczny dowód w tym względzie właśnie dlatego, że musi angażować pewne subiektywnie wybrane kryterium jakości jest niemożliwy.
Prawdziwość konkluzji tych badań wynika nie z empirii, a z dedukcji. Jeśli wiemy więcej o teoriach innych badaczy, jesteśmy skłonni popełniać mniej błędów w swoich własnych pracach, niż gdy wiemy o tych teoriach mniej. Jesteśmy też zazwyczaj oryginalniejsi, bo nikt nie chce wyważać otwartych drzwi, o których wie, że są już otwarte.
Co do nauk ścisłych jest zauważalna tzw. konkurencja między naukowcami ( Polacy zazwyczaj nie cytują siebie nawzajem bądź tego unikają ze względu na wewnątrz-krajową konkurencję). Osoby piszące znaczną ilość artykułów najczęściej cytują samych siebie bądź pionierów w danej dziedzinie.
@ Sebastian
Nie, ten naukowiec nie zajmował się jakością badań – to moja hipoteza.
@ wszyscy
Wróciłem właśnie z małego wypadu do dużego miasta. Jutro wznowię aktywność na blogu :)
@ hamiltonian
To są dane dla Science tylko.
@ hamiltonian i errdos113
Czy 0,47 to dużo? Wystarczająco by wywołać dyskusje, do której linkowałem.
Science ma pewne klasy artykulow, z ktorych kazda ma okreslona liczbe slow, referencji i figur (generalnie tak jest, im lepsze pismo, tym wieksze restrykcje )
http://www.sciencemag.org/about/authors/prep/gen_info.dtl
poza tym nie mozna wszystkich klas artykulow do jednego wora wrzucac!
zreszta ten wykres na swoj sposob ma ciekawe detale, ktore cos mowia. dla logarytmu referencji mniejwiecej miedzy -1..-0.8 jest mala przerwa (z mala liczba wartosci dla wszystkich Y-kow). Moze to odzwierciedla to istnienie dwoch kategorii arytkulow, majacej maly limit na liczbe referencji i wiekszy limit. Jakby nalozenie sie dwoch gaussow na siebie.
pozdro
Zarówno liczba cytowanych żródeł, jak i liczba prac cytujących daną prace koreluje z dziedziną nauki. W naukach medycznych cytuje się dużo, w matematyce niewiele. Ot cała zagadka.
Trystero, raczysz solidnie żartować, że jakość badań zależy od objętości bibliografii.
@ poszi
Trystero, raczysz solidnie żartować, że jakość badań zależy od objętości bibliografii.
Nie żartuję. Myślę, że obszerna bibliografia może być efektem dokładnych, wyczerpujących badań. Dokładne, wyczerpujące badania podwyższają jakość badań.
@trystero,
Obszerna bibliografia to często dowód na lenistwo w jej selekcji. Nie ma żadnego problemu stworzyć bibliografię na kilkaset pozycji przy użyciu baz danych publikacji, nie czytając nic więcej poza abstraktem.
@ poszi
Ale bibliografia to nie to samo co cytowania.
@trystero,
W mojej terminologii bibliografia to spis cytowanych prac, ale zwał jak zwał. Można zrobić obszerne cytowania nie czytając ani jednej cytowanej pracy.
Wracając do istoty, poza korelacją miedzy dziedzinami (wpis #9), istotna jest korelacja w typie publikacji. Możliwa, że jest to najwazniejsza korelacja na tym wykresie i być może jedyna statystycznie istotna.
Sprawdziłem, ze w przykładowym 2002 roku było w Science 2810 publikacji. Do tej pory każda była cytowana średnio 83 razy. Ale patrząc na różne kategorie, widać ogromny rozziew.
Opublikowano 117 recenzji książek, każda cytowana średnio pół raza. Recenzje książek zawierają na ogół tylko jedno cytowanie.
Z drugiej strony spektrum, było 89 prac przegladowych, każda cytowana średnio 312 razy. Prace przeglądowe cytują ok 100 publikacji każda.
Nie jest to bynajmniej żadne odkrycie, że przeglądowe prace są cytowane najbardziej, a sa to prace zawierające zawsze najobszerniejszą bibliografie.
Twoje obserwacje Trystero odnośnie dużej bibliografii odnoszą się do nauk “miękkich”. W fizyce/matematyce (i podejrzewam, że pokrewnych też) im bardziej jest odkrywcza praca tym ma mniej bibliografii (bo nikt/niewielu wcześniej to odkryli/rozwiązali itd).
Pozdrawiam
a ja się chcę przyczepić: “liczba cytowań” a nie “ilość cytowań” ponieważ cytowania są policzalne (nawet jeżeli jest ich dużo :))