Nu de discussie over de h-index actueel is oa door een artikel in de NRC van zaterdag 17 maart 2012 (Noem jij mij dan noem ik jou) ben ik eens in de archieven gedoken en heb een oud artikel opgedoken uit Biomeditaties: ‘Hoe zit het nou met die impactfactoren’.
Dat heeft nog niets aan relevantie ingeboet.
De h-index wordt niet genoemd –bestond toen nog niet- en het gaat alleen over de impactfactoren, maar er ligt dezelfde problematiek aan ten grondslag.
Daar mijn h-index blogposts veel geraadpleegd en de Biomeditaties artikelen slecht gevonden worden maar eens integraal de hele tekst.
——————————————————————————————
Hoe zit het nou ook al weer met die impactfactoren
Verslag van de EAHIL lezing ‘Citation analysis of biomedical publications: a customer oriented service in medical libraries’ gehouden op 25 juni 1998 door Ulrich Korwitz en opgetekend door Dymphie van der Heyden
Tegenwoordig kennen steeds meer wetenschappers kennen de Impactfactoren. De wetenschap die deze gebruikt, wordt in de bibliotheekwereld aangeduid met het eigenaardige begrip ‘Bibliometrie’, een term die zelfs bij veel bibliothecarissen niet bekend is. Kennis hiervan is nodig om de gebruiker te adviseren bij de beoordeling van tijdschriften, en het kiezen in welk tijdschrift te publiceren. We zijn niet alleen passieve bewaarders van kennis meer, nu de gebruikers steeds gemakkelijker zelf de weg in de informatie weten te vinden. Wij moeten onze plaats duidelijk maken en inspelen op de behoefte die onze gebruikers nu hebben.
Het wordt steeds belangrijker voor researchers de impact van hun werk aan te kunnen geven om fondsen in de wacht te slepen of geld van industrie te krijgen. Het aantal gepubliceerde artikelen gaat steeds meer tellen: ‘publish or perish’, maar ook waarin gepubliceeerd is, wordt steeds belangrijker: bij voorkeur een tijdschrift met de hoogste impact.
De mogelijkheid om de relevantie van artikelen te bepalen is van belang voor wetenschappers, maar ook voor managers en uitgevers.
In 1975 startte Eugene Garfield met een index waarin ook de literatuurlijsten bij de artikelen werden opgenomen. Hierbij was het niet alleen mogelijk om via de verwijzingen andere literatuur over hetzelfde onderwerp te vinden, maar ook andersom: meer recente publicaties die naar bekende publicaties verwijzen. Met dit systeem was het ook mogelijk om patronen van citaties en het aantal citaties per artikel of tijdschrift te analyseren of te meten.
De Journal Citation Reports, (oorspronkelijk een van de onderdelen van de jaarcumulatie van de Science Citation Index, nu afzonderlijke verkrijgbaar op microfiche of op CD-Rom) geeft een overzicht van het citeren van ca. 4000 brontijdschriften en het hierin geciteerd worden van ca. 7000 tijdschriften.
Uit die gegevens wordt per tijdschrift de Impact factor berekend en wel als volgt.
Men neme:
- Het aantal originele artikelen in een tijdschrift in 2 jaar
- Het aantal citaties naar artikelen van dat tijdschrift gedurende 2 jaar
en dele de eerste door de tweede. Het resultaat van deze berekening is de Impactfactor (IF) die gebruikt wordt als ‘direct relevance scale’. De resultaten worden gepubliceerd in de ‘journal rankings’.
Die IFs gaan een eigen leven leiden. Het komt bijv. voor dat men van alle publicaties van auteurs van een instituut de IFs optelt en het resultaat daarvan laat bepalen hoe het geld over de afdelingen verdeeld wordt.
Het optellen van impactfactoren van tijdschriften waarin gepubliceerd wordt, levert weliswaar een ‘cijfer’ op, maar heeft weinig te maken met de artikelen zelf.
Er zijn een aantal argumenten aan te voeren tegen het al te veel belang hechten aan deze IF. Tegen pleiten bijvoorbeeld:
- Zelfcitaties
- Citation rings (jij citeert mij – en ik jou)
- Boeken / conferentieverslagen etc tellen niet mee
- ISI heeft 4669 tijdschriften die ze tellen. Waarom 4669? En waarom DEZE tijdschriften? In de biomedische wereld zijn er 25.000!
- Te weinig niet-Amerikaanse tijdschriften aanwezig
- Niet alle tijdschriften die in grote databasen aanwezig zijn, zitten er in
- Review tijdschriften tellen te zwaar (die hebben immers maar heel weinig originele artikelen, en heel veel referenties. Er kunnen best maar 8 artikelen per nummer in staan met in totaal 4000 referenties: dat geeft een enorme IF. Een tijdschrift als Brain Res Rev heeft daardoor een onevenredig hoge IF.
- Klinische tijdschriften tellen te weinig. Bij de nummers 1-50 in de lijst zit geen enkel klinisch tijdschrift
- Verschillen in discipline: je kunt verschillende disciplines niet zomaar met elkaar vergelijken
- Verschillen in ‘halfwaarde tijd’ van de informatie: die kan per discipline ook heel anders liggen
- Titelwijzigingen: wat doe je daarmee? Grappig is dat BMJ bijv op een gegeven moment maar 0 referenties had, nadat ze net de titelwijzigingen van Br Med J naar BMJ hadden gemaakt. Toen hebben ze maar de IF van het jaar daarvoor genomen. Die policy wordt niet altijd consequent toegepast, maar om BMJ konden ze blijkbaar niet heen
- Nieuwe tijdschriften tellen pas na 2 jaar mee: de eerste twee jaren per definitie niet, en hebben dan DUS geen IF
- Beschikbaarheid van tijdschriften maakt een verschil: als een tijdschrift niet/weinig beschikbaar is, kan het DUS ook niet gelezen en geciteerd worden
- Kosten van tijdschriften: dure tijdschriften opzeggen: niet beschikbaar, dus…
- Fouten bij ISI
- ‘Geciteerd’ wil nog niet zeggen ‘van belang’!
Een bekende uitspraak van Garfield zelf: ‘To be an uncited scientist is no cause for shame’ (1991), aangezien meer dan de helft van de publicaties nooit geciteerd wordt.
Een belangrijk punt van kritiek is ook dat impact meer dan alleen wetenschappelijke impact is: er is ook zoiets als politieke en praktische (klinische) impact. Die meet je hiermee niet.
Daarnaast is er een indeling naar rubrieken/categorieën: wie bepaalt welk tijdschrift in welke rubriek thuishoort? Dat is van belang bij de ‘subject ranking’: daar wordt per rubriek een lijstje van belangrijkheid gegeven. Afhankelijk van het soort rubriek kan hetzelfde tijdschrift hoog of laag in de lijst staan. Met name experimentele tijdschriften staan vaak ook in klinische rubrieken en daardoor komen de typisch klinische tijdschriften vaak onderin die lijst te staan.
Advies: deel niet alleen maar lijstje met Impactfactoren uit, maar vertel er ook bij wat ermee aan de hand is.
Constructed Impact Factor (CIF)
Er zijn tijdschriften die niet in de ISI zitten, maar wel in Medline , EMBASE of BIOSIS. Daar kun je zelf de IF van berekenen, dat geeft een veel beter beeld over het totale pakket tijdschriften en artikelen1.
- Je telt het aantal artikelen over twee jaar
- Via SCI zoek je uit hoeveel citaten er zijn
- Haal zelfcitaten eruit (auteur citeert zichzelf)
- Deel ze op elkaar en je hebt de CIF: Constructed impact factor!
Persoonlijke IF
Berekenen de persoonlijke IF van alle wetenschappers in een instituut:
- Zoek op alle vormen van de naam met alle voorletters (pas op met diakrieten)
- Zoek in de SCI via handsearch hoe vaak ze geciteerd zijn (soms maakt het uit of men wel of niet de eerste auteur is: vraag dat na)
- Zelfcitering niet meetellen, en herhaalde citering van collega’s ook niet (met handsearch kun je die gemakkelijk uitsluiten
Instituuts IF
Dit kan heel belangrijk zijn voor een instituut.
Wat je nodig hebt zijn alle variaties waarin de naam van het instituut voorkomt (land-plaats-naam). Daarna kijken hoe vaak deze zijn geciteerd in de wereldliteratuur.
Op deze manier maak je jezelf en je bibliotheek onvervangbaar!
Discussie
Bijna alle deelnemers hebben de ISI lijsten wel gebruikt. In Duitsland geldt dat ook voor de meeste medisch bibliothecarissen, maar: de meesten zullen alleen de cijfers geven, en er niet de toegevoegde waarde bijsluiten, die een bibliothecaris erbij zou moeten geven.
- Hoe weet je in welke rubrieken een tijdschrift is ingedeeld? Tijdschrift kan in 1 rubriek tot de top behoren en met dezelfde IF in een andere rubriek veel lager scoren.
A Er is een alfabetische index waarin staat in welke rubrieken een titel is ingedeeld
- ISI files zijn volledig onbetrouwbaar! Er staan heel veel fouten in en er worden dingen dubbel geteld. Is het bekend hoeveel procent van de daadwerkelijke
hoeveelheid informatie betrokken is in deze IF?
A: Nee
- De brieven worden niet meegeteld bij het tellen van het aantal artikelen. Geldt dat voor de brieven als bron of als ‘cited’
A: als bron
Opmerkingen:
- De verschillen in halfwaardetijd van de verschillende disciplines zijn heel groot: ze zijn niet te vergelijken
- Je kunt wel wijzen op de valkuilen van dit systeem, maar men luistert niet
- ‘SCI is an excellent servant but a very bad master’
- Bij literatuuronderzoek in bibliotheek-tijdschriften blijkt keer op keer dat bibliometrische methoden niet gebruikt kunnen worden om kwaliteit te bepalen
- Als je zelf een search doet om een CIF te maken, ligt het ook aan de database die je benadert wat het resultaat is. In de psychologie bijvoorbeeld is het helemaal niet bruikbaar
- Veel researchers in niet-klinische settings vinden het steeds moeilijker om te publiceren, omdat hun publicatie door peer-reviewers, die een gooi doen naar dezelfde fondsen, wordt afgewezen!
- Niet publiceren, betekent ook niet geciteerd worden, dus een lagere IF, dus nog minder budget ….. Zij publiceren wel vaak in congresverslagen, maar die tellen weer niet mee.
- De laatste naam van een lijst is vaak het hoofd van een instituut. Dat wordt gedaan om zo de IF van het instituut op te krikken. Volgens de richtlijnen mag dat niet: alleen auteurs die daadwerkelijk aan de totstandkoming van het artikel hebben bijgedragen mogen als auteur genoemd worden
Literatuur:
Crul BVM. Publiceren voor wie? (Hoofdredactioneel) Med Contact 1998;53(4):447
Polderman A. Schrijven om te mogen blijven. Natuur en techniek 1998;66(3):89-93
Stegmann J How to evaluate impact factors. Nature 1997;390:550
Visser HKA. Het belang van publiceren in Nederlandse wetenschappelijke tijdschriften met een extern beoordelingssysteem Nederl tijdschr geneeskd 1998;142:798-801
Oorspronkelijk gepubliceerd in: Biomeditaties 1998 EAHIL nummer 17-19
Dee'tjes 