Tagarchief: h-index

H-index en Impactfactoren

Laat een reactie achter

Nu de discussie over de h-index actueel is oa door een artikel in de NRC van zaterdag 17 maart 2012 (Noem jij mij dan noem ik jou) ben ik eens in de archieven gedoken en heb een oud artikel opgedoken uit Biomeditaties: ‘Hoe zit het nou met die impactfactoren’.
Dat heeft nog niets aan relevantie ingeboet.

De h-index wordt niet genoemd –bestond toen nog niet- en het gaat alleen over de impactfactoren, maar er ligt dezelfde problematiek aan ten grondslag.

Daar mijn h-index blogposts veel geraadpleegd en de Biomeditaties artikelen slecht gevonden worden maar eens integraal de hele tekst.

Pinboardverzameling

——————————————————————————————

Hoe zit het nou ook al weer met die impactfactoren

Verslag van de EAHIL lezing ‘Citation analysis of biomedical publications: a customer oriented service in medical libraries’ gehouden op 25 juni 1998 door Ulrich Korwitz en opgetekend door Dymphie van der Heyden

Tegenwoordig kennen steeds meer wetenschappers kennen de Impactfactoren. De wetenschap die deze gebruikt, wordt in de bibliotheekwereld aangeduid met het eigenaardige begrip ‘Bibliometrie’, een term die zelfs bij veel bibliothecarissen niet bekend is. Kennis hiervan is nodig om de gebruiker te adviseren bij de beoordeling van tijdschriften, en het kiezen in welk tijdschrift te publiceren. We zijn niet alleen passieve bewaarders van kennis meer, nu de gebruikers steeds gemakkelijker zelf de weg in de informatie weten te vinden. Wij moeten onze plaats duidelijk maken en inspelen op de behoefte die onze gebruikers nu hebben.

Het wordt steeds belangrijker voor researchers de impact van hun werk aan te kunnen geven om fondsen in de wacht te slepen of geld van industrie te krijgen. Het aantal gepubliceerde artikelen gaat steeds meer tellen: ‘publish or perish’, maar ook waarin gepubliceeerd is, wordt steeds belangrijker: bij voorkeur een tijdschrift met de hoogste impact.

De mogelijkheid om de relevantie van artikelen te bepalen is van belang voor wetenschappers, maar ook voor managers en uitgevers.

In 1975 startte Eugene Garfield met een index waarin ook de literatuurlijsten bij de artikelen werden opgenomen. Hierbij was het niet alleen mogelijk om via de verwijzingen andere literatuur over hetzelfde onderwerp te vinden, maar ook andersom: meer recente publicaties die naar bekende publicaties verwijzen. Met dit systeem was het ook mogelijk om patronen van citaties en het aantal citaties per artikel of tijdschrift te analyseren of te meten.

De Journal Citation Reports, (oorspronkelijk een van de onderdelen van de jaarcumulatie van de Science Citation Index, nu afzonderlijke verkrijgbaar op microfiche of op CD-Rom) geeft een overzicht van het citeren van ca. 4000 brontijdschriften en het hierin geciteerd worden van ca. 7000 tijdschriften.

Uit die gegevens wordt per tijdschrift de Impact factor berekend en wel als volgt.

Men neme:

  • Het aantal originele artikelen in een tijdschrift in 2 jaar
  • Het aantal citaties naar artikelen van dat tijdschrift gedurende 2 jaar

en dele de eerste door de tweede. Het resultaat van deze berekening is de Impactfactor (IF) die gebruikt wordt als ‘direct relevance scale’. De resultaten worden gepubliceerd in de ‘journal rankings’.

Die IFs gaan een eigen leven leiden. Het komt bijv. voor dat men van alle publicaties van auteurs van een instituut de IFs optelt en het resultaat daarvan laat bepalen hoe het geld over de afdelingen verdeeld wordt.

Het optellen van impactfactoren van tijdschriften waarin gepubliceerd wordt, levert weliswaar een ‘cijfer’ op, maar heeft weinig te maken met de artikelen zelf.

Er zijn een aantal argumenten aan te voeren tegen het al te veel belang hechten aan deze IF. Tegen pleiten bijvoorbeeld:

  • Zelfcitaties
  • Citation rings (jij citeert mij – en ik jou)
  • Boeken / conferentieverslagen etc tellen niet mee
  • ISI heeft 4669 tijdschriften die ze tellen. Waarom 4669? En waarom DEZE tijdschriften? In de biomedische wereld zijn er 25.000!
  • Te weinig niet-Amerikaanse tijdschriften aanwezig
  • Niet alle tijdschriften die in grote databasen aanwezig zijn, zitten er in
  • Review tijdschriften tellen te zwaar (die hebben immers maar heel weinig originele artikelen, en heel veel referenties. Er kunnen best maar 8 artikelen per nummer in staan met in totaal 4000 referenties: dat geeft een enorme IF. Een tijdschrift als Brain Res Rev heeft daardoor een onevenredig hoge IF.
  • Klinische tijdschriften tellen te weinig. Bij de nummers 1-50 in de lijst zit geen enkel klinisch tijdschrift
  • Verschillen in discipline: je kunt verschillende disciplines niet zomaar met elkaar vergelijken
  • Verschillen in ‘halfwaarde tijd’ van de informatie: die kan per discipline ook heel anders liggen
  • Titelwijzigingen: wat doe je daarmee? Grappig is dat BMJ bijv op een gegeven moment maar 0 referenties had, nadat ze net de titelwijzigingen van Br Med J naar BMJ hadden gemaakt. Toen hebben ze maar de IF van het jaar daarvoor genomen. Die policy wordt niet altijd consequent toegepast, maar om BMJ konden ze blijkbaar niet heen
  • Nieuwe tijdschriften tellen pas na 2 jaar mee: de eerste twee jaren per definitie niet, en hebben dan DUS geen IF
  • Beschikbaarheid van tijdschriften maakt een verschil: als een tijdschrift niet/weinig beschikbaar is, kan het DUS ook niet gelezen en geciteerd worden
  • Kosten van tijdschriften: dure tijdschriften opzeggen: niet beschikbaar, dus…
  • Fouten bij ISI
  • ‘Geciteerd’ wil nog niet zeggen ‘van belang’!

Een bekende uitspraak van Garfield zelf: ‘To be an uncited scientist is no cause for shame’ (1991), aangezien meer dan de helft van de publicaties nooit geciteerd wordt.

Een belangrijk punt van kritiek is ook dat impact meer dan alleen wetenschappelijke impact is: er is ook zoiets als politieke en praktische (klinische) impact. Die meet je hiermee niet.

Daarnaast is er een indeling naar rubrieken/categorieën: wie bepaalt welk tijdschrift in welke rubriek thuishoort? Dat is van belang bij de ‘subject ranking’: daar wordt per rubriek een lijstje van belangrijkheid gegeven. Afhankelijk van het soort rubriek kan hetzelfde tijdschrift hoog of laag in de lijst staan. Met name experimentele tijdschriften staan vaak ook in klinische rubrieken en daardoor komen de typisch klinische tijdschriften vaak onderin die lijst te staan.

Advies: deel niet alleen maar lijstje met Impactfactoren uit, maar vertel er ook bij wat ermee aan de hand is.

Constructed Impact Factor (CIF)

Er zijn tijdschriften die niet in de ISI zitten, maar wel in Medline , EMBASE of BIOSIS. Daar kun je zelf de IF van berekenen, dat geeft een veel beter beeld over het totale pakket tijdschriften en artikelen1.

  • Je telt het aantal artikelen over twee jaar
  • Via SCI zoek je uit hoeveel citaten er zijn
  • Haal zelfcitaten eruit (auteur citeert zichzelf)
  • Deel ze op elkaar en je hebt de CIF: Constructed impact factor!

Persoonlijke IF

Berekenen de persoonlijke IF van alle wetenschappers in een instituut:

    • Zoek op alle vormen van de naam met alle voorletters (pas op met diakrieten)
    • Zoek in de SCI via handsearch hoe vaak ze geciteerd zijn (soms maakt het uit of men wel of niet de eerste auteur is: vraag dat na)
    • Zelfcitering niet meetellen, en herhaalde citering van collega’s ook niet (met handsearch kun je die gemakkelijk uitsluiten

Instituuts IF

Dit kan heel belangrijk zijn voor een instituut.

Wat je nodig hebt zijn alle variaties waarin de naam van het instituut voorkomt (land-plaats-naam). Daarna kijken hoe vaak deze zijn geciteerd in de wereldliteratuur.

Op deze manier maak je jezelf en je bibliotheek onvervangbaar!

Discussie

Bijna alle deelnemers hebben de ISI lijsten wel gebruikt. In Duitsland geldt dat ook voor de meeste medisch bibliothecarissen, maar: de meesten zullen alleen de cijfers geven, en er niet de toegevoegde waarde bijsluiten, die een bibliothecaris erbij zou moeten geven.

  •  Hoe weet je in welke rubrieken een tijdschrift is ingedeeld? Tijdschrift kan in 1 rubriek tot de top behoren en met dezelfde IF in een andere rubriek veel lager scoren.

A Er is een alfabetische index waarin staat in welke rubrieken een titel is ingedeeld

  • ISI files zijn volledig onbetrouwbaar! Er staan heel veel fouten in en er worden dingen dubbel geteld. Is het bekend hoeveel procent van de daadwerkelijke

hoeveelheid informatie betrokken is in deze IF?

A: Nee

  • De brieven worden niet meegeteld bij het tellen van het aantal artikelen. Geldt dat voor de brieven als bron of als ‘cited’

A: als bron

Opmerkingen:

  • De verschillen in halfwaardetijd van de verschillende disciplines zijn heel groot: ze zijn niet te vergelijken
  • Je kunt wel wijzen op de valkuilen van dit systeem, maar men luistert niet
  • ‘SCI is an excellent servant but a very bad master’
  • Bij literatuuronderzoek in bibliotheek-tijdschriften blijkt keer op keer dat bibliometrische methoden niet gebruikt kunnen worden om kwaliteit te bepalen
  • Als je zelf een search doet om een CIF te maken, ligt het ook aan de database die je benadert wat het resultaat is. In de psychologie bijvoorbeeld is het helemaal niet bruikbaar
  • Veel researchers in niet-klinische settings vinden het steeds moeilijker om te publiceren, omdat hun publicatie door peer-reviewers, die een gooi doen naar dezelfde fondsen, wordt afgewezen!
  • Niet publiceren, betekent ook niet geciteerd worden, dus een lagere IF, dus nog minder budget ….. Zij publiceren wel vaak in congresverslagen, maar die tellen weer niet mee.
  • De laatste naam van een lijst is vaak het hoofd van een instituut. Dat wordt gedaan om zo de IF van het instituut op te krikken. Volgens de richtlijnen mag dat niet: alleen auteurs die daadwerkelijk aan de totstandkoming van het artikel hebben bijgedragen mogen als auteur genoemd worden

Literatuur:

Crul BVM. Publiceren voor wie? (Hoofdredactioneel) Med Contact 1998;53(4):447

Polderman A. Schrijven om te mogen blijven. Natuur en techniek 1998;66(3):89-93

Stegmann J How to evaluate impact factors. Nature 1997;390:550

Visser HKA. Het belang van publiceren in Nederlandse wetenschappelijke tijdschriften met een extern beoordelingssysteem Nederl tijdschr geneeskd 1998;142:798-801

Oorspronkelijk gepubliceerd in:
Biomeditaties 1998 EAHIL nummer 17-19

Verslag Research Evaluation presentatie (Thomson Reuters)

3 Reacties

Ann Kushmerick manager research evaluation and bibliometric data, is net van Philadelphia ingevlogen en geeft de presentatie. Bijeenkomst georganiseerd door Thomson Reuters en gehost bij UBVU 22 juni 2009.

Agenda: Waarom bibliometrie? Waarom WOS, en  Gebruik Nieuwe ISI tools, InCites / ResearcherID

Research cycle: search & discovery / Write & publish / Evaluate / Manage research output.
TR wil op al deze velden actief zijn. Zowel voor onderzoekers zelf, als bibliothecarissen als beleidsmakers.

Trends:

  • competing funding is stijgend
  • competition research faculty is stijgend
  • effectiever gebruik van bronnen

Waarom: o.a.: weten waar je nu staat, waar je geweest bent en waar je heen gaat, en om degenen die erg goed zijn te belonen.

Belang van meten (meten = weten): dan kun je iets van je onderwerp zeggen.

Waarom bibliometrie

  • quality assessment
  • indicatie van impact
  • kwantitatieve analyse moet peer review niet vervangen
  • performance indicators die transparant en reproduceerbaar  zijn

Citation metrics

  • zijn maar onderdeel van geheel van research performance
  • je moet niet naar een enkel getal kijken: verschillende methoden laten andere zaken zien, combineer ze
  • zijn maar net zo goed als de bron waaruit ze komen

Cover WoS:

  • ambitie niet alle tijdschriften op te nemen maar de belangrijkste
  • wel over hele breedte wetenschappen
  • consistent
  • > 42 million records, 11000 tijdschriften
  • Conference proceedings 120.000 zijn laatst ook erbij gekomen
  • 105+ jaar  ( is idd sterke punt van hen)

University rankings

JCR wordt 1x per jaar geactualiseerd en is vrijdag ge-updated

Nieuwe databases van ISI

  • Chinese scince citation
  • Biosis citation index
  • Century of social science (nu ook terug tot 1900)

Conference proceedings

  • Zowel voor de sciences als voor de social sciences
  • Waarom? Omdat ze voor de onderzoekers erg belangrijk zijn: sommige disciplines (engineering) kijken meer naar deze publicaties dan naar officiële tijdschriften, en omdat nieuwe info hier eerder in komt.
  • Terug tot 1990
  • Geïncorporeerd in WoS
  • Citaties in WoS tellen nu ook de proceedings mee (“this article is citated 288 times in Wos, 26 of those in Conference Proceedings”)

In WoS nu ook:

  • funding acknowlegements. Sinds vorig jaar. apart veld. Analyze results: top auteurs, instituten en disciplines. geen plannen om oude data daarin toe te voegen, maar zou wel kunnen.

WoK tools zijn verbeterden er zijn plannen

  • Citation report. Limiet 10.000 records voor een citation report. Van plan on gecombineerde citation reports te maken over heel WoK
  • Scorecard (komt er aan)
  • Map (visualisatie, ook om bijv trends te laten zien, visualiseren per jaar/auteur bijv. ))

H-index

  • heeft geen vast startpunt in WoS, maar gaat zover terug als je instituut een abonnement heeft (eigenlijk is dat wonderlijk, want daarmee wordt de h-index van WoS ook weer niet uniform )
  • sterk afhankelijk van discipline, vergelijk ze niet onderling
  • afhankelijk van leeftijd auteur en aantal artikelen die deze geschreven heeft, geen rekening met artikelen die heel erg veel invloed hadden
  • gaat alleen omhoog, nooit omlaag, ook al publiceer je niet meer

(nu aan de koffie)

10 commandments of publishing / citation analysis

  1. available data can address question
  2. choose field definitions
  3. whole or fractional counting
  4. require editing (misleading  data,  consider negative and self-citation)
  5. compare like with like (vergelijk geen verschillende disciplines)
  6. use releative measures
  7. recognize skewed nature of citations
  8. obtain multiple measures (citatie patronen: weinig wordt veel geciteerd, veel door weinigen)
  9. confirm data collection relevant to question
  10. ask wheter results are reasonable

Journal of citation reports (JCR)

  • field differences heeft invloed op Impact Factor: normale IF  gaat over 2 jaar impact, maar sommige disciplines  hebben een ander citatie patroon: dan is de 5-jaar impact handiger. In mathematica of geologie bijv is 5-jaar index van een tijdschrift vaak hoger
  • 80% van tijdschriften heeft minder dan 20% self-citatie
  • EigenFactor score toegevoegd, daarmee hangt score niet van tijdschrift af, maar staat ertikel op zich
  • oneigenlijk gebruik van IF. IF is nooit bedoeld als beoordeling van een auteur, maar van een tijdschrift
  • elk instituut heeft eigen behoefte en er worden ook heel verschillende soorten rapporten gemaakt

Relative impact measures

  • journal actual, category, mean percentile
  • ze geven ook ruwe data waarmee mensen zelf statistieken kunnen maken

Incites

  • nieuwe tool, gaat terug tot 1981
  • comparative data: rank and compare countries bijv. Analyseer productie per land per jaar over 5 jaar. Zoek naar trends, laat zien hoe je zelf scoort ten opzichte van de baseline. Lijkt op wat cwts doet, maar ze rekenen ietsje anders. Dat kun je ook voor instituten / universiteiten doen. Benchmarking, vergelijk instituten maar ook: vergelijk performance
  • research performance profile data. Data gaat terug tot 1981 Overzichten.
  • werkt met WoS maar is een apart abonnement
  • in NL heeft alleen Utrecht nog een trial

Wat kun je bijv met Web InCites:
 Nagaan ‘What is a researcher’s impact’ en Management informatie

  • van een groep allerlei soorten metrics samenvatten, inzoomen op een auteur.
  • je kunt in een regel zien hoe een artikel scoort en ook wat de te verwachten score is in vergelijking met het tijdschrift en de categorie: dan heb je in een oogopslag een vergelijking van hoe iemand het doet, beter of slechter dan gemiddeld
  • 2nd generation citation counts: indirecte impact.
  • dat kun je ook samenvatten over alle publicaties van een auteur
  • omdat het genormaliseerde getallen zijn, kun je het vergelijken met totaal andere disciplines en zelfs het hele veld in een bepaald land bijv.
  • trend analyse: nagaan of/waarom er een bepaalde daling/stijging  in een bepaalde tijd is. Publication trend / Citation trend
  • analyseer de uitkomsten van samenwerking met andere instituten

ReseacherID

Profiel: creëert een  uniek nummer voor een onderzoeker met daarin naam en instituut etc.  Ook door/voor mensen die niet op WoS geabonneerd zijn, maar als je abonnement hebt, wordt de h-index ook getoond. Deze data kan ook toegevoegd worden aan InCites.  Profielen kunnen ook en masse geproduceerd worden door de bibliotheek bijv. Profiel kan openbaar of privé zijn: als je het openbaar maakt, komt er een lijst met publicaties bij.  Maar die lijsten moeten ze wel zelf bijhouden. Zou wel handiger zijn als ISI een berichtje gaf als ze een nieuwe publicatie van iemand vonden en een seintje gaven om het up-to-date te houden.

Hoe verhoudt het zich tot nationale activiteiten als DAI? Ze vinden wel dat er samengewerkt moet worden, maar blijkbaar is dat dus nog niet het geval. (Metis mensen: actie, neem contact op met hen!)

Scopus en het verschil in de H-index: deel 3

Laat een reactie achter

Het wordt steeds vreemder met het geval van een van onze auteur die voor dezelfde set van Elsevier de ene keer een h-index van 9 krijgt, en de andere keer 16.

Voordat hij zijn auteursgegevens in Scopus had laten aanpassen, had hij aanvankelijk voor de opgetelde auteursvarianten samen een 16, maar omdat niet iedereen aan dat optellen doet, kun je ze laten samenvoegen: toen was hij gezakt naar 9, en daar niet blij mee.  We kregen al een sussend mailtje van Elsevier dat die h-index echt 16 is, maar dat het even duurde voor het effect had. Akkoord, is te begrijpen, niet fijn, maar alla.

Maar nu, ruim een maand later, is dat nog niet aangepast, gisteren dus weer een mailtje gestuurd en eigenlijk meteen antwoord gekregen. Letterlijk zeggen ze dit:

I can confirm that author’s H-index is 16. Because Scopus’ main focus concerns publications after 1996, we leave out all pre-96 articles when calculating this H-index. That is what makes the H-index is this author 9 when looking on his author details page.
Considering all his articles his H-index remains 16.

That is why there will be a discrepancy in H-index, when calculating this from an Author Profile, or via an advanced author search which can find results for pre-1996 content

Maar het is niet alleen de Advanced Search die een discrepantie geeft: de ‘citation tracker‘  geeft het verschil. Was het maar waar, dat de oudere artikelen meegeteld werden, dat zouden onze medewerkers graag zien, maar bij de ‘citation tracker‘ staat met koeieletters boven dat ze pas vanaf 1996 tellen:

Het wordt nl.  nog vreemder:

  • als ik bij de auteur ‘details‘ meteen op de ‘citation tracker‘ klik: dan komt hij uit op 9
  • als ik bij dezelfde set die daar 9 geeft, eerst klik op show en daarna (dezelfde set) op ‘citation tracker’: dan wordt het 16

Dus hetzelfde systeem levert voor exact dezelfde set documenten in dezelfde databse op dezelfde dag met gebuikmaking van dezelfde techniek twee verschillende antwoorden. Daar klopt iets niet Elsevier!

Zouden ze ons echt naar Web of Science willen hebben?  Overigens is zijn h-index daar 13: hij publiceert nogal in congresverslagen en een aantal daarvan worden in Scopus wel en in WoS niet meegeteld, vandaar dat hij daar lager dan 16 uitkomt. Bij WoS heeft hij 63 artikelen, bij Scopus 75.  Van die dingen  dus 😉 .

—

Aanvulling:  Via Scopus kun je ook de h-index berekenen door op de auteur te zoeken, ze te  sorteren ze op citaties en vervolgens de linkerkolom het H-index cijfer af te lezen. Maar als je via het  Authortabblad naar de auteur zoekt, zie je bij de details meteen het cijfertje van de h-index en de meeste mensen kijken niet verder.  Maar dit systeem blijkt dus niet goed te werken! Elsevier doe er wat aan!.

Scopus en het verschil in de H-index: deel 2

1 Reactie

Vorige week schreef ik over het verschil in h-index via de Details en het traject: ‘All documents> citation tracker ‘. In het ene geval kreeg ik er 9 uit, en in het andere geval 16, voor exact dezelfde titels.  Alleen als je dan op ‘Exclude Self citations of all authors’ klikte , kwam er weer 9 uit. Dat kan natuurlijk, maar het verschil leek me wel groot.

Elsevier gevraagd en zij bevestigden dat de H-index van de betreffende  auteur 16 was: het had mogelijk te maken met de korte termijn dat het geleden was dat de samenvoeging plaats vond.

Als ik vandaag exact hetzelfde doe, krijg ik in er weer precies hetzelfde uit: Detail = 9, All documents = 16. Maar nu levert het uitsluiten van de zelf-citaties geen verschil op en blijft het 16 ….  die zelf-citaties waren daar dus het probleem niet.

Deze ga ik in de gaten houden: wanneer worden de details nu ook 16?

BTW: zou Elsevier zich realiseren wat een consternatie ze hiermee veroorzaken bij de auteur? Maar ik was wel blij met hun snelle reactie op mijn vraag.

Scopus en het verschil in de H-index

1 Reactie

Ik heb al vaker bericht over Scopus en de H-index, en in een van die postjes heb ik gezegd dat je je klanten moet stimuleren om Elsevier feedback te geven wanneer er naamsvarianten in de database voorkomen. Zodat Elsevier die kan samenvoegen onder een hoofd- auteursingang en als je dan op ‘Details’ van een auteur klikt, heb je alle gegevens van een persoon bij elkaar. Waarmee deze dus in een keer ook de juiste H-index aanklikbaar heeft.

Daar heb ik me lelijk mee in de vingers gesneden lijkt het wel.

Een van onze onderzoekers kwam 3x voor: hij publiceert nogal wat, maar op een of andere manier is het toch altijd weer lastig voor database exploitanten om te weten of een publicatie nou van dezelfde persoon is of niet. En in dit geval had hij heeft (nog) geen DAI.

Als je naar de naamsingang keek met de meeste publicaties, kwam hij op een H-index van 9. Maar als je de twee andere opzocht, en die samenvoegde in een enkele zoekactie, kun je daar de H-index van opvragen via de ‘Citation tracker’. Daar het om een zoekactie van een  bepaalde persoon ging, en de publicaties ook echt van die persoon zijn, ging ik ervan uit dat wat dan volgt , de echte H-index is. In mijn voorbeeld kwam dat op 16 uit: een mooi getal.

Dus ik adviseerde hem om Elsevier te vragen om zijn naamsvarianten onder een noemer te zetten, en dat hebben ze gedaan.

Met als gevolg dat hij n u een H-index van … 9 heeft: precies als voorheen, alleen nu met het juiste aantal (73) publicaties.

Hoe kan dat nou?

Hij baalt, en ik baal ook. Heb ik wat verkeerd gedaan met mijn ‘berekening’?

Voor alle zekerheid heb ik via de Auteursindex zijn naam gezocht, geklikt op ‘alle documents’ bij zijn naam (die dus H-index 9 oplevert), en naar de Show van al die documenten gegaan. Daar heb ik vervolgens geklikt op ‘Citation tracker’ en dan zie ik tot mijn verbazing een H-index van … 16.  Over dezelfde 73 documenten.
Nou begrijp ik het niet meer …

Ik heb ’t Elsevier maar gevraagd, ben benieuwd naar hun reactie.

(Ik bedenk me ineens dat dat misschien wel ligt aan de zelfcitaties die er de ene keer wel en en de andere keer niet uit gehaald worden?)

Gebruik en Misbruik van bibliometrie

Laat een reactie achter

Het themanummer van Ethics in Science and Environmental Politics (ESEP) Volume 8 (Printed June 2008 ) getiteld: The use and misuse of bibliometric indices in evaluating scholarly performance is volledig toegankelijk via Open Access. 8)

Quantifying the relative performance of individual scholars, groups of scholars, departments, institutions, provinces/states/regions and countries has become an integral part of decision-making over research policy, funding allocations, awarding of grants, faculty hirings, and claims for promotion and tenure. Bibliometric indices (based mainly upon citation counts), such as the h-index and the journal impact factor, are heavily relied upon in such assessments. There is a growing consensus, and a deep concern, that these indices — more-and-more often used as a replacement for the informed judgement of peers — are misunderstood and are, therefore, often misinterpreted and misused. The articles in this ESEP Theme Section present a range of perspectives on these issues. Alternative approaches, tools and metrics that will hopefully lead to a more balanced role for these instruments are presented.

Browman HI, Stergiou KI
INTRODUCTION: Factors and indices are one thing, deciding who is scholarly, why they are scholarly, and the relative value of their scholarship is something else entirely
ESEP 8:1-3

Campbell P
Escape from the impact factor
ESEP 8:5-7

Lawrence PA
Lost in publication: how measurement harms science
ESEP 8:9-11

Todd PA, Ladle RJ
Hidden dangers of a ‘citation culture’
ESEP 8:13-16

Taylor M, Perakakis P, Trachana V
The siege of science
ESEP 8:17-40

Cheung WWL
The economics of post-doc publishing
ESEP 8:41-44

Tsikliras AC
Chasing after the high impact
ESEP 8:45-47

Zitt M, Bassecoulard E
Challenges for scientometric indicators: data demining, knowledge flows measurements and diversity issues
ESEP 8:49-60

Harzing AWK, van der Wal R
Google Scholar as a new source for citation analysis
ESEP 8:61-73

Pauly D, Stergiou KI
Re-interpretation of ‘influence weight’ as a citation-based Index of New Knowledge (INK)
ESEP 8:75-78

Giske J
Benefitting from bibliometry
ESEP 8:79-81

Butler L
Using a balanced approach to bibliometrics: quantitative performance measures in the Australian Research Quality Framework
ESEP 8:83-92
Erratum

Bornmann L, Mutz R, Neuhaus C, Daniel HD
Citation counts for research evaluation: standards of good practice for analyzing bibliometric data and presenting and interpreting results
ESEP 8:93-102

Harnad S
Validating research performance metrics against peer rankings
ESEP 8:103-107

Hattip Scholarship 2.0

Bugje in H-index graph van Scopus

1 Reactie

Scopus heeft tegenwoordig ook een interactievere H-index dan voorheen: als je een auteur zoekt, kun je via ‘Details’  de h-graph aanklikken. Dan heb je keuze tussen Graph en Data View, je kunt inzoomen en jaren inperken.  Je moet daarvoor wel Flash hebben geïnstalleerd en JacaScript enabled.

Daarnaast heb je tabbladen op ‘Articles published’ en ‘Citations’.
De Citations pagina geeft een lijstje van aantal citaties per jaar, maar bij de ‘Articles published’ gaat er wel wat mis bij jonge auteurs: de default staat namelijk op 1996 – (nu) . Want als je pas een paar jaar publiceert (bijv pas vanaf 2003), dan krijg je een error als je klikt op ‘Articles published’.
Alleen wanneer je vooraf de jaren inperkt van 2003 – 2008 gaat het wel goed. Bugje.

Als je een aantal naamsvarianten bij elkaar zoekt, kun je daarvan via ‘Citation tracker’  wel de h-index en de h-graph opvragen, en dan krijg je wel de grafiek inclusief data view, maar niet die aparte tabbladen ‘Articles published’ en ‘Citations’. Daarvoor moet die auteur eerst even bij Elsevier feedback over die naamsvarianten geven.

Zie ook info van Elsevier: Research performance measurement (brochure) / The benefits of the h-index (Factsheet)

Scopus en de H-index

1 Reactie

Voorheen kon je ook al tamelijk eenvoudig de H-index berekenen in Scopus maar nu hebben ze dat versimpeld: met zoeken via de Author index (klik op Details) krijg je meteen de H index van de betreffende auteur in beeld en kun je om de grafiek vragen. Mooi service Elsevier! Scopus H-index

Het blijft natuurlijk altijd zaak om erbij te zeggen, via welk systeem je de h-index berekend hebt, zoals Peter op Weblog I&C ook al concludeerde 🙂 .

Daarnaast moet je ook je onderzoekers stimuleren om Elsevier ‘ feedback’ te geven, en te vertellen van welke publicaties zij de auteur zijn, omdat nl via de details alleen de titels geteld worden van die specifieke auteursingang, en niet alle varianten in auteursnamen meegenomen worden.
Je kunt nog steeds meerdere (spellingen van) auteursnamen bij elkaar optellen en het op de ‘oude’ manier doen trouwens: de auteur van wie ik hierboven de h-index van 4 kopieerde heeft ‘ in het echt’ een H-index van 10…. .
Als je dan op ‘Citation tracker’ klikt krijg je de H-index met de bijbehorende grafieken:

Scopus en de H-index via Citation tracker

Meer informatie