Ann Kushmerick manager research evaluation and bibliometric data, is net van Philadelphia ingevlogen en geeft de presentatie. Bijeenkomst georganiseerd door Thomson Reuters en gehost bij UBVU 22 juni 2009.
Agenda: Waarom bibliometrie? Waarom WOS, en Gebruik Nieuwe ISI tools, InCites / ResearcherID
Research cycle: search & discovery / Write & publish / Evaluate / Manage research output.
TR wil op al deze velden actief zijn. Zowel voor onderzoekers zelf, als bibliothecarissen als beleidsmakers.
Trends:
- competing funding is stijgend
- competition research faculty is stijgend
- effectiever gebruik van bronnen
Waarom: o.a.: weten waar je nu staat, waar je geweest bent en waar je heen gaat, en om degenen die erg goed zijn te belonen.
Belang van meten (meten = weten): dan kun je iets van je onderwerp zeggen.
Waarom bibliometrie
- quality assessment
- indicatie van impact
- kwantitatieve analyse moet peer review niet vervangen
- performance indicators die transparant en reproduceerbaar zijn
Citation metrics
- zijn maar onderdeel van geheel van research performance
- je moet niet naar een enkel getal kijken: verschillende methoden laten andere zaken zien, combineer ze
- zijn maar net zo goed als de bron waaruit ze komen
Cover WoS:
- ambitie niet alle tijdschriften op te nemen maar de belangrijkste
- wel over hele breedte wetenschappen
- consistent
- > 42 million records, 11000 tijdschriften
- Conference proceedings 120.000 zijn laatst ook erbij gekomen
- 105+ jaar ( is idd sterke punt van hen)
University rankings
- NWO, standard evaluation protocol
- België: steunpunt O&O http://www.steunpuntooi.be/ (afzonderlijke in frans)
- Andere landen (Shanghai) hebben ook zo’n steunpunt
- Leiden: http://www.cwts.nl/ranking
JCR wordt 1x per jaar geactualiseerd en is vrijdag ge-updated
Nieuwe databases van ISI
- Chinese scince citation
- Biosis citation index
- Century of social science (nu ook terug tot 1900)
Conference proceedings
- Zowel voor de sciences als voor de social sciences
- Waarom? Omdat ze voor de onderzoekers erg belangrijk zijn: sommige disciplines (engineering) kijken meer naar deze publicaties dan naar officiële tijdschriften, en omdat nieuwe info hier eerder in komt.
- Terug tot 1990
- Geïncorporeerd in WoS
- Citaties in WoS tellen nu ook de proceedings mee (“this article is citated 288 times in Wos, 26 of those in Conference Proceedings”)
In WoS nu ook:
- funding acknowlegements. Sinds vorig jaar. apart veld. Analyze results: top auteurs, instituten en disciplines. geen plannen om oude data daarin toe te voegen, maar zou wel kunnen.
WoK tools zijn verbeterden er zijn plannen
- Citation report. Limiet 10.000 records voor een citation report. Van plan on gecombineerde citation reports te maken over heel WoK
- Scorecard (komt er aan)
- Map (visualisatie, ook om bijv trends te laten zien, visualiseren per jaar/auteur bijv. ))
H-index
- heeft geen vast startpunt in WoS, maar gaat zover terug als je instituut een abonnement heeft (eigenlijk is dat wonderlijk, want daarmee wordt de h-index van WoS ook weer niet uniform )
- sterk afhankelijk van discipline, vergelijk ze niet onderling
- afhankelijk van leeftijd auteur en aantal artikelen die deze geschreven heeft, geen rekening met artikelen die heel erg veel invloed hadden
- gaat alleen omhoog, nooit omlaag, ook al publiceer je niet meer
(nu aan de koffie)
10 commandments of publishing / citation analysis
- available data can address question
- choose field definitions
- whole or fractional counting
- require editing (misleading data, consider negative and self-citation)
- compare like with like (vergelijk geen verschillende disciplines)
- use releative measures
- recognize skewed nature of citations
- obtain multiple measures (citatie patronen: weinig wordt veel geciteerd, veel door weinigen)
- confirm data collection relevant to question
- ask wheter results are reasonable
Journal of citation reports (JCR)
- field differences heeft invloed op Impact Factor: normale IF gaat over 2 jaar impact, maar sommige disciplines hebben een ander citatie patroon: dan is de 5-jaar impact handiger. In mathematica of geologie bijv is 5-jaar index van een tijdschrift vaak hoger
- 80% van tijdschriften heeft minder dan 20% self-citatie
- EigenFactor score toegevoegd, daarmee hangt score niet van tijdschrift af, maar staat ertikel op zich
- oneigenlijk gebruik van IF. IF is nooit bedoeld als beoordeling van een auteur, maar van een tijdschrift
- elk instituut heeft eigen behoefte en er worden ook heel verschillende soorten rapporten gemaakt
Relative impact measures
- journal actual, category, mean percentile
- ze geven ook ruwe data waarmee mensen zelf statistieken kunnen maken
- nieuwe tool, gaat terug tot 1981
- comparative data: rank and compare countries bijv. Analyseer productie per land per jaar over 5 jaar. Zoek naar trends, laat zien hoe je zelf scoort ten opzichte van de baseline. Lijkt op wat cwts doet, maar ze rekenen ietsje anders. Dat kun je ook voor instituten / universiteiten doen. Benchmarking, vergelijk instituten maar ook: vergelijk performance
- research performance profile data. Data gaat terug tot 1981 Overzichten.
- werkt met WoS maar is een apart abonnement
- in NL heeft alleen Utrecht nog een trial
Wat kun je bijv met Web InCites:
Nagaan ‘What is a researcher’s impact’ en Management informatie
- van een groep allerlei soorten metrics samenvatten, inzoomen op een auteur.
- je kunt in een regel zien hoe een artikel scoort en ook wat de te verwachten score is in vergelijking met het tijdschrift en de categorie: dan heb je in een oogopslag een vergelijking van hoe iemand het doet, beter of slechter dan gemiddeld
- 2nd generation citation counts: indirecte impact.
- dat kun je ook samenvatten over alle publicaties van een auteur
- omdat het genormaliseerde getallen zijn, kun je het vergelijken met totaal andere disciplines en zelfs het hele veld in een bepaald land bijv.
- trend analyse: nagaan of/waarom er een bepaalde daling/stijging in een bepaalde tijd is. Publication trend / Citation trend
- analyseer de uitkomsten van samenwerking met andere instituten
Profiel: creëert een uniek nummer voor een onderzoeker met daarin naam en instituut etc. Ook door/voor mensen die niet op WoS geabonneerd zijn, maar als je abonnement hebt, wordt de h-index ook getoond. Deze data kan ook toegevoegd worden aan InCites. Profielen kunnen ook en masse geproduceerd worden door de bibliotheek bijv. Profiel kan openbaar of privé zijn: als je het openbaar maakt, komt er een lijst met publicaties bij. Maar die lijsten moeten ze wel zelf bijhouden. Zou wel handiger zijn als ISI een berichtje gaf als ze een nieuwe publicatie van iemand vonden en een seintje gaven om het up-to-date te houden.
Hoe verhoudt het zich tot nationale activiteiten als DAI? Ze vinden wel dat er samengewerkt moet worden, maar blijkbaar is dat dus nog niet het geval. (Metis mensen: actie, neem contact op met hen!)
Dee'tjes 