Från bibliometri till altmetri
– nya sätt att mäta impact
Trad impact = antalet citeringar i WoS
• Kvalitetssäkrat innehåll
• Kvalitetssäkrat data
• Multidisciplinär
• Möjlig att normalicera
Begränsning 1
Begränsning 2
Goodhart’s Law: When a measure
becomes a target it ceases to be a good
measure
Begränsning 3
• Tar enbart hänsyn till inomvetenskaplig impact
Leiden Manifesto 2015 (Nature)
The Evaluation Gap
…the emergence of a more fundamental gap between on the one hand
the dominant criteria in scientific quality control (in peer review as well
as in metrics approaches), and on the other hand the new roles of
research in society.
Paul Wouters
Written impact statements on a broad range
of criteria including:
• their formal academic contributions
• economic impact of their work,
• influence on government policy,
• their public outreach efforts and
• their contribution to training the next generation of academics.
Forskningens genomslag utanför akademin i
FOKUS
”Två underlag för bedömning föreslås: fallstudier [av egenutvalda
projekt] samt en kortfattad och strukturerad beskrivning av den
rapporterande enhetens strategier för att kommunicera resultat utanför
akademin och för att främja användning av forskningsresultat utanför
akademin samt för att åstadkomma genomslag” (Vetenskapsrådet, 2014,
s. 41).
Vetenskaplig kommunikation lämnar spår. Inte
bara genom citeringar utan även i:
• Visningar
• Omnämnanden
• Nedladdningar
• Rekommendationer
Altmetrics Manifesto 2010
PLoS ONE
Hur användbart är allt detta?
Wouters & Costas (2012) Users, narcissism and
control – tracking the impact of scholarly
publications in the 21 st century
• Technologies of filtering
• Technologies of control
• Technologies of narcissism
Technologies of control
• Dålig datakvalitet
• Tveksamma indikatorer
• Normalisering ej möjlig
• Brist på transparens i
uppbyggnad
• Metrics på artikel- eller
individnivå
Technologies of narcissism
• Kolla genomslaget av egna artiklar
• Tillåta något slag av självärdering
• Dock svårt att jämföra
Altmetri på andra svenska lärosäten
Södertörns högskola:
”* PlumX visar på okänd spridning:
’Oj, vad många kommentarer på Facebook!’
’Wikipedia länkar till mina publikationer’
[…]
* Utvärdering tveksamt – saknas fullständig och korrekt data” (Hertil Lindelöw,
2015).
Altmetri på andra svenska lärosäten
Enkätundersökning till svenska universitetsbibliotek:
”De flesta bibliotekarier upplever att forskare och doktorander tycker att altmetri
är ”intressant och en kul grej” men att de känner viss skepsis då de inte vet exakt
vad det altmetriska värdet står för.
[…]
Ingen ställer sig positiv till att använda altmetri för utvärdering av forskning då
det är för outvecklat och osäkert än så länge” (Nordfeldt 2015, s. 22).
Altmetri som en trackningtjänst?
• Förlitar sig på unika identifikatorer (publikationernas
”personnummer”). Inte alla publikationer har sådana.
• Dessutom: På nätet finns inga tydliga normer för
hänvisningar motsvarande citeringsstilar, så missar nog
väldigt mycket p.g.a. variation i hur publikationen
omnämns.
• Verkar inte följa diskussionen i svenska källor?
• Publikationsinriktad tracking missar omnämnanden
inriktade på personer och/eller hela projekt
Spår av Jonas Stiers ”Blod, svett och tårar” i
media
• Saknar DOI och ISBN
• Inga (?) nyhetskällor på webben länkar publikationen
• 250 träffar om Jonas Stier och gymnastik i Retriever Research
• 210 av dessa omnämner honom med professorstitel
• Bara 15 nämner rapportens titel
• Bara 15 nämner Mälardalens högskola
• Ytterligare några hänvisar till rapporten utan att vare sig författare,
titeln eller lärosäte nämns, t.ex.: ”En sak som togs upp i rapporten var
att barn hade förbjudits äta frukt. Men inte heller där känner de igen
sig” (Engström, 2013-01-20).
Frågor att ställa vid ev. pilotstudie av MDHforsknings samhällsgenomslag
• Vilken typ av samhällsgenomslag kan forskningen tänkas ha haft?
• Vilken sorts data skulle kunna påvisa det genomslaget (eget spånande +
liknande fall i REF-databasen)?
• Är det data som forskarna själva sitter på, eller data som behöver vaskas
fram?
• Är det data som redan befintliga altmetritjänster kan tänkas tillhandahålla?
I så fall, informationens användbarhet i fallstudie vs. tjänstens pris?
• Är det data biblioteket skulle kunna bistå med genom mer skräddarsydda
sökstrategier? I så fall, informationens användbarhet i fallstudie vs.
tidsåtgång?
Referenser och länkar
Engström, S. (2013-01-20). Tjejerna känner inte igen sig i kritiken. Helsingborgs dagblad. Hämtad 2015-09-28, från
http://www.hd.se/sport/2013/01/20/tjejerna-kanner-inte-igen-sig-i-kritiken/
Hertil Lindelöw, C. (2015). Plumx på Södertörns högskola [poster]. Tillgänglig:
http://www.kb.se/dokument/Om/projekt/motesplats/2015/VIII_PosterCamillaHertilLindel%C3%B6wMOA2015.pdf
Nordfeldt, L. (2015). Altmetri och vetenskaplig kommunikation: En enkätstudie bland svenska UH-bibliotek [kandidatuppsats i biblioteks- och
informationsvetenskap, Högskolan i Borås]. Tillgänglig: http://www.diva-portal.org/smash/get/diva2:840636/FULLTEXT01.pdf
Vetenskapsrådet. (2014). Forskningskvalitetsutvärdering i Sverige – FOKUS. Tillgänglig: https://publikationer.vr.se/produkt/forskningskvalitetsutvarderingi-sverige-fokus/
Övriga länkar:
REF fallstudier samhällsgenomslag: http://impact.ref.ac.uk/CaseStudies/
Stier, J, (2012). Blod, svett och tårar. Ledarkulturen inom svenska landslagsgymnastik – belyst och problematiserad. Västerås: Mälardalens högskola.
Tillgänglig: http://mdh.diva-portal.org/smash/get/diva2:608633/FULLTEXT01.pdf
