Ve dnech 3.–5. září se v nizozemském Leidenu konala konference Science and Technology Indicators. Přednášky a postery se zabývaly tématy jako procesy evaluace vědy, standardy pro indikátory, systémy financování, nové algoritmy, alternativní metriky, datové zdroje a infrastruktury pro vědu.
Podnázev konference Context Counts: Pathways to Master Big and Little Data odkazuje na často připomínanou potřebu uvádět analytická data v souvislosti s dalšími informacemi. V úvodní přednášce Peter Dahler-Larsen zasadil bibliometrii a problematiku hodnocení vědy do kontextu nynější společnosti, která má stále potřebu hodnocení a sebehodnocení. Měření kvality je přitom něco velice náročného hned po snaze měřit kulturu, jak zde také zaznělo.
První den konference proběhla panelová diskuze na téma Quality standards for evaluation indicators.[1] Lisa College zastupující iniciativu Snowballmetrics zde zmínila, že nepotřebujeme další indikátory, pouze větší odpovědnost při jejich použití. Diana Hicks navrhla soubor doporučení pro použití bibliometrických indikátorů. Na těchto doporučeních, označených jako „Leiden Manifesto”, by se mělo dále pracovat, aby vzniknul ucelený soubor sloužící jako standard. Některými z těchto doporučení jsou: potřeba interpretace, transparentní konstrukce indikátorů, normalizace, oborové dělení a nezastupitelnost rozhodování indikátory. Potřebné standardy již také vznikají na straně producentů komerčních databází a analytických nástrojů, je však potřeba je přijmout v rámci bibliometrické komunity.
V rámci přednášky The Impact of Blue Sky Project Based Funding of Academic Research byly představeny zkušenosti z francouzského prostředí, kde je kromě financování vědy blokovými granty nabízena možnost vysoutěžit další grantové financování, které může nabízet více svobody ve volbě výzkumného záměru a spolupracujících organizací. V rámci studie bylo zjištěno, že výsledky z takto financovaného výzkumu přinášejí více (počet) kvalitnějších (citační analýza) výstupů zaměřujících se na nová témata (analýza key words) se spoluprací s novými autory.
Zajímavá byla přednáška The consequences of retractions for co-authors: scientific fraud and error in biomedicine. Autoři Philippe Mongeon a Vincent Larivière uvedli příklad na článcích z oboru biomedicíny a klinické medicíny, které byly v letech 1996 až 2006 vyřazeny z PubMed, a zaměřili se na důvody vyřazení i zpětný vědecký i psychologický dopad na autory a spoluautory.
Během páteční přednášky How to deal with Bibliometric Services proběhla diskuze na několik témat v rámci menších skupin účastníků.[2] Většina zúčastněných byli bibliometričtí pracovníci z akademických knihoven nebo z vědeckých kanceláří. Bylo řešeno například postavení oddělení poskytujícího bibliometrické služby (mělo by být nezávislé, nutná kooperace mezi knihovnou a vedením, kterému jsou informace poskytovány, případná možnost vlastního výzkumu). Dalším diskutovaným tématem bylo vhodné použití indikátorů a to, kdo je zodpovědný za jejich výběr (různé zkušenosti z jednotlivých zemí a institucí).
Přednášky a postery představené na konferenci byly velice přínosné a vycházely z praxe poskytování bibliometrických služeb. Celkově konference nabídla pohled na nejaktuálnější problematiku v oblasti bibliometrie, indikátorů a hodnocení vědy.
[1] Podrobný report z této panelové diskuze zde: http://citationculture.wordpress.com/2014/09/15/the-leiden-manifesto-in-the-making-proposal-of-a-set-of-principles-on-the-use-of-assessment-metrics-in-the-st-indicators-conference/.
[2] Výstupy z diskuzí byly zaznamenány v této prezentaci: http://www.slideshare.net/Wowter/special-unsettling-reality-2014-wg.