Outils de bibliométrie : apports, limites … et détournements

Staffels’s addition and subtraction machine, 1845. This calculating aid of the Warsaw inventor Israel Abraham Staffel functioned with toothed racks.
© Braunschweigisches Landesmuseum, Braunschweig. picture: Ingeborg Simon. https://link.springer.com/chapter/10.1007%2F978-3-030-40974-6_9

Bibliométrie : définition

La bibliométrie est l’application de méthodes statistiques et mathématiques pour mesurer, évaluer, étudier, la production et la diffusion d’ouvrages, d’articles et d’autres publications. […]. La bibliométrie a produit des indicateurs qui sont aujourd’hui utilisés pour l’évaluation de la recherche, à différentes échelles […]. Il serait difficile de faire une liste exhaustive des indicateurs de bibliométrie; la liste s’accroît d’ailleurs au fil des années. […] Le doctorant est amené à […] utiliser des indicateurs bibliométriques :

– lors du choix du sujet de thèse, pour évaluer l’environnement thématique

– au moment de faire l’état de l’art sur un sujet, pour repérer et situer les revues et autres publications du domaine, ou repérer les unités de recherche spécialisées dans certains domaines

– lors de la publication de ses propres articles, pour cibler son éditeur,

– lors de la recherche de collaborations par son unité pour le montage d’un projet…

Source : Bertignac, Catherine, Fouquet, Josiane, Marie, Emilie. « La bibliométrie ». In UBL (Université Bretagne Loire). Formadoct. Rennes : UBL, 2010 (dernière maj le 11 novembre 2016). [en ligne] https://formadoct.doctorat-bretagneloire.fr/bibliometrie

Les index de citations

Schuster’s stepped drum machine, 1820. Johann Christoph Schuster completed his 9-place cylindrical four-function machine only after 15 years construction time.
© Deutsches Museum, Munich. https://link.springer.com/chapter/10.1007%2F978-3-030-40974-6_9

Définition

Un indice de citation est une sorte de base de données bibliographique permettant à un utilisateur d’établir facilement quels documents citent quels documents antérieurs. […] Si à l’origine, il s’agissait de développer un index de citations pour retrouver plus facilement l’information, ce système est de plus en plus utilisé en bibliométrie et pour évaluer la recherche. Ces données sont aussi à la base du calcul du facteur d’impact des revues scientifiques.

Source, Wikipédia, https://fr.wikipedia.org/wiki/Indice_de_citation

Il n’existe pas une base unique qui regrouperait toutes les publications de tous les chercheurs et l’accès à différentes bases bibliométriques dépendra surtout des moyens de son établissement de rattachement.

Source : Bertignac, Catherine, Fouquet, Josiane, Marie, Emilie. « La bibliométrie ». In UBL (Université Bretagne Loire). Formadoct. Rennes : UBL, 2010 (dernière maj le 11 novembre 2016). [en ligne] https://formadoct.doctorat-bretagneloire.fr/bibliometrie

Index utiles pour la recherche en architecture, urbanisme et paysage

Calculating machines : the Pascaline addition and subtraction machine, Leibniz’s stepped drum calculator, and the Millionaire direct multiplier.

Source: Meyers Großes Konversations-Lexikon, Bibliographisches Institut, Leipzig, Vienna, 6th completely revised and expanded edition of 1908, 16th volume: Rechenmaschinen.

Accès restreint

S’il a historiquement existé des index de citations spécifiques à certains champs disciplinaires, les mutations des techniques numériques et économiques de l’édition scientifique ont favorisé l’émergence de deux index principaux.

  • Web of Science (propriétaire : Clarivate Analytics) : donne accès à 6 bases de données bibliographiques :
    • Science Citation Index
    • Social Sciences Citation Index
    • Arts & Humanities Citation Index : (A&HCI) est basé sur le contenu exhaustif de plus de 1 100 revues dans le domaine des arts et des lettres, ainsi que sur des extraits sélectionnés de plus de 6 000 publications dans le domaine scientifique et celui des sciences humaines.
    • Conference Proceedings Citation Index
    • Book Citation Index
    • Emerging Sources Citation Index
  • Scopus (propriétaire : Elsevier) : référence environ 25 000 journaux scientifiques et intègre chaque année de nouvelles références (articles scientifiques, collections d’ouvrages, actes de conférence). L’index couvre mieux la littérature scientifique non anglophone et des sciences humaines et sociales et des journaux que le Web of Science.

Mais, leur consultation, payante, suppose un accès spécifique, le plus souvent fourni par un laboratoire de recherche.

Accès libre

  • Crossref : géré par une organisation américaine à but non lucratif. Sa base de donnée est alimentée par de nombreuses institutions universitaires, y compris françaises. En 2020, elle a formalisé son éthique collaborative et ouverte, ainsi que les moyens qui lui sont associées dans une déclaration : The Principles of Open Scholarly Infrastructure.
  • Google Scholar : cet index privé en accès libre inventorie des articles divers (dans des revues dotées ou non de comités de lectures), des thèses, des livres scientifiques. Bien qu’il ne rende pas compte de l’état de la recherche approuvée par les pairs, il présente un avantage : la très grande diversité de ses sources.
  • Semantic Scholar : Cet index privé en accès libre, partiellement basé sur de l’intelligence artificielle, ajoute une couche d’analyse sémantique aux méthodes traditionnelles d’analyse des citations. Sa conception favorise la mise en évidence des articles les plus influents.
  • Scite : privé en accès libre
  • Microsoft Academic :privé en accès libre

Listes de revues scientifiques

Journal Citation Reports (propriétaire : Clarivate Analytics) : fournit des informations bibliométriques sur de nombreuses revues scientifiques. L’édition pour les sciences exactes recense plus de 6400 revues, celle pour les sciences sociales en recense plus de 1800. Provenant d’un éditeur privé, il ne doit pas, selon de nombreux chercheurs, être utilisé pour évaluer les institutions scientifiques.

Limites

An Arithma Addiator manufactured near the end of the period they were produced. Source : Adrignola, CC BY-SA 3.0 https://creativecommons.org/licenses/by-sa/3.0, via Wikimedia Commons.

« La bibliométrie est essentielle pour cartographier de façon globale l’état des recherches à un moment donné et en un lieu donné, et ainsi dépasser les perceptions locales et anecdotiques. Elle permet également d’identifier des tendances à différentes échelles : régionale, nationale et mondiale, qu’il serait impossible de faire émerger autrement. La bibliométrie met aussi en lumière le fait que les pratiques de publication, de citation et de collaboration sont différentes selon les disciplines et les spécialités […] Bien que très utile, la bibliométrie exige d’être manipulée avec beaucoup de prudence et de rigueur. »

Yves Gingras, Les dérives de l’évaluation de la recherche, Raisons d’agir, 2014.

« la plupart des publications sur la bibliométrie font état des limites des indicateurs et mettent en garde les utilisateurs, notamment sur :

1. Invisibilité : dans certaines disciplines, en particulier en sciences humaines et sociales, des revues scientifiquement importantes ne sont pas indexées dans les bases bibliométriques. […]

2. Résultats différents selon l’outil utilisé […]

3. La valeur alléguée de l’article découle de celle de la revue […]

4. Facteur d’usage : les articles ne sont pas seulement destinés à être cités dans d’autres publications. […]

5. Rythmes de diffusion d’une revue : la limitation aux deux années d’antériorité est critiquée […]

6. Effet boule de neige[…]

7. Nombre de mentions sur les réseaux sociaux […]

8. Impact is money […]

Source : Bertignac, Catherine, Fouquet, Josiane, Marie, Emilie. « La bibliométrie ». In UBL (Université Bretagne Loire). Formadoct. Rennes : UBL, 2010 (dernière maj le 11 novembre 2016). [en ligne] https://formadoct.doctorat-bretagneloire.fr/bibliometrie

Détournements

Berenice Abbott, Femme câblant un ancien ordinateur IBM, de la série documenting science, 1958.
© Berenice Abbott

Qui a cité le document qui m’intéresse ?

La navigation dans ces index permet d’élargir sa recherche pour un état de l’art et de repérer d’éventuelles influences, filiations au sein des travaux que l’on s’apprête à lire.

Une approche beaucoup plus systématique, consistant à repérer de façons exhaustive quels travaux sont cités dans certains ouvrages de référence demande, par contre, un travail individuel beaucoup plus conséquent. Il ne relève plus de la bibliométrie, mais de la construction de l’état de l’art sur son thème de recherche;

Zotero : compter les citations

Combien de fois ce document de ma bibliothèque Zotero a-t-il été cité ?

Trois plugins pour Zotero permettent d’y afficher ou d’y enregistrer automatiquement le nombre de citations d’un document (ouvrage, article) compté dans certains index de citations :

  • Zotero Citation Counts Manager, de Erik Schnetter. Cherche et enregistre dans le champ « Extra » de Zotero, les décompte des citations d’un document à partir des index Crossref, Semantic Scholar , Inspire HEP, NASA/ADS. Seuls les deux premiers sont intéressants pour la recherche en architecture.
  • Zotero MAS Metadata, de TobiHol. Cherche et enregistre dans le champ « Extra » de Zotero, les décompte des citations d’un document à partir de l’index Microsoft Academics.
  • Scite Zotero Plugin :iIl affiche dans la bibliothèque Zotero quelles références ont été soutenues, discutées ou mentionnées au sein de l’index Scite.

Un autre plugin permet de faire de même à partir de l’index Google Scholar, mais seulement pour 5 à 10 citations à la fois. Google bloque en effet le téléchargement automatique du décompte des citations d’un nombre supérieur de documents :

Malgré les limites inhérentes à ces décomptes (faible visibilité de certaines disciplines, résultats différents selon les outils, peu de prise en compte de la valeur d’usage d’une publication, risque de standardisation de la recherche), ils permettent d’identifier certaines tendances, notamment internationales, en particulier dans la littérature anglo-saxonne. Ils permettent aussi d’apporter un autre point de vue sur certaines références utilisées pour sa propre recherche, ou d’identifier certaines références que l’on avait négligées.