Skip to navigation – Site map

HomeNuméros11Open access et Open science>> Politique, économie de l’OAMesurer les dépenses d’APC : méth...

Open access et Open science
>> Politique, économie de l’OA

Mesurer les dépenses d’APC : méthodologie et étude de cas

Approche comparée Aix Marseille Université - Université de Lorraine
Measuring APC expenditures: methodology and case study. Comparative approach Aix Marseille University - University of Lorraine
Marlène Delhaye and Jean-François Lutz

Abstracts

Gold open access, which is often wrongly named as “author-pay model”, is mostly relying on journals that are financed or published by higher education and research institutions. According to the DOAJ (Directory of Open Access Journals), 67% of existing open access journals don’t ask for a publication fee from article authors. The remaining third relies on the payment by the author – or more likely his institution – of an Article Processing Charge (APC) in order to finance the open distribution of accepted papers. Another source of APC are the traditional journals available on a subscription basis but which also propose an open access option on the article-level: this model is referred to as “hybrid open access”. The monitoring of APC costs has started to gain interest at the end of the 2000’s and became an important data in some countries (United Kingdom) after 2012. APC expenditures are now considered as an important stake at the european level. After a presentation of the current situation in Europe regarding APC monitoring, the study focuses on three different methods that can be used in HER institutions in order to get a better knowledge of this source of expenditure: large bibliographic database, publishers requests and accounting system. These methods have been applied to two HER institutions (Aix-Marseille Université and Université de Lorraine) on a 2 to 3 years timespan (2013-2015). The article presents some first results that help to identify and discuss the strenghts and weaknesses of each of the three methodologies.

Top of page

Full text

Introduction

1Mesurer la production de publications scientifiques des établissements d’enseignement supérieur et de recherche, quantifier le niveau de dépenses documentaires de ces mêmes institutions : deux opérations pour lesquelles il existe des acteurs au niveau national (Observatoire des Sciences et Techniques, Couperin, Ministère de l’Enseignement Supérieur et de la Recherche), des rapports réguliers (rapports IPERU, ESGBU) et une méthodologie bien connue et documentée, bien qu’elle comprenne dans certains cas des biais non-négligeables.

2Dans ce paysage relativement bien balisé, l’apparition d’un nouveau type de dépense lié au changement de modèle économique mis en place par les éditeurs commerciaux oblige à adapter les outils de suivi et de mesure. C’est le cas des frais liés à la publication en accès ouvert d’articles scientifiques, que l’on désigne le plus souvent sous leur acronyme anglais d’APC (pour Article Processing Charges).

  • 1 Exemples d’options hybrides : Hybrid OA Journals, [En ligne]. Open Access Directory [Page consultée (...)

3Qu’est-ce qu’un APC ? Il s’agit du montant demandé par l’éditeur d’une revue scientifique pour que l’article accepté dans cette revue soit diffusé en accès ouvert. Deux cas de figure se présentent : la revue en question est intégralement en accès ouvert, et on parle alors de Gold Open Access ; ou bien la revue n’est accessible que par le biais d’un abonnement, et seul l’article est mis en accès ouvert : c’est ce que l’on appelle l’Hybrid Open Access1.

  • 2 Voir la figure 1.
  • 3 Le pourcentage de revues gold ne demandant pas d’APC est estimé à 72% en 2014. Walt Crawford, 72% a (...)

4Précision sémantique importante : le Gold OA ne se limite pas aux seules revues dont le modèle économique repose sur le paiement d’APC. On le verra en effet, un nombre non négligeable de revues en accès ouvert ne demandent pas de paiement d’APC pour les articles qu’elles acceptent23.

5Phénomène relativement marginal au début des années 2010, le volume de dépense en APC est devenu un enjeu important en 2012, à la faveur de la décision britannique de basculer en deux années dans un modèle d’Open Access gold complet.

  • 4 OA2020 Initiative for the large-scale transition to open access. [En ligne]. Max-Planck Digital Lib (...)

6Si quasiment aucun pays n’a suivi le Royaume-Uni dans cette voie, il n’en reste pas moins que l’on observe depuis deux ou trois ans un nombre croissant d’initiatives internationales qui plaident pour un couplage plus étroit des dépenses d’abonnements et d’APC dans le cadre des négociations avec les éditeurs commerciaux. Dans cette tendance, l’initiative la plus emblématique et ambitieuse est celle lancée par la Max-Planck-Gesellschaft (MPG) en février 2016, et baptisée OA20204.

7Pour être évaluée et discutée, cette stratégie, qui est loin de faire l’unanimité au sein des acteurs publics de l’IST, nécessite de connaître avec le plus de précision possible la réalité des dépenses d’APC au sein des établissements de l’enseignement supérieur et de la recherche. Le présent article se propose de tracer des pistes méthodologiques pour une telle opération, tout en présentant de premiers résultats sur deux universités françaises.

8À la différence d’autres pays européens, la situation française est encore relativement neuve sur la question. Il n’existe aucune politique nationale ou institutionnelle d’incitation à publier dans des revues en accès ouvert et, à notre connaissance, une seule institution a mis en place un fonds centralisé destiné au paiement d’APC (Inria). Les biais méthodologiques rencontrés seront principalement ceux des outils utilisés et seront détaillés au fil de l’étude, qui se veut surtout être un constat de l’existant. Dans le fil de l’article les expressions françaises “accès ouvert” et anglaises “open access” seront utilisées de manière indifférente.

9Après une courte présentation des établissements universitaires analysés, et d’un état des lieux européen, la partie principale de l’étude s’attache à décrire les potentialités et les limites de trois méthodes d’identification des coûts d’APC qui présentent chacune des avantages et des inconvénients : la base de données bibliographiques Web of Science (WoS), les éditeurs, le logiciel comptable Sifac. Notre étude porte sur les années 2013, 2014 et 2015.

Contextes

10Aix Marseille Université (AMU) est née en 2012 de la fusion des universités de Provence, de la Méditerranée et Paul Cézanne. AMU dessert environ 76 000 étudiants et près de 3 000 chercheurs, ce qui en fait l’une des plus importantes universités pluridisciplinaires francophones. C’est également une université de recherche intensive, structurée en 5 Pôles de Recherche Interdisciplinaires et Intersectoriels dans lesquels se répartissent 117 laboratoires et 13 structures fédératives de recherche, gérés en partenariat avec CNRS, l’INSERM, l’IRD, l’INRA, le CEA, l’IFSTTAR. En 2017, AMU a été confirmée en tant que lauréat définitif de l’IDEX.

  • 5 Source : Chargée de bibliométrie, Direction de la Valorisation et de la Recherche d’AMU.

11La production scientifique annuelle d’AMU est évaluée en 2015 à au minimum 5 800 articles et communications dans les domaines des sciences et de la santé5, auxquels s’ajoutent les nombreuses contributions des enseignants-chercheurs dans les domaines des sciences humaines et sociales, qu’il est pour l’instant difficile de quantifier.

12En 2014, AMU s’est dotée d’une archive ouverte pour recenser et valoriser sa production scientifique. Elle a fait le choix d’une politique incitative : à partir de 2016, l’attribution de la moitié du bonus performance des unités de recherche est soumise au dépôts des références des publications dans HAL.

13HAL AMU donne accès à plus de 15 000 documents de recherche en texte intégral et plus de 50 000 références de publications.

14L’Université de Lorraine (UL) est née le même jour que sa consoeur marseillaise et a également pour origine la fusion d’établissements préexistants : l’Institut National Polytechnique de Lorraine et les universités Henri Poincaré, Nancy 2 et Paul Verlaine - Metz. Les activités de recherche se déroulent dans 60 laboratoires regroupés en 10 pôles scientifiques. Le partenariat avec les organismes de recherche (CNRS, INRA, INRIA et INSERM) est piloté dans le cadre d’une structure régionale de coordination et d’orientation (CCOSL).

  • 6 Rapport d’indicateurs sur la production scientifique de l’université de Lorraine par ses publicatio (...)

15La volumétrie de la production scientifique est estimée, pour l’année 2015, à un minimum de 2 490 publications6, auxquelles s’ajoutent de nombreux travaux dans les domaines des sciences humaines et sociales et sciences juridiques et politiques, qui ne sont à ce jour pas répertoriés par les études de l’OST.

16L’Université de Lorraine souhaite promouvoir la diffusion en accès ouvert de la production scientifique de ses chercheurs. Le portail HAL - Univ. Lorraine a été lancé en mai 2016, et une campagne d’information et de sensibilisation a été lancée dans l’ensemble des unités de recherche. En mars 2017, le portail HAL diffusait un peu plus de 13 500 documents en texte intégral et 25 500 notices.

État des lieux européen

  • 7 Le libre accès aux publications et aux données de recherche, [En ligne]. Commission Européenne [Pag (...)

17Le mois de juillet 2012 fut le théâtre de deux décisions importantes dans le domaine de l’Open Access : d’une part l’annonce par le gouvernement britannique d’une politique volontariste de transition vers une diffusion de la production scientifique de ses chercheurs en Open Access Gold, d’autre part la décision de la Commission Européenne de rendre obligatoire la diffusion en accès libre des publications issues de recherches financées par le programme H20207. Afin d’évaluer le coût de ces deux décisions, dont les conséquences se font encore sentir cinq ans après, le besoin d’identifier les dépenses d’APC est devenu un enjeu critique.

  • 8 Stuart Lawson estime ainsi que les APC sont l’une des trois composantes de « l’opacité systémique » (...)

18En parallèle, plusieurs consortia de bibliothèques, principalement en Europe (Royaume-Uni, Allemagne, Pays-Bas en particulier), ont souhaité intégrer le montant des dépenses d’APC dans le cadre des négociations menées avec les éditeurs commerciaux. Ont ainsi été forgés les concepts de Total Cost of Ownership ou de Total Cost of Publication (Lawson, 2015), incluant l’ensemble des sommes versées par un établissement d’enseignement supérieur et de recherche à un éditeur donné, quelle que soit la nature de cette dépense (abonnement numérique, abonnement imprimé, APC, frais de pages…). Dans cette perspective, évaluer et identifier les dépenses d’APC devient un enjeu majeur8.

19Un workshop organisé à Copenhague les 29 et 30 novembre 2016 par la structure de coopération Knowledge Exchange a permis de mesurer l’avancement de la réflexion et des réalisations sur le sujet au sein de six pays (Allemagne, Danemark, Finlande, France, Pays-Bas et Royaume-Uni). Chacun de ces pays était représenté par une ou plusieurs structures publiques travaillant au développement de l’Open Access et à la fourniture de ressources électroniques aux chercheurs (organismes de financement de la recherche, consortia, universités et organismes). Les retours d’expériences présentés à cette occasion montrent qu’une majorité de pays a désormais inclus la dimension économique de l’Open Access dans sa réflexion.

  • 9 Les détails des « licences open access » pour 10 des 12 contrats signés par le VSNU avec des éditeu (...)

20Aux Pays-Bas, en Finlande, au Royaume-Uni et en Allemagne, cela se traduit par la volonté d’opérer, à la faveur des négociations avec les éditeurs, un basculement vers une diffusion en accès ouvert des publications nationales sans augmentation importante du montant consolidé de dépense. Il s’agit là d’une des variantes de ce qu’il est convenu d’appeler les offset deals, à savoir un contrat signé avec un éditeur commercial où le montant de dépense permet à la fois l’accès au contenu des revues pour les membres de l’institution et la diffusion en accès ouvert des publications de ces mêmes membres9.

21Le Danemark et la France ne se sont pas engagés dans cette voie à ce jour, mais manifestent le souci de mesurer et d’analyser le volume de leurs publications en Open Access. Le Danemark a notamment mis en place le Danish National OA Indicator, qui doit recenser toutes les publications diffusées en accès ouvert par des chercheurs danois, que ce soit via des archives ouvertes (c’est la voie privilégiée) ou via des revues en accès ouvert. Cet indicateur n’inclut toutefois pas le montant des dépenses d’APC. En France, le projet Conditor, lancé fin 2016 et porté par la Bibliothèque Scientifique Numérique, doit, entre autres, permettre d’opérer un tel suivi pour les institutions françaises à l’horizon 2018.

22Quelle que soit la stratégie adoptée, les participants au workshop ont unanimement reconnu que la connaissance des dépenses d’APC à l’échelle institutionnelle, nationale et européenne constituait un enjeu majeur pour les prochaines années. Reste à savoir comment mener concrètement un tel travail de collecte et de consolidation. Deux pistes ont été présentées par les collègues britanniques et allemands.

23Au Royaume-Uni, le JISC a été missionné afin de proposer aux établissements universitaires un outil permettant de fournir des informations précises sur les publications en accès libre de leurs chercheurs. Baptisé Monitor Local, cet outil agrège des éléments de diverses sources (données de financement, données bibliographiques, données juridiques), et permet à l’établissement universitaire de les modifier puis de renseigner, le cas échéant, le montant d’APC lié à un article. À l’échelon national, Monitor UK fédère les données de dépenses d’APC de l’ensemble des instances Monitor Local. La finalité de ces outils est non seulement de suivre et de surveiller un type de dépense en forte croissance depuis 2012, mais aussi de mesurer le degré d’adéquation avec les politiques des financeurs, de permettre des comparatifs entre établissements et de fournir des éléments factuels dans le cadre des négociations avec les éditeurs. Disponibles fin 2016 dans 23 institutions pilotes, ces outils ont vocation à être adoptés à l’échelle nationale au courant de l’année 2017.

  • 10 Open APC, [En ligne]. Université de Bielefeld [Page consultée le 22 mars 2017]. Disponibilité et ac (...)

24L’initiative allemande OpenAPC tire son origine du réseau académique DINI, qui oeuvre à la fois dans le domaine de l’informatique documentaire et de l’Open Access. S’intéressant plus spécifiquement aux APC, OpenAPC est désormais intégré au projet national baptisé Intact supervisé par la Deutsche Forschungsgemeinschaft (DFG) et la MPG, avec pour but de mettre au point des procédures transparentes et efficientes de gestion des dépenses d’APC. Piloté depuis la bibliothèque universitaire de Bielefeld, OpenAPC repose sur une logique participative et distribuée. Toute université ou organisme de recherche qui le souhaite peut contribuer en fournissant la liste des dépenses d’APC identifiées. La seule contrainte est le respect d’un format de description des dépenses permettant une agrégation aisée des données. Au mois de mars 2017, 91 établissements avaient fourni des données issues de leurs logiciels comptables. Les données sont librement visualisables en ligne à travers un treemap dédié10. Conçu dès le départ comme étant ouvert au-delà des seules institutions allemandes, OpenAPC souhaite disposer de l’assise la plus large possible, et accueille les données de nombreuses institutions britanniques et de quelques institutions autrichiennes et américaines.

Méthodologie et premiers résultats à partir du Web of Science

25Nous avons tout d’abord procédé à une recherche dans la base à partir du champ ‘Organisation-enhanced’ : ce champ permet de regrouper toutes les dénominations d’un établissement, ainsi que toutes les unités de recherche qui lui sont affiliées. Ce regroupement est effectué de façon manuelle par Thomson-Reuters en fonction des indications fournies par les établissements ; pour AMU, c’est la chargée de bibliométrie qui signale les mises à jour à effectuer. L’usage du champ ‘Organisation-enhanced’ est particulièrement pertinent dans le cas de fusions d’établissements ; sa construction étant laissée à l’appréciation des établissements, il peut ne pas recouvrir les mêmes périmètres.

26Depuis fin 2014, le WoS propose de filtrer les résultats de recherche en fonction de la publication dans des revues en open access : nous avons appliqué ce filtre à nos résultats. Il convient de préciser à ce stade que seuls les articles des revues en open access Gold sont signalés dans la base : les articles publiés en open access dans des revues sur abonnement (i. e. les articles en OA hybride) ne sont pas repérables par ce moyen, et échappent donc à cette partie de l’étude.

27Une fois notre corpus défini, nous avons utilisé la fonction “Analyze results” pour obtenir un classement des résultats par titre de revue, classement que nous avons exporté au format .txt puis ouvert dans un tableur.

28Nous avons ajouté des colonnes au tableau : éditeur, typologie d’open access (nous avons distingué les “pure players”, i. e. les éditeurs nativement OA ; les sociétés savantes ; les éditeurs traditionnels), montant de l’APC, devise, taux de conversion, coût par article en euros, coût total par éditeur, 1er auteur ou reprint auteur, coût potentiel pour l’établissement, observations.

29Nous sommes ensuite revenus sur le WoS, où nous avons recherché pour chaque revue les références bibliographiques, pour déterminer si le 1er auteur ou l’auteur correspondant était affilié à l’université. Les références d’articles dont le 1er auteur ou l’auteur correspondant sont affiliés à l’établissement sont cochées et intègrent la liste de sélection (“marked list”), avant d’être envoyées par lot dans un dossier préalablement créé sur Endnote Web, l’outil de gestion des références bibliographiques hébergé sur la plateforme du WoS. Cette étape permet de contrôler le nombre de références concernées par revue.

30Ce travail fastidieux est précieux pour la suite de l’analyse, et permet de repérer les erreurs d’affiliation éventuelles. Enfin nous nous sommes mis en quête des coûts des APC définis par les éditeurs pour chacun de leurs titres.

Résultats

31En dehors du paragraphe consacré à nos profils de publication respectifs, qui expose la globalité des publications avec un rattachement à l’un ou l’autre de nos établissements, nos résultats portent sur un corpus d’articles dont le 1er auteur ou l’auteur correspondant est affilié à l’une de nos universités.

Des profils de publication différents

32C’est un des premiers enseignements de ce travail : nos établissements, bien que similaires au plan administratif (universités fusionnées) et disciplinaire (pluridisciplinaires avec une composante santé), ont des profils de publication sensiblement différents (figure 1).

33Outre le différentiel important en volume de publication annuel, il est intéressant de noter une plus grande appropriation de la publication dans des revues en Open Access à AMU qu’à l’UL (13 % du total des publications contre 8 %) ainsi qu’une progression assez faible de cette proportion entre 2013 et 2015 (passage de 11 à 13 % du total pour AMU ; de 7 à 8 % pour l’UL).

Figure 1. Part de la production OA dans la production des établissements (hors communications).

Figure 1. Part de la production OA dans la production des établissements (hors communications).

Un effet de longue traîne

34Comme souvent dans le secteur de l’édition, on observe un effet de longue traîne, avec une concentration de la majeure partie (82 %) des articles en open access sur 14 %, le reste de la production se répartissant sur 84 éditeurs diffusant chacun moins de 10 articles (figure 2).

35On trouve dans le classement des 10 éditeurs les plus représentés 5 éditeurs spécialisés en OA, 2 éditeurs commerciaux et 3 sociétés savantes.

Figure 2. Répartition du corpus par éditeur

Figure 2. Répartition du corpus par éditeur

Une montée en puissance des éditeurs commerciaux

36On constate deux tendances divergentes : alors que le nombre d’articles publiés dans des revues OA de sociétés savantes et d’éditeurs commerciaux augmente, le nombre d’articles publiés dans des revues OA d’éditeurs pure players tend à baisser, après un pic en 2014 (figure 3). Il sera intéressant de suivre l’évolution de cette tendance en 2016. Des données contradictoires ont été recueillies à ce sujet dans des études menées au Royaume-Uni (prégnance des revues OA publiées par des éditeurs traditionnels) et en Allemagne (part prépondérant des éditeurs en open access pure players) (Jahn & Tullney, 2016).

Figure 3. Variation annuelle par type d’éditeur

Figure 3. Variation annuelle par type d’éditeur

37Malgré la baisse constatée en nombre d’articles, le trio de tête reste constitué de pure players, PLOS gardant encore un avantage très net sur la concurrence grâce à sa revue phare PLOS One, qui représente 82 % des articles publiés dans nos établissements sur la période (figure 4).

Figure 4. Validation annuelle des éditeurs au top 10

Figure 4. Validation annuelle des éditeurs au top 10

Une fourchette de prix très large

38Les coûts s’échelonnent entre 75,10 € et 4 600 € HT sur la période (figure 5). La tranche tarifaire la plus représentée est celle allant de 1 501 à 2 000 €. Les APC à plus de 2 000 € ont tendance à augmenter ; le coût moyen est également en augmentation.

Figure 5. APC - Niveaux de prix

Figure 5. APC - Niveaux de prix

Coût mini

Coût moyen

Coût maxi

2013

144,00 €

1 423,03 €

3 600,00 €

2014

75,10 €

1 568,13 €

4 600,00 €

2015

180,00 €

1 768,47 €

4 500,00 €

Discussion - limites

Le périmètre de l’index des revues

39La base n’indexe, on l’a vu, que les revues en open access gold et ne couvre donc pas les revues hybrides, ce qui est déjà une limite. En effet, le repérage des dépenses d’APC pour des articles de revues hybrides reste celui qui pose les plus importantes difficultés méthodologiques (Laakso & Björk, 2016).

40Nous avons également constaté que toutes les revues OA ne sont pas indexées correctement : soit elles sont OA mais n’apparaissent pas comme telles, soit elles ne sont pas OA et sortent pourtant dans les résultats filtrés sur les publications OA. Ces limites s’ajoutent aux biais connus de l’outil Web of Science : son absence de couverture des revues non anglophones, sa couverture très restreinte des domaines des sciences humaines et sociales essentiellement.

La lourdeur des opérations manuelles

41Le WoS ne permet pas en standard de filtrer les résultats sur le 1er auteur ou l’auteur correspondant : cette opération doit donc être réalisée sur chaque référence. Vue la volumétrie des données à traiter pour nos établissements nous avons eu tendance à limiter les manipulations. Il serait intéressant par exemple d’avoir des données par revue en fonction du laboratoire concerné, mais cela supposerait l’ajout de champs, qui compliquerait la tâche. Les différents niveaux de granularité (l’article, la revue, l’éditeur) qui interviennent à différentes étapes de la collecte des informations imposent une “gymnastique des données” forcément chronophage.

42La récupération des coûts d’APC doit également se faire manuellement, sur chaque site d’éditeur voire de revue. Les listes de tarifs sont peu facilement accessibles ou lacunaires chez certains éditeurs, et les coûts nécessitent parfois des calculs supplémentaires, certaines revues pratiquant un coût différencié en fonction du type d’article, ou du nombre de pages.

Le recensement ‘en aveugle’ des tarifs d’APC

  • 11 Se reporter à la troisième partie de la présente étude pour un comparatif entre les montants de dép (...)

43Dans de nombreux cas, les APC définis par les éditeurs peuvent faire l’objet de remises en fonction de l’appartenance de l’auteur à une société savante, ou de son adhésion à un programme spécifique : nous n’avons aucun moyen de connaître ces données, nous nous sommes donc appuyés sur les tarifs les plus hauts, ce qui peut légèrement sur-évaluer les résultats11.

Les difficultés de comparaison

44Le WoS est mis à jour quotidiennement, avec des ajouts parfois rétrospectifs, des corrections, etc. Ce qui rend difficiles les comparaisons des résultats d’une même requête à quelques mois d’intervalle : quelques dizaines de références en plus ou en moins sont impossibles à repérer.

45La construction du champ ‘Organisation-enhanced’ peut différer selon les institutions : certaines prendront en compte les services hospitalo-universitaires, d’autres s’en tiendront strictement aux unités de recherche ; le poids des CHU peut avoir un fort impact sur les résultats.

  • 12 Ainsi, à titre d’exemple, l’affiliation de l’auteur correspondant de l’article 10.1371/journal.pone (...)

46La mixité des structures de recherche française ajoute un niveau de complexité supplémentaire et d’erreurs potentielles12.

Méthodologie et premiers résultats à partir des éditeurs

47Il nous a semblé logique de nous adresser aux éditeurs pour obtenir une liste d’articles dont les APC avaient été payés par nos universités ; nous avons donc sélectionné un groupe d’éditeurs proposant des revues OA gold et des revues hybrides : Elsevier, Wiley, Springer, BioMedCentral, ACS, Nature.

48Nous avons obtenu des réponses variées, selon le moment auquel nous avons fait la demande (tel éditeur refusant en 2015 de fournir les données qu’il avait pourtant envoyées de bonne grâce en 2014). Pour certains éditeurs, nous avons donc procédé à des interrogations sur leurs plateformes.

49Cette partie ne s’appuie que sur les données AMU.

Résultats

50Afin d’être au plus près de la réalité probable, nous avons pris en compte pour cette étude uniquement les articles avec un premier auteur ou un auteur correspondant estampillé AMU, ce qui nous a donné un corpus de 272 articles sur la période.

Une dépense en augmentation

51On constate que, sur la période étudiée, la dépense d’APC a plus que doublé, avec +60 % d’augmentation entre 2013 et 2014, l’augmentation n’étant plus « que » de 48 % entre 2014 et 2015 (figure 6).

52Il convient de rappeler ici que, dans cette période de transition, les APC s’ajoutent aux coûts des abonnements électroniques des établissements ; l’évolution de ces dépenses est donc à suivre de près.

Figure 6. Évolution 2013-2015

Figure 6. Évolution 2013-2015

53C’est l’éditeur Elsevier qui arrive en tête de la dépense d’APC ainsi que du nombre d’articles publiés en OA (97 sur la période), suivi par Biomed Central avec 83 articles ; deux exemples montrent toutefois que l’on ne peut pas forcément corréler la taille de l’éditeur à son attractivité en matière d’open access : Wiley, qui fait partie des “gros éditeurs” (en taille de portefeuille de revues, en chiffre d’affaires, etc) ne fournit pourtant qu’un faible nombre d’articles de notre corpus. À l’inverse, les revues de Nature Publishing Group sont mieux représentées en nombre d’articles (43 sur la période), et même sur-représentées si l’on regarde le coût des APC (figure 7).

Figure 7. Variation annuelle par éditeur (en euros)

Figure 7. Variation annuelle par éditeur (en euros)

Le gold OA plébiscité

  • 13 « Hybrid journals seem to be more popular venues for Open Access publication » (Andrew, 2012).

54Il est intéressant de constater que, contre toute attente13, la publication dans les revues gold semble plus populaire que celle dans les revues hybrides (figure 8) : elle concerne 214 articles, contre 58 articles publiés dans des revues hybrides, soit près de 80 % des articles retenus dans notre sélection.

55On pourrait s’attendre à ce que la notoriété des revues hybrides rende celles-ci plus attractives, or ce n’est visiblement pas le cas : d’une part le coût des APC de ces revues constitue vraisemblablement un frein à l’appropriation du modèle hybride par les chercheurs (figure 9), et d’autre part les revues gold de notre échantillon ont, elles aussi, dans leur grande majorité un facteur d’impact, ce qui est souvent un critère majeur de choix du lieu de publication. Le modèle hybride semble donc rencontrer plus de succès auprès des éditeurs, qui proposent désormais cette option pour la majorité de leurs titres, qu’auprès des chercheurs.

Figure 8. Variation annuelle par type d’OA

Figure 8. Variation annuelle par type d’OA

56Même si la différence s’atténue entre les deux, l’OA hybride reste un modèle fort cher, avec un coût d’APC moyen à 48.5 % plus élevé que celui de l’OA gold en 2015, et une augmentation annuelle de 11 % entre 2014 et 2015 (figure 9). Ce différentiel de prix moyen entre les APC des revues OA Gold et de celles en OA hybride est souligné par plusieurs études (Solomon & Björk, 2016).

Figure 9. Coût moyen d’APC par article

Figure 9. Coût moyen d’APC par article

Discussion - limites

Une information forcément partielle

57Cette approche oblige à contacter chaque éditeur individuellement, ce qui demande du temps et ne garantit pas un succès systématique. Il ne nous a ainsi pas été possible notamment de récolter des données sur les pure players, ces acteurs émergents du secteur de l’édition électronique que sont PLOS ou Frontiers : nos établissements n’étant pas “clients” de ces éditeurs, ceux-ci ne sont pas tenus de nous fournir des données financières ou bibliographiques.

58Par ailleurs les systèmes d’information des éditeurs sont prévus pour faire de la gestion commerciale, et ne leur permettent pas forcément de récupérer simplement les données dont les services de documentation ont besoin, d’où leur refus parfois de répondre aux demandes.

59Les informations obtenues ne sont en outre pas toujours agrégées au niveau du laboratoire : il suffit que la facture ait été passée avec une dénomination légèrement différente pour qu’elle ne soit pas repérée comme faisant partie des articles financés par l’établissement.

60Tous les éditeurs enfin ne fournissent pas les coûts payés par les laboratoires, ce qui implique des recherches supplémentaires sur le site de l’éditeur, et ajoute un caractère estimatif aux données collectées.

L’hétérogénéité des plateformes des éditeurs

61Le champ « affiliation » n’est pas présent systématiquement chez tous les éditeurs, ce qui rend le repérage des articles difficile. Les listes de titres ne sont pas non plus standardisées : parfois on obtient le titre et le DOI, parfois seulement l’un des 2. Le repérage des laboratoires nécessite souvent des recherches complémentaires, les auteurs signant parfois avec leur seule affiliation hospitalière par exemple.

  • 14 Efficiency and Standards for Article Charges, ESAC [En ligne]. Max-Planck Gesellschaft [Page consul (...)
  • 15 Transparent Infrastructure for Article Charges, INTACT [En ligne]. Max-Planck Gesellschaft [Page co (...)

62Ce manque d’homogénéité oblige à de nombreuses manipulations de fichiers. Une initiative comme celle d’ESAC14, dans le cadre du projet INTACT15 coordonné par la Max-Planck-Gesellschaft, qui vise à proposer une standardisation des informations sur les APC à fournir par les éditeurs, est assurément une piste à suivre pour améliorer le recueil et le suivi des données sur les APC.

Méthodologie et premiers résultats à partir du logiciel comptable SIFAC

63Considéré comme le moyen le plus fiable d’évaluer les dépenses effectives des établissements en matière d’APC (cf. l’état des lieux européen), le recours aux logiciels comptables n’en comprend pas moins un certain nombre de difficultés.

  • 16 La nomenclature d’achats NACRES. [En ligne]. Agence de Mutualisation des Universités et Établisseme (...)

64Dans le cadre de cette étude, il a été possible d’analyser de manière approfondie les dépenses d’APC recensées dans le logiciel comptable de l’Université de Lorraine (Sifac) pour les années 2014 et 2015. La première étape de cette identification a consisté à lancer dans Sifac des requêtes portant d’une part sur des éditeurs pure player de l’open access (BMC, PLOS…) et d’autre part sur un code spécifique du référentiel NACRES. Utilisé depuis 2014 dans les établissements d’enseignement supérieur et de recherche français, le référentiel NACRES (Nomenclature Achat Commune Recherche et Enseignement Supérieur)16 comprend une famille de dépenses intitulée “Frais de publications scientifiques” (XC.11) qui est particulièrement pertinente pour le sujet qui nous intéresse. On observe cependant que plusieurs dépenses d’APC se voient affecter par erreur, dans le logiciel comptable, d’autres code de familles, notamment ceux liés à la communication. Une requête par code de fournisseur (i. e. éditeur commercial de la revue) doit être utilisée en complément à des fins de vérification.

65La “famille” XC.11 présente en outre le défaut d’inclure des dépenses bien plus diverses que les seules dépenses d’APC. De ce fait il est nécessaire, dans un souci de fiabilisation des données, de procéder à une vérification systématique des factures.

66Pour l’UL, le volume de dépense global identifié et la part réelle d’APC sont les suivants :

Dépenses famille NACRES XC.11

Nombre d’opérations

Dépenses APC identifiées

Nombre de dépenses d’APC

2014

79 643 €

62

24 490 €

25

2015

64 052 €

45

26 924 €

22

67Sur les deux années étudiées, les dépenses d’APC représentent environ 36 % du montant global dépensé à l’UL en « frais de publications scientifiques ». Les autres dépenses portent sur des « frais de pages », notamment dans des revues de sciences dures qui ne sont pas en accès ouvert, des « frais de soumission d’article », l’aide à la publication de monographies imprimées etc.

68Il est possible que l’application de la codification NACRES dans les laboratoires soit l’objet d’erreurs ponctuelles et que certaines dépenses d’APC échappent de ce fait au crible destiné à les repérer. Ces erreurs restent toutefois marginales comme en témoigne le fait que la codification NACRES a été correctement appliquée à la quasi-totalité des dépenses identifiées par les requêtes sur les éditeurs pure player.

Résultats

69L’analyse des dépenses d’APC effectivement payées par l’UL ne prend tout son sens et son intérêt qu’en confrontant les données recueillies avec le recensement des publications réalisé dans le Web of Science. Cinq enseignements peuvent en être retirés en rapport avec les problématiques de méthodologie abordées dans cet article.

Des publications majoritairement présentes dans le WoS

70Sur les 47 dépenses d’APC identifiées, 37 correspondent à des publications qui avaient été repérées au préalable dans le WoS, soit près de 80 %.

  • 17 Ces deux derniers éditeurs ayant figuré sur la liste controversée des « potentiels, possibles et pr (...)

71Les 10 dépenses hors-WoS se répartissent entre 1 article en OA hybride, 2 chapitres d’ouvrages et 7 articles publiés dans des revues qui ne sont pas référencées dans le WoS. On trouve parmi ces derniers 3 revues de l’éditeur Hindawi, 1 revue de l’American Society of Microbiology, 2 revues de Scientific Research, 1 revue de Science Domain17.

Une vérification du principe « auteur correspondant = établissement payeur »

72Toutes les études d’estimation des dépenses d’APC se fondant sur des bases bibliographiques (WoS ou Scopus) partent du postulat que la dépense est prise en charge financièrement par l’institution de l’auteur correspondant. Ainsi, en France, l’étude BSN réalisée en 2016 (Bonvallot, Chrétien & Badolato, 2017) et l’étude INRA de 2014 (Andro, Hologne & Mahé, 2014).

73Notre étude permet de confirmer la relative solidité de cette hypothèse. En effet, sur les 47 publications repérées, seules 4 n’avaient pas pour auteur correspondant un chercheur affilié à un laboratoire de l’UL. Trois d’entre elles sont issues du même laboratoire et portent sur des collaborations avec des chercheurs de pays du Sud.

Des variations entre les montants de dépense théoriques et effectifs

74Cela a déjà été souligné dans le chapitre consacré au WoS. L’étude du logiciel comptable le confirme : il existe un différentiel entre le montant d’APC théorique calculé sur la base du « tarif catalogue » et le montant réellement payé.

75Les sources de variation observées sont liées d’une part au paiement de certains APC en devises (dollars américains et australiens, livre britannique, franc suisse) avec une variabilité plus ou moins forte des taux de change, et d’autre part à l’application de rabais individuels. Ces rabais peuvent être liés au sujet de l’article (research topic discount de 40 % dans la revue Frontiers in Cellular Neuroscience par exemple), au fait que l’auteur de l’article soit membre du comité scientifique de la revue (remise d’environ 50 % pour la revue Plant Physiology) ou adhérent de la société savante éditrice.

76Deux autres éléments de variation, non observés à l’UL mais documentés dans d’autres établissements, sont les réductions accordées en cas d’abonnement institutionnel (par ex. Wiley ou BMC), et des règles de paiement de la TVA qui peuvent varier selon les établissements (la situation majoritaire, mais non-systématique, étant une exemption de TVA pour les dépenses liées à la recherche).

77Sur le corpus de 33 articles commun aux références identifiées dans le WoS et dans Sifac, on observe que le montant global payé par l’établissement est de 41 082 € pour un « prix catalogue » de 48 422 €, soit une variation à la baisse d’environ 15 %.

Une minorité d’articles pris en charge par l’université

78Si l’on restreint les APC payés par l’UL en 2014 et 2015 aux seules références présentes dans le WoS, et que l’on ne conserve que les seuls articles pour lesquels l’auteur correspondant est affilié à l’UL, il est possible d’effectuer une comparaison avec la liste globale des publications identifiées dans le WoS (figure 10).

Figure 10. Comparatif entre les données du Wos et les données de SIFAC

Figure 10. Comparatif entre les données du Wos et les données de SIFAC

Les montant indiqués pour les articles payants dans le WoS sont des estimations fondées sur le prix public des APC.

79Sur l’ensemble des deux années 2014 et 2015, l’UL a été à l’origine du paiement de seulement 39 % des APC identifiés, ce qui représente environ 32 % sur le plan financier. Une des raisons qu’il est possible d’avancer pour expliquer ce constat est la stratégie différenciée que l’on observe en fonction du statut du laboratoire.

Une stratégie de dépense différenciée selon le type d’unité de recherche

80En effet, lorsque l’on s’intéresse au statut administratif des laboratoires ayant payé les APC à l’UL et qu’on les compare aux données du WoS on distingue nettement une stratégie de paiement distincte entre les Equipes d’Accueil (EA) et les Unités Mixtes de Recherche (UMR) (figure 11). Ce constat mériterait d’être conforté par une analyse réalisée dans d’autres établissements. Il confirme cependant une des limites importantes de l’approche par le Web of Science déjà pointée par l’étude du groupe Open Access de la BSN (Bonvallot, Chrétien & Badolato, 2017).

Figure 11. Articles payants repérés dans le Web of Science

Figure 11. Articles payants repérés dans le Web of Science

81S’il est assez logique que les EA mobilisent le budget universitaire pour le paiement des APC, on constate que de toute évidence les UMR ont tendance à davantage affecter ce type de dépense sur le budget de l’organisme de recherche auquel elles sont rattachées.

82Comment expliquer les 13 articles affiliés à une EA et non-payés sur le budget de l’UL ? Pour 9 de ces articles, les laboratoires concernés sont en lien soit avec le CHRU de Nancy, soit avec une école d’ingénieur hors-UL qui sont les probables sources de financement des APC concernés. Pour les 4 articles restants il reste deux hypothèses : une prise en charge par l’un des autres co-auteurs ou une erreur de saisie dans le logiciel comptable.

Discussion - limites

83Le recours au logiciel comptable permet de disposer de données fiables et attestées par des factures effectivement payées par l’établissement. Les limites de cette approche n’en sont pas moins importantes.

84La première de ces limites découle du dernier tableau : les UMR (mais également les EA) disposent de sources budgétaires variées. Une vision consolidée des dépenses d’APC à l’échelle d’une unité de recherche implique nécessairement une exploration approfondie des logiciels comptables de toutes les institutions qui sont tutelles.

85La seconde limite est liée au caractère chronophage du travail de vérification. Autant il est envisageable d’automatiser le repérage des dépenses par éditeur OA pure player, autant une requête sur le code famille NACRES implique de disposer des factures pour repérer les APC.

86La troisième limite est directement liée au point précédent : dans certains établissements il est très difficile voire impossible pour une structure documentaire de disposer des factures rattachées à d’autres composantes administratives. Ce cloisonnement comptable, qui est sain, ne peut être contourné que par le recours à une structure de pilotage central dans l’établissement. C’est le cas à l’UL où la Délégation à l’Aide au Pilotage et à la Qualité (DAPEQ) a joué un rôle essentiel dans le recueil des données qui ont permis de mener l’analyse présentée dans cet article.

87La quatrième et dernière limite a déjà été mentionnée plus haut : la possibilité d’erreurs humaines par le choix d’un code de famille de dépense erroné.

Éléments de comparaison des 3 méthodes

88Tableau récapitulatif des avantages et des inconvénients des différentes méthodes employées :

Avantages

Inconvénients

WoS

Identification des articles

Interrogation pluri-éditeurs

Possibilité de comparaison entre établissements et pays

Couverture (biais inhérent au WoS)

Pas d’accès aux hybrides

Nombreuses manipulations de données

Données tarifaires manquantes

Éditeurs

Repérage des hybrides

Coût réel (prenant en compte les remises et/ou adhésions)

Chronophage, démarches multiples

Hétérogénéité des plateformes

Complétude du catalogue des revues par éditeur

Sifac

Dépense effective par institution

Affectation de la dépense par laboratoire

Pas d’information bibliographique directe

Démarche chronophage de recherche dans les factures

Hétérogénéité des saisies des commandes

Conclusion

89La collecte des informations sur les articles soumis à des APC dans les établissements d’enseignement supérieur et de recherche présente un certain nombre de difficultés, que ce soit en ce qui concerne le montant de la dépense ou l’identification des articles eux-mêmes. Et ces difficultés se retrouvent quelle que soit la méthode employée : aucune de celles que nous avons expérimentées ne permet d’obtenir en une seule opération la totalité des informations nécessaires à l’identification bibliographique des articles et à leur évaluation financière.

90D’où l’intérêt d’une approche croisant les données issues du WoS (qui permettent d’établir un comparatif entre établissements sur la base d’un corpus homogène et commun de notices bibliographiques), les données fournies par les éditeurs (qui permettent de repérer les articles publiés dans les revues hybrides et/ou dans les revues qui ne figurent pas dans le corpus WoS) et les données comptables (qui permettent de valider les dépenses effectives).

91Le croisement de ces méthodes permet d’arriver à une estimation globale au niveau de l’établissement, mais jamais à une estimation complète : il faudrait pour se faire pouvoir conduire un travail équivalent au niveau des autres tutelles des UMR. Le laboratoire pourrait être un point d’entrée plus pertinent pour obtenir une information agrégée ; cela supposerait la mise en place d’actions de sensibilisation des directeurs d’unité, à appuyer par les tutelles concernées.

92Le consortium Couperin a récemment lancé une enquête nationale auprès d’établissements pilotes, qui permettra d’avoir une première idée de l’impact global de ces dépenses sur les budgets des universités. On peut espérer qu’une prise de conscience au niveau national de l’importance de quantifier ces dépenses permettra la mise en place d’outils communs pour en faciliter la traçabilité (un code NACRES spécifique serait un début) et l’analyse, en facilitant à moyen terme l’insertion des dépenses des établissements français dans des projets européens comme OpenAPC.

Top of page

Bibliography

ANDREW Theo, « Gold Open Access : Counting the Costs », Ariadne, 2012, vol. 70.

ANDRO Mathieu, HOLOGNE Odile, MAHE Annaïg, « Estimation des dépenses de publication de l’Inra dans un modèle théorique "Gold Open Access" », Documentaliste-Sciences de l’Information, 2014, vol. 51, n° 4, 10 p.

BONVALLOT Valérie, Chrétien Simone, Badolato Anne-Marie, Publications françaises Open Access 2010-2014 - Etude bibliométrique, Inist-CNRS et BSN4, 2017, 97 p.

JAHN Najko et TULLNEY Marco, « A Study of Institutional Spending on Open Access Publication Fees in Germany », PeerJ, 2016, vol. 4, 17 p.

LAAKSO Mikael et BJÖRK Bo-Christer, « Hybrid open access – A longitudinal study. », Journal of Infometrics, 2016, vol. 10, n° 4, 14 p.

LAWSON Stuart, GRAY Jonathan, MAURI Michele, « Opening the Black Box of Scholarly Communication Funding: A Public Data Infrastructure for Financial Flows in Academic Publishing », Open Library of Humanities, 2016, vol. 2, n° 1, 36 p.

LAWSON Stuart, « ‘Total cost of ownership’ of scholarly communication: managing subscription and APC payments together », Learned Publishing, 2015, vol. 28, 5 p.

SOLOMON David, et BJÖRK Bo-Christer, « Article processing charges for open access publications – the situation for research intensive universities in the USA and Canada », PeerJ, 2016, vol. 4, 19 p.

Top of page

Notes

1 Exemples d’options hybrides : Hybrid OA Journals, [En ligne]. Open Access Directory [Page consultée le 22 mars 2017]. Disponibilité et accès http://oad.simmons.edu/oadwiki/OA_journal_business_models#Hybrid_OA_journals

2 Voir la figure 1.

3 Le pourcentage de revues gold ne demandant pas d’APC est estimé à 72% en 2014. Walt Crawford, 72% and 41%: A Gold OA 2011-2014 preview, [En ligne]. [Page consultée le 22 mars 2017]. Disponibilité et accès http://walt.lishost.org/2015/08/72-and-41-a-gold-oa-2011-2014-preview/

4 OA2020 Initiative for the large-scale transition to open access. [En ligne]. Max-Planck Digital Library [Page consultée le 24 mars 2017] Disponibilité et accès https://oa2020.org/

5 Source : Chargée de bibliométrie, Direction de la Valorisation et de la Recherche d’AMU.

6 Rapport d’indicateurs sur la production scientifique de l’université de Lorraine par ses publications - 2012 à 2015, HCERES - OST, juillet 2016, p. 4.

7 Le libre accès aux publications et aux données de recherche, [En ligne]. Commission Européenne [Page consultée le 22 mars 2017]. Disponibilité et accès http://www.horizon2020.gouv.fr/cid82025/le-libre-acces-aux-publications-et-aux-donnees-de-recherche.html

8 Stuart Lawson estime ainsi que les APC sont l’une des trois composantes de « l’opacité systémique » qui caractérise l’économie de la publication scientifique (Lawson, Gray & Mauri, 2016).

9 Les détails des « licences open access » pour 10 des 12 contrats signés par le VSNU avec des éditeurs commerciaux sont consultables en ligne. Inspection of open access licenses, [En ligne]. Vereniging van Universiteiten [Page consultée le 22 mars 2017]. Disponibilité et accès http://www.vsnu.nl/en_GB/public-access-request.

10 Open APC, [En ligne]. Université de Bielefeld [Page consultée le 22 mars 2017]. Disponibilité et accès https://treemaps.intact-project.org/

11 Se reporter à la troisième partie de la présente étude pour un comparatif entre les montants de dépense théoriques et effectifs.

12 Ainsi, à titre d’exemple, l’affiliation de l’auteur correspondant de l’article 10.1371/journal.pone.0133321 qui figure dans le WoS indique uniquement l’organisme de recherche et non l’université qui est également tutelle du laboratoire.

13 « Hybrid journals seem to be more popular venues for Open Access publication » (Andrew, 2012).

14 Efficiency and Standards for Article Charges, ESAC [En ligne]. Max-Planck Gesellschaft [Page consultée le 22 mars 2017] Disponibilité et accès https://www.intact-project.org/esac/

15 Transparent Infrastructure for Article Charges, INTACT [En ligne]. Max-Planck Gesellschaft [Page consultée le 22 mars 2017] Disponibilité et accès https://www.intact-project.org/

16 La nomenclature d’achats NACRES. [En ligne]. Agence de Mutualisation des Universités et Établissements d’enseignement supérieur [Page consultée le 22 mars 2017] Disponibilité et accès http://www.amue.fr/finances/metier/dossier-nacres/

17 Ces deux derniers éditeurs ayant figuré sur la liste controversée des « potentiels, possibles et probables éditeurs prédateurs » tenue par Jeffrey Beall et désormais fermée.

Top of page

List of illustrations

Title Figure 1. Part de la production OA dans la production des établissements (hors communications).
URL http://journals.openedition.org/rfsic/docannexe/image/3238/img-1.jpg
File image/jpeg, 68k
Title Figure 2. Répartition du corpus par éditeur
URL http://journals.openedition.org/rfsic/docannexe/image/3238/img-2.jpg
File image/jpeg, 124k
Title Figure 3. Variation annuelle par type d’éditeur
URL http://journals.openedition.org/rfsic/docannexe/image/3238/img-3.jpg
File image/jpeg, 64k
Title Figure 4. Validation annuelle des éditeurs au top 10
URL http://journals.openedition.org/rfsic/docannexe/image/3238/img-4.jpg
File image/jpeg, 56k
Title Figure 5. APC - Niveaux de prix
URL http://journals.openedition.org/rfsic/docannexe/image/3238/img-5.jpg
File image/jpeg, 56k
Title Figure 6. Évolution 2013-2015
URL http://journals.openedition.org/rfsic/docannexe/image/3238/img-6.jpg
File image/jpeg, 40k
Title Figure 7. Variation annuelle par éditeur (en euros)
URL http://journals.openedition.org/rfsic/docannexe/image/3238/img-7.jpg
File image/jpeg, 60k
Title Figure 8. Variation annuelle par type d’OA
URL http://journals.openedition.org/rfsic/docannexe/image/3238/img-8.jpg
File image/jpeg, 68k
Title Figure 9. Coût moyen d’APC par article
URL http://journals.openedition.org/rfsic/docannexe/image/3238/img-9.jpg
File image/jpeg, 44k
Title Figure 10. Comparatif entre les données du Wos et les données de SIFAC
Caption Les montant indiqués pour les articles payants dans le WoS sont des estimations fondées sur le prix public des APC.
URL http://journals.openedition.org/rfsic/docannexe/image/3238/img-10.jpg
File image/jpeg, 268k
Title Figure 11. Articles payants repérés dans le Web of Science
URL http://journals.openedition.org/rfsic/docannexe/image/3238/img-11.jpg
File image/jpeg, 84k
Top of page

References

Electronic reference

Marlène Delhaye and Jean-François Lutz, Mesurer les dépenses d’APC : méthodologie et étude de casRevue française des sciences de l’information et de la communication [Online], 11 | 2017, Online since 01 July 2017, connection on 29 March 2024. URL: http://journals.openedition.org/rfsic/3238; DOI: https://doi.org/10.4000/rfsic.3238

Top of page

About the authors

Marlène Delhaye

Marlène Delhaye est conservateur des bibliothèques à Aix Marseille Université. Au sein du Service Commun de Documentation (SCD), elle coordonne la cellule Open Access, administre l’archive ouverte HAL AMU et coordonne les acquisitions de ressources électroniques. Elle est membre du bureau de CasuHAL, l’association des utilisateurs de HAL, et du GTAO Couperin.

Jean-François Lutz

Jean-François Lutz est conservateur des bibliothèques à l’Université de Lorraine, où il est responsable de la Bibliothèque Numérique. Celle-ci a en charge les dossiers liés à l’Open Access et aux données de la recherche, ainsi que la gestion de de la documentation électronique, des thèses et mémoires numériques et des applications documentaires. De 2008 à 2014 il a été membre du Board de Sparc Europe.

Top of page

Copyright

CC-BY-NC-SA-4.0

The text only may be used under licence CC BY-NC-SA 4.0. All other elements (illustrations, imported files) are “All rights reserved”, unless otherwise stated.

Top of page
Search OpenEdition Search

You will be redirected to OpenEdition Search