PreprintPDF Available

Detectando patrones anómalos de publicación científica en España: Más sobre el impacto del sistema de evaluación científica

Authors:
Preprints and early-stage research may not have been peer reviewed yet.

Abstract

RESUMEN La pretensión de este trabajo es descubrir si en los últimos años en España se han producido cambios sustanciales en sus patrones de publicación científica; más concretamente, en los medios de comunicación (editoriales y revistas) empleados para difundir los resultados de la investigación y en la tipología de publicaciones utilizadas. El estudio centrará el análisis en las publicaciones indexadas en la WoScc (Web of Science core collection) en tanto en cuanto esta fuente y su principal derivado bibliométrico el JCR (Journal Citation Reports) ha sido la elegida preferentemente en España para evaluar el rendimiento científico de sus investigadores. Se constata que el patrón de publicación española diverge del patrón de publicación mundial. Se han detectado cambios significativos y estos han ocurrido en los últimos años; se concretan en una concentración de publicaciones en editoriales y revistas de nuevo cuño así como un empleo inusualmente alto de artículos de revisión. El factor clave que explica el cambio en el comportamiento de publicación de los científicos españoles es el sistema de evaluación científica imperante, que premia preferentemente la publicación y las actividades editoriales en revistas bien posicionadas en los Journal Citation Reports y/o Scimago Journal Rank. Los méritos contemplados para la acreditación del profesorado universitario así como los indicios de calidad empleados para otorgar los sexenios (complementos de productividad en investigación) son testimonio explicativo de este fenómeno. Esta demanda de publicación será satisfecha por editoriales de nuevo cuño que necesitadas de clientes (autores y artículos) para hacer florecer sus negocios desplegaron una estrategia de puertas abiertas y unas prácticas editoriales muy eficientes (gran rapidez a módicos costes publicando en abierto) que las hacía enormemente atractivas para investigadores como los españoles tan hambrientos de publicación y de méritos editoriales. Se describen pormenorizadamente estas estrategias que han llevado a estas editoriales a fagocitar el sistema de publicación científica en España Detecting anomalous patterns of scientific publication in Spain: More about the impact of the scientific evaluation system ABSTRACT The goal of this work is to ascertain whether academic publication patterns have significantly changed in the last few years in Spain. In particular, the analysis focuses on the publication venues (publishers and journals) and the document types that are chosen by researchers working in Spain to communicate their work. The Web of Science core collection (WoScc) is selected as a data source because this bibliographic database, as well the journal ranking that is derived from it (Journal Citation Reports) are the sources that have long being used in Spain to assess the performance of researchers. The results show that indeed, significant changes in the choice of publication venues can be observed in recent years. Specifically, compared to world trends, researchers working in Spain are disproportionally publishing in relatively young journals, created by relatively new publishers. An unusually high proportion of review articles is also identified. We argue that the key factor that explains the changes in the publication behaviour of Spanish researchers is the system of research evaluation currently in effect. The Spanish system preferentially rewards publications and editorial activities in journals that are highly ranked in the Journal Citation Reports and/or Scimago Journal Rank. These merits can be found in the evaluation programmes that regulate access of researchers to tenure track and tenure positions, as well as the subsequent research evaluations to which Spanish researchers can subject themselves regularly, these entailing economic and career incentives if the outcome is positive. The demand for publication in Spain is thus now increasingly being served by recently minted publishers that operate under the APC business model, and which have successfully enlisted the collaboration of a large number of researchers by offering highly expeditious publishing services, lower prices than competing publishers, and the opportunity to participate in editorial roles. These strategies, which are increasingly absorbing the Spanish scholarly publishing system, are described in detail. PALABRAS CLAVE Comunicación científica, publicación científica, revistas científicas, editoriales científicas, tendencias de publicación, evaluación científica, evaluación rendimiento investigador, indicadores bibliométricos, Web of Science, Journal Citation Reports, MDPI, Frontiers, España KEYWORDS Scholarly communication, academic publishing, scientific journals, scientific publishers, publication trends, scientific evaluation, research performance evaluation, bibliometric indicators, Web of Science, Journal Citation Reports, MDPI, Frontiers, Spain
Detectando patrones anómalos de publicación científica en España:
Más sobre el impacto del sistema de evaluación científica
Emilio Delgado López-Cózar y Alberto Martín-Martín
Facultad de Comunicación y Documentación, Universidad de Granada
RESUMEN
La pretensión de este trabajo es descubrir si en los últimos años en España se han producido cambios
sustanciales en sus patrones de publicación científica; más concretamente, en los medios de comunicación
(editoriales y revistas) empleados para difundir los resultados de la investigación y en la tipología de
publicaciones utilizadas. El estudio centrará el análisis en las publicaciones indexadas en la WoScc (Web of
Science core collection) en tanto en cuanto esta fuente y su principal derivado bibliométrico el JCR (Journal
Citation Reports) ha sido la elegida preferentemente en España para evaluar el rendimiento científico de sus
investigadores. Se constata que el patrón de publicación española diverge del patrón de publicación mundial.
Se han detectado cambios significativos y estos han ocurrido en los últimos años; se concretan en una
concentración de publicaciones en editoriales y revistas de nuevo cuño así como un empleo inusualmente
alto de artículos de revisión. El factor clave que explica el cambio en el comportamiento de publicación de
los científicos españoles es el sistema de evaluación científica imperante, que premia preferentemente la
publicación y las actividades editoriales en revistas bien posicionadas en los Journal Citation Reports y/o
Scimago Journal Rank. Los méritos contemplados para la acreditación del profesorado universitario así como
los indicios de calidad empleados para otorgar los sexenios (complementos de productividad en
investigación) son testimonio explicativo de este fenómeno. Esta demanda de publicación será satisfecha
por editoriales de nuevo cuño que necesitadas de clientes (autores y artículos) para hacer florecer sus
negocios despliegan una estrategia de puertas abiertas y unas prácticas editoriales muy eficientes (gran
rapidez a módicos costes publicando en acceso abierto) que las hace enormemente atractivas para
investigadores como los españoles tan necesitados de publicación y de méritos editoriales. Se describen
pormenorizadamente estas estrategias que han llevado a estas editoriales a fagocitar el sistema de
publicación científica en España
Detecting anomalous patterns of scientific publication in Spain: More about the impact of the
scientific evaluation system ABSTRACT
The goal of this work is to ascertain whether academic publication patterns have significantly changed in the
last few years in Spain. In particular, the analysis focuses on the publication venues (publishers and journals)
and the document types that are chosen by researchers working in Spain to communicate their work. The
Web of Science core collection (WoScc) is selected as a data source because this bibliographic database,
as well the journal ranking that is derived from it (Journal Citation Reports) are the sources that have long
being used in Spain to assess the performance of researchers. The results show that indeed, significant
changes in the choice of publication venues can be observed in recent years. Specifically, compared to world
trends, researchers working in Spain are disproportionally publishing in relatively young journals, created by
relatively new publishers. An unusually high proportion of review articles is also identified. We argue that the
key factor that explains the changes in the publication behaviour of Spanish researchers is the system of
research evaluation currently in effect. The Spanish system preferentially rewards publications and editorial
activities in journals that are highly ranked in the Journal Citation Reports and/or Scimago Journal Rank.
These merits can be found in the evaluation programmes that regulate access of researchers to tenure track
and tenure positions, as well as the subsequent research evaluations to which Spanish researchers can
subject themselves regularly, these entailing economic and career incentives if the outcome is positive. The
demand for publication in Spain is thus now increasingly being served by recently minted publishers that
operate under the APC business model, and which have successfully enlisted the collaboration of a large
number of researchers by offering highly expeditious publishing services, lower prices than competing
publishers, and the opportunity to participate in editorial roles. These strategies, which are increasingly
absorbing the Spanish scholarly publishing system, are described in detail.
PALABRAS CLAVE
Comunicación científica, publicación científica, revistas científicas, editoriales científicas, tendencias de
publicación, evaluación científica, evaluación rendimiento investigador, indicadores bibliométricos, Web of
Science, Journal Citation Reports, MDPI, Frontiers, España
KEYWORDS
Scholarly communication, academic publishing, scientific journals, scientific publishers, publication
trends, scientific evaluation, research performance evaluation, bibliometric indicators, Web of Science,
Journal Citation Reports, MDPI, Frontiers, Spain
1. JUSTIFICACIÓN Y OBJETIVOS
La pretensión de este trabajo es descubrir si en los últimos años en España se han
producido cambios sustanciales en sus patrones de publicación científica; más
concretamente, en los medios de comunicación (editoriales y revistas) empleados
para difundir los resultados de la investigación y en la tipología de publicaciones
adoptadas. El estudio centrará el análisis en las publicaciones indexadas en la WoScc
(Web of Science core collection) en tanto en cuanto esta fuente y su principal derivado
bibliométrico el JCR (Journal Citation Reports) ha sido la elegida preferentemente por
las agencias de evaluación, financiación, universidades, organismos de investigación
y otras entidades (hospitales, unidades administrativas, museos, fundaciones, etc..)
para evaluar el rendimiento científico de sus investigadores.
Nos interesa saber si nuestros patrones de publicación se alejan significativamente o
no de los patrones que rigen la comunicación científica en el mundo y en el conjunto
de países más avanzados en ciencia, aquellos a los que España mira como referentes
y pretende emular. Disponer de unos comportamientos infrecuentes, poco comunes o
no habituales implicaría simplemente constatar una rareza o singularidad que nos
devolvería al viejo aforismo de Spain is different, que parecía ya olvidado. En principio,
un comportamiento anómalo no tiene porqué denotar una calificación peyorativa, sino
un atípico, divergente, inesperado, o sorprendente perfil de comunicación. Lo que
importa por encima de todo es esclarecer las causas de esa anormalidad.
Nace como respuesta a la necesidad de ofrecer más luz a la agria y atronadora
polémica generada por el informe "Análisis bibliométrico e impacto de las editoriales
open-access en España" (Oviedo-García, Casillas, González, 2021) y un artículo
anejo centrado en las prácticas editoriales y de autocitación de la editorial MDPI
(Oviedo-Garcia 2021a-b, MDPI 2021a). Patrocinado por la ANECA con la intención de
buscar evidencias sobre posibles anomalías editoriales y bibliométricas en la
publicación científica española difundida en revistas JCR, los resultados quedaron
opacados por la cuestionable metodología empleada y el desatinado listado de
“revistas de editoriales de suscripción con comportamiento no estándar”.
A pesar de ello en el informe se ofrecían algunos indicios sólidos sobre cambios
importantes en los comportamientos de publicación, y, muy concretamente, en las
solicitudes de sexenios donde se constataba un incremento desaforado de artículos
publicados en revistas con escasa tradición editorial, con fronteras disciplinares
(ámbitos de cobertura) muy difusos y publicadas en acceso abierto a partir del pago
de unas tasas por publicación (APC); revistas, en último caso, que resultaban bastante
desconocidas en los distintos campos de conocimiento.
Pues bien, utilizando otro enfoque y con la idea de ofrecer datos adicionales que
corroboren este fenómeno surge este estudio.
2. FUENTES DE DATOS
Para extraer datos que puedan visualizar los comportamientos de publicación de los
investigadores españoles en los últimos años hemos consultado dos fuentes:
- La Web of Science core collection (WoScc) ha sido la fuente preferente, en
tanto en cuanto es a partir de este conjunto de revistas de donde se obtienen
las revistas a las que se calculará el JIF (Journal Impact Factor) y su cuartil
correspondiente en los JCR, fuente de referencia para el sistema español de
evaluación científica.
- Scilit (Scientific Literature). Es una base de datos de reciente creación
patrocinada por MDPI y que, a partir de datos fundamentalmente de Crossref,
Pubmed y algunos propios, permite visualizar la producción de países y
editoriales de manera bastante precisa. Es de especial interés para este trabajo
pues registra exhaustivamente toda la producción generada por MDPI y por
otras editoriales emergentes no tan bien representadas en las bases de datos
tradicionales. Por supuesto, también indiza la producción de las principales
editoriales científicas del mundo así como las españolas.
El período de tiempo abarcado por nuestras pesquisas se ha limitado a la última
década (2012-2021). Dependiendo de la variable analizada se toma la década
completa, el quinquenio (2017-2021), o el último año (2021), pues son los años donde
se han producido los cambios más profundos del sistema de acreditación del
profesorado de la ANECA (2015, 2017, 2019) y, donde, por dicha razón es posible
que se hayan producido más transformaciones. A veces hemos limitado el análisis al
último bienio (2020-2021) para constatar fidedignamente la situación actual.
Se han tomado como unidades de análisis los países, las editoriales, las revistas, y
los tipos documentales.
Los datos se han recogido en distintas fechas de finales de 2021 y comienzos de 2022.
3. RESULTADOS
3.1 Patrones de publicación científica mundial en la Web of Science core
collection
Para conocer cuáles son los patrones mundiales de publicación científica que refleja
la WoScc basta con analizar la evolución de la producción científica por países en la
última década (2012-2021) (Tabla 1).
Tabla 1. Porcentaje de publicaciones indexadas en la Web of Science core collection por países y
años (2012-2021)
Un simple vistazo a la tabla denota una enorme estabilidad respecto al número de
publicaciones producidas por los 20 países más productivos. Los mismos países que
figuraban en el top 20 en 2012 siguen estando en 2021, excepto Irán que sustituye en
la lista a Taiwan. Los cambios registrados son más bien de posición que de porcentaje
de producción a excepción de China, la India e Irán que duplican su producción en
esta década. A pesar de todo no se producen modificaciones abruptas en las
posiciones, aunque si se aprecian tendencias ascendentes o descendentes.
A efectos de este trabajo lo que nos interesa es ver cuál es la posición ocupada por
España y su contribución productiva. Pues bien, la estabilidad es el trazo
preponderante: si en 2012 España ocupa el puesto número 9 con el 3,42% de la
producción mundial, en 2021 figura en el puesto 10 con el 3,69%; ha pasado de 89.355
documentos en 2012 a 116.830 en 2021, lo cual supone un crecimiento del 30,7%.
3.2 Editoriales más productivas: el fulgurante crecimiento de las editoriales de
nuevo cuño (MDPI, Frontiers).
Averiguado cual es el patrón de publicación de España, su posición y porcentaje de
publicación en el mundo (Tabla 1), vamos a observar si dicho patrón se reproduce
básicamente cuando analizamos las top 10 principales casas editoriales donde
publican los investigadores españoles y comprobar si lo hacen de manera similar a
los investigadores de los 20 principales países del mundo por producción científica
(Tabla 2).
Tabla 2. Porcentaje de publicación de los top 20 países en las top 10 editoriales indexadas en la Web
of Science core collection en 2021
Un análisis de la posición que ocupa España en las 10 editoriales más importantes del
mundo por volumen productivo (representan dos tercios de lo publicado en 2021) es
muy significativo. España se sitúa entre los puestos 10 y 13, viniendo a coincidir con
su potencial productivo global (10), aunque casi siempre representando en las
editoriales más reputadas un porcentaje de publicación inferior a la media española a
nivel general (3,69%), salvo en los casos de Elsevier y Oxford University Press, que
ligeramente por encima de la media. La excepción a este panorama es la editorial
MDPI, donde España se sitúa en el puesto 4, muy por encima del décimo puesto
ocupado por España en general por potencial productivo; y, lo que es más
trascendente, con un porcentaje productivo en esta editorial del 8%, llegando a
duplicar la tasa general de publicación de España en la WoScc. También en la editorial
Frontiers España ocupa una posición por encima de la media aunque con un
porcentaje de publicación similar a la media general española.
A fin de visualizar en qué medida el comportamiento editorial de nuestro país diverge
o no del patrón de publicación mundial, procederemos a comparar la evolución de
porcentaje de publicación por editorial en el mundo (Tabla 3, columna azul) con el de
España en los últimos siete años (Tabla 3, columna sepia). Más en concreto
pondremos el foco en la editorial MDPI (celdas amarillas) que es la que muestra un
patrón de publicación más atípico.
Tabla 3. Evolución del porcentaje de publicación de España y el mundo en las top 25 editoriales
indexadas en la Web of Science core collection (2015-2021)
Los datos de la tabla 3 evidencian que desde 2015 el peso de las publicaciones de
investigadores españoles en la editorial MDPI ha estado siempre por encima del valor
de esta editorial en el mundo, pero se ha desorbitado en los últimos años: si en 2015
la producción española en esta editorial superaba en tres décimas (0,9%) lo que
representaba su producción en el mundo (0,6%), en 2021 la duplica (14,6% frente a
6,7%). Un signo más de la importancia adquirida por MDPI para España es que ya en
2020 se había convertido en la segunda editorial que más documentos publica de
autores españoles. Desde 2015 el número de publicaciones españolas en la editorial
MDPI ha crecido un 1873%. Este espectacular incremento no es distinto aunque
bastante más acusado del producido a nivel internacional: MDPI es en 2021 la cuarta
editorial con más publicaciones en la WoScc, con un crecimiento desde 2015 del
1246%.
Igualmente llamativo ha sido el aumento protagonizado por Frontiers. Si en 2015
atraía el 0,6% de la producción española en la WoScc, en 2021 ya captaba el 2,7%,
un gran salto desde el puesto 25 que ocupaba en 2015 dentro de las preferencias de
los investigadores españoles hasta la séptima posición conquistada en 2021. No
obstante, su crecimiento (518%) ha sido ligeramente inferior al producido a nivel
mundial (637%), donde figura como la octava editorial más productiva.
3.3 Instituciones españolas más productivas en MDPI
Para saber en qué medida esta anómala distribución editorial ha penetrado en las
instituciones científicas españolas hemos averiguado cuáles son las editoriales más
utilizadas para publicar y en qué proporción. Se ha incluido en el análisis el CSIC, -el
principal organismo de investigación en España-, y 70 universidades españolas
(Tablas 4a-b). En la tabla 4a se han ordenado por nivel de producción las
universidades que han publicado por encima de la media española en la editorial
MDPI. En la Tabla 4b se ha agrupado a aquellas universidades que publican por
debajo de la media. De esta manera es más fácil observar el perfil editorial de cada
institución de manera que pueda compararse con el perfil español (tabla 3) o con el
de otras entidades, pero sobre todo permite detectar el nivel de anormalidad editorial
de cada institución en términos de publicación en MDPI.
Tabla 4a. Porcentaje de publicación de universidades españolas en las 10 editoriales más empleadas
por cada institución en 2021 según la Web of Science core collection
Taba 4b. Porcentaje de publicación de universidades españolas en las 10 editoriales más empleadas
por cada institución en 2021 según la Web of Science core collection
Un análisis somero de los datos alojados en las tablas 4a-b arroja las siguientes
evidencias:
- En 2021 en la mayoría de las universidades (40) MDPI es ya la editorial que
más artículos publica (Tabla 4a). Sólo en 7 universidades MDPI está por debajo
de la segunda posición (Tabla 4b).
- Pero el dato que revela el extraordinario nivel de penetración que ha alcanzado
MDPI en nuestras universidades es la proporción de artículos publicados por
esta editorial: en 31 universidades españolas MDPI concentra más del 20% de
la producción de la institución, en siete llega a sobrepasar el 30% (Tabla 4a).
- Son universidades privadas las que encabezan el listado de instituciones donde
MDPI ha alcanzado un mayor peso editorial (Tabla 4a). Por el contrario, son
universidades públicas, generalistas y de dilatada trayectoria investigadora,
salvo algunas excepciones, aquellas en las que las nuevas editoriales han
encontrado menor acogida.
Desde una óptica distinta a la del grado de concentración o dispersión editorial de la
producción científica de una institución, es muy elocuente identificar en términos de
producción bruta cuales son las instituciones que más documentos publican en MDPI
(Tabla 5). Realmente este es el dato relevante para conocer cuáles son las
instituciones que más negocio generan para la editorial. Pero, además, es muy
significativo conocer en qué posición en el mundo se sitúan nuestras instituciones por
producción en MDPI. Baste con comparar esta posición con el nivel productivo
mundial y español de las mismas instituciones para detectar escalafones anómalos.
Pues bien, en la editorial MDPI contamos con 5 entre las 50 instituciones s
productivas del mundo,11 entre las 100 y 19 entre las 200. Nada parecido a lo que
ocurre en las más reputadas editoriales del mundo. Así, resulta que sólo hay dos
instituciones españolas entre las 100 primeras en las editoriales Elsevier, Wiley,
Oxford University Press; en Springer Nature una y en Taylor & Francis, IEEE, Sage y
Lippincott Williams & Wilkins ninguna.
Tabla 5. Universidades e institutos de investigación españoles con más documentos publicados en
la editorial MDPI en 2021 en la Web of Science core collection
Posición
mundial
Institución
N docs
7
CSIC
2165
17
CIBER Centro de investigación biomédica en red
1485
29
Universidad de Barcelona
1046
34
Universidad de Granada
956
45
Universidad de Valencia
864
53
Universidad Complutense de Madrid
822
56
Universidad de Sevilla
810
57
Universidad Autónoma de Barcelona
807
78
Universidad Politécnica de Valencia
719
89
Universidad Politécnica de Madrid
684
99
Universidad del País Vasco
656
125
Instituto de Salud Carlos III
598
127
Universidad de Zaragoza
597
166
Universidad de Vigo
500
171
Universidad de Castilla-La Mancha
497
178
Universidad de Málaga
489
189
Universidad de Murcia
484
185
Universidad Politécnica de Cataluña
485
197
Universidad de Córdoba
472
3.4 Las revistas más atractivas para los investigadores españoles: una pasarela
monopolizada por MDPI
Si el análisis del patrón de publicación en editoriales indexadas en la WoScc ofrece
pistas significativas sobre comportamientos anómalos, es a nivel de revistas donde
los datos adquieren pleno sentido. Los investigadores eligen revistas y tienden a
seleccionar aquellas que consideran cumplen mejor sus expectativas en términos de
difusión, visibilidad y rédito en sus carreras profesionales. Es de sumo interés
comprobar si la anormalidad se concentra en un puñado de revistas o se encuentra
disperso. Pues bien, en la tabla 6 vemos que en 2021 de las 25 revistas que más
artículos publicaron de investigadores españoles, 16 pertenecen a la editorial MDPI
(Tabla 6, sombreadas en verde). Todas ellas duplican o triplican el porcentaje de
documentos que publican estas revistas a nivel mundial. Esta severa anomalía queda
confirmada al comparar la posición por volumen productivo de las revistas en España
y el mundo: no coinciden, existe una clara divergencia en las preferencias de los
investigadores españoles por las revistas donde publicar sus trabajos.
Tabla 6. Top 25 revistas en la Web of Science core collection en 2021 que más artículos publicaron
de autores españoles y a nivel mundial
*Sombreadas en verde las revistas publicadas por la editorial MDPI
¿Cómo se ha llegado hasta aquí? En la tabla 7 puede observarse que se trata de un
proceso extraordinariamente rápido, diríamos que súbito: en 2015 solo había una
revista MDPI entre las 25 revistas que más artículos publicaban de autores españoles;
será en 2019 cuando se produzca la eclosión con 9 revistas. El crecimiento es
imparable pues en 2021 ya eran 16 revistas. Los 36 artículos publicados por autores
españoles en Sustainability en 2015 o los 28 en el International Journal of
Environmental Research and Public Health se han convertido en 2021 en 1.344 y
1.586 respectivamente. Es evidente que las revistas MDPI han fagocitado todo el
ecosistema de publicación español en la WoScc.
Tabla 7. Evolución del porcentaje de publicación de las top 25 revistas en la Web of Science core
collection que más artículos publicaron de autores españoles (2015-2021)
3.5 Tipología de artículos: el imprevisto y repentino éxito de las revisiones. La
anomalía Frontiers y MDPI
Las revistas científicas publican diversos tipos de contribuciones: artículos originales
de investigación, comunicaciones o notas breves, revisiones, reseñas bibliográficas,
cartas, editoriales, ponencias a congresos, entre otros, pues existen más géneros
documentales idiosincráticos de las distintas disciplinas y especialidades. Los
elementos más significativos y relevantes de una revista científica son los artículos de
investigación original que son los que demuestran la contribución de la revista al
acervo común de su campo científico. Los artículos de revisión, en cambio, son
trabajos que pretenden, a partir de una revisión bibliográfica de los estudios
publicados en un período de tiempo dado, fijar el estado de la cuestión sobre un tema
resumiendo los descubrimientos, innovaciones e ideas vertidos en la literatura
científica.
Tradicionalmente, las revisiones han sido artículos realizados por encargo del equipo
editorial de la revista a científicos reputados, autoridades científicas en el campo, que
por serlo tendrían la capacidad de resumir el estado del arte. Estas revisiones adoptan
un estilo narrativo en el que siguiendo un hilo argumentativo lógico se van
desgranando y valorando los conocimientos aflorados en el tema en cuestión y en el
período demarcado. El incremento masivo de estudios empíricos producido en el
último cuarto del siglo pasado como consecuencia de la expansión universal de la
ciencia junto a la dificultad de sintetizar cualitativamente el torrente de datos arrojado
por las nuevas aportaciones dio lugar al nacimiento de las revisiones sistemáticas y
metaanálisis. Con una óptica cuantitativa estas revisiones pretenden obtener
evidencias empíricas sólidas basándose en una síntesis de datos empíricos arrojados
por estudios similares y con diseños metodológicos robustos. Nacidos en las ciencias
de la salud donde ha dado lugar a lo que se denomina la medicina basada en la
evidencia, inmediatamente este tipo de trabajos se ha extendido a todas las ciencias
biológicas, naturales, sociales y humanas.
Cómo lógicamente se puede presuponer, la utilidad de estos estudios secundarios es
muy elevada, pues cualquier científico cuando afronta un trabajo de investigación
precisa realizar una revisión bibliográfica sistemática de lo conocido en su tema.
Justamente por esta razón, las revisiones cuentan con una alta repercusión en
términos de consultas y, sobre todo, de citas. De otro lado, las revisiones, sobre todo
las sistemáticas, son muy baratas en términos de costes de investigación pues no
requieren de los recursos económicos y humanos que exige el trabajo de campo en
la investigación observacional o experimental. Esto las hace muy atractivas para
aquellos autores que sin medios o apenas recursos desean publicar y alcanzar cierta
notoriedad. El mismo aliciente opera en las direcciones editoriales de las revistas que
están tentadas a usar este tipo de trabajos tanto para atraer a autores como para
incrementar sus índices de impacto.
Es por lo que determinar la tipología de los artículos publicados en la revista, y por
elevación de una editorial, pero especialmente ponderando el porcentaje de artículos
de revisión que publican nos permite conocer si pueden constatarse políticas y
estrategias editoriales anómalas. Entiéndase que carece de sentido que una revista
dedicada a publicar fundamentalmente artículos de investigación se dedique a poblar
sus páginas de artículos de revisión. Si este es su propósito, ya, desde hace muchos
años, existen las revistas especializadas en revisiones cuyos títulos son expresivos
de su orientación: Annual review of, Trends in, Current opinion in.
De nuevo, para comprobar posibles anormalidades de publicación seguiremos la
misma estrategia anterior. Primero detectar el patrón de publicación mundial y
compararlo con el español y con el patrón de las editoriales. Pues bien, tal como se
puede apreciar en el Gráfico 1, el porcentaje de artículos de revisión publicados en
revistas indexadas en WoScc oscila entre el 3,4% en 2015 y el 6,6% en 2021. El
número de revisiones crece considerablemente pues se ha duplicado en ocho años.
No obstante, se mantiene en cifras reducidas en relación al resto de tipos
documentales de una revista. En el caso de los autores españoles se aprecia un ligero
mayor nivel de producción de revisiones, que evoluciona a ritmos parecidos al resto
del mundo hasta el año 2020 en que la tasa española de publicación de revisiones
queda por debajo de la media mundial.
En cambio, cuando centramos el foco en las editoriales Frontiers y MDPI otra vez nos
topamos con una anormalidad más que considerable. Frontiers y MDPI publican
significativamente más revisiones firmadas por investigadores españoles (Gráfico 1).
Por término medio en el período analizado Frontiers cuadruplica la media española,
llegando algún año a sextuplicar la media mundial (2015). En el caso de MDPI, duplica
la media española y en algunos casos llega a cuadruplicar la media mundial (2015).
Parece claro que los investigadores españoles han visto en Frontiers y MDPI un
acogedor espacio donde alojar sus revisiones, y estas editoriales una excelente
oportunidad para ofrecer hospedaje, tras el pago de las correspondientes tasas (más
modestos APC en MDPI y algo más elevados en Frontiers) y de camino, con la
atracción de autores de instituciones científicas respetables, legitimar su negocio y
disipar las dudas pasadas sobre su reputación.
En fin, aquí concuerdan en perfecta simbiosis de mercado una demanda insaciable
(autores ávidos de publicaciones “fáciles”) con una oferta copiosa (revistas ávidas de
publicaciones que reportan sustanciosos ingresos por medio de APCs).
Gráfico 1. Comparación de los porcentajes de artículos de revisión publicados investigadores
españoles entre 2015 y 2021 en revistas MDPI y Frontiers frente a los publicados en España y el
mundo en la Web of Science cc
La confirmación del comportamiento anómalo detectado en Frontiers y MDPI se
corrobora al comparar sus tasas de publicación de revisiones por españoles con las
de otras editoriales (Gráfico 2). Son muy superiores al resto de grandes editoriales;
Frontiers triplica por término medio al resto de editoriales, mientras que MDPI duplica
estos valores.
Gráfico 2. Porcentajes de artículos de revisión publicados por investigadores españoles en revistas en
diez editoriales indexadas en la Web of Science cc (2012-2021)
3,4 3,6 3,8 4,2 4,5 5,6 6,6
3,6 3,9 4,2 4,6 4,8 5,5 6,2
14,9 14,3 14,3
12,3 11,8 13,2
15,4
21,8
16,7
15,2
18,2 18,3
15,8 16,1
2015 2016 2017 2018 2019 2020 2021
% artículos de revisión
Mundo España MDPI esp Frontiers esp
1,5
3,5
4,6
5,4
5,5
5,6
7,8
7,8
13,7
18,0
Public Library Science
Oxford Univ Press
Springer Nature
Sage
Willey
Elsevier
Lippiconrt Williams & Wilkins
Taylor & Francis
MDPI
Frontiers
3.6 Indagando sobre las causas de estos anómalos patrones de publicación: el
impacto del sistema de evaluación científica en España.
Que los sistemas de evaluación de la investigación adoptados en un país tienen
efectos sistémicos sobre la orientación de la ciencia en dicho país es una evidencia
que no necesita de proclamaciones solemnes en manifiestos (Manifiesto Leiden, ver
Hicks et al. 2015)
. Estos efectos y, muy especialmente la alteración de los
comportamientos y hábitos de publicación de los científicos fueron ya advertidos en
España en los años noventa del siglo pasado: Changes on publishing behavior in
response to research policy guidelines…” (1998), y reiteramente en la primera década
de este siglo Impact-factor rewards affect Spanish research(2002); Impact of the
impact factor in Spain(2007); Los efectos del efecto Aneca…” (2011); El factor de
impacto de las revistas científicas sigue siendo ese número que devora la ciencia
española: ¿hasta cuándo? (2019); The footprint of a metrics-based research
evaluation system on Spanish philosophical scholarship…” (2021).
El razonamiento es muy simple y de una lógica concluyente:
- Si la investigación es la dimensión más y mejor valorada por un sistema de
evaluación académica, los científicos dedicarán todos sus afanes a cultivar esta
dimensión, orillando o abandonando, si llega el caso, todas aquellas
actividades que la entorpezcan.
- Si las publicaciones, especialmente en formato de artículos de revista, son los
resultados preferentemente valorados dentro de las actividades investigadoras,
los académicos volcarán toda su energía en ello.
- Si la publicación de un número de artículos, variable según campo científico,
en revistas que figuren en los Journal Citation Reports (JCR) o Scimago Journal
Rank (SJR), bien posicionadas en los rankings (normalmente Q1-Q2 o Q3-Q4,
según los casos) es el requisito exigido obligatoriamente para obtener una
puntuación que permita la acreditación en las distintas escalas docentes
(acceder y progresar en la carrera académica) o un sexenio de investigación,
requerimiento imprescindible para poder desenvolverse en muchas actividades
académicas (desde poder avalar becas, dirigir tesis doctorales, participar en
tribunales hasta poder formar parte del plantel docente de las enseñanzas de
master o doctorado o, incluso, afectar a la distribución de las cargas de trabajo
en la universidad –“cargas docentes=horas de clase-) los académicos
procurarán hacer esto a toda costa; y desgraciadamente lo harán por todo tipo
de vías. Su entrada y progreso en la academia está en juego.
El punto 9 del Manifiesto declara 9. Deben reconocerse los efectos sistémicos de la evaluación
y los indicadores. Los indicadores cambian el sistema científico a través de los incentivos que
establecen. Estos efectos deberían ser anticipados. Esto significa que una batería de indicadores es
siempre preferible puesto que un solo indicador es susceptible de generar comportamientos
estratégicos y substitución de objetivos (según la cual la medida se convierte en un fin en sí misma)…”.
Hicks, Diana; Wouters, Paul; Waltman, Ludo; De Rijcke, Sarah; Rafols, Ismael (2015). "Bibliometrics:
the Leiden Manifesto for research metrics". Nature, v. 520, n. 7548, pp. 429.
https://doi.org/10.1038/520429a. Versión en español accesible en www.ingenio.upv.es/manifiesto
3.6.1 El d-efecto ANECA: méritos para prosperar en la academia española
Aunque España lleva desde la última década del siglo pasado una política
encaminada en esta dirección (el efecto CNEAI fue acuñado en 2002, el efecto
ANECA en 2011, transformado en d-efecto ANECA en 2015) (Jiménez-Contreras,
Moya, Delgado López-Cózar 2003, Masip 2011, Delgado López-Cozar 2016) creemos
que los anómalos cambios detectados en los hábitos de publicación de los científicos
españoles en este estudio tienen sus causas inmediatas en la reforma de los criterios
de acreditación iniciados por ANECA en 2015
y concretados en los criterios
aparecidos en 2017
. Justamente en ese año se reajustan los requisitos obligatorios
en las distintas escalas y se formalizan diversos criterios complementarios y
específicos que han actuado de poderosos incentivos para modelar la conducta
publicadora de los científicos. Sumariamente estos estímulos han sido los siguientes:
A. Exigir como méritos obligatorios un número de artículos publicados
preferentemente en revistas JCR, SJR o sucedáneos, que van desde unas
decenas a cientos según campos de conocimiento, de los cuales una buena
porción de ellos deben figurar en revistas de primer nivel (normalmente Q1-Q2
o Q3-Q4, según los casos). Estos son los méritos imprescindibles y decisivos
para acreditarse.
B. Contemplar como méritos que pueden apoyar o complementar la evaluación
positiva, todas aquellas publicaciones que, cumpliendo unas determinadas
características, no hayan podido ser incluidas en los méritos obligatorios.
C. Introducir toda una serie de actividades editoriales que pueden emplearse
como méritos complementarios que coadyuven a una evaluación positiva. A
saber: ser editor o editor asociado de una revista JCR o similar, actuar de editor
invitado, formar parte de comités editoriales de revistas JCR o similar, ser
revisor habitual de revistas JCR o similar. En la tabla 8 se incluyen agrupadas
por ramas de conocimiento todas las formulaciones de los méritos que figuran
en los distintos campos en que se desenvuelve la evaluación en ANECA.
Tabla 8. Relación de méritos específicos o complementarios contemplados por
ANECA en sus criterios de acreditación para Cátedras y Titularidades
CIENCIAS DE LA SALUD
Revisor de trabajos para revistas indexadas en JCR: al menos 10 trabajos
Editor asociado de revistas científicas nacionales o internacionales de prestigio y/o editor invitado de
volúmenes especiales de revistas JCR: al menos 1 revista o volumen
Evaluación regular de artículos JCR en revistas del T1: al menos 5 artículos.
Ser o haber sido editor (jefe o asociado), de revistas indexadas en JCR en el T1
Pertenencia a 2 Consejos Editoriales de revistas indexadas en JCR, durante un mínimo de 2 años
Editoriales o revisiones por invitación en revistas del 1er decil (D1)
CIENCIAS
Formar parte del Comité editorial de una revista del primer decil del correspondiente campo científico del
JCR, por un periodo mínimo de dos años
Pertenencia al Comité editorial de una revista del primer tercil del campo científico del JCR, por un periodo
mínimo de dos años
Pertenencia al Comité editorial de 2 revistas incluidas en el JCR, por un periodo mínimo de dos años
Editor asociado de revistas científicas de prestigio o editor invitado de volúmenes especiales de revistas del
JCR o de libros de relevancia internacional
Actividad regular de evaluación de artículos para revistas indexadas en el primer tercil del JCR
https://www.boe.es/diario_boe/txt.php?id=BOE-A-2015-6705
http://www.aneca.es/Programas-de-evaluacion/Evaluacion-de-profesorado/ACADEMIA/Criterios-de-
evaluacion-noviembre-2017
INGENIERÍA Y ARQUITECTURA
Participación durante un mínimo de tres años en comités editoriales de revistas indexadas en el JCR como
editor jefe o editor asociado
Edición de libros en editoriales de prestigio internacional y/o de números especiales de revistas indexadas
en JCR
Actividad regular, no esporádica, de evaluación de artículos para revistas indexadas en JCR al menos
durante cinco años
CIENCIAS SOCIALES Y JURÍDICAS
Dirigir durante al menos dos años consejos editoriales o de redacción de revistas de relevancia en la
correspondiente área de conocimiento
Ser editor de revistas indexadas en el JCR durante al menos dos años de forma ininterrumpida
Ser editor de revistas indexadas en el JCR durante al menos dos años de forma ininterrumpida
Dirección o edición de revistas indexadas en bases de datos de prestigio (Q1-Q2 JCR, Q1 SJR) o 2 (Q3-Q4
JCR, Q2-Q3 SJR, Q1 Dialnet Métricas, Q1-Q2 FECYT) durante al menos tres años de forma ininterrumpida.
Formar parte, durante al menos dos años, de consejos editoriales o de redacción de revistas de relevancia
en la correspondiente área de conocimiento, debiéndose acreditar qué funciones concretas se han
desempeñado o desempeñan. La mera pertenencia al consejo no es un indicio de calidad suficiente
Pertenencia al consejo editorial de revistas indexadas en JCR, al menos durante cinco años, o haber sido
editor invitado de volúmenes especiales en algunas de tales revistas
Pertenencia a comités editoriales de revistas del nivel 1 (Q1-Q2 JCR, Q1 SJR) o 2 (Q3-Q4 JCR, Q2-Q3 SJR,
Q1 Dialnet Métricas, Q1-Q2 FECYT), al menos durante dos años
Actividad regular de evaluación de artículos para revistas indexadas
Actividades de evaluación científica, bien en revistas relevantes (posiciones Q1 y Q2 en JCR/SJR)
Actividad regular de evaluación de originales para revistas JCR, adicional a la que puede haberse presentado
como mérito específico. Un mérito por participación en 3 revistas diferentes o en 2 si se trata de revistas con
continuidad estable en el primer cuartil de su categoría (hasta 1 mérito)
ARTE Y HUMANIDADES
Pertenencia al consejo editorial de revistas indexadas en WoS o posiciones preferentes de SJR (primer y
segundo cuartil), durante al menos tres años de forma ininterrumpida. Se valorará igualmente esta
circunstancia en revistas de calidad contrastada a nivel nacional y que tengan una clara y demostrada
proyección internacional
Pertenencia al consejo editorial de revistas de calidad contrastada, al menos durante dos años
Formar parte de consejos editoriales de revistas de calidad acreditada o del Consejo Editorial de Colecciones
de reconocido prestigio, al menos durante dos años
Desempeño de funciones de editor/director o equivalente en revistas indexadas en WoS o posiciones
preferentes de SJR (primer y segundo cuartil), durante al menos dos años de forma ininterrumpida. Se
valorará igualmente esta circunstancia en revistas de calidad contrastada a nivel nacional, y que tengan una
clara y demostrada proyección internacional
Actividad regular, no esporádica, de evaluación de artículos para revistas de calidad reconocida, o de
evaluación de proyectos en convocatorias públicas nacionales o internacionales.
Estos poderosos incentivos estimularon a los investigadores españoles a buscar
acomodo en revistas que les permitieran cumplir sus sueños editoriales facilitando la
obtención de todos estos méritos.
3.6.2 Los cantos de sirena de las editoriales de nuevo cuño: MDPI y Frontiers
La demanda fue satisfecha por una serie de editoriales, de nuevo cuño, que bajo el
señuelo del acceso abierto al conocimiento han construido un floreciente negocio
basado en el pago por publicación de APC con unas técnicas comerciales calificadas
como piramidales (Aguillo 2021).
Desplegaron una estrategia de puertas abiertas y unas prácticas editoriales muy
eficientes (gran rapidez a módicos costes) que las hacía enormemente atractivas para
investigadores como los españoles tan necesitados de publicación y de méritos
editoriales. El por qué los autores españoles quedaron seducidos se entenderá muy
fácil al comprobar la sugestiva oferta de estas editoriales:
1. Publicar es muy rápido: en algo más de dos semanas se posee una primera
decisión sobre la suerte del artículo; y en poco más de un mes puede ser
publicado. En los últimos cuatro años MDPI tuvo una mediana de 39 días entre
la recepción y publicación (MDPI 2021b). En el caso de Frontiers era de 89
días
. Revistas de la competencia tenían tiempos que oscilaban entre 144 y
200 días (Petrou 2020, Oviedo-García, Casillas, González, 2021).
Esto quiere decir que a un buen ritmo en un par de años se pueden conseguir
entre seis y diez artículos. Si el trabajo es realizado en grupo (3-6 autores) y se
aplica el principio de “división social del trabajo” pero bajo una “autoría
compartida” (todos firman todo) se puede llegar a publicar un imponente
número de papers, s que suficientes para poder acreditarse y obtener
sexenios en plazos reducidos.
2. Muchas de sus revistas han sido indexadas en la Web of Science y Scopus,
especialmente aquellas que son más productivas, con lo que aseguran que la
mayoría de los artículos publicados estén cubiertos por las bases de datos. A
día de hoy, de los 940.419 artículos producidos por MDPI según Scilit, 834.133
están indexados en Woscc (88,7%). Estas editoriales permiten de hecho
obtener artículos en revistas más o menos bien posicionadas según su índice
de impacto (Q1-Q2, Q3-Q4) en JCR o SJR, artículos que cumplen en muchos
campos de conocimiento con los umbrales exigidos por las agencias de
evaluación españolas. Mayoritariamente sirven tanto para acreditarse como
para obtener sexenios, pues ANECA da la opción de elegir el factor de impacto
más beneficioso. Téngase en cuenta que una revista puede clasificarse en
diferentes categorías temáticas y alcanzar posiciones distintas en cada una de
ellas. Este punto es clave. Tomemos como ejemplos las revistas más
productivas incluidas en la Tabla 6. International Journal of Enviromenmental
Research and Public Health ostenta un Q1 en la categoría del Social Science
Citation Index, y un Q2 en las dos categorías del Science Citation Index. Por su
parte, Sustainability ostenta un Q2 en JCR desde 2017 al igual que en SJR,
donde en los dos últimos años consigue un Q1 en Geography, Planning &
Development.
Lo cierto y verdad es que muchos autores españoles que nunca habían
publicado en revistas tan bien posicionadas en términos de cuartiles lo
consiguieron, pudiendo presentar cvs esplendorosos.
3. Publicar es barato comparativamente con los precios que cobran grandes
editoriales como Elsevier
, Springer-Nature
, Wiley
. Si por término medio el
precio del APC en una revista de Elsevier y Springer Nature oscila entre los
2.500 y 3.000 dólares, en Frontiers está en torno a los 2.000, en MDPI está en
1.350. No obstante, si nos atenemos al precio de las diez revistas más usadas
por los investigadores españoles (Tabla 6) el precio medio se eleva a 2.350
dólares. Además, estos precios de las revistas MDPI han ido cambiando
rápidamente acercándose a los de la competencia conforme la revista ganaba
en aceptación y reputación. Por ejemplo, Sustainibility, una de las revistas con
más artículos de autores españoles, pasó de 1.260$ en 2015 a 1.470$ en 2017,
1.890$ en 2020 y 2.100$ en 2022. MDPI ha desarrollado una política de
descuentos que hacen especialmente golosas sus revistas: no sólo ofrece un
https://zendesk.frontiersin.org/hc/en-us/articles/202026471-How-long-does-the-review-process-take-
https://www.elsevier.com/about/policies/pricing
https://www.springernature.com/gp/open-research/journals-books/journals
https://authorservices.wiley.com/asset/Wiley-Journal-APCs-OnlineOpen.xlsx,
https://authorservices.wiley.com/asset/Wiley-Journal-APCs-Open-Access.xlsx
descuento a los autores afiliados a las 72 instituciones con las que se ha
firmado un acuerdo institucional (véase apéndice 1), sino que además ofrece
exenciones de tasas o rebajas parciales a revisores y distintos miembros de
sus comités editoriales. Por cada revisión realizada los revisores reciben un
bono descuento para su próxima publicación. Un incentivo retroalimentado:
capturas a un revisor, lo fidelizas y lo transformas en autor; una fuente de
negocio permanente e inagotable.
4. Facilitan la postulación a los distintos cargos editoriales de las revistas:
editores, editores asociados de distinta naturaleza, editores invitados,
revisores. Especialmente interesante es la posición de editor invitado de
monográficos. Se anima a cualquier autor a postularse como editor de un
número especial (special issue, research topic) cuyo tema será definido por él
mismo y en donde se encargará de sugerir potenciales autores y revisores
(Figura 1). De esta manera el editor invitado se convierte en un miembro más
de la propia revista y en su principal agente comercial. Para la editorial el
negocio es notable: legitima científicamente la revista, es un medio excelente
de captación de artículos que al ser de pago aseguran el negocio editorial,
externaliza el principal trabajo editorial (búsqueda de autores, revisores,
promoción del número entre las redes personales de los editores invitados) a
coste cero. A cambio, el editor invitado aparte de publicar gratuitamente si lo
desea en el número recibe su certificado y su mérito correspondiente al mismo
tiempo que consolida su red social y asienta su poder académico mediante la
distribución de oportunidades de publicación y revisión; porque invitar a otros
colegas a ser autores y/o revisores de una revista que cuenta -en términos de
méritos para ANECA- es muy rentable en cuanto que genera servidumbres
académicas muy provechosas para las futuras carreras profesionales. En fin,
un negocio redondo para todos como bien ha sido atestiguado en un estudio
de caso sobre Sustainability (Repiso, Merino, Cabezas 2021).
Figura 1. Carátula de una revista MDPI invitando a editar un número especial, revisar o
someter un artículo
La pregunta que cabe hacerse es ¿resulta normal que una revista publique más
números especiales (“extraordinarios”) que ordinarios? (Figura 2)
Figura 2. Número de documentos en distintos tipos de fascículos publicados por la
editorial MDPI (2016-2020)
Gráfico original publicado en Crosseto, Paolo (2021). Is MDPI a predatory publisher? 12 de abril de
2021. https://paolocrosetto.wordpress.com/2021/04/12/is-mdpi-a-predatory-publisher/
¿Una revista o una editorial puede mantener abiertos cientos o miles de números
especiales? (Figura 3)
Figura 3. Número de fascículos monográficos publicados y abiertos en Frontiers (mayo
de 2022)
Se trata de una estrategia editorial muy diferente a las elitistas revistas
tradicionales donde no se ingresa a petición del científico sino por invitación muy
selectiva de las propias revistas. Es bastante difícil figurar en equipos y comités
editoriales que están controlados por reducidos rculos científicos que filtran y
vetan el acceso a las elites académicas. No obstante, ante esta eficiente y lucrativa
política de puertas abiertas las editoriales tradicionales empiezan ya a imitar y
seguir la senda de las nuevas.
5. Publicar en estas revistas es más fácil. A pesar del esfuerzo de estas editoriales
en demostrar que cumplen con los más rigurosos estándares editoriales, su política
de puertas abiertas pretende remover los obstáculos que se opongan a la
publicación. No se trata tanto de rechazar artículos como de mejorarlos, una
filosofía no exenta de polémicas y que ha generado conflictos con algunos comités
editoriales que se negaron a seguir estas directrices
. No es de extrañar que en
las redes sociales generales (Twitter) y científicas (consúltese la sección de
búsqueda y respuestas en ResearchGate), los foros y chats académicos proliferen
preguntas, interpelaciones y discusiones que muestran dudas, recelos, sospechas
y desconfianzas acerca de la calidad e integridad de sus procesos de arbitraje.
Parece razonable pensar que los procesos de revisión sean más livianos, por
decirlo educadamente, pues si no es difícil de entender la popularidad de estas
revistas entre los autores españoles en tan corto espacio de tiempo. En sostén de
esta tesis afloran indicios indirectos como el uso predominante de números
especiales frente a los ordinarios, los dirigidos por editores invitados españoles
más o menos cercanos a la filiación institucional de los autores, los dedicados a
temáticas difusas que permiten encajar sin dificultad los artículos, la selección
como revisores de personas que no son auténticos expertos, los inauditos
reducidos tiempos de revisión que hacen pensar en revisiones superficiales. Las
dudas sobre el rigor del proceso de revisión solo se resolverán cuando las
revisiones sean transparentes y puedan ser consultadas. MDPI declara que en
2021 el 22,2% de sus artículos se publican en la opción de open peer review (MDPI
2021b).
6. No existen restricciones a la publicación de revisiones bibliográficas, sistemáticas
o análisis bibliométricos sobre los más variados temas; todo lo contrario, son
bienvenidos por su alto potencial de citación. Muchos autores españoles huérfanos
de investigaciones originales, con limitadas capacidades para obtener financiación
y con necesidades de añadir artículos bien posicionados a la cesta de papers de
sus cv tienen una vía rápida para publicar. Estos trabajos en rminos de costes
son extraordinariamente baratos, fáciles de ejecutar frente a las onerosas
exigencias de la investigación primaria original. Además, hay que tener en cuenta
que en las acreditaciones de ANECA, no se excluyen este tipo de artículos del
cómputo de publicaciones obligatorias. En sexenios, la aceptación depende de los
campos de conocimiento.
7. Los artículos se publican en abierto en plataformas digitales muy bien construidas
(amigables, usables) pero sobre todo muy visibles y fácilmente localizables. Los
autores maximizan la difusión de sus publicaciones. De otra parte, estas editoriales
se aprovechan del señuelo del Open Access, pues así permiten que los autores
cumplan con las crecientes e insistentes recomendaciones de los responsables
políticos y de las agencias de financiación y evaluación que empiezan a incitar,
cuando no exigir, a los investigadores que pongan sus publicaciones en abierto.
En definitiva, estas revistas generan una espiral de beneficios muy tentadora para los
científicos españoles necesitados de progresar en su carrera académica: publicar
https://en.wikipedia.org/wiki/Frontiers_Media#Controversies
rápido, barato, fácil, en abierto y en revistas con impacto (de las que cuentan) y con
algo más de implicación se consigue un todo en uno: ser editor invitado de un número
monográfico, autor de un artículo en dicho número, revisor de uno o varios artículos
y, todo eso a un precio de ganga (con descuentos) cuando no gratis. Tres méritos para
ANECA no es algo a lo que se pueda rehusar.
3.6.3 Las zanahorias obran milagros: explicando los patrones anómalos de
publicación en España
Las evidencias empíricas que demuestran una relación de causa-efecto entre los
incentivos de nuestro sistema de evaluación y los cambios en los comportamientos de
publicación en España son de dos tipos. En primer lugar, hemos visto en la tabla 3
como es, sobre todo a partir de 2017 y muy acusadamente en 2018, cuando el número
de artículos publicados en MDPI asciende de manera desorbitada, hasta el punto de
convertirse en 2020 en la segunda editorial que más artículos españoles en la WoScc
publica (en 40 universidades es ya la primera, tabla 4a), duplicando la posición esta
editorial a nivel mundial. Es solo en las editoriales MDPI y Frontiers donde España
adquiere mayor protagonismo (Tabla 2) muy por encima de lo que es su nivel
productivo a nivel mundial.
En segundo lugar, contamos con el análisis de Oviedo-García, Casillas, González
(2021) sobre las editoriales de acceso abierto donde se publicaron las aportaciones
presentadas en las solicitudes de sexenios entre 2014 y 2020. Los datos se muestran
agrupados según las 11 comisiones en que la ANECA agrupa los campos de
conocimiento. En el Figura 4, donde se reproducen sintéticamente los gráficos
elaborados por Oviedo-García, Casillas, González (2021), quedan manifiestamente
patentes dos fenómenos:
1. Hay una editorial que descuella por encima del resto en casi todos los campos
de conocimiento: es MDPI; sólo en dos (Matemáticas y Física, Química) ocupa
la segunda posición. Pero su predominio respecto al resto de editoriales y
revistas de acceso abierto es abrumador: llega a concentrar diez veces más
aportaciones que la editorial que le sigue en campos como Tecnologías
mecánicas y de la producción, Ingenierías de la Comunicación, Computación y
Electrónica, Ciencias Económicas y Empresariales, En el caso de Arquitectura,
Ingeniería Civil, Construcción y Urbanismo se multiplica por dieciocho.
2. El año en que se dispara el número de publicaciones en estas editoriales y
revistas suele ser en el bienio 2017-2018. Recuérdese que el decreto que da
pie a la reforma de la acreditación se aprueba en 2015 y que los nuevos criterios
que bareman los méritos se hacen públicos en 2017. La reforma de 2019 y los
retoques introducidos recientemente, han suavizado y flexibilizado la aplicación
de los criterios pero no han cambiado el rumbo. Así, ocurre que desde 2017 a
2020 se multiplica por treinta el número de aportaciones MDPI presentadas en
Ciencias Sociales, Políticas, del Comportamiento y de la Educación, por diez
en Ciencias Biomédicas, multiplicándose por cinco, seis o siete en otros cinco
campos.
Figura 4. Número de artículos en editoriales de acceso abierto en solicitudes de sexenios por campos
de conocimiento (2014-2020)
A la vista de estos datos no cabe extrañarse que se haya hecho popular en los
ambientes académicos españoles la expresión sexenios, titulares o catedráticos
MDPI, aludiendo a la decisiva contribución de las publicaciones aparecidas en esta
editorial para alcanzar la acreditación u obtener el sexenio. Estamos seguros que si
dispusiéramos de acceso a la base de datos de ANECA y pudiéramos cuantificar los
títulos de revistas alegados dentro de los méritos obligatorios antes de 2017 y después
de esta fecha clave observaríamos un panorama muy parecido al descrito por Oviedo-
García et al. (2021).
4. CONCLUSIÓN
Cualquiera de nosotros sabe por propia experiencia que en la vida todo lo que
hacemos tiene consecuencias: unas previstas otras imprevistas, unas deseadas, otras
indeseadas, unas positivas otras negativas.
Huelga decir que las políticas públicas, aquellas que pretenden gobernar, regir e
intervenir en los asuntos de todos, tienen efectos sobre las sociedades y las vidas de
los ciudadanos. Obviamente, como consecuencia de todo ello las personas verán
modificadas sus dinámicas individuales y sociales.
En este contexto, se entenderá que la adopción de un sistema de evaluación científica
no sea algo neutro, todo lo contrario, tiene consecuencias estructurales sobre el
comportamiento de los científicos y, más aún, sobre la orientación de la ciencia misma.
Porque actúa como el mecanismo de distribución de los recursos (humanos y
financieros) y por ello mismo determina en qué se investiga (agendas), quiénes lo van
a hacer, dónde, cuándo y cómo.
Además, los sistemas de evaluación científica actúan como medios directos para
otorgar recompensas (promoción profesional, reputación y estatus académico y
reconocimiento social). Gracias a Merton, sabemos de la relevancia del sistema de
recompensas en la ciencia: apela a lo más esencial de la actividad de un científico,
afectando a las bases de su psicología y, por tanto, comportamiento. Los científicos
aman el re-conocimiento tanto o más que el propio conocimiento. No lo su vida y
hacienda dependen de ellos, sino su propio ser como científico.
Es por ello por lo que los científicos son muy sensibles al sistema de evaluación de su
rendimiento. En definitiva, no es exagerado decir que el modelo de evaluación, y sobre
todo, los criterios imperantes de valoración operan sobre los propios engranajes del
motor que hace girar la ciencia de un país.
Dentro de este sistema de recompensas científicas la publicación y la citación
aseguran ese mecanismo básico que impulsa al científico a actuar (re-conocimiento):
si la publicación asegura la propiedad intelectual de las ideas y descubrimientos; la
prioridad en los mismos y la certificación del conocimiento (revisión por pares), las
citas son la moneda con la que se pagan las deudas intelectuales a otros científicos
convirtiéndose en una señal inequívoca de reconocimiento. No es de extrañar que
cuando en los años ochenta del siglo XX empieza a extenderse la evaluación en la
ciencia fueran las publicaciones y sus citas (impacto) los elementos elegidos para
medir el rendimiento de científico e instituciones; y que estas medidas sean
razonablemente aceptadas por la comunidad científica.
España no fue una excepción; más bien al contrario se puso al frente de las naciones
que decidieron asignar un papel determinante a las publicaciones, fundamentalmente
artículos de revistas indexadas en bases de datos de “reconocida reputación”, e
introdujo como principal metro para medir esa calidad las métricas de impacto de las
revistas contadas a partir de su número de citas.
Lo que en 1989 era un simple complemento de productividad (el sexenio) dirigido a
incentivar y premiar la actividad investigadora, se transmutó, especialmente a partir
de la LOU en 2001, en la llave que abría todas las puertas del desarrollo, promoción
y ascenso en la carrera profesional universitaria (acceso a plazas, obtención de
proyectos de investigación, participación en enseñanza de máster oficial, doctorado,
dirección tesis, presencia tribunales, etc.), y, desde el famoso decreto Wert de
reorganización de las cargas docentes (los famosos 32 créditos de dedicación laboral
del profesorado universitario), un elemento de distribución de las cargas de trabajo y
de jerarquización social de los cuerpos docentes.
No debemos olvidar que en 1989, en paralelo, se creó otro complemento de
productividad (quinquenios) que premiaría la calidad docente. El por qué los sexenios
se alzaron como un elemento reputacional de primer nivel y los quinquenios se
convirtieron en unos trienios más, obtenidos mecánicamente cada cinco años, es fácil
de entender. Mientras que los sexenios de investigación fueron gestionados por una
comisión nacional (la CNEAI), pilotada por expertos en los distintos campos de
conocimiento, los quinquenios docentes se administraron por las propias
universidades. Los resultados no han podido ser más dispares: mientras que los
primeros han sido selectivos, los segundos eran repartidos a escote. Pero los efectos
han sido mayúsculos para todo el sistema universitario, ya que el disponer de
sexenios, un indicador exclusivamente de suficiencia investigadora, por su naturaleza
discriminadora y selectiva, se empleó para todo y en todas las ocasiones, sean
adecuadas o no. La ANECA, con sus criterios de evaluación (2007, 2017, 2019), vino
a consagrar este desequilibrio, otorgando un peso decisivo a la investigación y, dentro
de ella, a la publicación. El mensaje que se retiene es que, si se investiga y además
se obtiene buen nivel de publicaciones, se progresa.
A día de hoy lo que importa al investigador o profesor español es disponer de una
cesta repleta de papers que cumpla con los requisitos de las agencias de evaluación
(ANECA o anequitas, entiéndase las autonómicas), y de universidades, opis y otros
organismos que le aseguren una promoción cómoda y sin sobresaltos. ¿Quién va a
objetar una evaluación positiva si cumples con el número de JCRs/SJRs o
sucedáneos que posean los Qs correspondientes?
En este ecosistema tan propicio las universidades españolas se han convertido en
macrogranjas de gallinas ponedoras de papers, ansiosas por brillar en los podios
donde se dirimen hoy los honores académicos (los rankings de universidades)
sabedores todos que sus luces atraerán hacia los campus a los mejores estudiantes
y profesores y, por derivación, fondos para crecer. Una lógica aplastante y una espiral
endemoniada.
El problema radica en que es bien sabido que unas políticas, criterios o indicadores
evaluativos si se mantienen en el tiempo, como mínimo pueden tender a perder
eficacia (Ley Godhart) cuando no, lo normal es que tiendan a distorsionarse o
corromperse (Ley Campbell) e incluso, llegado el caso, producir efectos contrarios a
los previstos inicialmente (Efecto cobra).
Si bien es verdad que el sistema español de evaluación implantado en el siglo pasado
ha tenido sus efectos positivos (Delgado López-Cózar 2010) creemos que hoy día, el
persistente uso, abuso y mal uso de las métricas de revistas como criterio supremo
de evaluación durante tanto tiempo no es que se haya distorsionado sino que se ha
corrompido como incentivo y está produciendo efectos contrarios a los previstos y
deseados. Cuando el medio (publicar) se convierte en un fin en sí mismo, cuando se
considera que investigar es publicar lo normal es que se termine publicando por
publicar (inflación de publicaciones insustanciales, redundantes llenas de meras
palabras y datos que no de descubrimientos); o lo que es mucho peor perecer por
publicar con todos los efectos indeseables que arrostra esta cultura.
A día de hoy, creemos que nuestro sistema de evaluación si no es que está dañando
seriamente a la academia y la ciencia española, resulta en un esfuerzo vano y estéril.
Al final todo es tan simple como esto: se empieza evaluando lo que se hace y se
termina haciendo lo que se evalúa. Este trabajo es una prueba más de que es hora
de proceder a un cambio radical del sistema de evaluación científica en España
(Delgado López-Cozar, Ràfols, Abadal, 2021, 2022).
REFERENCIAS BIBLIOGRÁFICAS
Aguillo, Isidro F. (2021). Detergentes, cuñados y revistas MDPI. Anuario ThinkEPI, v. 15, e15303.
https://doi.org/10.3145/thinkepi.2021.e15e03
Crosseto, Paolo (2021). Is MDPI a predatory publisher?”. 12 de abril de 2021.
https://paolocrosetto.wordpress.com/2021/04/12/is-mdpi-a-predatory-publisher/
Delgado López-Cózar, Emilio (2016). La universidad española en el diván. En: Gutiérrez Fuentes,
J.A.; Sacristán, J.A. (eds.). Reflexiones sobre la ciencia en España. Cómo salir del atolladero.
Madrid: Unión Editorial. (Fundación Lilly). pp. 99-166. http://hdl.handle.net/10481/41048
Delgado López-Cozar, Emilio, Ràfols, Ismael, Abadal, Ernest (2021). Letter: A call for a radical change
in research evaluation in Spain. Profesional de la Información, v. 30, n. 3,
https://doi.org/10.3145/epi.2021.may.09
Delgado López-Cozar, Emilio, Ràfols, Ismael, Abadal, Ernest (2022). Medidas insuficientes para un
cambio en la evaluación de la investigación en España: glosando las nuevas directrices de la
ANECA. RECERCA. Revista de Pensament i Anàlisi. https://doi.org/10.6035/recerca.6308
Delgado Lopez-Cozar, Emilio, Ruiz-Pérez, Rafael, Jiménez-Contreras, Evaristo (2007). Impact of the
impact factor in Spain. British Medical Journal, 20 april 2007. https://www.bmj.com/rapid-
response/2011/11/01/impact-impact-factor-spain
Delgado López-Cózar, Emilio. (2010). Claroscuros de la evaluación científica en España. Medes:
Medicina en Español, v. 4, pp. 25-29. http://hdl.handle.net/10481/35911
Delgado López-Cózar, Emilio; Martín-Martín, Alberto (2019). "El factor de impacto de las revistas
científicas sigue siendo ese número que devora la ciencia española: ¿hasta cuándo?". Anuario
ThinkEPI, v. 13, e13e09 https://doi.org/10.3145/thinkepi.2019.e13e09
Feenstra, Ramón A., Delgado López-Cózar, Emlio. (2021). The footprint of a metrics-based research
evaluation system on Spanish philosophical scholarship: an analysis of researchers perceptions.
https://arxiv.org/abs/2103.11987
Jiménez-Contreras, Emilio, Moya Anegón, Felix, Delgado López-Cózar, Emilio (2003). The evolution
of research activity in Spain: The impact of the National Commission for the Evaluation of Research
Activity (CNEAI). Research Policy, v. 32, n. 1, pp. 123-142. https://doi.org/10.1016/S0048-
7333(02)00008-2
Jiménez-Contreras, Evaristo, Delgado López-Cózar, Emilio, Ruiz-Pérez, Rafael, Fernández, Victor M.
(2002). Impact-factor rewards affect Spanish research. Nature, v. 417, n. 6892, pp. 898.
https://doi.org/10.1038/417898b
Masip, Pere. (2011). Los efectos del efecto Aneca. Análisis de la producción española en comunicación
en el Social Sciences Citation Index. En: Piñuel Raigada, José Luis, Lozano Ascencio, Carlos,
García Jiménez, Antonio (eds). Investigar la comunicación en España: Actas 1er Congreso nacional
de Metodología de la Investigación en Comunicación. Madrid: Asociación Española de
Investigación en Comunicación. ISBN: 978-84-694-2713-2 1, pp. 649-664.
MDPI. (2021a). “Response to: 'Bibliometric Analysis and Impact of Open-Access Editorials in Spain'
report from ANECA. MDPI website. https://www.mdpi.com/about/announcements/3174
MDPI (2021b). Annual Report 2021. https://www.mdpi.com/annual-report-2021
Merton, Robert K. La sociología de la ciencia. Madrid: Alianza Editorial, 1977.
Oviedo-García, María Angeles. (2021a). Journal citation reports and the definition of a predatory
journal: The case of the Multidisciplinary Digital Publishing Institute (MDPI). Research Evaluation,
v. 30, n.3, pp. 405419. https://doi.org/10.1093/reseval/rvab020
Oviedo-García, MA. (2021b). Expression of concern: Journal citation reports and the definition of a
predatory journal: The case of the Multidisciplinary Digital Publishing Institute (MDPI)”. Research
Evaluation, Volume v. 30, n. 3, pp. 420. https://doi.org/10.1093/reseval/rvab030
Oviedo-García, María Angeles, Casillas Bueno, Jose Carlos, González Rodríguez, María Rosario.
(2021). Análisis bibliométrico e impacto de las editoriales open-access en España. Madrid: Aneca.
http://www.aneca.es/content/download/16664/202231/file/210930_Openaccess.pdf
Petrou, Christos (2020). “MDPI’s Remarkable Growth”. Scholarly Kitchen, 10 de agosto de 2020.
https://scholarlykitchen.sspnet.org/2020/08/10/guest-post-mdpis-remarkable-growth/
Repiso, Rafael; Merino-Arribas, Adoración, Cabezas-Clavijo, Alvaro (2021). El año en que nos volvimos
insostenibles: Análisis de la producción española en Sustainability (2020). Profesional de la
Información, v. 30, n. 4, e300409.
Rey, Jesús, Martín, María José, Plaza, Luis, Ibáñez, Juan José, Méndez, Isabel. (1998). Changes on
publishing behavior in response to research policy guidelines. The case of the Spanish Research
Council in the field of Agronomy. Scientometrics, 41(1-2), 101-111.
Apéndice 1 Instituciones españolas que poseen un acuerdo con MDPI
Vall d’Hebron Barcelona Hospital Campus
University Rey Juan Carlos
University of Zaragoza
University of Vigo
University of Valladolid
University of Valencia
University of the Basque Country
University of the Balearic Islands
University of Seville
University of Santiago de Compostela
University of Salamanca
University of Málaga
University of Lleida
University of Leon
University of Las Palmas de Gran Canaria
University of La Laguna
University of Jaén
University of Huelva
University of Granada
University of Girona
University of Extremadura
University of Córdoba
University of Cantabria
University of Cadiz
University of Burgos
University of Barcelona
University of Almería
University of Alicante
University of Alcalá
University of A Coruña
Universitat Politècnica de València
Universitat Internacional de Catalunya
Universidad Católica San Vicente Mártir de Valencia
Universidad Carlos III de Madrid
Technical University of Madrid
Technical University of Cartagena
Spanish Society of Plant Physiology (SEFV)
for Plants, Agronomy only
Spanish Society of Pharmaceutics and Pharmaceutical
Technology (SEFIG)
for Pharmaceutics only
Spanish Society of Medicinal Chemistry (SEQT)
for Molecules only
Spanish Society of Horticultural Sciences (SECH)
for Plants, Horticulturae only
Spanish Society of Hematology and Hemotherapy (SEHH)
for Hemato, JCM, Cells only
Spanish Society of Community Nutrition (SENC)
for Nutrients only
Spanish Society of Biomedical Engineering (SEIB)
Spanish Society for Virology (SEV)
for Viruses only
Spanish Society for Nitrogen Fixation (SEFIN)
for Microorganisms, Genes, Biology only
Spanish Society for Cell Biology (SEBC)
for IJMS only
Spanish Society for Biochemistry and Molecular Biology (SEBBM)
for Biomolecules, Cells, Genes only
Spanish Phytopathological Society (SEF)
for Plants, JoF only
Spanish Nutrition Society (SEN)
for Nutrients only
Spanish Nutrition Foundation (FEN)
for Nutrients, Foods only
Spanish National Research Council (CSIC)
Spanish Materials Society (SOCIEMAT)
for Metals, Materials only
Spanish Group for Cancer Immuno-Biotherapy (GETICA)
for Cancers, JCM only
Spanish Association for Cancer Research (ASEICA)
for Life, Cancers only
Rovira i Virgili University
Public University of Navarre
Pompeu Fabra University
Open University of Catalonia (UOC)
National University of Distance Education (UNED)
National Institute for Agricultural and Food Research and Technology (INIA)
Manufacturing Engineering Society (MES)
for Materials only
International Chair for Advanced Studies on Hydration (CIEAH)
for Nutrients only
Instituto de Salud Carlos III
European Society for Fuzzy Logic and Technology (EUSFLAT)
for Algorithms, Axioms, Mathematics only
Cruces University Hospital
Complutense University of Madrid
Comillas Pontifical University
Catholic University of Murcia
Biomedical Research Centre (CIBM)
Cancers, Nutrients, IJMS only
Biodonostia Health Research Institute
Bellvitge Biomedical Research Institute (IDIBELL)
Autonomous University of Barcelona
ResearchGate has not been able to resolve any citations for this publication.
Article
Full-text available
En una carta publicada hace seis meses (Delgado-López-Cózar, et al., 2021), pocas semanas después de que la Agencia Española de Evaluación se adhiriera a la declaración dora (dora, 2012), hacíamos un llamamiento a las autoridades científicas españolas para que abandonaran las políticas de evaluación de la investigación basadas en un uso excesivo e indiscriminado de los indicadores bibliométricos —especialmente el Journal Impact Factor (jif)—, para valorar el desempeño individual de los académicos. En concreto se les animaba a «que suscriban y cumplan con la dora y sigan las recomendaciones en el uso de indicadores bibliométricos señalados en el Manifiesto Leiden» (Hicks et al., 2015). Una mesa redonda organizada en el mes de julio con participación de distintos agentes del sistema español de i+d+i coincidía en la necesidad de afrontar ese cambio de forma urgente.
Article
Full-text available
The extent to which predatory journals can harm scientific practice increases as the numbers of such journals expand, in so far as they undermine scientific integrity, quality, and credibility, especially if those journals leak into prestigious databases. Journal Citation Reports (JCRs), a reference for the assessment of researchers and for grant-making decisions, is used as a standard whitelist, in so far as the selectivity of a JCR-indexed journal adds a legitimacy of sorts to the articles that the journal publishes. The Multidisciplinary Digital Publishing Institute (MDPI) once included on Beall’s list of potential, possible or probable predatory scholarly open-access publishers, had 53 journals ranked in the 2018 JCRs annual report. These journals are analysed, not only to contrast the formal criteria for the identification of predatory journals, but taking a step further, their background is also analysed with regard to self-citations and the source of those self-citations in 2018 and 2019. The results showed that the self-citation rates increased and was very much higher than those of the leading journals in the JCR category. Besides, an increasingly high rate of citations from other MDPI-journals was observed. The formal criteria together with the analysis of the citation patterns of the 53 journals under analysis all singled them out as predatory journals. Hence, specific recommendations are given to researchers, educational institutions and prestigious databases advising them to review their working relations with those sorts of journals.
Article
Full-text available
Spanish researchers have observed with interest and no little irony the debate on the virtues and vices of the impact factor and its potential use in the UK Research Assessment Exercises beginning in 2008. Perhaps Spain is not so different from other European countries, since the same debate took place in our country more than 15 years ago. In Spain publication of research reports in journals with a high impact factor has, since 1989, been an official part of the national system for evaluating researchers’ productivity. As stated in the Spanish parliamentary record (1), a bonus is awarded only for “those articles of scientific worth in journals of recognized prestige, which shall be accepted to mean those that occupy relevant positions in the lists for science fields in the Subject Category Listings of the Journal Citation Reports of the Science Citation Index (Institute for Scientific Information (ISI), Philadelphia, PA, USA)”. This criterion, which is the determining factor in the government’s evaluation of a researcher’s output, has become the key which opens the door to a professional career, pubic funding, and favourable judgements of scientific productivity (2). The aim of this reward system was to improve the quality and the international visibility of Spanish science, but what effects has this system, based almost entirely on a bibliometric criterion, actually had in Spain? The most immediate effect was mass emigration of the best research articles to foreign journals. The increase in the number of Spanish source items in the Thomson Scientific databases since this policy came into effect has been spectacular (3). The mean increase in Spanish source items in the ISI database was 592 items per year until 1990, but jumped to 1512 items per year between 1991 and 2004, a 255% increase. Nevertheless, this huge increase beginning in the 1990s coincided with a freeze in public investment in research and development (R&D), which decreased in real terms after adjustment for inflation, to the point that the unit cost per published article declined steadily in Spain for several years. Other effects of the change in policy were the internationalization of Spanish science, and its incorporation into mainstream research, a process which has enhanced the rigour and quality of work done in this country, and has raised the bar in terms of the range and scope of the goals the research aims to achieve. Articles authored by Spanish researchers have increased not only in quantity but also in expected and observed impact. However, progress toward international-quality research has been accompanied by increasing neglect of Spanish journals, to which researchers rarely submit their best work (4). Another negative effect has been the destruction of Spanish as a language of science. These negative consequences obviously cannot be extrapolated to the UK, a country which speaks English and whose scientists were not cut off from the rest of the international scientific community during most of the 20th century. However, other, more worrisome and unpredictable consequences have begun to appear which may eventually infect UK research activity and assessment: 1. Many research groups have altered their research agendas. In Spain, research with potential practical applications, and research on topics that are local, regional and national in scope, has been replaced by basic research in topics more likely to be better received by the international research community, and therefore more likely to have a greater impact in terms of citation counts. 2. Impactitis (5), a new disease, has become epidemic in Spain. Its symptoms are altered publication and citation behaviour in response to an obsessive compulsion to use the impact factor as the single, incontrovertible quality criterion for scientific articles. This epidemic has been propagated by all types of academic institutions and researchers, invading all tissues of science and infecting all those who take part in scientific communication. Numerous cases are diagnosed daily in authors and editors. Among the former, the signs of illness are choosing the target journal on the basis of the impact factor alone without considering which audience is most appropriate for their work, hypertrophic self-citing, joining invisible citation colleges intended to increase the impact of their publications, and deliberately omitting to cite their scientific rivals or enemies. Infected editors, determined to see their journal indexed in Thomson Scientific’s databases, sink to manipulating editorial policies in order to increase the journal’s repercussion both among scholars and in the mass media. Publishing in journals that occupy the leading positions in the Thomson Scientific impact factor rankings has become the fuel which fires Spanish science. Although the reasons why the impact factor should be used with caution have been spelled out (6), and even though Garfield himself has warned against this type of abuse of the ranking (7), the impact factor has become the number that is devouring Spanish science (8). The consequences, both positive and negative, of using bibliometric criteria to evaluate research in Spain may be predictive of some of the effects that such a policy could have for science in the UK in the next few years if a similar method of research evaluation is adopted. (1) Boletín Oficial del Estado, Pub. L. No. 28563, (September 9, 1989). Boletín Oficial del Estado, Pub. L. No. 3566, (February 6, 1990). Boletín Oficial del Estado, Pub. L. No. 37030, (December 3, 1994). Boletín Oficial del Estado, Pub. L. No. 35028, (November 20, 1996). (2) Jiménez Contreras E, Moya Anegón F, Delgado López-Cózar E. The evolution of research activity in Spain. The impact of the National Commission for the Evaluation of Research Activity (CNEAI). Research Policy 2003; 32(1): 123-42. (3) Jiménez Contreras E, Delgado López-Cózar E, Ruiz Pérez R, Fernández VM. Impact-factor rewards affect Spanish research. Nature 2002; 417(6892): 898 (4) Díaz M, Asensio B, Llorente GA, Moreno E, Montori A, Palomares F, et al. El futuro de las revistas científicas españolas: un esfuerzo científico, social e institucional. Rev Esp Doc Cient. 2001; 24(3): 306-14. 5. Camí J. Impactolatría: diagnóstico y tratamiento. Med Clín (Barc) 1997; 109: 515-24. 6. Seglen PO. Why the impact factor of journals should not be used for evaluating research. BMJ 1997; 314: 498-502. 7. Garfield E. The Agony and the Ecstasy. The History and Meaning of the Journal Impact Factor. International Congress on Peer Review and Biomedical Publication. Chicago, Sep 2005 16. [cited 2007 Ap 19]. Available from: http://garfield.library.upenn.edu/papers/jifchicago2005.pdf 8. Monastersky R. The Number That’s Devouring Science. The Chronicle of Higher Education [serial on the Internet]. 2005 [cited 2007 Ap 19];52(8,) A12. Available from: http://chronicle.com/free/v52/i08/08a01201.htm
Article
The use of bibliometric indicators in research evaluation has a series of complex impacts on academic inquiry. These systems have gradually spread into a wide range of locations and disciplines, including the humanities. The aim of this study is to examine their effects as perceived by philosophy and ethics researchers in Spain, a country where bibliometric indicators have long been used to evaluate research. The study uses a mixed approach combining quantitative and qualitative data from a self-administered questionnaire completed by 201 researchers and from 14 in-depth interviews with researchers selected according to their affiliation, professional category, gender, and area of knowledge. Results show that the evaluation system is widely perceived to affect university researchers in significant ways, particularly related to publication habits (document type and publication language), the transformation of research agendas and the neglect of teaching work, as well as increasing research misconduct and negatively affecting mental health. Although to a lesser extent, other consequences included increased research productivity and enhanced transparency and impartiality in academic selection processes.
Article
There is growing concern about the possible predatory nature of the MDPI editorial journals. The author identifies the practices of this publisher as pyramidal commercial techniques, which should be rejected in the field of scienti­fic communication as they affect the selection and acceptance criteria of original works and generate a proliferation of monographs with questionable review processes. Although this publisher is not predatory, it is advised that authors do not edit or publish with it and that institutions cancel their agreements. Resumen Hay una creciente preocupación sobre el posible carácter depredador de las revistas de la editorial MDPI. El autor identifica las prácticas de dicha editorial como técnicas comerciales piramidales, que deben rechazarse en el ámbito de la comunicación científica pues afecta los criterios de selección y aceptación de originales y genera una proliferación de monográficos con cuestionables procesos de revisión. Aunque no se trata de una editorial predadora aconseja a los autores no editar o publicar con ella y a las instituciones cancelar sus acuerdos.
Article
This letter is a call to the Spanish scientific authorities to abandon current research evaluation policies, which are based on an excessive and indiscriminate use of bibliometric indicators for nearly all areas of scientific activity. This narrow evaluation focus is especially applied to assess the individual performance of researchers. To this end, we first describe the contexts in which the journal impact factor (JIF) and other bibliometric indicators are being used. We then consider the toxic effects of this abuse of indicators. Finally, we outline some significant transformations and initiatives being introduced in various academic fields and regions of the world. These international initiatives offer alternatives to bibliometrics that can improve evaluation processes, and we urge political leaders in Spain to adopt and develop them.
Article
This article outlines the evolution of international scientific production in Spain over the last 25 years, a period characterised by steady growth in research production. The following stages in this process are identified in accordance with some of the factors that predominated at different times. From 1974 to 1982 production increased due to causes endogenous to the scientific system itself, as scientists brought their work into line with the patterns which characterised research in other industrialised countries. From 1982 to 1991 the prioritisation of R&D by government administrative bodies represented a constant stimulus, implemented through a set of legal measures, investments and the creation of posts for new researchers. From 1989 to the present the creation of the Comisión Nacional de Evaluación de la Actividad Investigadora (National Commission for the Evaluation of Research Activity, CNEAI) and the research incentive system have provided a further stimulus, which has led to the maintenance of, and an increase in, the rate of research production in spite of the net decrease in the monetary value of research grants awarded during the last period analysed. Other special characteristics of Spanish research, such as its dependence on the public sector and its essentially academic nature, are discussed.
Is MDPI a predatory publisher
  • Paolo Crosseto
Crosseto, Paolo (2021). "Is MDPI a predatory publisher?". 12 de abril de 2021. https://paolocrosetto.wordpress.com/2021/04/12/is-mdpi-a-predatory-publisher/