No full-text available
To read the full-text of this research,
you can request a copy directly from the authors.
A call for a radical change in research evaluation in Spain
Abstract
This letter is a call to the Spanish scientific authorities to abandon current research evaluation policies, which are based on an excessive and indiscriminate use of bibliometric indicators for nearly all areas of scientific activity. This narrow evaluation focus is especially applied to assess the individual performance of researchers. To this end, we first describe the contexts in which the journal impact factor (JIF) and other bibliometric indicators are being used. We then consider the toxic effects of this abuse of indicators. Finally, we outline some significant transformations and initiatives being introduced in various academic fields and regions of the world. These international initiatives offer alternatives to bibliometrics that can improve evaluation processes, and we urge political leaders in Spain to adopt and develop them.
... Esta estrategia promueve la ciencia abierta y la investigación responsable, reconociendo la contribución de la ciudadanía al desarrollo social. Diversas fuentes (Comisión Europea, 2022;Delgado et al., 2021Delgado et al., , 2022 respaldan este enfoque. ...
... Es crucial aplicar una metodología de investigación y evaluación que combine enfoques cuantitativos y cualitativos, permitiendo una comprensión más completa de la realidad y buscando el bien común tanto 11/13 para las personas vulnerables como para la comunidad y los profesionales involucrados. Este artículo reafirma, por tanto, la importancia de la transferencia e innovación en el ámbito social para reducir la brecha digital en el acceso a servicios públicos (Comisión Europea, 2021;Delgado et al., 2021Delgado et al., , 2022. ...
El artículo que aquí se presenta es resultado de un proyecto de investigación de transferencia de conocimiento e innovación social desde una corporación local (Ayuntamiento de Candelaria, Tenerife, Canarias), con enfoque transdisciplinar y una intervención online para la inclusión social en los servicios sociales a través de programas de rentas mínimas. El objetivo principal es examinar cómo la evaluación sistemática y basada en evidencias contribuye a mejorar la efectividad de estos programas considerando el diseño, implementación y resultados. En cuanto a la metodología, se aplicó la técnica de la encuesta para analizar aspectos clave como el enfoque multidimensional, la participación activa de los beneficiarios, el enfoque basado en derechos y el enfoque comunitario. Los resultados medidos de las intervenciones aplicadas muestran mejoras y éxito en los programas de rentas mínimas, según la valoración de los participantes a lo largo del proceso. Se observan mejoras en competencias, calidad de vida y acceso a la tecnología. Un aspecto destacado es la superación de la brecha digital, garantizando un acceso universal, asequible, de calidad y no discriminatorio a la tecnología.
... The evaluation of scientific activity based not only on quantitative aspects but on qualitative aspects and which incorporates open science practices is another of the fronts on which Europe is advancing [5]. In this sense, the COARA (Coalition for advancing the research assessment) coalition, which joins together over 350 institutions in more than 40 countries, agreed in July 2022 on the document The Agreement on Reforming Research Assessment [6], which establishes new principles for the evaluation and acknowledgement of research activity. ...
... In addition, the active debate on how to appropriately evaluate researchers and research groups has been promoted by the academic world [5][6][7][8][9][10][11], and evaluation agencies themselves (ANECA, in Spain) display an active interest in reflecting on said aspects. ...
The article describes the results of the online survey on open science (OS) carried out on researchers affiliated with universities and Spanish research centres and focused on open access to scientific publications, the publication process, the management of research data and the review of open articles. The main objective was to identify the perception and habits of researchers with regard to practices closely linked to open science and the scientific value added is that offers an in-depth picture of researchers as one of the main actors to whom this transformation and implementation of open science will fall. It focuses on the different aspects of OS: open access, open data, publication process and open review in order to identify habits and perceptions. This is to make possible an implementation of the OS movement. The survey was carried out among researchers who had published in the years 2020–2021, according to data obtained from WoS. It was emailed to a total of 8,188 researchers and obtained a total of 666 responses, of which 554 were complete, the rest being forms with some questions unanswered. The main results showed that open access still requires the diffusion of practices and services provided by the institution, as well as training (library or equivalent service) and institutional support from the competent authorities (vice rectors or equivalent) in specific aspects such as data management. In the case of data, around 50% of respondents stated they had stored data in a repository, and of all the options, the most frequently given was that of an institutional repository, followed by a discipline repository. Among the main reasons for doing this, we found transparency, visibility of data and the ability to validate results. For those who stated they had never stored data, the most frequent reasons for not having done so were privacy and confidentiality, the lack of a mandated data policy or a lack of knowledge of how to do it. In terms of open peer review, participants mentioned a certain reticence to the opening of evaluations due to potential conflicts of interest that may arise or because lower-quality content might be accepted in order to avoid conflicts. In addition, the hierarchical structure of senior researcher versus junior researcher might affect reviews. The main conclusions indicate a need for persuasion of OA to take place; APCs are an economic barrier rather than the main criterion for journal selection; OPR practices may seem innovative and emerging; scientific and evaluation policies seem to have a clear effect on the behaviour of researchers; researchers state that they share research data more for reasons of persuasion than out of obligation. Researchers do question the pathways or difficulties that may arise on a day-to-day basis and seem aware that we are undergoing change, where academic evaluation or policies related to open science, its implementation and habits among researchers may change. In this sense, more and better support is needed on the part of institutions and faculty support services.
... [5] Still, evaluation committees worldwide continue to use the JIF to evaluate scholarship based on the aforementioned intrinsically biased metric of 'academic prestige'. Examples span from ongoing use of the JIF in academic review, promotion, and tenure evaluations at 'research-intensive' universities in United States of America and Canada, [6] through the 'uncontested focus on impact factors' [7] for researcher evaluation in Spain. [7] The "skewedness of science" [4] namely the Pareto distribution for which a small percentage of journals account for a large percentage of the articles published in a specific field of science, had been unveiled by Bradford, a mathematician and then a librarian at London-based Science Museum, in 1934. ...
... Examples span from ongoing use of the JIF in academic review, promotion, and tenure evaluations at 'research-intensive' universities in United States of America and Canada, [6] through the 'uncontested focus on impact factors' [7] for researcher evaluation in Spain. [7] The "skewedness of science" [4] namely the Pareto distribution for which a small percentage of journals account for a large percentage of the articles published in a specific field of science, had been unveiled by Bradford, a mathematician and then a librarian at London-based Science Museum, in 1934. [8] Displaying a graph reporting the "cumulative percent of journal items published" vs. the number of science journals indexed, Garfield, in a video recorded in 1967, emphasized how just 365 journals accounted for over 90% of the articles. ...
The journal impact factor (JIF) is a skewed metric whose value is dictated by just a few highly cited articles. Therefore, the use of the JIF to evaluate journals, scholars, or research institutes is flawed. Still, the JIF continues to play a central role in evaluating scholarship in chemistry, the most reluctant amid scientific disciplines to embrace the principles of open science. This study investigates the origins of this social behavior and suggests avenues to improve scholarly communication in the chemical sciences following the example of the life sciences.
... In such a fast-changing environment, choosing a journal in which to publish becomes more complex. Likewise, the use of the impact factor for comparison and differentiation between journals has been called into question [4]. In fact, in recent years, more than ever, initiatives have been promoted that are critical of the use of the impact factor for the evaluation of research and try to create and promote alternatives. ...
... For example, DORA [5] and the Leiden Manifesto [6] have opened up discussions at an international level. In some cases, this debate has also been conducted at a national level [4]. So, there is the opportunity to analyze the quality of journals in other terms. ...
Abstract: The principal goal of the research study is to analyze the transparency of a selection of academic journals based on an analysis model with 20 indicators grouped into 6 parameters. Given the evident interest in and commitment to transparency among quality academic journals and researchers' difficulties in choosing journals that meet a set of criteria, we present indicators that may help researchers choose journals while also helping journals to consider what information from the editorial process to publish, or not, on their websites to attract authors in the highly competitive environment of today's scholarly communication. To test the validity of the indicators, we analyze a small sample: the Spanish Communications and Library and Information Science journals listed in the Scimago Journal Rank. The results confirm that our analysis model is valid and can be extrapolated to other disciplines and journals.
... The section above aims to be a first step from which to start selecting some of the works that have had a greater presence in the field in Spain. When configuring the arguably problematic canon, we would not like to be victims of impact, an indicator which has been erroneously taken as a synonym of scientific quality and which has started to be revised critically recently (Delgado-López-Cózar et al., 2021). Without falling into the supremacy of most citations, what is clear is that the most cited books is a criterion which can be used to determine its greater or lesser influence and presence in the field and therefore, its greater or lesser relation with the canon. ...
La investigación de la comunicación en España desde el punto de vista de sus obras seminales es una cuestión que ha recibido poca atención. Para responder a esta carencia, el presente artículo investiga algunas de las obras publicadas en los años 80 desde una perspectiva de género, dado que las mujeres han tendido a ser excluidas del relato epistémico y la historia intelectual de los campos científicos, también en el caso de la comunicación. Para ello, se ha llevado a cabo un análisis de carácter cualitativo, hermenéutico y documental. Se identifican 141 libros de los que solamente 19 (13,4%) están firmados en primer lugar por una mujer. Los libros más citados y que conforman el canon son: La construcción de la noticia, El periódico: actor político y Pensar la imagen. De manera complementaria, las obras firmadas en primer lugar por mujeres más referenciadas y que constituyen el “anticanon” son: El arquetipo viril protagonista de la historia, Cultura y comunicación y La otra política de Aristóteles. Las obras que conforman el canon analizaron la comunicación de masas desde enfoques culturales y teóricos ambiciosos, donde tuvo una especial preponderancia la semiótica. El “anticanon” tuvo igualmente un marcado carácter crítico e impulsó los estudios de comunicación y género en España. Mirar a la producción bibliográfica de los 80 realizada por hombres y mujeres supone recuperar un valioso acervo teórico y crítico y una perspectiva, la semiótica, que tiene hoy poco espacio en una disciplina abocada al empirismo y el artículo científico.
... Since the data stems from Spanish artistic researchers, the generalizability of the findings in other contexts should be a line of future research. The culture of scientific impact is deeply embedded in the research system [Delgado-López-Cózar, Ràfols & Abadal, 2021;Cañibano, Vilardell, Corona & Benito-Amat, 2018]. The Spanish six-year research awards (sexenia) are based on journal impact factor and citation impact, and then sexenia-based indicators (e.g., ratio of actual versus potential sexenia) are used for promotion and funding. ...
Exploring the multifaceted relationship between scientific impact and science communication through art, our study surveys 2,500 Spanish artistic researchers. Guided by deviance theories and double standards theories we reveal a nuanced pattern: the effect of scientific impact initially impedes science communication through art, turning positive after a given impact threshold. Striking a harmonious science-art balance emerges as a mitigating factor, fostering broader links between science communication through art and scientific impact. Our findings advocate for targeted incentives to encourage science communication through art without compromising scientific impact, contributing to a deeper understanding of their complex interplay.
... For example, the Journal Impact Factor (JIF) reflects the average number of citations per year that articles published in a particular journal receive during the previous two years. Although JIF attempts to evaluate the relative importance and influence of a journal within a field, it is commonly deployed to infer the quality of individual research outputs and thus the scholarly capability of the authors (Delegado-Lopez-Cozar et al. 2021, Battistin & Ovidi 2022. ...
Responsible assessment promotes expert judgement and opposes sole reliance on research metrics when assessing research excellence. While many institutions and national research panels declare commitment to responsible assessment practices, we ask: have these declarations affected the outcomes of research evaluation? Using data from the UK's 2021 national research quality exercise and focusing on the business and management discipline, we show that the strong association between journal rankings and expert evaluations has not changed, despite institutional endorsements of DORA (Declaration on Research Assessment). Additionally, we find that this correlation is strongest for the most prestigious journals. The implications of these findings are profound: they enhance understanding of the use of metrics in research evaluations post-DORA and highlight potential constraints in the deployment of responsible assessment.
... The problems posed by the metrics used are leading the National Agency for Quality Assessment and Accreditation (ANECA) to reformulate the criteria and procedures for the accreditation of university teaching staff (Bolivar 2021;Delgado-López-Cózar and Feenstra 2021b;Delgado-López-Cózar, Ràfols, and Abadal 2021;. Thus, article 69 of Organic Law 2/2023 of 22 March proposes a qualitative and quantitative evaluation of teaching and research merits, and Royal Decree 678/2023 of 18 July regulates and specifies the new procedures and criteria. ...
... A clear toxic effect of how evaluation policies modify and corrupt the behaviour patterns of researchers (Delgado-López-Cózar, et. al., 2021) is the case of monographs, promoted by ANECA and which have gone from being something anecdotal, around 20% of the mass of a journal (Repiso et. al., 2021b), to being the main form of publication in many Spanish journals and in the large mega-journals. Isidro Aguillo aptly compares this practice to a pyramid scheme of gigantic proportio ...
Este trabajo presenta cómo afecta a la ciencia producida en España la caída de estas revistas fraudulentas, viendo su peso por universidades. Además, se profundiza en la producción de la revista International Journal of Environmental Research and Public Health -IJERPH (MDPI), revista donde más españoles han publicado en los últimos años y que también ha sido expulsada. Si las mega-journals suponen el 62% de los artículos de este conjunto IJERPH tiene un 25,4% del total, sin embargo, representa el 78,5% de los artículos españoles. Son las universidades privadas y más pequeñas las que parecen tener más dependencia de estas revistas. Tan sólo en IJERPH se estima que los artículos españoles han tenido un coste total por encima de los 12 millones de euros en los últimos 5 años. Al final del documento se reflexiona sobre las perversiones derivadas del sistema español de evaluación, de sus protagonistas y de cómo se fomentan estos deméritos, al no ser perseguidos, sino recompensados.
... The debate around improving research assessment systems goes back decades, with a broad agreement on the need for research assessment reform to further support research quality and the researchers' value (Delgado-López-Cózar, Ràfols & Abadal, 2021). Among the issues that have led to the debate about research assessment, there is a variety of interconnected reasons, such as the misuse of performance indicators (Moed, 2007;Wildgaard, 2015), especially the Journal Impact Factor (Lariviere & Sugimoto, 2019), the unintended effect consequences that the use of evaluation systems has had, such as gift authorship (Abramo, D'Angelo & Di Costa, 2019), the strategic behavior and goal displacement (Abramo, D'Angelo & Grilli, 2021;Akbaritabar, Bravo & Squazzoni, 2021) or other deceptive practices oriented to game the system (Kulczycki, 2023). ...
Much debate has been around the misapplication of metrics in research assessment. As a result of this concern, the Declaration on Research Assessment (DORA) was launched, an initiative that caused opposing viewpoints. However, the discussion topics about DORA have not been formally identified, especially in participatory environments outside the scholarly communication process, such as social networks. This paper contributes to that end by analyzing 20,717 DORA-related tweets published from 2015 to 2022. The results show an increasing volume of tweets, mainly promotional and informative, but with limited participation of users, either commenting or engaging with the tweets, generating a scarcely polarized conversation driven primarily by a few DORA promoters. While a varied list of discussion topics is found (especially "Open science and research assessment," "Academics career assessment & innovation," and "Journal Impact Factor"), the DORA debate appears as part of broader conversations (research evaluation, open science). Further studies are needed to check whether these results are restricted to Twitter or reveal more general patterns. The findings might interest the different evaluators and evaluated agents regarding their interests and concerns around the reforms in the research evaluation.
... It is clear that the pressure to publish as the only way up the university career ladder distracts researchers' attention from any purpose other than their individual professional prospects, a phenomenon commonly referred to as 'publish or perish' (Becker and Lukka 2022;Delgado-López-Cózar, Ràfols, and Abadal 2021). Authorities on university research are now seriously reconsidering the way research is assessed, following initiatives such as the Declaration on Research Assessment 2 or the Agreement on Reforming Research Assessment 3 , which signals an important step in promoting fairer, more effective, and more transparent evaluation practices, thereby acknowledging the diversity of contributions to science and society. ...
University social responsibility requires dialogue with society and university activity. In the case of responsible research and innovation, this can involve interacting with society, listening to its needs, promoting its development and strengthening its capacity for autonomous progress. But does this dialogue actually take place? The aim of this paper is to describe the current state of communication between researchers and the stakeholders in university research. The study is based on a content analysis of interviews with 107 research groups in five European countries. The results point to four dialogue models, from the absence of communication to the consensual and symmetrical dialogue, a clear minority in the study sample. The arguments researchers give lead us to conclude that the way they understand research prevails over social responsibility. Finally, we present some strategies which could be used to promote a change of perspective towards socially responsible research.
... Muchos paises sin embargo, siguen estableciendo estandares de investigación que establecen la importancia de los productos de investigación en función de las grandes bases de datos de indexación reconocidas (Scopus y WoS, ahora Clarivate Analytics), se puede observar como los sistemas de clasificación latinoamericanos de Perú 3 , Chile 4 , Ecuador 5 , México 6 , Colombia 7 (los dos últimos incluso clasifican investigadores y grupos de investigación), siguen utilizando los estandares de dichas bases de datos, y para el caso de Europa, España cuenta con ANECA 8 (Agencia Nacional de evaluación de la calidad y acreditación de España), de la que por cierto mucho se ha escrito con respecto a sus criterios de evaluación, como ejemplo se puede revisar a Delgado- López-Cózar, et al. (2021) y Orduña-Malea (2021), por señalar algunos recientes. ...
... De modo tal que el hecho de que SciELO México ponga a disposición un cotizador en línea ayuda a regular el mercado y prevenir abusos, como una buena forma de orientar tanto al editor como al profesional de la marcación. En ese sentido, consideramos que una vez más el acceso abierto latinoamericano se adelanta al mainstream, ya que todavía el Plan S y los acuerdos transformativos no han podido doblegar a las grandes editoras para que regulen o bajen sus precios (Delgado-López-Cózar et al., 2021). ...
We reflect on the ecosystem of the management, editing, publication, and dissemination of Ibero-American scientific journals. We analyze the tensions, proposals, and results of the different alternatives for managing the results of science. We also reflect our experiences in the management of scientific journals from various roles that we have assumed throughout our professional careers, from public universities to the small publishing services company. We conclude that, for a more transparent, efficient and sustainable management of the publication of research results, it is necessary to clearly specify the editorial policy of institutions and companies producing scientific journals, that in the editorial ecosystem the convergence of different models is possible and that they are the managers of science through the destinations that they give to the budget of their institutions, who have the power to continue contributing exclusively to an increasingly expensive and monopolistic closed trading system or to support a broader and more inclusive ecosystem.
... Cabe señalar que la regresión logística binaria es uno de los modelos estadísticos que permite estudiar el efecto que tienen una serie de variables independientes o predictoras, de carácter cualitativo o cuantitativo 14 , sobre una variable dependiente cualitativa y dicotómica 15 . Así, el objetivo básico de dicho modelo consiste en establecer cómo influyen las variables regresoras en la probabilidad de ocurrencia de un suceso particular. ...
... Ésta, en primer lugar, le da "el adiós al 'culto al SCI'" (Science Citation Index) de Web of Science y se propone "reestablecer el espíritu científico", "promover el regreso de las universidades a sus objetivos académicos originales" y, en definitiva, "restablecer los valores científicos y sociales originales para que guíen la investigación en China" (Zhang & Silvertsen, 2020, pp. 1, 7). Esto contrasta fuertemente con el caso de España donde el sistema de evaluación científica imperante todavía premia preferentemente las publicaciones en revistas bien posicionadas en los Journal Citation Reports y/o Journal Ranks y los investigadores reclaman por "un cambio radical del sistema de evaluación científica" (Delgado López-Cózar & Martín-Martín, 2022, p. 26;Delgado López-Cózar, Ràfols & Abadal, 2021). ...
Este artículo revisa lo que ha sido la experiencia británica con el uso de las métricas en la evaluación y gestión de la investigación, pasando desde un primer momento de implementación “entusiasta”, a otro de revisión cautelosa y preocupada por los efectos distorsivos que éstas han tenido en las prácticas científicas y en sus resultados. Actualmente se plantea la necesidad de un cambio cultural en el uso de las métricas que revierta las consecuencias dañinas que está teniendo la utilización poco responsable de las mismas para el sistema científico-académico, sus instituciones y sus individuos. Tras la implementación del New Public Management, el Reino Unido fue uno de los primeros países en establecer una cultura de auditoría basada en criterios manageriales traídos del sector privado. Lo que muestra la evidencia analizada en los informes de una revisión de expertos independientes convocados por el gobierno británico es que la racionalidad managerial acaba, en muchos casos, prevaleciendo sobre la racionalidad de la propia ciencia y los miembros de la comunidad científica terminan teniendo que adaptarse, desviándose de sus objetivos y, a veces, teniendo que tomar atajos a las buenas prácticas que la propia comunidad ha establecido. Frente a esta situación, una serie de iniciativas vienen siendo promovidas en el Reino Unido para contrarrestar esta tendencia. Como esta situación se registra también en otros países, son revisadas otras propuestas recientes para devolverle a la comunidad académica y a las culturas de investigación el liderazgo efectivo y el control sobre su propia gestión.
... Estos dos últimos años en España hemos asistido a intensos debates sobre el rumbo que debe seguir el sistema de evaluación académica (Delgado-López-Cózar; Abadal, 2021;2022;Molas-Gallart, 2022), tanto en lo que respecta al modelo de acreditación del profesorado como a la forma de evaluar la dimensión investigadora con especial énfasis en el uso de indicadores bibliométricos (Aguillo, 2021;Codina, 2021;Rodríguez-Navarro, 2022) Esto se produce en el contexto de la introducción de cambios en el sistema de educación superior en España (Arenilla-Sáez, 2021), con la aprobación de una nueva ley orgánica (Ahedo-Gurrutxaga; Martínez-Palacios; Ormazabal-Gaston, 2022) y de la germinación de un movimiento impulsado por la Comisión Europea para cambiar los sistemas de evaluación de la investigación en Europa (European Commission, 2021;2022). ...
This essay provides some reflections on the origin of the current scientific evaluation system in Spain, focusing on an analysis of the system of selection and accreditation of university faculty. This system was put in place to prevent academic inbreeding. The thesis that this is mainly a centralized system is rebutted: although accreditation is indeed centralized, faculty selection is carried out by universities themselves. It is argued that we cannot fully trust universities to establish policies that are immune to localism and nepotism if they are not held fully responsible for their actions. The functional imbalance that exists in Spanish university teaching staff is highlighted. Among the activities currently carried out by university professors (teaching, research, knowledge transfer, and management), research is the most highly valued in evaluation programs. More specifically, publications are key to launch and advance careers in the academic environment. The success of the program of sexenios (six-year assessment periods), which serves not only as an incentive for productivity but also as an instrument to establish scientific reputation and academic hierarchy, has contributed to this situation. Other features of the current evaluation system in Spain are the predominance of individual-level evaluation and the use of bibliometric indicators as the final quality values. The Spanish academic evaluation system chose to give preference to individual-level evaluation. Once again, the origin of this approach can be found in the introduction of teacher and researcher productivity salary supplements in 1989. Spanish academics grew up in a culture of individual-level evaluation where they had to obtain their jobs through competitive examinations and were rewarded with bonuses on the basis of personal achievements. Quantitative criteria appeared as the necessary antidotes to curb nepotism. In a country lacking infrastructure and a culture of evaluation, quantitative indicators ensured objectivity and efficiency in the processes of selection and evaluation of publications, and, indirectly, a minimum amount of rigor and relevance of the research itself. The thoughts exposed here are accompanied by suggestions that might help guide the necessary reform of the scientific evaluation system. Resumen Reflexiones sobre el origen del sistema de evaluación científica en España, centrando el análisis en el sistema de selección y acreditación del profesorado universitario. Se recuerda cómo surgió para evitar la endogamia universitaria. Se desmonta la tesis de que estemos ante un sistema centralizado: la acreditación sí lo está, pero la selección del profesorado depende de las universidades. Se defiende que no podemos confiar plenamente en las universidades para que instauren políticas inmunes al localismo y el nepotismo si no se les hace plenamente responsables de sus actos. Se destaca el desequilibrio funcional que existe en el profesorado universitario español. Dentro de las actividades que actualmente se atribuyen al profesor universitario (docencia, investigación, transferencia, gestión) son las de investigación las más valoradas, especialmente las publicaciones que son claves para ingresar y progresar en la carrera académica. A ello ha contribuido el éxito de los sexenios de investigación no sólo como incentivo de productividad sino de reputación científica y jerarquización académica. Otros rasgos de nuestro sistema de evaluación son el predominio de la evaluación individual y el uso de indicadores bibliométricos como supremos valores de calidad. El sistema español de evaluación académica optó por dar preferencia a la evaluación individual. De nuevo el origen de esta inclinación hay que buscarla en la introducción de los complementos de productividad docente e investigador en 1989. Los académicos españoles crecieron en una cultura de evaluación individual donde debían obtener sus plazas por concursos-oposición y ser premiados con gratificaciones basadas en la consecución de méritos personales. Los criterios cuantitativos aparecieron como los antídotos necesarios para frenar el nepotismo. En un país sin infraestructura y cultura evaluativa aseguraban la objetividad y eficiencia en los procesos de selección y valoración de las publicaciones e indirectamente un mínimo rigor y relevancia de las propias investigaciones. Los pensamientos expuestos se acompañan de sugerencias que ayuden a orientar la necesaria reforma del sistema de evaluación científica.
... Es importante resaltar que existen países con grandes cantidades de revistas en estos índices de impacto, pues su contexto y desarrollo particular los ubica en otra posición al respecto, tal es el caso de muchos países de Europa y América del norte, sin embargo, esta discusión sobre los elementos a tomar en cuenta para medir y evaluar la ciencia no está desfasada, igual se da en países como España (Delgado-López-Cózar et al., 2021). Sin embargo, sería interesante entender el propio contexto peruano evaluando la propia ubicación de los investigadores e instituciones en temas de ciencia y tecnología, estudios particulares, como el caso de evaluación y comparación entre revistas dentro de un área de conocimiento podría ser una vía de buscar formas de mejora locales (Castro-Rodríguez y Grados-Pomarino, 2017), ya que la comparación con revistas extranjeras no sería equitativa en función de las diferencias. ...
Este artículo tiene como objetivo examinar la valoración que se les da a las revistas científicas peruanas según los reglamentos actuales relacionados con ciencia y tecnología, lo que lleva a que existan clasificaciones de revistas y que las personas autoras se interesen en publicar en función del puntaje para el desarrollo de la carrera académica y de investigación. Metodológicamente se revisaron los reglamentos vigentes de dicha clasificación y calificación de investigadores, así como las características que debe tener una revista para incluirse en los mismos, para luego examinar el portal de ISSN y comparar la lista de revistas científicas registradas de manera que pueda observarse qué porcentaje de esas revistas se consideran para las clasificaciones vigentes. Se concluye que existe un alto porcentaje de revistas peruanas relegadas o fuera del sistema de clasificación, lo que hace que el proceso de crecimiento se vuelva complicado, haciendo el camino de la indexación más tormentoso para los equipos editoriales. Es necesario trabajar por el desarrollo de ciencia nueva y eso involucra dar la oportunidad a estas revistas para seguir avanzando en los procesos de gestión editorial.
... Al final todo es tan simple como esto: se empieza evaluando lo que se hace y se termina haciendo lo que se evalúa. Este trabajo es una prueba más de que es hora de proceder a un cambio radical del sistema de evaluación científica en España (Delgado López-Cozar, Ràfols, Abadal, 2021, 2022. ...
RESUMEN
La pretensión de este trabajo es descubrir si en los últimos años en España se han producido cambios sustanciales en sus patrones de publicación científica; más concretamente, en los medios de comunicación (editoriales y revistas) empleados para difundir los resultados de la investigación y en la tipología de publicaciones utilizadas. El estudio centrará el análisis en las publicaciones indexadas en la WoScc (Web of Science core collection) en tanto en cuanto esta fuente y su principal derivado bibliométrico el JCR (Journal Citation Reports) ha sido la elegida preferentemente en España para evaluar el rendimiento científico de sus investigadores. Se constata que el patrón de publicación española diverge del patrón de publicación mundial. Se han detectado cambios significativos y estos han ocurrido en los últimos años; se concretan en una concentración de publicaciones en editoriales y revistas de nuevo cuño así como un empleo inusualmente alto de artículos de revisión. El factor clave que explica el cambio en el comportamiento de publicación de los científicos españoles es el sistema de evaluación científica imperante, que premia preferentemente la publicación y las actividades editoriales en revistas bien posicionadas en los Journal Citation Reports y/o Scimago Journal Rank. Los méritos contemplados para la acreditación del profesorado universitario así como los indicios de calidad empleados para otorgar los sexenios (complementos de productividad en investigación) son testimonio explicativo de este fenómeno. Esta demanda de publicación será satisfecha por editoriales de nuevo cuño que necesitadas de clientes (autores y artículos) para hacer florecer sus negocios desplegaron una estrategia de puertas abiertas y unas prácticas editoriales muy eficientes (gran rapidez a módicos costes publicando en abierto) que las hacía enormemente atractivas para investigadores como los españoles tan hambrientos de publicación y de méritos editoriales. Se describen pormenorizadamente estas estrategias que han llevado a estas editoriales a fagocitar el sistema de publicación científica en España Detecting anomalous patterns of scientific publication in Spain: More about the impact of the scientific evaluation system
ABSTRACT The goal of this work is to ascertain whether academic publication patterns have significantly changed in the last few years in Spain. In particular, the analysis focuses on the publication venues (publishers and journals) and the document types that are chosen by researchers working in Spain to communicate their work. The Web of Science core collection (WoScc) is selected as a data source because this bibliographic database, as well the journal ranking that is derived from it (Journal Citation Reports) are the sources that have long being used in Spain to assess the performance of researchers. The results show that indeed, significant changes in the choice of publication venues can be observed in recent years. Specifically, compared to world trends, researchers working in Spain are disproportionally publishing in relatively young journals, created by relatively new publishers. An unusually high proportion of review articles is also identified. We argue that the key factor that explains the changes in the publication behaviour of Spanish researchers is the system of research evaluation currently in effect. The Spanish system preferentially rewards publications and editorial activities in journals that are highly ranked in the Journal Citation Reports and/or Scimago Journal Rank. These merits can be found in the evaluation programmes that regulate access of researchers to tenure track and tenure positions, as well as the subsequent research evaluations to which Spanish researchers can subject themselves regularly, these entailing economic and career incentives if the outcome is positive. The demand for publication in Spain is thus now increasingly being served by recently minted publishers that operate under the APC business model, and which have successfully enlisted the collaboration of a large number of researchers by offering highly expeditious publishing services, lower prices than competing publishers, and the opportunity to participate in editorial roles. These strategies, which are increasingly absorbing the Spanish scholarly publishing system, are described in detail.
PALABRAS CLAVE
Comunicación científica, publicación científica, revistas científicas, editoriales científicas, tendencias de publicación, evaluación científica, evaluación rendimiento investigador, indicadores bibliométricos, Web of Science, Journal Citation Reports, MDPI, Frontiers, España
KEYWORDS
Scholarly communication, academic publishing, scientific journals, scientific publishers, publication trends, scientific evaluation, research performance evaluation, bibliometric indicators, Web of Science, Journal Citation Reports, MDPI, Frontiers, Spain
... Esto ha motivado un amplio movimiento que clama porque otro tipo de evaluación del profesorado es posible y necesario (Delgado et al., 2021). En este sentido se aboga por abandonar las políticas de evaluación de la investigación basadas en un uso excesivo e indiscriminado de los indicadores bibliométricos para casi todos los ámbitos de la actividad científica y, muy especialmente, para valorar el desempeño individual de los académicos, por los efectos tóxicos que este abusivo empleo de indicadores está causando. ...
En las últimas décadas, la Educación Superior ha sido testigo de un conjunto de desafíos, con una serie de reformas orientadas a la mejora de su calidad. Además de una serie de cambios estructurales evidentes, estas reformas incluyeron el impulso de nuevas formas de gobernanza caracterizadas por su capacidad para generar procesos de autocontrol y
cambios de identidades académicas. Los sistemas de evaluación se han vinculado a una
política de incentivos y carrera profesional. Este artículo, dentro de la temática que estamos trabajando en dos Proyectos de Investigación, hace una revisión del impacto que estas nuevas formas de gobernanza generan en el profesorado universitario, atendiendo especialmente a la construcción de su identidad y al desarrollo de sus funciones (docencia e investigación). Las situamos, en primer lugar, en el contexto social más amplio de los desafíos actuales en la Educación Superior, marcados por claros principios neoliberales en la Nueva Gestión Pública e implementado como “capitalismo académico”. En segundo lugar, se analizará el impacto que provoca en el profesorado universitario, lejos de los principios que inspiraban la Declaración Bolonia y, finalmente, las consecuencias que tiene tanto en el profesorado universitario como en las misiones propias de la universidad.
... As a consequence, in 2009, it was evident that Spanish research was characterized by sound research that produced unimportant discoveries (Rodríguez-Navarro, 2009). Since then, the whole research policy in Spain has been characterized by the extensive use of journal impact factors and the position of the journal in which papers are published in lists ordered by impact factor (Delgado-López-Cózar et al., 2021). Publication in journals in the first quarter of this list (Q1) is usually required for successful evaluations of individual researchers, although it is known that this approach is not rational for selecting the most influential papers . ...
We studied the research performance of 69 countries by considering two different types of new knowledge: incremental ( normal ) and fundamental ( radical ). In principle, these two types of new knowledge should be assessed at two very different levels of citations, but we demonstrate that a simpler assessment can be performed based on the total number of papers (P) and the ratio of the number of papers in the global top 10% of most cited papers divided to the total number of papers (P top 10% /P). P represents the quantity, whereas the P top 10% /P ratio represents the efficiency. In ideal countries, P and the P top 10% /P ratio are linked to the gross domestic product (GDP) and GDP the per capita, respectively. Only countries with high P top 10% /P ratios participate actively in the creation of fundamental new knowledge and have Noble laureates. In real countries, the link between economic and scientific wealth can be modified by the technological activity and the research policy. We discuss how technological activity may decrease the P top 10% /P ratio while only slightly affecting the capacity to create fundamental new knowledge; in such countries, many papers may report incremental innovations that do not drive the advancement of knowledge. Japan is the clearest example of this, although there are many less extreme examples. Independently of technological activity, research policy has a strong influence on the P top 10% /P ratio, which may be higher or lower than expected from the GDP per capita depending on the success of the research policy.
... Indeed, integration is a matter of long-term collective multi-dimensional efforts, which can be out of line with traditional careeradvancement metrics. Research is currently assessed essentially through bibliometric indicators, making publication the primary objective of research, at the expense of the other aspects of the research mission such as delivering solutions to societal problems that are regarded as "unproductive" activities by scientists since these activities do not tangibly further their careers (e.g., Hicks et al., 2015;Wilsdon et al., 2015;Delgado-López-Cózar et al., 2021). Moreover, the evaluation process predominantly targets individual researchers or individual networks rather than teams, departments, or observing systems. ...
Understanding and sustainably managing complex environments such as marine ecosystems benefits from an integrated approach to ensure that information about all relevant components and their interactions at multiple and nested spatiotemporal scales are considered. This information is based on a wide range of ocean observations using different systems and approaches. An integrated approach thus requires effective collaboration between areas of expertise in order to improve coordination at each step of the ocean observing value chain, from the design and deployment of multi-platform observations to their analysis and the delivery of products, sometimes through data assimilation in numerical models. Despite significant advances over the last two decades in more cooperation across the ocean observing activities, this integrated approach has not yet been fully realized. The ocean observing system still suffers from organizational silos due to independent and often disconnected initiatives, the strong and sometimes destructive competition across disciplines and among scientists, and the absence of a well-established overall governance framework. Here, we address the need for enhanced organizational integration among all the actors of ocean observing, focusing on the occidental systems. We advocate for a major evolution in the way we collaborate, calling for transformative scientific, cultural, behavioral, and management changes. This is timely because we now have the scientific and technical capabilities as well as urgent societal and political drivers. The ambition of the United Nations Decade of Ocean Science for Sustainable Development (2021–2030) and the various efforts to grow a sustainable ocean economy and effective ocean protection efforts all require a more integrated approach to ocean observing. After analyzing the barriers that currently prevent this full integration within the occidental systems, we suggest nine approaches for breaking down the silos and promoting better coordination and sharing. These recommendations are related to the organizational framework, the ocean science culture, the system of recognition and rewards, the data management system, the ocean governance structure, and the ocean observing drivers and funding. These reflections are intended to provide food for thought for further dialogue between all parties involved and trigger concrete actions to foster a real transformational change in ocean observing.
... As a consequence, in 2009, it was evident that Spanish research was characterized by sound research that produced unimportant discoveries (Rodríguez-Navarro 2009). Since then, the whole research policy in Spain has been characterized by the extensive use of journal impact factors and the position of the journal in which papers are published in lists ordered by impact factor (Delgado-López-Cózar et al. 2021). Publication in journals in the first quarter of this list (Q1) is usually required for successful evaluations of individual researchers, although it is known that this approach is not rational for selecting the most influential papers (Brito and Rodríguez-Navarro 2019). ...
We studied the research performance of 69 countries by considering two different types of new knowledge: incremental (normal) and fundamental (radical). In principle, these two types of new knowledge should be assessed at two very different levels of citations, but we demonstrate that a simpler assessment can be performed based on the total number of papers (P) and the ratio of the number of papers in the global top 10% of most cited papers divided to the total number of papers (Ptop 10%/P). P represents the quantity, whereas the Ptop 10%/P ratio represents the efficiency. In ideal countries, P and the Ptop 10%/P ratio are linked to the gross domestic product (GDP) and GDP the per capita, respectively. Only countries with high Ptop 10%/P ratios participate actively in the creation of fundamental new knowledge and have Noble laureates. In real countries, the link between economic and scientific wealth can be modified by the technological activity and the research policy. We discuss how technological activity may decrease the Ptop 10%/P ratio while only slightly affecting the capacity to create fundamental new knowledge; in such countries, many papers may report incremental innovations that do not drive the advancement of knowledge. Japan is the clearest example of this, although there are many less extreme examples. Independently of technological activity, research policy has a strong influence on the Ptop 10%/P ratio, which may be higher or lower than expected from the GDP per capita depending on the success of the research policy.
El artículo proporciona una visión sobre la percepción del colectivo investigador en relación a los servicios de apoyo a la investigación que se están ofreciendo en la actualidad desde las bibliotecas universitarias españolas. El estudio se llevó a cabo a través de una encuesta en línea en la que participaron 418 investigadores. Dicha encuesta constaba de 27 preguntas relacionadas con los servicios de apoyo a la investigación, formación, asesoramiento, comunicación, difusión y valoración de los mismos. Los resultados confirmaron que la gran mayoría de investigadores eran conocedores de los servicios de apoyo aunque más de la mitad afirmaron que no eran usuarios de la biblioteca. Se valora positivamente el papel del personal bibliotecario, la formación y el asesoramiento a diferencia de la comunicación y difusión.
Until 2021, studies of scientific disciplines took as their object of study papers published in journals from certain subject categories. This paper is one of the firsts to analyse research into journalism in Spain using the Clarivate InCites analytics platform algorithm that groups papers together according to their citation relations (Citation Topics, CT) rather than by the category of the journals themselves. A unique universe was obtained made up of 63,694 items on the Web of Science, this being the global output of the CT ‘Journalism’ (1980–2022, both included). Spain is the world’s third producer by number of items (4635), but only seventh in citations (and has the lowest proportion of citations per paper, 7.151). Most of the papers (34.01%) are published in Q3 (unlike the rest of the countries analysed, which publish more in Q1 and Q2) and in national journals (61%, even more than the US or the UK, 52% and 47%, respectively), edited by small, non-commercial publishers. Only 40.6% of the items are in the WoS Flagship citation index databases (SCIE, SSCI and AHCI). Most Spanish journals publish national research in proportions around 80%. Spanish research tends to collaborate internationally to a lesser extent (16.5%) than the other European countries analysed, and no significant change has been apparent over the last years. Spanish research into journalism is very productive but has little international presence, obtains few citations per paper, and shows no clear signs of progress towards greater international collaboration.
This paper reports on the perceptions of Spanish academic libraries regarding Open Science (OS). OS is irrupting into academia and academic librarians need to support researchers. On the other side, researchers need to be ready to change their scientific behaviour in relation to publications and research data. We conducted a focus group with 8 academic librarians. We also sent a survey to (N= 67) academic libraries, obtaining a response rate of 71.6%. In the survey, we asked for drivers and constraints for OS services as well as for any training taking place. Our results show that facilitators are the system relationships (SD = 4.74) and internal promotion of systems relationships (SD = 4.54). In relation to the level of knowledge of OS, both researchers (SD = 3.27) and librarians have a high level in terms of the OA area (SD = 4.15) but little development of the rest of the components of OS. On the other hand, in relation to training librarians, results indicated that OA (SD = 4.79), Open Data (SD = 4.79) and new evaluation models (SD = 4.79) should be part of the training for researchers. The results of the focus group reinforce some of the indicators mentioned. We conclude that academic libraries may train researchers in OS through the acquisition of new skills and trainers-training and with the strategic support of the university. We argue that academic incentives and a change in research accreditation are also needed to shift researchers’ perceptions in relation to OS.
У монографії представлено результати виконання наукового дослідження за темою “Підвищення дослідницької спроможності університетів України в умовах війни та повоєнного відновлення у контексті імплементації концепції “Відкрита наука”” (державний реєстраційний № 0122U200775). У монографії відображено тенденції та механізми інтеграції освітньої і дослідницької діяльності університетів в умовах відкритої науки та в контексті інноваційного, високотехнологічного повоєнного відновлення України як сильної європейської країни; обґрунтовано важливість формування та реалізації політик і процедур імплементації концепції “Відкрита наука” в університетах для збереження/відновлення дослідницького потенціалу університетів; наголошено на необхідності підвищення відповідальності дослідницької діяльності університетів, важливості врахування нових тенденцій науково-технічної революції та трансформації систем науки, освіти і механізмів дослідницької діяльності у парадигмі стійкого суспільного розвитку. Розкрито зміст ціннісних вимірів демократизації наукової діяльності у контексті імплементації концепції “Відкрита наука”, регулювання відкритості дослідницької діяльності університетів у ХХІ столітті, модернізації механізмів оцінювання дослідницької діяльності університетів та забезпечення дослідницької доброчесності у контексті імплементації концепції “Відкрита наука”. Висвітлено результати анкетного опитування “Відкрита наука в закладах вищої освіти України”, які віддзеркалюють особливості забезпечення в українських університетах дослідницької е-інфраструктури відкритої науки. Запропоновано методичні рекомендації з модернізації механізмів підвищення дослідницької спроможності університетів України у контексті імплементації концепції “Відкрита наука” та повоєнного відновлення України як сильної європейської країни. Адресовано представникам університетської спільноти, усієї когорти науково-педагогічних і наукових працівників закладів вищої освіти, академічних, наукових організацій та установ, фахівців фінансуючих структур, громадськості, а також публічним службовцям різних гілок і рівнів влади, що опікуються науковою і науково-технічною діяльністю та вищою освітою в Україні.
Se reproducen en este artículo numerosos testimonios de investigadores que cuentan en primera persona las consecuencias que la presión por publicar inducida por el sistema de evaluación científica imperante en España tiene en su faceta científica y hasta en su vida personal
El cientifismo imperante ha obligado a introducir criterios cuantitativos claramente contrarios a la idiosincrasia de las Humanidades y de los humanistas. En este trabajo se propone un replanteamiento en profundidad de estos instrumentos, ya que su aplicación solo ha producido un deterioro muy notable en la calidad de la investigación en Humanidades. Pero no solo cabe la crítica a los métodos cuantitativos que pretenden convertir a las Humanidades en lo que no son, es decir, sucedáneos de las ciencias físicas y experimentales, sino también a otros métodos como es el de la evaluación por pares. La crítica se centra en poner de manifiesto el sesgo profundamente ideológico que tiene este procedimiento en el campo de las Humanidades. Porque, a pesar de contar con un ingente número de defensores, se defiende que, en realidad, ha propiciado una investigación plana y repetitiva que no se atreve a plantear temas ni perspectivas innovadoras y audaces. En último extremo, supone una merma de libertad que lleva a los investigadores a autocensurarse para acomodarse a esos moldes rígidos que impone la evaluación por pares, al existir en el mundo universitario una estructura de poder muy solidificada, basada en una hegemonía cultural e ideológica concreta y determinada.
La reforma del modelo de evaluación de la actividad científica es un asunto científico y político plenamente vigente. Durante los últimos años, los problemas en la utilización del factor de impacto así como la existencia de distintos sesgos ha conllevado un debate sobre la necesidad de cambiar a un nuevo modelo, cambio que actualmente es posible gracias a los pasos dados por los distintos grupos de interés, principalmente agencias de calidad, pero también los cambios legales y de políticas en relación al paradigma de la ciencia abierta. En este artículo se centra el debate en el estado español y se describen algunos de los principales problemas del modelo actual, así como las buenas prácticas que se pueden usar como referentes, tanto cuantitativos como cualitativos. A su vez, se presentan elementos que pueden ser considerados para trazar un camino realista en la propuesta del nuevo modelo de evaluación.
O campo científico conheceu um desenvolvimento exponencial no último meio século. Em Portugal, foi sobretudo nas últimas duas décadas que se registou a intensificação das atividades de investigação em todas as áreas. Não obstante o aumento significativo de resultados, as políticas para a ciência suscitam hoje inquietações, que sugerem uma reflexão profunda sobre as opções estratégicas das instituições de decisão e gestão. Hoje, são desafios que exigem discussão pública a insuficiência do financiamento, os padrões de qualidade e a sobrevalorização de métricas, assim como os sistemas de avaliação e os rankings, da mesma forma que a hegemonia do inglês como língua de produção de conhecimento e do modelo empírico por oposição à teoria e ao pensamento crítico, e ainda os horizontes de carreira do investigador. Políticas de Ciência e da Língua, Publicação Científica e Rankings Académicos reúne contributos de um debate, que ocorreu em 2021, ano do 20.º aniversário do Centro de Estudos de Comunicação e Sociedade, que procurou identificar e problematizar estas questões. É, por isso, um convite a uma leitura desassossegada e interpelativa sobre os (des)caminhos da ciência.
This report designs and develops an architecture proposal (framework) to evaluate university teaching staff in the Spanish university system. The proposal aims to minimize the malpractices detected, adapt to the standards and recommendations from the scientific literature, and include those transversal aspects necessary to assess the impact of the research in the environment in which the evaluation is carried out, without losing sight of the possible extrapolation of the model to any other evaluation environment (departments, institutes, and research centers, etc.). The proposal is also offered as a holistic, flexible, inclusive, and customizable model, with the aim that different actors can discuss it: the scientific community, the university community, evaluation agencies, government entities, public, private, and non-profit organizations, union and business associations, research staff, evaluation professionals, professionals from the business world, among many other actors. To achieve the main objective of this report, the following specific goals are established: a) compare existing teacher evaluation systems in Spain and implemented by the different evaluation agencies, both national and regional (Autonomous Communities), to obtain a general descriptive radiography of the established scales and the indicators used, with the consequent precautions due to the heterogeneity of the different figures analyzed); b) design the architecture of an evaluation model for university teaching staff, especially oriented towards the identification and classification of the different items to be evaluated and their organization (dimensions) and structure (categories, subcategories, facets), without entering into establishing scales, specific scores or professional figures.
The current trends and challenges in the field of bibliometrics are reviewed. To do so, we take the reader along a bibliometric route with six stations: the explosion of databases, the inflation of metrics, its relationship to Data Science, searching for meaning, evaluative bibliometrics, and diversity and profession. This evaluation encompasses three dimensions of the bibliometrics field regarding research evaluation: the technological, the theoretical, and the social. Finally, we advocate for the principles of an evaluative bibliometrics, balancing the power of metrics with expert judgment and science policy.
Esta iniciativa se basa en los resultados de una “Consulta Regional sobre la revisión por pares y evaluación de la investigación - el caso de América Latina y el Caribe”, realizada durante el segundo semestre de 2021 por la UNESCO y CLACSO-FOLEC y con la participación de diferentes académicos, especialistas, editores, entre otros actores involucrados en las prácticas de revisión por pares. La primera parte de esta contribución, elaborada por Fernanda Beigel, Directora del Centro de Investigación en Circulación del Conocimiento (CECIC-UNCuyo)19 de la Universidad Nacional de Cuyo, Argentina, desarrolla un diagnóstico sobre los esquemas de revisión por pares en lo que respecta a revistas, repositorios, libros y carreras y desde la perspectiva del movimiento de Ciencia Abierta y recomendaciones. La segunda parte, elaborada por Eduardo Aguado-López, Arianna Becerril-García y Alejandro Macedo-García, Consejo Directivo de Redalyc en la Universidad Autónoma del Estado de México (UAEM), examina los indicadores de revisión por pares de América Latina y el Caribe, a través de las revistas indexadas por Redalyc.
An overview of the evolution of open access (OA) to scientific publications over the last 20 years is presented. This retrospective look allows us to make two observations that seem to overlap: on the one hand, how close the initial objective seems to be to what initially seemed utopian and, on the other, the unanticipated and solid obstacles that open access has encountered along the way, as well as the unexpected and diverse solutions that are emerging to overcome them. The overall assessment of OA is positive, and it underscores that open access is (or is becoming) possible, that it is good, and that it is necessary. However, this overall positive evolution has come up against two major obstacles that are slowing its progress: the double payments generated by hybrid journals (subscription and article processing charges [APCs]) and the unchecked growth in APCs. In addition, this intensive use of APCs is creating a publishing gap between publishers that charge fees to authors and those that do not, and ultimately, it is causing dissension regarding the (previously shared) strategy toward open access. There are no immediate, one-off solutions to overcome the aforementioned dysfunctions, although three actions that, in the medium term, can remedy them can be mentioned: changing the approach to the evaluation of science, adopting measures to regulate APCs, and promoting alternative publication models. Finally, it should be noted that OA has acted as the vanguard and spearhead of a broader movement: that of open science.
A call to apply a more sophisticated, professional bibliometrics based on technical and scientific quality metrics that overcomes the current easy though incorrect practices in the evaluation processes of scientific activity. Resumen: Una llamada a aplicar una bibliometría más sofisticada, profesional, con métricas de calidad técnica y científica que supere la actual práctica incorrecta y fácil en los procesos de evaluación de la actividad científica.
Este informe diseña y desarrolla una propuesta de arquitectura (framework) de la evaluación del profesorado universitario en el sistema universitario español. La propuesta pretende minimizar las malas praxis detectadas, adecuarse a los estándares y recomendaciones procedentes de la literatura científica e incluir aquellos aspectos transversales necesarios para evaluar el impacto de la investigación en el entorno en el cual se realiza la evaluación, sin perder por ello de vista la posible extrapolación del modelo a cualquier otro entorno evaluativo (departamentos, institutos y centros de investigación, etc.). La propuesta se ofrece asimismo como un modelo holístico, flexible, inclusivo y personalizable, con el ánimo de que pueda ser discutida por distintos actores: comunidad científica, comunidad universitaria, agencias de evaluación, entidades gubernamentales, organizaciones públicas, privadas y sin ánimo de lucro, asociaciones sindicales y empresariales, personal de investigación, profesionales de la evaluación, profesionales del mundo empresarial, entre otros muchos actores. Para lograr el objetivo principal de este informe, se establecen los siguientes objetivos específicos: a) comparar los sistemas de evaluación del profesorado existentes en España e implementados por las distintas Agencias de evaluación, tanto nacional como regional (Comunidades Autónomas), con el fin de obtener una radiografía descriptiva general de los baremos establecidos y los indicadores utilizados, con las consiguientes cautelas debido a la heterogeneidad de las diferentes figuras analizadas); b) diseñar la arquitectura de un modelo de evaluación del profesorado universitario, especialmente orientado en la identificación y clasificación de los distintos ítems a evaluar y de su organización (dimensiones) y estructura (categorías, subcategorías, facetas), sin entrar a establecer baremos, puntuaciones específicas o figuras profesionales.
The reform of evaluation proposed at European level in the recent Agreement on Reforming Research Assessment represents a window of opportunity to reform the Spanish evaluation system, at a moment when the new Organic Law of the University System (LOSU) is being debated. This agreement establishes the primacy of peer review based on qualitative criteria in order to be able to recognize the diversity of contributions and research careers, and advocates to stop the inappropriate use of journal-based metrics. How can evaluation in Spain, heavily based on these metrics, be reformed to align with these principles? In this letter we propose that it is not possible to move towards the principles of the European agreement without making structural changes in the governance of evaluation, with a return of autonomy to the universities. We advocate that individual evaluations by agencies outside the university should be limited, and that, instead, institutional evaluation should be encouraged. We collect a proposal for ‘institutional accreditation’ as a public control mechanism for the hiring and promotion of professors at the university.
Introduction: With the failure of dating applications for technological devices, various questions have been generated around the psychosocial variables that circulate inside and outside of them. Objectives: The objective of this study focuses on Tinder (dating application), which has grown in popularity in Latin America, particularly in Mexico, raising questions about what motivates individuals to use the application and what they perceive get its use. Method: To address this, an exploratory - descriptive study was carried out through the online application of an open questionnaire regarding the reasons for using Tinder. In it, 450 Mexicans collaborated, with an age range of 18 to 38 years. To analyze the results, a qualitative content analysis was carried out. Results: 12 categories were identified, classified into gratifications obtained (why of use) and gratifications sought (why of use). Both men and women share reasons for social use, such as entertainment, and search for a partner, as well as curiosity about the use of the application; however, men tend to seek sexual encounters more frequently than women; while they seek to establish friendships and validate their physical appearance (ego – boosting). Conclusions: It is suggested that since Tinder is a virtual space that favors the satisfaction of the psychosocial needs of the individual, studies continue to be carried out on its use.
This research aims to establish the importance of the different indicators of a methodological-analytical nature included in the research reports presented in scientific articles. Thus, our interest is focused on determining which of these indicators are the best predictors for establishing a scientific article profile with a higher or lower degree of concreteness. For this purpose, we selected all the scientific articles published in the seven Spanish journals within the field of educational research indexed in the Journal Citation Report (JCR) database during 2016. More precisely, we selected a total of 479 papers published during the three-year period 2014-2016. Each journal obtained an overall score depending on the presence vs absence of such methodological indicators. Following the implementation of the Chi-squared Automatic Interaction Detection technique, where this variable, transformed into a new fictitious variable grouped into three levels, has been taken as a variable criterion, and, as predictors, the ten methodological-analytical indicators, it has been found that, in fact, some methodological-analytical indicators play a more important role than others in the concreteness of the research designs raised in the research work. In this way, we are able to determine how these indicators related to the quality criteria are (QUC); the type of sampling-s considered (ST3); and the study methodology (ME), which have been decisive for the establishment of more complete methodological-analytical designs.
La presente investigación pretende establecer la importancia que juegan los diferentes indicadores de naturaleza metodológico-analítica incluidos en los informes de investigación presentados en los artículos científicos. Así pues, nuestro interés se centra en determinar cuáles de dichos indicadores son los mejores predictores para establecer un perfil de artículo científico con un mayor o menor grado de concreción. Para este fin, seleccionamos todos los artículos científicos publicados en las siete revistas españolas del ámbito de la investigación educativa indexadas en la base de datos Journal Citation Report (JCR) durante el año 2016. Exactamente seleccionamos un total de 479 trabajos publicados durante el trienio 2014-2016. Cada una de las revistas obtuvo una puntuación general dependiendo de la presencia vs ausencia de dichos indicadores metodológicos. Tras la implementación de la técnica de Árboles de Decisión, donde se ha tomado como variable criterio dicha variable transformada en una nueva variable ficticia agrupada en tres niveles y como predictores los diez indicadores metodológico-analíticos hemos comprobado que, efectivamente, algunos de estos indicadores juegan un papel más importante que otros en la concreción de los diseños de investigación planteados en los trabajos objeto de investigación. De esta forma, apreciamos como son los indicadores relativos a los criterios de rigor metodológico (CA1); tipo de muestreo-s considerado-s (MU3); y la metodología de abordaje del estudio (ME) los que han resultado determinantes para el establecimiento de diseños metodológico-analítico más completos.
This paper presents the results of a research study whose objective was to identify the facilitating factors and barriers that, in the opinion of representatives of the Spanish scientific community, impact the implementation of the new open science model in four areas: open access, open research data, research assessment and open peer review. A qualitative study was designed in which information was obtained through interviews with researchers, editors of scientific journals, representatives of assessment agencies and vice-chancellors, and through a focus group of librarians with expertise in aspects of open science. The enabling factors and barriers identified were related to the researcher and the fruit of their research, as well as to the scientific ecosystem, which provides direct institutional support and backing (universities/research centres), the regulatory framework (management of the science system) and the science communication system (media). The results indicate that a shift in scientific practices toward the open science model can only be achieved if there is a policy framework that integrates all initiatives and links into the scientific assessment and reward system, and if the necessary funding is in place to support this transition.
У препринті на підставі системного осмислення теоретичних засад підвищення дослідницької спроможності університетів України в контексті імплементації концепції «Відкрита наука» розкриваються провідні тенденції та основні наукові підходи до розв’язання таких проблем, як: загальне й особливе в інтеграції освітньої і дослідницької діяльності університетів в умовах відкритої науки; політика і процедури імплементації концепції «Відкрита наука» в університетах; теоретичні основи підвищення відповідальності дослідницької діяльності університетів; інструментарій відкритої науки як механізм трансформації дослідницької діяльності університетів задля досягнення цілей стійкого розвитку; демократизація наукової діяльності як засіб підвищення дослідницької спроможності університетів України: ціннісні виміри; формування правового та економічного забезпечення дослідницької діяльності закладів вищої освіти; оцінювання дослідницької діяльності та публікаційної активності університетів; розвиток університетської дослідницької інфраструктури. Аналітичні матеріали адресовані представникам університетської спільноти, усієї когорти наукових і науково-педагогічних працівників закладів вищої освіти, академічних, наукових організацій та установ, фінансуючих структур, громадськості, а також публічним службовцям різних гілок і рівнів влади, що опікуються науковою і науково-технічною діяльністю та вищою освітою в Україні.
У статті порушено питання про необхідність перегляду оцінювання наукової діяльності університетів, що здійснюється на основі наукометричних показників. Наведено вимоги нормативно-правових документів щодо публікаційної активності у наукометричних базах Scopus або Web of Science Core Collection для наукових і науково-педагогічних працівників, наукової діяльності закладів вищої освіти, функціонування наукових періодичних видань. Проаналізовано динаміку та представлення публікаційної активності класичних і педагогічних вітчизняних університетів у галузі освітніх, педагогічних наук у Web of Science Core Collection упродовж 2016–2020 рр. Висвітлено особливості соціогуманітарної сфери, які необхідно враховувати під час розроблення ефективних методів та інноваційних підходів для оцінювання наукових досліджень університетів.
This article proposes a 4-step model for scientific dissemination that aims to promote evidence-based professional practice in Operations Management or Human Resource Management as well as research with a more transparent and reproducible process. These 4 steps include:1 social network announcements,2 dissemination to scientific journals, 3 dissemination to social networks, and 4 scientific dissemination to professional journals. Central to the 4-step model is a three-stage publication process within the second step, which adds an additional stage to the two previously proposed (Marin-Garcia, 2015). These three publication stages begin with a protocol paper, are followed by a data paper, and finish with a traditional article. Each stage promotes research with merit which is citable and recognizable as such before the scientific evaluation bodies. As two of these stages are largely unknown within the fields of Business and Management, I define the details of a protocol paper and a data paper including their contents. In addition, I provide examples of both papers as well as the other steps of the science dissemination model. This model can be adopted by researchers as a means of achieving greater impact and transfer of research results. This work intends to help researchers to understand, to evaluate, and to make better decisions about how their research reaches society at large outside of academia.In this way, WPOM aligns with the recommendations of several leading journals in the field of business management on the need to promote transparent, accessible, and replicable science (Beugelsdijk et al., 2020). WPOM goes one step further in compliance with this direction by having relevant journals that not only accept, but also actively encourage the publication of protocol papers and data papers. WPOM strives to pioneer in this field of Business and Management.This article also explores the potential prevalence of protocol papers and data papers within the set of all articles published in journals indexed in Clarivate Web of Science and Scopus.With this editorial, WPOM is committed to promoting this model by accepting for review any of the three types of scientific contributions including protocol papers, data papers, and traditional papers.
Esta carta tiene como objetivo resaltar graves inconsistencias en la evaluación científica de proyectos de investigación financiados con fondos públicos regionales, destapando fallos estructurales relacionados con la gestión pública de la ciencia que van más allá de los aspectos técnicos bibliométricos. Este problema se ejemplifica a través de un estudio de caso ilustrativo (el programa de ayudas públicas a grupos de investigación emergentes financiado por el gobierno regional de la Comunidad Valenciana, España, NUTS-2), describiendo tres aspectos complementarios de esta convocatoria (el sistema de evaluación, el proceso de evaluación, y la comunicación de la evaluación). Los problemas ilustrados por este estudio de caso conducen a un problema general relacionado con el uso no estratégico de la ciencia. Se propone finalmente la regularización nacional e internacional de la actividad profesional de la evaluación de la investigación en general, y de la bibliometría en particular, como vía para evitar la mala gestión de la ciencia (y de la evaluación científica).
En una carta publicada hace seis meses (Delgado-López-Cózar, et al., 2021), pocas semanas después de que la Agencia Española de Evaluación se adhiriera a la declaración dora (dora, 2012), hacíamos un llamamiento a las autoridades científicas españolas para que abandonaran las políticas de evaluación de la investigación basadas en un uso excesivo e indiscriminado de los indicadores bibliométricos —especialmente el Journal Impact Factor (jif)—, para valorar el desempeño individual de los académicos. En concreto se les animaba a «que suscriban y cumplan con la dora y sigan las recomendaciones en el uso de indicadores bibliométricos señalados en el Manifiesto Leiden» (Hicks et al., 2015). Una mesa redonda organizada en el mes de julio con participación de distintos agentes del sistema español de i+d+i coincidía en la necesidad de afrontar ese cambio de forma urgente.
This letter aims to highlight severe inconsistencies in the scientific evaluation of regionally publicly funded research projects, uncovering structural failures related to the public management of science that go beyond technical aspects of bibliometrics. This problem is exemplified through an illustrative case study (the public grants program to emerging research groups funded by the regional government of the Valencian region, Spain, NUTS-2), describing three complementary aspects of this call (the evaluation system, the evaluation process, and the communication of the evaluation). The problems illustrated by this case study lead to a general problem related to the nonstrategic use of science. Finally, the national and international regularization of the professional activity of research evaluation in general, and bibliometrics in particular, is proposed as a route to avoid mismanagement of science (and scientific evaluation).
This study reviews systematically the existing literature on female entrepreneurial activity in emerging economies. The paper reviews articles included in the Social Science Citation Index (SSCI). Based on the main findings, the literature considers three levels of analysis: micro-individual, meso-organizational, and macro-environmental. The results show that the macro-environmental level has perceived higher attention from scholars, while several studies have incorporated the other levels of analysis.
This is a response to two letters published recently in the Profesional de la información journal on the need for changes in the evaluation of science. Two elements are proposed that should be part of any future evaluation model, namely the obligation for accountability through external evaluations, and the central role of science communication. Likewise, examples of in-depth changes that can be undertaken and that respect these two essential principles are presented. Additionally, a review of sometimes misinterpreted concepts is proposed, such as the expression “publish or perish,” because it masks the real problem instead of denouncing it, or that of self-plagiarism because not only is it an oxymoron but it also places plagiarism in a field of acceptable practices, which is meaningless. Resumen Respuesta a dos cartas recientes publicadas en la revista Profesional de la información sobre la necesidad de cambios en la evaluación de la ciencia. Se proponen dos elementos que deberían formar parte de cualquier futuro modelo de evaluación, a saber: la obligación del rendimiento de cuentas mediante evaluaciones externas, y el papel central de la comunicación de la ciencia. Así mismo, se presentan ejemplos de cambios en profundidad que pueden acometerse y que respetan estos dos principios esenciales. Adicionalmente se propone una revisión de conceptos a veces mal interpretados, como la expresión publish or perish, porque enmascara el auténtico problema en lugar de denunciarlo, o el de autoplagio porque no solamente es un oxímoron sino que sitúa el plagio en un terreno de prácticas aceptables, lo que carece de sentido.
Palabras clave: Métricas, evaluación docente, carrera académica, ciencias de la educación
Los años pasan y la nostalgia surge, la edad se convierte en una partida en un tablero de juego cuyas reglas cambian, en unas pistas que marcan tu destino, pero para las que no tienes claro cómo conseguir que cada una de tus piezas alcance la meta. Esta es la situación en la que los profesores universitarios nos enfrentamos a la llamada carrera académica. Muchos tenemos la sensación de estar inmersos en esa partida, casi como un mundo parecido al que se presenta en Alicia a través del espejo, donde lo real y lo irreal se confunden, donde lo válido y lo no tan válido no siempre parecen ir en consonancia con lo que un día pensamos que sería nuestra labor como docentes e investigadores.
La revista Sustainability, de la editorial MDPI, fue en 2020 la revista que publicó más trabajos de investigadores de instituciones españolas. Esto justifica un examen detallado de la producción científica española en dicha revista. Se analiza también la labor de edición de números monográficos en los cuales se han publicado trabajos con autores españoles. Para ello se ha identificado la pertenencia de cada trabajo a números especiales y a números regulares de la revista, identificando si el autor del trabajo es también editor del monográfico, o compañero de universidad. Igualmente se estudia la nacionalidad de los editores. Se analiza la temática de los artículos y su pertenencia al área de la revista. La mayor parte de los trabajos publicados por autores españoles se difundieron en números especiales (81,6%), principalmente editados por autores de la misma nacionalidad (63,1%). Se ve asimismo que existe una importante producción realizada por el mismo editor del monográfico, o por colegas de la misma institución. También se encuentra que un número sustancial de trabajos publicados en Sustainability (42,3%) guarda una relación mínima o inexistente con la temática de la Sostenibilidad. Finalmente, se discuten las implicaciones de estos hallazgos a la luz de las estrategias de publicación de los investigadores españoles y de las políticas de evaluación de la ciencia aplicadas en España. Los principales aspectos polémicos identificados tienen que ver con la publicación de trabajos de otros temas, el valor de la publicación en monográficos que en algunos casos podrían ser considerados como endogamia y los reducidos tiempos de edición.
Se hace un repaso a la normativa aprobada por la CNEAI (Comisión Nacional Evaluadora de la Actividad Investigadora) que regula los criterios específicos de evaluación que regirán en la concesión de sexenios de investigación de 2020, normativa publicada en los BOE de 19 de diciembre de 2020 y de 2 de enero de 2021. Este año no se han introducido cambios en los requisitos para obtener el sexenio. La novedad ha venido de la organización el 14 de enero de unas sesiones audiovisuales donde los responsables y gestores de la ANECA, junto a las presidentas de 14 comités asesores encargadas de realizar la evaluación explicaron detalladamente los criterios, procedimientos y herramientas usadas para la presentación de las solicitudes y su valoración. Nunca en estos 30 años de existencia de la CNEAI, antes como agencia independiente y después como una sección ANECA, había realizado un despliegue de transparencia como éste. Aquí se sintetizan las novedades presentadas en más de 8 horas de retransmisión. Asimismo, se describen y glosan los criterios y requisitos que figuran en la convocatoria tal como ha sido publica en el BOE.
PALABRAS CLAVE Sexenios de investigación / CNEAI / Comisión Nacional Evaluadora de la Actividad Investigadora / España / Rendimiento científico / Evaluación / Curriculum / Publicaciones / Revistas / Libros / Patentes / Editoriales / Creaciones artísticas / Criterios de evaluación / Indicios de Calidad / Citas
Citar como: Delgado López-Cózar, Emilio (2021). Sexenios 2020: Una revisión de estilo y un insólito a la par que loable esfuerzo de transparencia en el reino de los índices de impacto. Granada, 29 de enero de 2021.
Correspondencia: edelgado@ugr.es
Empirical studies have revealed a disturbing prevalence of research misconduct in a wide variety of disciplines, although not, to date, in the areas of ethics and philosophy. This study aims to provide empirical evidence on perceptions of how serious a problem research misconduct is in these two disciplines in Spain, particularly regarding the effects that the model used to evaluate academics’ research performance may have on their ethical behaviour. The methodological triangulation applied in the study combines a questionnaire, a debate at the annual meeting of scientific association, and in-depth interviews. Of the 541 questionnaires sent out, 201 responses were obtained (37.1% of the total sample), with a significant difference in the participation of researchers in philosophy (30.5%) and in ethics (52.8%); 26 researchers took part in the debate and 14 interviews were conducted. The questionnaire results reveal that 91.5% of the respondents considered research misconduct to be on the rise; 63.2% considered at least three of the fraudulent practices referred to in the study to be commonplace, and 84.1% identified two or more such practices. The researchers perceived a high prevalence of duplicate publication (66.5%) and self-plagiarism (59.0%), use of personal influence (57.5%) and citation manipulation (44.0%), in contrast to a low perceived incidence of data falsification or fabrication (10.0%). The debate and the interviews corroborated these data. Researchers associated the spread of these misconducts with the research evaluation model applied in Spain.
A radical reform of research assessment was recently launched in China. It seeks to replace a focus on Web of Science-based indicators with a balanced combination of qualitative and quantitative research evaluation, and to strengthen the local relevance of research in China. It trusts the institutions to implement the policy within a few months but does not provide the necessary national platforms for coordination, influence and collaboration on developing shared tools and information resources and for agreement on definitions, criteria and protocols for the procedures. Based on international experiences, this article provides constructive ideas for the implementation of the new policy.
El objetivo de este ensayo es responder a la pregunta de por qué seguimos empleando en España el Factor de Impacto (FI) y demás indicadores bibliométricos de recuentos de citas para evaluar el rendimiento de científicos e instituciones. A pesar del nacimiento en las dos últimas décadas de nuevas fuentes de datos de citación e indicadores bibliométricos y de las críticas desatadas contra su uso por diversos manifiestos y declaraciones, en España la exigencia de publicar en revistas con FI (que se publican en los Journal Citation Reports) o sucedáneos, sigue siendo la precondición necesaria para ingresar y progresar en la carrera científica. El FI ha penetrado en todas las instituciones con responsabilidades sobre la investigación que se genera en el país (agencias de financiación, evaluación, universidades, centros de investigación, hospitales, centros culturales) aplicándose inmisericordemente a todos los niveles, desde autores o grupos a instituciones pasando por becas, programas, proyectos y planes de toda clase y condición. Tras mostrar cómo este requisito está omnipresente en los textos de las convocatorias promovidas por las principales agencias de evaluación y financiación de España, se intenta explicar cómo se ha llegado hasta aquí. Se repasa el origen del FI y las intenciones de su creador y se repasan las críticas que han ido surgiendo hasta hoy, por ejemplo con la redacción de manifiestos en contra de su uso indiscriminado como la Declaración de San Francisco o el Manifiesto de Leiden. Se finaliza indicando las razones que pueden explicar nuestra obcecación por mantener el FI como patrón oro de la evaluación en España. Se señala finalmente por qué consideramos que el mantenimiento de esta política está dañando la ciencia, en tanto en cuanto promueve el monocultivo científico, la cultura del publica o perece y la propagación de la impactitis, una enfermedad que está alterando severamente el comportamiento moral de los científicos españoles.
The situation of Spanish early career researchers is investigated based on the results obtained from the international
project: Early career researchers: The harbingers of change? The project sought to discover their habits in scientific communication,
what role Science 2.0 plays in their behaviour and to what extent the indicators of evaluation of their activity are decisive in their attitudes and practices. It is concluded that these researchers have the
aptitudes and the will to promote change but are hampered by the conservatism of the requirements of evaluation of reputation in academia.
This review of the international literature on evaluation systems, evaluation practices, and metrics (mis)uses was written
as part of a larger review commissioned by the Higher Education Funding Council for England (HEFCE) to inform their independent
assessment of the role of metrics in research evaluation (2014–5). The literature on evaluation systems, practices, and effects
of indicator uses is extremely heterogeneous: it comprises hundreds of sources published in different media, spread over disciplines,
and with considerable variation in the nature of the evidence. A condensation of the state-of-the-art in relevant research
is therefore highly timely. Our review presents the main strands in the literature, with a focus on empirical materials about
possible effects of evaluation exercises, ‘gaming’ of indicators, and strategic responses by scientific communities and others
to requirements in research assessments. In order to increase visibility and availability, an adapted and updated review is
presented here as a stand-alone—after authorization by HEFCE.
Use these ten principles to guide research evaluation, urge Diana Hicks, Paul Wouters and colleagues. were introduced, such as InCites (using the Web of Science) and SciVal (using Scopus), as well as software to analyse individual citation profiles using Google Scholar (Publish or Perish, released in 2007). In 2005, Jorge Hirsch, a physicist at the University of California, San Diego, proposed the h-index, popularizing citation counting for individual researchers. Interest in the journal impact factor grew steadily after 1995 (see 'Impact-factor obsession'). Lately, metrics related to social usage advice on, good practice and interpretation. Before 2000, there was the Science Citation Index on CD-ROM from the Institute for Scientific Information (ISI), used by experts for specialist analyses. In 2002, Thomson Reuters launched an integrated web platform, making the Web of Science database widely accessible. Competing citation indices were created: Elsevier's Scopus (released in 2004) and Google Scholar (beta version released in 2004). Web-based tools to easily compare institutional research productivity and impact D
The quality of instruction at university level is typically measured by means of
student evaluation. Student evaluation is based on scientific knowledge about effective
instruction and includes aspects such as instructional clarity, teacher support, and a positive
learning climate. Student evaluation has become a widely and commonly accepted approach
of measuring instructional quality. However, with regard to professional development, this
approach has a number of limitations, mainly due to the fact that the reflection about results
and possible improvement is reserved only for the individual instructor being assessed.
Therefore, new approaches have been developed that allow for collaborative reflection and
systematic training. One example is the 1-year training program, “Learning to Teach,” in
which novice university instructors are trained and systematically evaluated. Implications for
the governance of knowledge-intensive organizations, such as universities, are drawn with
regard to the importance of systematic training of novices.
In this article, we compare the reception of Spanish sociology by domestic and international audiences using citation counts
as an indicator of audience interest. We compare papers highly cited in a national language database with those highly cited
in the Web of Science. We find differences that might prove worrying within a national research evaluation system that emphasizes
publishing in high impact factor, Web of Science indexed journals. We suggest that in the social sciences, such an emphasis
may induce not simply more research excellence, but also narrower research agendas with long-term consequences for the Spanish
sociology community.
This extended editorial asks whether peer-review is continuing to operate effectively in policing research misconduct in the academic world. It explores the mounting problems encountered by editors of journals such as Research Policy (RP) in dealing with research misconduct. Misconduct can take a variety of forms. Among the most serious are plagiarism and data fabrication or falsification, although fortunately these still seem to be relatively rare. More common are problems involving redundant publication and self-plagiarism, where the boundary between acceptable behaviour (attempting to exploit the results of one's research as fully and widely as possible) and unacceptable behaviour (in particular, misleading the reader as to the originality of one's publications) is rather indistinct and open to interpretation. With the aid of a number of case-studies, this editorial tries to set out clearly where RP Editors regard that boundary as lying. It also notes with concern a new form of misconduct among certain journal editors, who attempt to engineer an increase in their journal's ‘impact factor’ through a practice of ‘coercive citation’. Such problems with research integrity would appear to be unintended, and certainly undesirable, consequences of the growing trend to quantify research performance through various indicators.
Nobel Prizes are an important indicator of research excel- lence for a country. Spain has not had a science Nobel Prize winner since 1906, although its gross domestic product (GDP) is high, research and development (R&D) investments, in monetary terms, are high, and conven- tional bibliometric parameters are fairly good. Spanish research produces many sound papers that are reason- ably cited but does not produce top-cited publications. This absence of top-cited publications suggests that important achievements are scarce and, consequently, explains the absence of Nobel Prize awards. I argue that this negative research trend in Spain is caused by the extensive use of formal research evaluations based on the number of publications, impact factors, and journal rankings. These formal evaluations were introduced to establish a national salary bonus that mitigated the lack of research incentives in universities. When the process was started, the results were excellent but, currently, it has been kept too long and should be replaced by methods to determine the actual interest of the research. However, this replacement requires greater involvement of universities in stimulating research.
Informe sobre el estado de la evaluación externa de la calidad en las universidades españolas
- Aneca
Publish, publish… cursed!”
- Antonio Fernández-Cano
The footprint of a metrics-based research evaluation system on Spanish philosophical scholarship: an analysis of researchers perceptions
- Ramón A Feenstra
- Emilio Delgado-López-Cózar
Frecuencia de publicación e impacto de la producción científica mundial
- Félix De-Moya-Anegón