Conference PaperPDF Available
Título: Métricas de avaliação sobre revistas científicas para uso no BrCris/IBICT: um
ensaio com dados da WoS e Google Scholar
Sesión: Novas Métricas no Contexto da Ciência Aberta (Nuevas Métricas en el contexto
de la ciencia abierta)
Adilson Luiz Pinto - Orcid 0000-0002-4142-2061, Universidade Federal de Santa Catarina - Brasil,
adilson.pinto@ufsc.br
Thiago Magela R. Dias - Orcid 0000-0001-5057-9936, Centro Fed. de Educação Tecnológica de
Minas Gerais - Brasil, thiagomagela@cefetmg.br
Fabio Castro Gouveia - Orcid 0000-0002-0082-2392, Fundação Oswaldo Cruz - Brasil,
fgouveia@gmail.com
Washington L. R. de C. Segundo - Orcid 0000-0001-5057-9936, Instituto Brasileiro de
Informação em Ciência e Tecnologia, washingtonsegundo@ibict.br
Introdução
A preocupação em analisar a efetividade de revistas científicas como meio promotor da
comunicação científica não é um tema desta geração, mas de muitas gerações, desde os
primeiros sistemas e bases de dados, e à proposição de Garfield (1955) para um índice
de citações, até os principais meios de avaliação das revistas científicas deles derivados.
Seguinte à esta vertente temos, no Brasil, o BrCris/IBICT, uma versão da Current
Research Information System (Euro CRIS - https://www.eurocris.org/), sistema de
informação para armazenar, gerenciar e trocar metadados contextuais para a atividade
de pesquisa financiada por um órgão governamental ou conduzida em uma organização
executora de pesquisa.
Na atualidade o CRIS está distribuído em 329 instituições membros
(https://eurocris.org/community/members), e o Instituto Brasileiro de Informação em
Ciência e Tecnologia o integra desde 2014, inspirado pelo modelo do Projeto PTCRIS,
da mesma natureza, mas executado no contexto de Portugal pela agência portuguesa de
financiamento, Fundação para Ciência e Tecnologia (FCT), que por sua vez teve seu
surgimento alinhando ao sistema “Directory of Research Information Systems” que é
uma iniciativa da Euro CRIS para cartografar a informação científica disponível na
Europa.
A iniciativa BrCris/IBICT é um ecossistema de sistemas, com foco em executar a
interoperabilidade dos dados existentes, no caso dados científicos e tecnológicos. Este
conjunto de sistemas integra a troca de dados de vários atores, como agências de
financiamento, bases de dados científicas e tecnológicas, repositórios institucionais,
plataformas governamentais, infraestrutura de pesquisa, base de teses e dissertações,
repositórios de patentes, entre outras iniciativas.
Para nossa proposta de identificação da efetividade de revistas científicas o
BrCris/IBICT irá dar suporte em dados estruturados, a partir da normalização realizada
pela Plataforma La Referencia, com inúmeras representações de dados em diversas
fontes de informação, como OasisBr/IBICT, BDTD/IBICT, Plataforma Lattes,
Espacenet, WikiData, Diadorim/IBICT, Latindex, DOAJ, UlrichsWeb, ROR,
Dimensions, Altmetric, Plataforma Sucupira, OpenAIRE, DBpedia, OpenCitations,
SherpaRomeo e Google Scholar Metrics.
Em relação a nossa amostra de dados para verificação da efetividade de revistas em três
modelos estatísticos, apresentados na parte metodológica, iremos extrapolar o cenário
de cinco revistas (Transinformação, Perspectivas em Ciência da Informação,
Informação & Sociedade, Em Questão e Encontros Bibli), com dados estruturados deste
conjunto de revistas selecionadas.
Assim, o objetivo geral da proposta é: Desenvolver um sistema de controle de
efetividade de revista, baseado em métricas científicas.
Para a execução desta proposta temos algumas especificidades que devem ser atendidas:
- Analisar a visibilidades das revistas por Platz (1965), tanto internamente na revista
como em um conjunto de dados de citação;
- Analisar a influência que tem determinada revista sobre seu conjunto, utilizando o
índice de visibilidade de Pinski e Narin (1976);
- Averiguar o conjunto das revistas pelo seu h-5 (Hirsch, 2005), dentro do Google
Scholar.
Desenvolvimento
Este tipo de análise foi desenvolvido para conseguir extrair a melhor forma possível de
identificar a influência de determinadas revistas dentro de um conjunto de dados
científicos, visando saber esta visibilidade em três âmbitos:
(1) identificar como uma determinada revista é citada pelos seus pares e até mesmo
como é a citação desta revista por ela mesmo. Para isso utilizamos a aplicação da
visibilidade de Platz (1965), na forma externa e interna.
O seu desenvolvimento se da seguinte forma: representa a presença de revistas em
seu contexto científico, sendo visualizada como o número total de citações recebidas (In
cb) pelo número total de artigos publicados por esta revista (A). A sua aplicação pode
ser realizada de duas formas, verificando como as demais revistas citam a revista X, ou
pela questão de autocitação da revista X.
V = In cb
A
(2) analisar a influência de uma revista X dentro do conjunto de revistas de determinada
área do conhecimento analisado usando como método estatístico o índice de visibilidade
de Pinski e Narin (1976), onde para isso é verificada a influência da revista X na revista
Y (I(xy)). Este índice é derivado da soma das citações que recebe a revista X da revista Y
(∑C(x)) sobre o somatório de referências que tem a revista X a todas as revistas do grupo
no período analisado (∑R(x)).
I(xy) =
∑C
(x)
∑R
(x)
(3) levantar os resultados para o índice-h (Hirsh, 2005) realizado pela aplicação restrita
ao impacto em 5 anos, utilizando como base o Google Scholar Metrics.
Sua aplicação é baseada em uma ordem decrescente das citações
(Máx. Min.), onde o valor da ordem dos documentos deve ser
maior ou igual ao índice de citação (f(i), i). Exemplo: f(A)=10,
f(B)=8, f(C)=5, f(D)=4, f(E)=3 → índice-h = 4. A mesma
fórmula com valores diferentes f(A)=25, f(B)=8, f(C)=5,
f(D)=3, f(E)=3 índice-h = 3. (Ferraza; Pinto, 2017, p. 183-
184)
f = max min (f (i), i)
i
Para a comprovação de todas estas análises e verificar de que forma elas podem ser
integradas a um sistema de avaliação de revistas científicas no Brasil, pelo
BrCris/IBICT, vamos representar estas análises com os dados bibliográficos
estruturados.
O universo de pesquisa é um conjunto de revistas tradicionais do cenário brasileiro em
Ciência da Informação, reconhecidas na área e indexadas na plataforma Web of
Knowledge (Social Science Citation Index e Emerging Sources Citation Index), no ano
2020 até 01 de junho de 2021.
As características e totalidades de dados das revistas são:
Encontros Bibli com n=77 registros, sendo n=73 artigos científicos;
Em Questão com n=100 registros, sendo n=88 artigos científicos;
Informação & Sociedade: Estudos com n=52 registros, sendo n=37 artigos
científicos;
Perspectivas em Ciência da Informação, com n=72 registros, sendo n=65 artigos
científicos, e;
Transinformação, com n=32 registros, sendo n=28 artigos.
Entende-se que a quantidade que cada uma das revistas publicaram de artigos não teria
interferência significativa no grau de efetividade, visto que a relação se conta para este
tipo de análise por fatores de citações pela produção.
A representação dos três tipos de métricas a serem visualizados (visibilidade de Platz;
visibilidade de Pinski e Narin; índice-h5) serão a partir de tabelas e grafos e/ou
visualização por redes (Gonzalez-Aguilar, Pinto, Semeler, Soares, 2017).
Resultados e Discussão
Para este apartado iremos tratar de apresentar os resultados levantados para identificar a
efetividade das revistas estudadas, bem como discutir as inferências que os modelos
matemáticos/estatísticos apresentam de forma individual cada revista e de âmbito geral
como é o relacionamento das revistas na troca de citações.
Aplicação da Visibilidade de Platz: Para a aplicação da visibilidade pela teoria de Platz
iremos realizar duas análises, a primeira averiguando a citação de cada revista dentro da
própria revista e a segunda que seria a averiguação do grau de citação da revista pelas
demais do seu conjunto de dados.
Como representação também iremos apresentar quais as outras revistas que se destacam
no universo de análise. Para o grau de efetividade interna, vamos demonstrar
isoladamente, em um quadro, como cada uma das cinco revistas se autocitam. É crucial
mencionar que o efeito de autocitação das revistas não é amplamente problemático
como as autocitações de autores, visto que as revistas não controlam este índice,
diferentemente do caso para autoridades.
A Tabela 1 apresenta os dados para o Platz interno e externo do conjunto das cinco
revistas.
Tabela 1: Platz interno e externo das revistas estudadas (N=5)
Revista
Platz Interno
Platz Externo
Encontros Bibli
0,23
0,90
Em Questão
0,42
0,88
Informação & Sociedade
0,43
2,59
Perspectivas em Ciência da Informação
0,53
1,85
Transinformação
0,82
2,93
Fonte: Dados da pesquisa, 2021.
A visibilidade de Platz interna é a proporção de citações oriundas da própria revista por
artigos publicados. Este modelo determina como cada revista se comporta. Para nosso
modelo de análise, temos este índice sendo representado da seguinte forma: quanto
menor for o índice da revista (próximo a zero), menor também será seu nível de
autocitação.
Em relação ao modelo de visibilidade de Platz externa, que é a união de todas as
citações dentro do conjunto de dados, temos a proporção de visibilidade geral de cada
uma das revistas analisadas. Neste caso o processo trabalha com a seguinte visão:
quanto maior for o índice de uma revista, melhor será sua visibilidade.
Discutindo nossos dados podemos afirmar que a revista com melhor desempenho de
citação, no conjunto analisado para a Ciência da Informação, é a Transinformação
seguida da Informação & Sociedade. Estas duas revistas conseguem ter relativa
visibilidade dentro da própria revista (citações internas) como no quesito de ser
lembrada pelas demais revistas do conjunto.
Um detalhe que deve ser reforçado, este conjunto de dados é relativamente pequeno,
porém pode dar várias inferências: a primeira é que são revistas indexadas na Web of
Science e provavelmente este será o universo de pares de citação nesta base de dados,
pois raramente uma revista internacional irá citar estas revistas, em especial se as
mesmas continuarem a publicar majoritariamente seus estudos em português; Em
segundo lugar, se realizarmos uma análise por sistemas abertos de citação
provavelmente teremos outras revistas que consideram estas revistas de suma relevância
para a área de Ciência da Informação, e conseqüentemente teremos um nível melhor de
citação externa destas revistas; Terceira e última, o nosso conjunto de dados é bem
limitado, porém tente vislumbrar este mesmo cenário com todas as revistas brasileiras
que poderiam ser extraídas do conjunto de currículos dos pesquisadores cadastrados na
Plataforma Lattes e os índices de citação das revistas pelo OpenCitations ou CrossRef,
em que seria possível identificar de que forma algumas revistas são relevantes para a
área no país utilizando a visibilidade de Platz.
Aplicação da visibilidade de Pinski e Narin: A aplicação desta análise tem uma relação
simétrica, em que nem sempre o efeito de citação de uma revista X para uma revista Y é
proporcional, por isso a representação tem o seguinte efeito: (1) a relação de citação da
Encontros Bibli para as demais revistas são muito similares, variando entre 17 a 26
citações; Esta mesma variação para a revista Em Questão está entre 14 a 35; Para a
revista Informação & Sociedade esta variação é de 6 a 20; Em se tratando da revista
Perspectivas em Ciência da Informação a variação foi entre 4 e 25, e; A revista
Transinformação teve esta variação entre 3 a 6. (2) A revista com melhor desempenho
de citação pelo quadro geral foi a Informação & Sociedade, com fator 0,83 (base de
cálculo foi citações individuais por cada revista do conjunto dividido pela totalidade de
citações de todo o conjunto), seguida pela Encontros Bibli (fator 0,75),
Transinformação (fator 0,72), Perspectivas em Ciência da Informação (fator 0,71) e Em
Questão (fator 0,52); (3) Todas as cinco revistas do conjunto de dados conseguiram
índices consideráveis de citação, porém em termos de citantes a revista
Transinformação não deu crédito às demais revista da área no Brasil.
Mais uma vez vale salientar que as revistas em si não é responsável pelos seus índices
de citações, pois quem elabora e defende as propostas dos artigos são os autores,
entretanto o reflexo que consta nas análises de visibilidade pode auxiliar as revistas em
encontrar melhores soluções de se integrarem com as demais revistas nacionais, como
apresentado no nosso caso específico.
Em relação a variação de cada revista citante pela revista citada temos este índice na
Tabela 1, em que é possível identificar nossa matriz de análise.
Figura 1: Grafo de inter-citação a partir dos dados das cinco revistas estudadas
Fonte: Dados da pesquisa, 2021.
A Figura 1 ilustra como cada revista cita seus pares e inclusive como é o nível de
autocitação.
Tabela 2: Aplicação da Visibilidade de Pinski e Narin
Em
Questão
Informação &
Sociedade
Perspectivas
em CI
Transinformação
Encontros Bibli
0,21
0,23
0,23
0,08
Em Questão
0
0,08
0,05
0,08
Informação &
Sociedade
0,33
0
0,26
0,03
Perspectivas
em CI
0,29
0,17
0
0,03
Transinformação
0,23
0,1
0,18
0
Fonte: Dados da pesquisa, 2021.
Visando uma melhor interação destes dados, buscamos ilustrar a visibilidade por grafos
gerados utilizando o software VOSviewer (Van Eck; Waltman, 2010), no qual fica
visível uma relação entre todos os agentes e que a integração dos dados (citantes x
citados) é plena, porém muito fraca em um dos ativos da rede
(Transinformação_citante) (Figura 2).
Figura 2: Visibilidade de rede citantes x citados
Fonte: Dados da pesquisa, 2021.
Indo um pouco além da visibilidade cruzada, pelo conjunto de cinco revistas, podemos
extrapolar e verificar quais são as principais revistas externas ao universo analisado, em
que:
Encontros Bibli citou também: Scientometrics n=37; Ciência da Informação
n=36; Journal of Documentation n=21; Informação & Informação n=19,
DataGramaZero n=18 e Journal of the Association for Information Science and
Technology n=17.
Em Questão citou também: Ciência da Informação n=34; Scientometrics n=24 e
Informação & Informação n=11.
Informação & Sociedade citou também: Scientometrics n=23; Ciência da
Informação n=16; Energy Police n= 15 e Informação & Informação n=12.
Perspectivas em Ciência da Informação citou também: Ciência da Informação
n= 32; Journal of Documentation n=11; Journal of the Association for
Information Science and Technology n=10, Knowledge Organization n=10 e
Revista de Administração Contemporânea n=10.
Transinformação citou também: Esta foi a revista que mais citou conteúdos de
revistas estrangeiras, como El Profesional de la Información n=19;
Scientometrics n=14; Ciência da Informação n=12; Journal of Knowledge
Management n=11 e Information, Communication & Society n=7.
Por fim, nesta análise, é importante destacar que este experimento seja replicado em
uma quantidade maior de anos, podemos melhorar a apuração dos dados e ao mesmo
tempo identificar outras revistas mais citadas pelo universo citante e inclusive ampliar o
escopo de número de revistas.
Visibilidade pelo h-5: No contexto deste estudo, outra abordagem que pode servir de
parâmetro de visibilidade de uma revista é pelo seu h-5 dentro do Google Scholar
Metrics, porém vamos agregar também nos últimos 5 anos o índice de citação total, o
artigo mais citado e a quantidade de artigos sem citação neste período (Tabela 3).
Esta análise destoa um pouco das demais, em que tivemos uma limitação de tempo
(realizado somente nos anos de 2020 e 2021 até o dia 01 junho), entretanto
consideramos que pode ser associada e pode servir de parâmetro na identificação de
visibilidade web.
Tabela 3: Visibilidade pelo H5
Revista
h5
h5 med
Total_Cit
%R S_Cit
Encontros Bibli
9
12
332
82,32
Em Questão
10
12
446
78,74
Informação & Sociedade
8
12
478
82,48
Perspectivas em Ciência da
Informação
11
20
933
69,87
Transinformação
12
21
419
58,59
Fonte: Dados da pesquisa, 2021.
Nota: h5 = índice-h de 5 anos; h5 med = índice-h de 5 anos calculado pela mediana; Total_Cit =
número total de citação da revista nos 5 anos pelo Google Acadêmico; %R S_Cit =
porcentagem de registros sem citação nos 5 anos pelo Google Acadêmico.
Como complemento de dados também extraímos o h5 mediana, o número total de
citação do conjunto de registros da revista (em 5 anos) no Google Scholar Metrics e a
porcentagem deste período de documentos sem citação.
Tratando da eficiência de citação temos como destaque as revistas Transinformação e
Perspectivas em Ciência da Informação, com índice superior a 10 no índice-h e 20 no
índice-h mediana. Em relação a quantidade de citações temos as revistas Perspectivas
em Ciência da Informação, Informação & Sociedade e a revista Em Questão, porém
vale fazer uma ressalva aqui, nada impede que uma revista tenha alto índice citação e
não tão elevado índice-h por uma questão bem simples, um único artigo pode ampliar o
índice de citação geral, por isso que é vital analisar ambos índices em conjunto.
Por último e não menos importante, é relevante que também seja vislumbrado a
porcentagem de documentos que não possuem qualquer citação. Se este índice for
inferior a 50% poderíamos considerar, por exemplo, que a revista é de impacto mundial.
No nosso caso conseguimos identificar que duas revistas estiveram com índices bem
próximos, sendo Perspectivas em Ciência da Informação (69,87%) e Transinformação
(58,59%) consequentemente.
Considerações Finais
Revistas científicas são elementos chave no processo de estabelecimento de uma
comunicação científica efetiva para o seu campo de atuação. No presente estudo,
fazendo uso de fontes de dados conhecidas, a Web of Science e o Google Scholar, e
com perfis bastante diferentes, buscamos avaliar cinco das principais revistas brasileiras
da Ciência da Informação para avaliar algumas métricas visando uma possível aplicação
futura utilizando dados do BrCris/IBICT. Os resultados obtidos mostram o
posicionamento relativo na troca de citações a partir de uma amostra de seus artigos
num período recente e elenca proximidades e relações existentes como apresentado na
Figura 2. Num olhar para as planilhas de dados vemos que estas cinco revistas têm
fortes relações via citações com revistas internacionais como a Scientometrics, JASIST,
Journal of Documentation e Knowledge Organization, assim como com brasileiras
como a Ciência da Informação e Informação e Informação. Acreditamos que com dados
estruturados a partir de fontes nacionais a serem coletadas dentro do projeto do
BrCris/IBICT, um melhor entendimento das relações das revistas nacionais com demais
revistas não indexadas em bases como a Web of Science possam transparecer.
Aplicações similares poderão ser feitas utilizando dados da OpenCitations, Diadorim,
Latindex, DOAJ, CrossRef, Urichlsweb, SherpaRomeo, INSS Portal e CV Lattes.
Agradecimentos
Aos demais membros da equipe de desenvolvimento do Projeto BrCris, nominalmente:
Ary Gabriel Dias; Jesús Mena-Chalco; Josir Gomes; Juliana Schineider; Lautaro Matas;
Luc Quoniam; Tales Moreira; e Vivian Silva.
Bibliografia
Ferraza, Adriana Cioato; Pinto, Adilson Luiz (2017). Métodos quantitativos aplicados à
Biblioteconomia e à Documentação. Chapecó: Argos.
Garfield, E. (2019) Citation indexes for science through association of ideas. Science,
122(3159), p.108-111. http://garfield.library.upenn.edu/papers/science1955.pdf. Acesso
em: 01/06/2021.
Gonzalez-Aguilar, Adilson; Pinto, Adilson Luiz; Semeler, Alexandre Ribas; Soares,
Ana Paula Alves (2017). Visualização de dados, informação e conhecimento.
Florianópolis: EdUFSC.
Hirsch, Jorge E. (2005). An index to quantify an individual's scientific research output.
Proceedings of the National Academy of Sciences of the United States of America.
102(46), p. 16569-72. http://dx.doi.org/10.1073/pnas.0507655102. Acesso em:
01/06/2021.
Pinski, Gabriel; Narin, Francis (1976). Citation influence for journal aggregates of
scientific publications: Theory, with application to the literature of physics. Information
Processing and Management, 12(5), 297312. https://doi.org/10.1016/0306-
4573(76)90048-0. Acesso em: 01/06/2021.
Platz, Arthur. (1965). Psychology of the scientist: XI. Lotka's law and research
visibility. Psychological Reports, 16(2), p. 566568.
https://doi.org/10.2466/pr0.1965.16.2.566. Acesso em: 01/06/2021.
Van Eck, N.J.; Waltman, L. (2010). Software survey: VOSviewer, a computer program
for bibliometric mapping. Scientometrics, 84, p.523. http://dx.doi.org/10.1007/s11192-
009-0146-3. Acesso em: 01/06/2021.
ResearchGate has not been able to resolve any citations for this publication.
Article
Full-text available
We present VOSviewer, a freely available computer program that we have developed for constructing and viewing bibliometric maps. Unlike most computer programs that are used for bibliometric mapping, VOSviewer pays special attention to the graphical representation of bibliometric maps. The functionality of VOSviewer is especially useful for displaying large bibliometric maps in an easy-to-interpret way. The paper consists of three parts. In the first part, an overview of VOSviewer's functionality for displaying bibliometric maps is provided. In the second part, the technical implementation of specific parts of the program is discussed. Finally, in the third part, VOSviewer's ability to handle large maps is demonstrated by using the program to construct and display a co-citation map of 5,000 major scientific journals.
Article
Previous research has shown that, when scientists are rank ordered on the basis of number of publications and the number of publications is then plotted against these ranks, the resulting productivity curves are typically exponential in form. Citations to journal articles were analyzed to show that citations are similarly distributed, with the 10% most frequently cited articles receiving approximately 40% of the citations. Reanalysis of data published by Dennis (1954) suggests that there is little relation between the number of articles published by an author and the number of citations he receives per article.
Article
I propose the index h, defined as the number of papers with citation number ≥h, as a useful index to characterize the scientific output of a researcher. • citations • impact • unbiased
Visualização de dados
  • Ana Paula Soares
  • Alves
Soares, Ana Paula Alves (2017). Visualização de dados, informação e conhecimento. Florianópolis: EdUFSC.