Implicações do sistema de classificação de periódicos Qualis em práticas de publicação no Brasil entre 2007 e 2016
GAICIL Insights
Hand an academic community a scoreboard and it will learn to score. Brazil's Qualis journal classification system is a two-decade demonstration of that law.1 Qualis is a non-exhaustive list of journals, published annually by CAPES, used as an indicator of research quality and as part of the mechanisms that evaluate scientific production and distribute resources. The authors track how it shaped the publication behavior of Brazilian graduate programs, measuring publications in listed journals between 2007 and 2016 across eight evaluation areas and gauging international impact with the SJR index provided by Scopus.
The result reads like a case study in Goodhart's warning. Publication grew. Yet the system funneled articles toward a restricted number of journals, and production piled up mostly in the journals with lower impact factors among those on the list. Researchers concentrated on journals that bring more points in the Qualis system, regardless of their visibility from a national or international point of view. The growth in output did not necessarily raise its international visibility, and several journals indexed in international databases go unused precisely because they are absent from the list. The list became the territory.
Now look at artificial intelligence, where societies are busily building scoreboards of their own: capability benchmarks, safety scores, lab rankings, approved-tool lists for public procurement. The authors borrow from Bianco, Gras and Sutz the idea that research evaluation functions as a system of signals that influences production at a given time and place. Once a list decides funding or market access, effort flows toward the list. Qualis shows the result can be more output aimed at the scoring rule and less aimed at the goal the rule was meant to track.
Benchmarks are the obvious parallel. When one becomes the measure of progress, developers optimize for it, and gains on the benchmark can drift away from gains in usefulness. A static list of approved models or certified practices can freeze yesterday's frontier and discourage approaches the list never imagined. A classification built to lift quality ended up narrowing venues and concentrating effort where points were plentiful and readers were few.
Money sharpens the distortion. Graduate programs with higher scores receive more resources, a policy the authors question given the need to support new programs. Evaluation tied to allocation rewards incumbents who already understand the rule. Technology regulation that links market access to compliance scores risks the same tilt: established firms can afford to optimize for the rule, and newcomers meet a higher wall.
Then comes mission creep. CAPES states that the Qualis list should be restricted to evaluating graduate programs, yet most of the country's scientific production happens inside universities, and the graduate system is intrinsically linked to research. A tool designed for one job spread to others. AI rules are prone to the same drift: a voluntary standard becomes a procurement requirement, then a liability benchmark, then a de facto license.
None of this is a case against measuring. The authors note that, despite criticism, more and more countries evaluate university research comprehensively and systematically, and that Qualis criteria pushed editors to attend to aspects that standardize and improve journal visibility. Scoreboards can raise standards. The lesson is about design: keep metrics broad, revise them as the field moves, and keep them tethered to the outcome they proxy, here international visibility and impact.
The authors also model good scientific manners. Their analysis relies on Scopus for international visibility, and they note that other indexing databases could yield different results. That is precisely the habit AI evaluation needs: test a metric against alternatives before tying resources to it.
For the people designing the scoring systems of the AI era, Qualis is a free natural experiment, already run, already paid for. A list meant to promote quality pushed output toward lower-impact venues and narrowed researchers' choices. Evaluation regimes that stay open, comparative and responsive to newcomers are far likelier to channel effort toward real progress. The question to ask of any new AI benchmark is simple: twenty years from now, what will people have learned to game?
The broader moral fits on an index card. Measure what matters, refresh the measure often, and never let the measure become the mission.
Introduction
The journal classification system known as Qualis has been used as an indicator of the quality of research carried out in Brazil, as it is an important part of the mechanisms of scientific production evaluation and resource distribution in the country. In this context, this article intends to show how the Qualis classification system, a non-exhaustive list published annually, has induced the scientific production of Brazilian graduate programs, after two decades of its implementation by CAPES. To do that, the frequency of publications in journals that were in the Qualis system between 2007 and 2016 has been observed in eight different evaluation areas. Using the SJR index provided by Scopus, the international impact of the most frequent journals in that period was determined, as well as the concentration of articles in these same journals. Results showed that the Qualis system has directed the publication of articles in a restricted number of journals, a scientific production that was concentrated mostly in the journals with lower impact factor among the ones that composed the list. The data analysis showed that researchers have been concentrating efforts to publish in journals that bring higher number of points in the Qualis system, regardless of the visibility of these journals from a national or international point of view.
Takeaway
Nesse artigo buscou-se discutir a forma como o sistema Qualis tem induzido a produção científica brasileira. Os resultados apresentados mostram um aumento da produção científica nacional, mas também evidenciam que o Qualis a direcionou para um número restrito de periódicos. Por outro lado, esse aumento da produção não significou necessariamente um aumento de sua visibilidade internacional, já que essa produção se concentrou naqueles periódicos de mais baixo fator de impacto entre o restrito conjunto de veículos mais utilizados para publicação. Na medida em que a avaliação da produção científica no país define a forma de alocação de recursos financeiros, é natural que os critérios de avaliação sejam amplamente utilizados pelos pesquisadores na busca por melhores pontuações. Atualmente, os programas de pós-graduação com maior pontuação são aqueles que recebem mais recursos, postura que pode ser questionada quando se pensa na necessidade de impulsionar novos programas de pós-graduação. Nessa lógica, Bianco, Gras & Sutz (2016) colocam que a avaliação da pesquisa funciona como um sistema de sinais que influencia a produção científica em um determinado momento e lugar. No caso do Brasil, o Qualis é esse sistema de sinais e sendo este uma lista de classificação de periódicos não exaustiva, vários periódicos indexados em bases internacionais não são utilizados pela comunidade acadêmica justamente pelo fato de não comporem essa lista. Nesse viés, é importante ressaltar que, embora a CAPES coloque que o uso da lista Qualis deve ser restrita para a avaliação dos programas de pósgraduação, a maior parte da produção científica do país ocorre dentro das universidades.1
Por consequência, o sistema de pós-graduação está intrinsicamente ligado à geração de pesquisa em sua gênese, o que torna tal posicionamento daquela fundação não efetivo. Ainda nesse viés, cabe também destacar que a escolha de um periódico com algum impacto internacional para publicação não necessariamente garante que ele tenha uma boa classificação na lista Qualis, já que os indicadores bibliométricos não são utilizados por todas as áreas e em algumas delas são apenas ferramentas acessórias na decisão dos pares. E uma vez que essa classificação em alguma medida direciona financiamentos, submeter artigos para periódicos ainda não classificados pode não ser a opção mais eficaz quando se coloca em jogo a obtenção de recursos. Desse modo, esse trabalho vem mostrar que a utilização da lista Qualis por sucessivos anos conduziu a uma reatividade da comunidade científica nacional que não contribuiu para melhorar a visibilidade internacional da pesquisa desenvolvida no país. De um modo geral, apesar de várias críticas, cada vez mais países estão avaliando os resultados da pesquisa universitária de forma abrangente e sistemática, utilizando-se dos grandes rankings de periódicos. Nesse viés, em muitos países, os acadêmicos concentram seus esforços em publicar naquele grupo de periódicos mais altamente classificados. Esse comportamento, por sua vez, é frequentemente estimulado por suas instituições que estabelecem critérios promocionais, distribuição de cargas de ensino e bônus financeiro a partir de rankings de periódicos, muitas vezes restringindo para o pesquisador os veículos permitidos para publicação (McKinnon, 2013).
Conforme observado, o Brasil apresenta um cenário semelhante, porém a utilização dos grandes rankings internacionais de periódicos não é a referência principal, mas sim a lista Qualis, que diferentemente da primeira não conduz a produção para periódicos de visibilidade internacional. Em ambos modelos, a partir da utilização dessas listas, observa-se uma mudança da mentalidade acadêmica, em que a publicação de periódicos é cada vez mais percebida como forma acadêmica de pontuar do que um meio de disseminar resultados de pesquisa. Por outro lado, embora os dados apontem para um cenário no qual a lista Qualis não contribuiu para melhorar a visibilidade internacional da produção científica brasileira entre 2007 e 2016, também é importante destacar sua possível contribuição para qualificar os periódicos nacionais Implicações do sistema de classificação de periódicos Qualis em práticas de publicação no Brasil entre 2007 e 2016 16 nesse cenário. Desse modo, os critérios estabelecidos pelo Qualis têm levado editores a atentar para muitos aspectos que padronizam e melhoram a visibilidade dos periódicos científicos nacionais, tais como: adoção de identificadores DOI para os artigos publicados; inclusão de artigos de pesquisadores internacionais, muitas vezes publicados em língua estrangeira; indexação dos periódicos em diversas bases indexadoras nacionais e internacionais, tais como LATINDEX, Directory of Open Access Journals, Revistas de Livre acesso, entre outras. Contudo, a avaliação aprofundada destes fatores e sua contribuição para qualificar os periódicos nacionais está fora do escopo do estudo aqui apresentado, configurando-se em uma temática relevante para trabalhos futuros.
Entre as limitações da pesquisa, pode-se citar uso apenas da base Scopus como indicador da visibilidade internacional dos periódicos nos quais os pesquisadores brasileiros têm publicado seus trabalhos. O emprego de outras bases indexadoras poderia trazer resultados diferentes, o que possibilitaria contrastar resultados e ampliar a discussão sobre o tema.
Notes
- Alause Da Silva Pires et al., Implicações do sistema de classificação de periódicos Qualis em práticas de publicação no Brasil entre 2007 e 2016, 28 Educ. Pol'y Analysis Archives 25 (2020), https://doi.org/10.14507/epaa.28.4353. Takeaway source: Conclusões, reproduced from the openly licensed version (CC BY-SA 4.0). ↩
Cite as: Alause Da Silva Pires et al., Implicações do sistema de classificação de periódicos Qualis em práticas de publicação no Brasil entre 2007 e 2016, 28 Educ. Pol'y Analysis Archives 25 (2020), https://doi.org/10.14507/epaa.28.4353
Header image: Commons of the Huron University College Library.jpg by Gogerr, CC BY 4.0, via Wikimedia Commons.
