Estudo correlacional entre os resultados globais dos domínios do PISA 2018 e os indicadores do TALIS 2018

Abstract

O Programme for International Student Assessment (PISA) e o Teaching and Learning International Survey (TALIS) são estudos coordenados pela (OECD) com o objetivo de avaliar as competências que os alunos de 15 anos adquiriram para a vida ativa e o ensino e a aprendizagem no 3.º ciclo do ensino básico, através das opiniões de docentes, diretores e pais. Neste artigo, calculámos as correlações lineares entre os resultados, por países, dos 61 indicadores do TALIS 2018 e os resultados globais do PISA 2018, em Leitura, Matemática e Ciências. Verificámos que os parâmetros relacionados com as competências e conhecimentos básicos dos professores têm maior correlação com os resultados do PISA dos que os relacionados com prestígio, responsabilidade e autonomia e que o empenhamento dos professores e diretores na sua formação e desenvolvimento profissional tem correlação positiva com os resultados dos alunos no PISA. Verificámos também que a escassez ou inadequação de tecnologia digital para o ensino tem correlações negativas com as competências para a vida dos alunos e que o uso das tecnologias de informação e comunicação (TIC) no ensino não se traduz em melhores resultados no PISA.

Full text

179Revista Lusófona de Educação, 56, 179-197
doi: 10.24140/issn.1645-7250.rle56.12
Estudo correlacional
entre os resultados
globais dos domínios
do PISA 2018
e os indicadores
do TALIS 2018
Daniela Mascarenhas, João Sampaio Maia,
Vítor Rosa & Vítor Duarte Teodoro
Resumo
O Programme for International Student Assessment (PISA) e o Teaching
and Learning International Survey (TALIS) são estudos coordenados pela
(OECD) com o objetivo de avaliar as competências que os alunos de 15
anos adquiriram para a vida ativa e o ensino e a aprendizagem no 3.º ci-
clo do ensino básico, através das opiniões de docentes, diretores e pais.
Neste artigo, calculámos as correlações lineares entre os resultados, por
países, dos 61 indicadores do TALIS 2018 e os resultados globais do
PISA 2018, em Leitura, Matemática e Ciências. Vericámos que os pa-
râmetros relacionados com as competências e conhecimentos básicos
dos professores têm maior correlação com os resultados do PISA dos
que os relacionados com prestígio, responsabilidade e autonomia e que
o empenhamento dos professores e diretores na sua formação e desen-
volvimento prossional tem correlação positiva com os resultados dos
alunos no PISA. Vericámos também que a escassez ou inadequação
de tecnologia digital para o ensino tem correlações negativas com as
competências para a vida dos alunos e que o uso das tecnologias de
informação e comunicação (TIC) no ensino não se traduz em melhores
resultados no PISA.
Palavras-chave:
TALIS 2018; PISA 2018; avaliação; estudo correlacional.

180
Revista Lusófona de Educação, 56, 2022
Revista Lusófona de Educação
Correlational study between the global results of the PISA 2018 domains and
the TALIS 2018 indicators
Abstract: The Programme for International Student Assessment (PISA) and the Teaching and Learning Interna-
tional Survey (TALIS) are studies coordinated by the Organisation for Economic Co-operation and Development
(OECD) with the aim of assessing the competencies that 15-year-old students have acquired for active life and the
teaching and learning in the lower secondary through the opinions of teachers, principals and parents. In this paper,
we calculated the linear correlations between the results, by countries, of the 61 indicators of TALIS 2018 and the
overall results of PISA 2018, in Reading, Mathematics and Science. We found that parameters related to teachers’
basic skills and knowledge have a higher correlation with PISA results than those related to prestige, responsibility
and autonomy, and that commitment of teachers and head teachers to their training and professional development
correlates positively with pupils’ results in PISA. We also found that the scarcity or inadequacy of digital technology
for teaching has negative correlations with students’ life skills and that the use of information and communication
technologies (ICT) in teaching does not translate into better results in PISA.
Keywords: TALIS 2018; PISA 2018; evaluation; correlational study.
Étude corrélationnelle entre les résultats globaux des domaines PISA 2018 et
les indicateurs TALIS 2018
Résumé: Le Programme for International Student Assessment (PISA) et le Teaching and Learning International
Survey (TALIS) sont des études coordonnées par l’Organisation de coopération et de développement économique
(OCDE) qui visent à évaluer les compétences acquises par les élèves de 15 ans pour la vie active et l’enseignement et
l’apprentissage dans le premier cycle du secondaire, à travers les opinions des enseignants, des directeurs d’école et
des parents. Dans cet article, nous avons calculé les corrélations linéaires entre les résultats globaux de PISA 2018,
en lecture, mathématique et science. Nous avons constaté que les paramètres liés aux compétences et connais-
sances de base des enseignants présentent une corrélation plus élevée avec les résultats PISA que ceux liés au pres-
tige, à la responsabilité et à l’autonomie et que l’engagement des enseignants et des chefs d’établissement dans leur
formation et leur développement professionnel présente une corrélation positive avec les résultats des élèves dans
PISA. Nous avons aussi constaté que la rareté ou l’inadéquation des technologies numériques pour l’enseignement a
une corrélation négative avec les compétences de vie des élèves et que l’utilisation des technologies de l’information
et de la communication (TIC) dans l’enseignement ne se traduit pas pour de meilleurs résultats dans le PISA.
Mots-clés : TALIS 2018, PISA 2018, évaluation, étude corrélationnelle.
Estudio correlacional entre los resultados globales de los dominios PISA 2018
y los indicadores TALIS 2018
Resumen: El Programme for International Student Assessment (PISA) y el Teaching and Learning International Sur-
vey (TALIS) son estudios coordinados por la Organización para la Cooperación y el Desarrollo Económico (OCDE)
con el objetivo de evaluar las competencias que los alumnos de 15 años han adquirido para la vida laboral y la
enseñanza y el aprendizaje en el primer ciclo de secundaria, a través de las opiniones de los profesores, directores
y padres. En este artículo, calculamos las correlaciones lineales entre los resultados, por país, de los 61 indicadores
de TALIS 2018 con los resultados globales de PISA 2018 en Lectura, Matemáticas y Ciencias. Encontramos que
los parámetros relacionados con las habilidades y conocimientos básicos de los profesores tienen una mayor corre-
lación con los resultados de PISA que los relacionados con el prestigio, la responsabilidad y la autonomía y que el
compromiso de los profesores y directores con su formación y desarrollo profesional se correlaciona positivamente
con los resultados de los alumnos en PISA. Encontramos también que la escasez o inadecuación de la tecnología
digital para la enseñanza tiene correlaciones negativas con las habilidades vitales de los alumnos y que el uso de las
tecnologías de la información y la comunicación (TIC) en la enseñanza no se traduce en mejores resultados en PISA.
Palabras-clave: TALIS 2018; PISA 2018; evaluación; estudio correlacional.

Revista Lusófona de Educação
Mascarenhas, Maia, Rosa & Teodoro:
Estudo correlacional entre os resultados globais dos domínios do PISA 2018 e os indicadores do TALIS 2018
181
1. Introdução
O Programme for International Student Assessment (PISA) e o Teaching and Learn-
ing International Survey (TALIS) constituem dois dos maiores estudos envolvendo es-
tudantes, professores, diretores de escola e pais, atualmente em curso, e são coor-
denados pela Organisation for Economic Co-operation and Development (OECD). Os
dados destes estudos oferecem aos investigadores e aos políticos oportunidades para
identificar disposições institucionais educativas específicas, ou seja, como são os as-
petos dos sistemas educativos organizados para promover a igualdade de oportunida-
des educativas tanto a nível interno como entre os países (Teodoro, 2020). Permitem
a comparação das políticas públicas adotadas pelos países, a informação sobre os
sistemas educativos, a análise da educação e do desenvolvimento de políticas em
determinadas áreas e a possibilidade dos países aprenderem com as abordagens rea-
lizadas por outros com problemas equivalentes (Escudero et al., 2017; Ludvigsen et
al., 2016; OECD, 2013, 2014, 2019a, 2019b, 2019c, 2020b).
O PISA avalia o grau de preparação dos jovens de 15 anos de idade para enfrentar
os desafios das sociedades e que frequentam, pelo menos, o 7.º ano de escolarida-
de. Não pretende avaliar as aprendizagens curriculares, mas as competências que os
alunos adquiriram para a vida ativa e que devem refletir a capacidade dos jovens em
aplicar o que aprenderam e de continuar a sua educação ao longo da vida. Através de
um rigoroso processo de amostragem, o PISA combina a avaliação da literacia em três
áreas principais: Leitura, Matemática e Ciências. Procura estudar também a Resolução
Colaborativa de Problemas e a Literacia Financeira. O PISA é administrado em ciclos
de três anos e em cada administração centra-se mais especificamente numa das três
áreas principais, tendo-se iniciado em 2000, com foco principal em Leitura (Rosa et
al., 2020).
As avaliações cognitivas dos alunos são complementadas por informações sobre
os contextos socioeducativos. Querendo inscrever as questões de avaliação da litera-
cia no mundo real, o PISA distingue e hierarquiza os tipos de situações nos quais os
problemas são encontrados. O quadro de referência aponta para que as situações se
enquadrem numa grande variedade de contextos: a) situação próxima do aluno — a
sua vida pessoal e familiar; b) situação afastada do aluno — a sua vida escolar, o mun-
do do trabalho e os lazeres; c) situação ainda mais afastada do aluno — a comunidade
local e a sociedade nacional ou mundial; d) situação extremamente afastada do aluno
— as situações de natureza científica.
O TALIS é um estudo sobre o ensino e a aprendizagem, procurando refletir sobre
os ambientes de aprendizagem nas escolas e as condições de trabalho dos docentes
e dos diretores de escolas. Esta avaliação internacional tem uma periodicidade quin-
quenal e já se realizaram três edições (2008, 2013 e 2018), com participação sempre
crescente de países e economias: 24, 34 e 48, respetivamente.

182
Revista Lusófona de Educação, 56, 2022
Revista Lusófona de Educação
A recolha de dados é feita através dos docentes e diretores de escolas do 3.º
ciclo do ensino básico (CEB) que é o nível 2 da International Standard Classification
of Education (ISCED). Em complemento de informação, alguns países optaram ainda
pela avaliação dos docentes do 1.º CEB, que é o nível 1 da ISCED e dos docentes do
nível secundário (nível 3 da ISCED) (UNESCO, 2012; OECD, 2020a; Nilsen et al., 2020).
As temáticas abordadas por este estudo internacional são a formação, o desenvol-
vimento profissional e as práticas pedagógicas dos docentes, a liderança e o ambiente
nas escolas e a satisfação e as motivações de docentes e diretores. Em 2018, foram
introduzidas também a equidade e a diversidade e, ainda, a inovação (OECD, 2019c).
A ênfase da edição TALIS 2018 recai, em grande medida, sobre a formação dos do-
centes, as suas práticas, motivações e conceções pedagógicas.
Segundo o TALIS, o docente é alguém cuja atividade principal ou secundária na
escola é a instrução do aluno, dando aulas numa classe inteira, em pequenos grupos
ou individualmente, e compartilhando seu tempo de ensino eventualmente em mais de
uma escola (OECD, 2014). Diversos estudos enfatizam que os professores constituem
o centro do sistema escolar, associando a qualidade dos professores à qualidade das
aprendizagens dos alunos (e.g., Comissão Europeia, 2010; Hall et al., 2020; Hanu-
shek, 2021; Maia et al., 2022; Rodrigues et al., 2018; Rutkowski et al., 2013; Sørensen
& Robertson, 2020; UNESCO, 2015; Zakariya, 2020).
Não são muitos os estudos que procuram analisar as convergências e as divergên-
cias entre o PISA e o TALIS, referindo as limitações de natureza metodológica e instru-
mental e sugerindo a necessidade de se refletir sobre a interpretação dos resultados
(Austin et al., 2015; Delprato & Chudgar, 2018; Escudero et al., 2017; Fernández-Díaz
et al., 2016; Liu et al., 2020; Liu et al., 2022; Ludvigsen et al., 2016). Todos estes
estudos comparativos diz respeito ao PISA 2012 e ao TALIS 2013. Não encontrámos
autores que o fizessem em relação aos resultados de 2018 destes dois estudos.
Neste artigo apresentamos uma análise comparativa correlacional entre os resul-
tados obtidos no PISA e no TALIS pelos diferentes países/economias, em 2018. Esse
ano foi especial, pois realizaram-se estes dois estudos, o que anula, de alguma forma,
a limitação referida por Ferrera e Izquierdo (2016) em relação aos estudos de compa-
ração entre os resultados de anos diferentes, como no caso de PISA 2012 e TALIS
2013. Esta conjugação cronológica, permitiu conjugar três fatores favoráveis a essa
análise: dados recolhidos pela mesma organização, no mesmo ano letivo e através de
professores que lecionavam e diretores que dirigiam escolas do 3.º CEB e de alunos
que frequentavam, na sua maioria, escolas deste nível escolar, embora não neces-
sariamente das mesmas escolas. Para o efeito, recorremos à recolha documental e
bibliográfica, a nível nacional e internacional, bem como às bases de dados da OECD
(2021), pretendendo contribuir para uma melhor compreensão do estado da educação
nos países/economias participantes nos dois estudos.

Revista Lusófona de Educação
Mascarenhas, Maia, Rosa & Teodoro:
Estudo correlacional entre os resultados globais dos domínios do PISA 2018 e os indicadores do TALIS 2018
183
2. Signicado dos resultados do PISA e do TALIS
A OECD (2019a, 2019b) refere que os resultados globais do PISA traduzem a pon-
tuação obtida pelos participantes em questões com três níveis de proficiência, eleva-
da, intermédia e baixa, que são divididos em diferentes subníveis conforme o domínio
de literacia: Leitura, Matemática e Ciências. Teodoro et al. (2022) apresentam uma
análise meticulosa sobre como os alunos respondem aos testes PISA, nos itens de
Matemática e Ciências.
Cada domínio é organizado em diversas dimensões. As diferentes questões abran-
gem uma variedade de processos cognitivos, específicos de cada domínio e, por
exemplo, a literacia em Leitura no PISA 2018 foi organizada em três grandes cate-
gorias: localizar informação, compreender, e avaliar e refletir, todas elas divididas em
subcategorias (OECD, 2019a).
Tabela 1 Áreas de indicadores no TALIS 2018, por Volume, e respetivos Pilares que a OECD
considera que sustentam a profissão de professor e diretor escolar
Volume Pilar Área
ICompetências e
conhecimentos
básicos
CC1 TIC para o ensino
CC2 Ensino em contextos multiculturais ou multilingues
CC3 Ensino de alunos com diversos níveis de capacidades e
necessidades
CC4 Comportamento do aluno e gestão da sala de aula
CC5 Formação inicial e contínua
CC6 Perfis sociodemográficos e de experiência de professores e
diretores
II Oportunidades de
carreira
PR1 Apoio ao crescimento dos profissionais de ensino por meio de
integração, tutoria e colaboração
Prestígio e posição PR2 Capacitação dos profissionais de ensino por meio de
autonomia, liderança e oportunidades de progressão na carreira
Regulação por
pares e cultura
colaborativa
PR3 Satisfação de professores e líderes escolares com seu trabalho
Responsabilidade e
autonomia
PR4 Retenção de profissionais de ensino por meio de condições
de trabalho satisfatórias e recompensadoras, bem-estar e
empregos satisfatórios
Nota: Os nomes dos Pilares e Áreas são traduções realizadas pelos autores dos nomes usados pela OECD
(2019c, 2020b) e os acrónimos das diferentes Áreas são definidos pelos autores.
Os dois relatórios da OECD (2019c, 2020b) sobre o TALIS 2018 apresentam 61
indicadores quantificados agrupados em dez áreas, seis no Volume I (V1) e quatro
no Volume II (V2). Os indicadores do V1 estão relacionados com o primeiro de cinco

184
Revista Lusófona de Educação, 56, 2022
Revista Lusófona de Educação
Pilares que a OECD (2019c, 2020b) considera que sustentam as profissões de pro-
fessor e diretor escolar – Competências e Conhecimentos Básicos – e os do V2 estão
relacionados com os restantes quatro Pilares – Oportunidades de Carreira, Prestígio e
Posição; Regulação por Pares e Cultura Colaborativa; Responsabilidade e Autonomia.
Desses 61 indicadores, 50 são dirigidos a professores e os restantes 11 a diretores.
A Tabela 1 apresenta essas áreas e os Volumes e Pilares respetivos.
As Tabelas 2 e 3 apresentam os indicadores relativos a docentes, respetivamente
do V1 (P1 a P29) e do V2 (P30 a P50), e a Área em que se enquadra cada indicador. A
Tabela 4 apresenta os indicadores TALIS relativos a diretores (em V1 e V2), que desig-
námos por D1 a D11, e a respetiva Área. O número apresentado em cada um destes
indicadores destas três Tabelas corresponde à percentagem de docentes de cada
país/economia que verificam a condição em causa, com exceção dos indicadores P29
e D8 que mostram o número médio de anos de experiência dos docentes.
Tabela 2 Indicadores quantificados no TALIS 2018 e respetivas Áreas do Pilar Competências e
Conhecimentos Básicos (VI) que a OECD considera que sustenta a profissão docente
Área Indicador
CC1
P1 % de docentes para os quais o “uso de TIC para o ensino” foi incluído na sua
formação inicial ou contínua
P2 % de docentes que se sentem “bem preparados” ou “muito bem preparados”
para o uso das TIC no ensino
P3 % de docentes para os quais o “uso de TIC para o ensino” foi incluído nas
suas atividades recentes de desenvolvimento profissional
P4 % de docentes que relatam um alto nível de necessidade de desenvolvimento
profissional em competências de TIC no ensino
P5 % de docentes que “frequentemente” ou “sempre” admitem que os alunos
usem as TIC em projetos ou em trabalhos na sala de aula
CC2
P6 % de docentes que lecionam em turmas com mais de 10% de alunos cuja
língua materna é diferente da língua de ensino
P7 % de docentes para os quais “ensinar num contexto multicultural ou
multilingue” foi incluído na sua formação inicial ou contínua
P8 % de docentes que se sentem “bem preparados” ou “muito bem preparados”
para ensinar num contexto multicultural ou multilingue
P9 % de docentes para os quais “ensinar num contexto multicultural ou
multilingue” foi incluído nas suas atividades recentes de desenvolvimento
profissional
P10 % de docentes que relatam um alto nível de necessidade de desenvolvimento
profissional num contexto multicultural ou multilingue
P11 % de docentes que sentem que podem lidar “razoavelmente” ou “bem” com
os desafios de ensinar uma turma culturalmente diversa

Revista Lusófona de Educação
Mascarenhas, Maia, Rosa & Teodoro:
Estudo correlacional entre os resultados globais dos domínios do PISA 2018 e os indicadores do TALIS 2018
185
Área Indicador
CC3
P12 % de docentes que lecionam em turmas com mais de 10% de alunos com
necessidades especiais
P13 % de docentes para os quais “ensinar num contexto de capacidades mistas”
foi incluído na sua formação inicial ou contínua
P14 % de docentes que se sentem “bem preparados” ou “muito bem preparados”
para ensinar num contexto de capacidades mistas
P15 % de docentes para os quais “ensinar alunos com necessidades especiais” foi
incluído nas suas atividades recentes de desenvolvimento profissional
P16 % de docentes que relatam um alto nível de necessidade de desenvolvimento
profissional no ensino de alunos com necessidades especiais
CC4
P17 % de docentes para os quais “comportamento do aluno e gestão de sala de
aula” foi incluído na sua formação inicial ou contínua
P18 % de docentes que se sentem “bem preparados” ou “muito bem preparados”
em relação ao comportamento dos alunos e à gestão da sala de aula
P19 % de docentes para os quais “comportamento do aluno e gestão de sala de
aula” foi incluído nas suas atividades recentes de desenvolvimento profissional
P20 % de docentes que relatam um alto nível de necessidade de desenvolvimento
profissional em relação ao comportamento do aluno e à gestão da sala de aula
P21 % de docentes que sentem que podem controlar o comportamento
perturbador na sala de aula
P22 % de docentes que “concordam” ou “concordam totalmente” que perdem
muito tempo porque os alunos interrompem a aula
CC5
P23 % de docentes para os quais o conteúdo, a pedagogia e a prática na sala de
aula em algumas ou todas as disciplinas que ministra foram incluídos na sua
formação inicial ou contínua
P24 % de docentes que não participaram em atividades formais ou informais de
integração na escola atual
P25 % de docentes novatos que têm um mentor designado na escola atual
P26 % de docentes que participaram, pelo menos, numa atividade de
desenvolvimento profissional nos 12 meses anteriores a esta pesquisa
CC6
P27 % de docentes do sexo feminino
P28 % de docentes com 50 anos ou mais
P29 Anos de experiência como professor
Nota. Os nomes dos indicadores são traduções realizadas pelos autores dos usados pela OCDE (2019c,
2020b) e as abreviaturas são definidas pelos autores. As designações das Áreas correspondem aos
acrónimos definidos na Tabela 1) .

186
Revista Lusófona de Educação, 56, 2022
Revista Lusófona de Educação
Tabela 3 Indicadores quantificados no TALIS 2018 e respetivas Áreas dos Pilares do V2 que a
OECD considera que sustentam a profissão docente
Área Indicador
PR1
P30 % de docentes que não participaram em atividades formais ou informais de
integração na escola atual
P31 % de docentes em indução profissional que têm um mentor designado na
escola atual
P32 % de docentes que “concordam” ou “concordam totalmente” que existe uma
cultura escolar colaborativa caracterizada por apoio mútuo
P33 % de docentes que relatam participar em aprendizagem profissional
colaborativa pelo menos uma vez por mês
P34 % de docentes que receberam, nos 12 meses anteriores a esta pesquisa, um
feedback que teve um impacto positivo na sua prática de ensino
P35 % de docentes que, em algum momento, receberam feedback com base em,
pelo menos, quatro métodos diferentes
PR2
P36 % de docentes cujos diretores relatam que os seus docentes nunca são
avaliados formalmente
P37 % de docentes que têm controle sobre a definição do conteúdo da disciplina
P38 % de docentes que “concordam” ou “concordam totalmente” que sua escola
oferece aos seus profissionais oportunidades de participar ativamente nas
decisões escolares
P39 % de docentes de escolas cuja gestão não tem responsabilidade sobre o
salário onde a avaliação formal pode resultar em aumentos salariais por
decisão da gestão escolar
P40 % de docentes de escolas cuja gestão tem responsabilidade sobre o salário
onde a avaliação formal pode resultar em aumentos salariais por decisão da
gestão escolar
PR3
P41 % de docentes que pensam que sua profissão é valorizada pela sociedade
P42 % de docentes que, no geral, estão satisfeitos com o seu trabalho
P43 % de docentes que estão satisfeitos com o salário que recebem pelo seu
trabalho
P44 % de docentes que estão satisfeitos com os termos do seu contrato (além do
salário)
PR4
P45 % de docentes com contratos permanentes
P46 % de docentes com contratos a termo (um ano letivo ou menos)
P47 % de docentes que gostariam de mudar de escola, se possível
P48 % de docentes que sofrem “muito” de stress no seu trabalho
P49 % de docentes que relatam que muito trabalho administrativo é uma fonte de
“bastante” ou “muito” stress
P50 % de docentes com 50 anos ou menos que desejam deixar o ensino nos
próximos cinco anos
Nota: Ver nota da Tabela 2.

Revista Lusófona de Educação
Mascarenhas, Maia, Rosa & Teodoro:
Estudo correlacional entre os resultados globais dos domínios do PISA 2018 e os indicadores do TALIS 2018
187
Tabela 4 Indicadores quantificados no TALIS 2018 e respetivas Áreas dos Pilares que a OECD
considera que sustentam a profissão de diretor escolar
Área Indicador
CC1 D1 % de diretores que relatam escassez ou inadequação de tecnologia digital
para o ensino
CC3 D2 % de diretores que relatam falta de docentes com competência para ensinar
alunos com necessidades especiais
CC5
D3 % de diretores para os quais nunca foram incluídos na sua formação inicial
ou contínua programas ou disciplinas de formação em administração ou
direção escolar
D4 % de diretores que nunca receberam nenhuma formação de liderança escolar
D5 % de diretores que participaram em, pelo menos, uma atividade de
desenvolvimento profissional nos 12 meses anteriores a esta pesquisa
CC6
D6 % de diretores do sexo feminino
D7 % de diretores com 60 anos ou mais
D8 Anos de experiência como diretor
PR2
D9 % de diretores que “frequentemente” ou “muito frequentemente” realizaram
ações para apoiar a cooperação entre docentes para desenvolver novas
práticas de ensino nos 12 meses anteriores a esta pesquisa
D10 % de diretores que relatam que as suas escolas têm autonomia para
determinar os aumentos salariais dos docentes
PR3 D11 % de diretores que, no geral, estão satisfeitos com o seu trabalho
Nota: Ver nota da Tabela 2.
3. Metodologia
Dado que em 2018 se realizaram os projetos TALIS e PISA, decidimos fazer uma
análise comparativa correlacional entre os resultados obtidos por cada país/economia
em cada domínio do PISA e nos indicadores do TALIS. Investigámos se havia cor-
relações lineares com significado estatístico entre as variáveis em causa, usando o
coeficiente de correlação linear de Pearson (r), para o que definimos o habitual nível de
significância em estudos educativos de5%.
Cruzámos os resultados globais dos diferentes países em cada um dos três domí-
nios – Leitura, Matemática e Ciências – do PISA 2018 com os resultados dos diferentes
países em cada um dos 61 indicadores do TALIS 2018: 50 respeitantes a professores e
11 aos diretores. Determinámos o valor de 183 correlações (3 × 61), tendo como base
os países/economias que eram comuns aos dois estudos em cada cruzamento. O nú-
mero de países nessas condições variou entre 34 e 40 nas 183 correlações calculadas.

188
Revista Lusófona de Educação, 56, 2022
Revista Lusófona de Educação
Dessas correlações, 150 dizem respeito a professores (3 domínios × 50 indicadores) e
33 a diretores (3 domínios × 11 indicadores). Fizemos uma análise por área e, quando
justificado, uma referência a indicadores em particular.
4. Análise dos dados e resultados
Dada a forma negativa como estão redigidos alguns dos indicadores do TALIS
2018, o sinal, positivo ou negativo, das correlações calculadas não aponta, necessa-
riamente, o sentido da influência do indicador sobre os resultados do PISA. Por exem-
plo, uma eventual correlação positiva do indicador “P25 – % de docentes novatos que
têm um mentor designado na escola atual” com os resultados globais da Matemática
indicaria que os resultados nesse domínio seriam melhores nos países com elevada
percentagem de docentes apoiados por um mentor. Mas uma eventual correlação
igualmente positiva do indicador “P24 – % de docentes que não participaram em
atividades formais ou informais de integração na escola atual” com os resultados no
mesmo domínio indicaria que esses resultados seriam piores nos países com elevada
percentagem de docentes que participaram nessas atividades, isto porque este indica-
dor está redigido na negativa. Ou seja, o tipo de redação do indicador é determinante
para uma influência positiva ou negativa nos resultados do PISA, qualquer que seja o
sinal da correlação.
4.1 Estudo correlacional PISA 2018/TALIS 2018 – Professores
Das 150 correlações calculadas entre os resultados globais em qualquer dos três
domínios do PISA 2018 e os indicadores do TALIS 2018 referentes a professores, 40
(26,7 %) foram estatisticamente significativas, das quais 10 (25 %) foram positivas.
A Figura 1 mostra, a título de exemplo e numa graduação em três tons, os gráficos
com as correlações entre os resultados globais dos três domínios do PISA 2018 e os
resultados nos seis indicadores da Área “CC1 – TIC para o ensino” do TALIS 2018 e os
respetivos coeficientes de correlação de Pearson (r) e valor de prova (p). No tom mais
escuro estão as correlações significativas mais altas (p < 0,01), no tom intermédio, as
correlações significativas mais baixas (0,01 ≤ p < 0,05), e a branco as correlações não
significativas. Os restantes gráficos com as correlações entre os resultados do PISA
2018 e os resultados nos indicadores das outras nove Áreas do TALIS 2018 são apre-
sentados em anexo na versão on-line do artigo.

Revista Lusófona de Educação
Mascarenhas, Maia, Rosa & Teodoro:
Estudo correlacional entre os resultados globais dos domínios do PISA 2018 e os indicadores do TALIS 2018
189
Figura 1 Relações entre os resultados globais dos três domínios do PISA 2018 e os resultados
nos seis indicadores da Área “CC1 – TIC para o ensino” do TALIS 2018
A Tabela 5 apresenta o r e o p de cada correlação estatisticamente significativa.
Nas correlações de um indicador do TALIS com os três domínios do PISA simultanea-
mente, as positivas estão salientadas a cinzento-escuro e as negativas a cinzento-cla-
ro.

190
Revista Lusófona de Educação, 56, 2022
Revista Lusófona de Educação
Tabela 5 Correlações estatisticamente significativas entre os resultados globais nos três
domínios do PISA 2018 e os 50 indicadores do TALIS 2018 referentes a professores
TALIS 2018 PISA 2018
Área
Indicador
Leitura Matemática Ciências
+ – + – + –
r p r p r p r p r p r p
CC1
P2 –0,554 0,000 –0,583 0,000 –0,514 0,001
P4 –0,422 0,007 –0,355 0,025
P5 –0,300 0,032
CC2
P8 –0,361 0,022
P9 –0,349 0,030 –0,372 0,018
P10 –0,582 0,000 –0,709 0,000 –0,666 0,000
P11 –0,332 0,037
CC3
P12 0,432 0,006 0,361 0,022 0,330 0,037
P14 –0,415 0,009 –0,493 0,001 –0,401 0,010
P16 –0,430 0,006 –0,528 0,000 –0,500 0,001
CC4
P18 –0,564 0,000 –0,584 0,000 –0,508 0,001
P19 –0,577 0,000 –0,523 0,001 –0,461 0,003
P21 –0,339 0,035 –0,433 0,006
CC5 P26 0,331 0,040 0,423 0,007 0,442 0,004
PR1 P34 –0,372 0,020
P35 –0,422 0,008 –0,348 0,028
PR4 P45 0,337 0,036 0,331 0,037 0,340 0,032
P48 0,372 0,020
N.º de
correlações
significativas
410 312 3 8
Na Tabela 5 podemos verificar que:
1. Das 40 correlações estatisticamente signicativas, 34 (85 %) dizem respeito a in-
dicadores das Áreas do Pilar Competências e Conhecimentos Básicos (CC1 a CC6),
o que sugere que os parâmetros relacionados com o trabalho que os professores
realizam na sala de aula e o ambiente de aprendizagem têm mais relação com os
resultados que os alunos apresentam no PISA do que os parâmetros relacionados
com Prestígio, Responsabilidade e Autonomia. O facto de só uma das três Áreas
(CC6, PR2 e PR3) sem qualquer correlação estatisticamente signicativa ser desse

Revista Lusófona de Educação
Mascarenhas, Maia, Rosa & Teodoro:
Estudo correlacional entre os resultados globais dos domínios do PISA 2018 e os indicadores do TALIS 2018
191
pilar parece conrmar a maior importância dos respetivos parâmetros na aquisição
pelos alunos de competências para a vida.
2. Há 14 correlações signicativas entre os indicadores do TALIS e os resultados do
PISA na Leitura, 15 na Matemática e 11 nas Ciências, o que mostra que não há um
domínio do PISA especialmente relacionado com os resultados do TALIS.
3. Há três correlações positivas signicativas (em que p varia entre 0,004 e 0,040) entre
um indicador do TALIS (P12, P26 e P45) e simultaneamente os três domínios do
PISA. Estas correlações indicam que os países onde os docentes mais participaram
em atividades prossionais no último ano ou onde há mais contratos permanentes
têm melhores resultados nos três domínios do PISA; mas apontam também para que
quando há mais docentes a lecionar em turmas com mais alunos com necessidades
especiais, os resultados do PISA são melhores.
4. Há seis correlações negativas signicativas (todas com p ≤ 0,009) entre um indicador
do TALIS e os três domínios do PISA em simultâneo, mas em que distinguimos duas
situações de caráter diverso. A primeira referente aos indicadores P10, de CC2, e
P16, de CC3, que nos indica que nos países onde os docentes relatam um alto nível
de necessidade de desenvolvimento prossional, num contexto multicultural ou mul-
tilingue ou no ensino de alunos com necessidades especiais, haja piores resultados
nos três domínios do PISA. Estas correlações sugerem-nos que, como seria expec-
tável, a ausência de formação de docentes nesses contextos pode ter implicações
negativas na aprendizagem dos alunos. A segunda situação é referente aos indica-
dores P2, de CC1, P14, de CC3, P18 e P19, de CC4, que apontam para que nos
países onde os docentes se sentem mais preparados para o uso das Tecnologias de
Informação e Comunicação (TIC) no ensino, para ensinar num contexto de capacid-
ades mistas, em relação ao comportamento dos alunos e à gestão da sala de aula
ou para os quais o comportamento do aluno e gestão de sala de aula foi incluído nas
suas atividades recentes de desenvolvimento prossional haja piores resultados nos
três domínios do PISA. Estas correlações parecem indicar que a autoavaliação que
os professores fazem das suas capacidades no uso das TIC e na gestão da sala de
aula em contextos com níveis diversicados é sobrevalorizada, podendo ter impacto
negativo na aprendizagem dos alunos.
5. Há quatro indicadores que têm correlações signicativas (com p entre 0,006 e 0,032)
com dois dos domínios do PISA, mas não com os três simultaneamente. A Matemáti-
ca está implicada em todas elas, a Leitura em três e as Ciências numa. Considera-
mos que há duas situações diferentes. A primeira diz respeito a P4 e mostra que
os resultados do PISA são mais baixos nos países em que há mais docentes que
relatam que têm necessidade de formação no ensino das TIC, o que nos parece
uma situação expectável. A segunda respeita aos indicadores P9, P21 e P35 e diz-
nos que, contrariamente ao expectável, os resultados do PISA são mais baixos nos

192
Revista Lusófona de Educação, 56, 2022
Revista Lusófona de Educação
países em que há mais docentes que relatam que tiveram formação de ensino em
contexto multicultural ou multilingue, que sentem que podem controlar o comporta-
mento perturbador na sala de aula ou que que receberam feedback com base em,
pelo menos, quatro métodos diferentes. O segundo destes três casos parece conr-
mar que a autoavaliação que os professores fazem das suas capacidades para gerir
a sala de aula é sobrevalorizada.
4.2 Estudo correlacional PISA 2018/TALIS 2018 – Diretores
Das 33 correlações calculadas entre os resultados globais em qualquer dos três
domínios do PISA 2018 e os indicadores do TALIS 2018 referentes a diretores, 9
(27,2%) foram estatisticamente significativas, das quais 3 (33,3 %) foram positivas.
Note-se que estas percentagens são muito semelhantes às dos professores. A Tabela
6 apresenta a correlação de Pearson (r) e o valor de prova (p) para cada correlação
estatisticamente significativa.
Tabela 6 Correlações estatisticamente significativas entre os resultados globais nos três
domínios do PISA 2018 e os 11 indicadores do TALIS 2018 referentes a diretores
TALIS 2018 PISA 2018
Área
Indicador
Leitura Matemática Ciências
+ – + – + –
r p r p r p r p r p r p
CC1 D1 –0,595 0,000 –0,629 0,000 –0,548 0,000
CC5 D5 0,354 0,027 0,479 0,002 0,470 0,002
PR2 D9 –0,685 0,000 –0,690 0,000 –0,598 0,000
Na Tabela 6 podemos observar que:
1. Quando há uma correlação signicativa entre um indicador e um domínio, também se
verica entre esse indicador e os restantes domínios.
2. Há um indicador com correlações positivas e dois com correlações negativas signi-
cativas.
3. As correlações do indicador D5 com os resultados do PISA conrmam que o empen-
hamento dos prossionais no seu desenvolvimento prossional está positivamente
correlacionado com os resultados dos alunos no PISA.
4. As elevadas correlações (com p < 0,001) negativas de D1 com os resultados do
PISA mostram que quanto mais elevada é a percentagem de diretores que relatam
escassez ou inadequação de tecnologia digital para o ensino, mais baixos são os
resultados dos alunos no PISA 2018 nos três domínios. Isto parece apontar para que
a ausência desse material tenha repercussões negativas nos resultados dos alunos

Revista Lusófona de Educação
Mascarenhas, Maia, Rosa & Teodoro:
Estudo correlacional entre os resultados globais dos domínios do PISA 2018 e os indicadores do TALIS 2018
193
no PISA e conrmar que a autoavaliação que os professores fazem das suas capaci-
dades no uso das TIC é sobrevalorizada.
5. As elevadas correlações (com p < 0,001) negativas do indicador D9 com os resulta-
dos dos alunos no PISA parecem indicar que os esforços dos diretores para fomentar
a cooperação dos docentes no desenvolvimento de novas práticas de ensino não
foram bem-sucedidos ou que essas práticas não estão a traduzir-se em resultados
positivos na aprendizagem de competências para a vida pelos alunos.
Conclusões
O PISA, que se realiza de três em três anos desde 2000, procura avaliar as compe-
tências para a vida dos alunos de 15 anos no âmbito de várias literacias, com especial
relevo em Leitura, Ciências e Matemática. O TALIS, que se realiza quinquenalmente
desde 2008, é o primeiro inquérito internacional que procura recolher a opinião dos di-
retores de escola e dos docentes do 3.º CEB sobre as práticas pedagógicas e aspetos
relacionados com a sua profissão.
Tendo em conta que os estudos empíricos recorrendo ao TALIS e ao PISA são
escassos, e aproveitando o facto de se terem realizados estes dois estudos em 2018,
calculámos correlações entre os seus resultados.
Os resultados apurados apontam, em termos gerais, que são estatisticamente sig-
nificativas cerca de 27% das 183 das correlações possíveis entre os 61 indicadores do
TALIS 2018 e os três domínios do PISA 2018, o que parece mostrar alguma influência
desses indicadores nas competências para a vida dos alunos. Apontam também que
os parâmetros relacionados as competências e conhecimentos básicos dos professo-
res, isto é, com o trabalho que os professores realizam na sala de aula e o ambiente
de aprendizagem, têm maior relação com os resultados que os alunos apresentam
no PISA dos que os relacionados com prestígio, responsabilidade e autonomia. Mais
especificamente, os resultados sugerem que o empenhamento dos professores e di-
retores na sua formação e desenvolvimento profissional em diversos campos como
ensino em contextos multiculturais e ensino de alunos com necessidades especiais e
a existência de contratos permanentes estão positivamente correlacionados com os
resultados dos alunos no PISA. Os resultados apontam ainda para que a escassez ou
inadequação de tecnologia digital para o ensino relatada pelos diretores tenha conse-
quências negativas nas competências para a vida dos alunos. Mas os resultados su-
gerem também que a autoavaliação que os professores fazem das suas capacidades
no uso das TIC e na gestão da sala de aula, em particular em contextos com níveis
diversificados pode estar sobrevalorizada e que isso pode ter impacto negativo na
aprendizagem dos alunos e que os esforços que os diretores fazem para aumentar a

194
Revista Lusófona de Educação, 56, 2022
Revista Lusófona de Educação
cooperação entre docentes, de forma a melhorar as práticas de ensino parecem não
estar a resultar numa melhoria dos resultados dos alunos PISA.
A OECD (2019c, 2020b) dá muita importância ao uso das TIC no ensino como fator
de melhoria das aprendizagens, mas os nossos resultados não confirmam essa rela-
ção. De facto, os resultados do indicador do “P5 – % de docentes que ‘frequentemen-
te’ ou ‘sempre’ admitem que os alunos usem as TIC em projetos ou em trabalhos na
sala de aula” tem uma correlação estatisticamente não significativa com a Leitura e as
Ciências e uma significativa (mas negativa) com os resultados da Matemática, sugerin-
do que os países em que os alunos usam mais vezes as TIC têm piores resultados nes-
te domínio do PISA e que os seus resultados a Leitura e as Ciências são semelhantes
aos dos países em que os alunos usam menos vezes as TIC. Estes resultados sugerem
que o uso das TIC não está a ser, provavelmente, o mais adequado em muitos países.
Em estudos semelhantes, verificamos conclusões consistentes com as nossas. Por
exemplo, Escudero et al. (2017) apontam o desenvolvimento profissional dos docentes
(indicador do TALIS 2013) como um fator positivo nos resultados do PISA 2012, no
domínio da Matemática. O estudo de Fernández-Díaz et al. (2016) sobre os resultados
do PISA 2012 e TALIS 2013 confirmam as correlações negativas que encontrámos
entre os Resultados do PISA e do TALIS (ver comentários 4 e 5), nomeadamente no
domínio da Matemática. Estes autores afirmam que os países que, neste domínio, ocu-
pam altas posições no PISA 2012 “têm baixas pontuações na sua prática docente no
TALIS 2013. Estas discrepâncias evidenciam-se quando se usa a pontuação global do
TALIS e quando se olha para as diferentes dimensões que configuram o instrumento
da prática docente” (pp. 10-11). Liu et al. (2022), também com base nos resultados do
PISA 2012 e do TALIS 2013, compararam o desempenho em matemática dos alunos
com a qualidade instrucional da escola (composição da escola, relação professor-alu-
no, e qualificações do professor) em sete países e concluem que o clima disciplinar
tem mais influência do que a qualificação coletiva dos professores nos resultados da
matemática, o que está em linha com os nossos resultados.
Agradecimentos
This work was funded by the Foundation for Science and Technology (FCT) [PTDC/CED-
-EDG/30084/2017].
Referências
Austin, B., Adesope, O. O., French, B. F., Gotch, C., Bélanger, J., & Kubacka, K. (2015), Examining
school context and its inuence on teachers: linking Talis 2013 with PISA 2012 student data. OECD
Education Working Papers, 115. OECD Publishing. https://doi.org/10.1787/5js3f5fgkns4-en

Revista Lusófona de Educação
Mascarenhas, Maia, Rosa & Teodoro:
Estudo correlacional entre os resultados globais dos domínios do PISA 2018 e os indicadores do TALIS 2018
195
Comissão Europeia (2010). Teachers’ professional development Europe in international comparison:
an analysis of teachers’ professional development based on the OECD’s Teaching and Learning
International Survey (TALIS). Comissão Europeia.
Delprato, M., & Chudgar, A. (2018). Factors associated with private-public school performance: analysis
of TALIS-PISA link data. International Journal of Educational Development, 61, 155-172. https://doi.
org/10.1016/j.ijedudev.2018.01.002
Escudero, E., Vázquez-Lira, R., Manzano, J., Hernández, G., & Acevedo, Y. (2017). México en el
proyecto TALIS-PISA: Un estudio exploratorio – importancia de las escuelas, directores, docentes
y estudiantes en el aprendizaje de las matemáticas. Instituto Nacional para la Evaluación de la
Educación. https://www.inee.edu.mx/wp-content/uploads/2018/12/P1C154.pdf
Fernández-Díaz, M., Rodríguez-Mantilla, J., & Martínez-Zarzuelo, A. (2016). PISA y TALIS ¿congruencia
o discrepancia? RELIEVE: Revista Electrónica de Investigación y Evaluación Educativa, 22(1). http://
dx.doi.org/10.7203/relieve.22.1.8247
Ferrera, J. M. C., & Izquierdo, M. G. (2016). TALIS-PISA link: Guidelines for a robust quantitative analysis.
https://2016.economicsofeducation.com/user/pdfsesiones/ 073.pdf
Hall, J., Lindorff, A., & Sammons, P. (Eds.) (2020). International perspectives in educational effectiveness
research. Springer. https://doi.org/10.1007/978-3-030-44810-3
Hanushek, E. (2021). United States: the uphill schools’ struggle (2021). In N. Crato (ed.), Improving a
country’s education: PISA 2018 results in 10 countries (pp. 227-247). Springer.
Liu, X., Valcke, M., Hansen, K. Y., & De Neve, J. (2020). A technical report on linking TALIS 2013 and PISA
2012 : developing a multi-level perspective on the student, teacher and school-level variables related
to mathematics achievement. In L. G. Chova, A. L. Martínez, & I. C. Torres (Eds.), EDULEARN20
proceedings (pp. 7147–7153). https://doi.org/10.21125/edulearn.2020.1839
Liu, X., Valcke, M., Hansen, K. Y., & De Neve, J. (2022). Does school-level instructional quality matter for
school mathematics performance? Comparing teacher data across seven countries. Sustainability,
14 (9). https://doi.org/10.3390/su14095267
Ludvigsen, S., Nortvedt, G., Pettersen, A., Pettersson, A., Sollerman, S., Ólafsson, R., Taajamo, M.,
Caspersen, J., Nyström, P., & Braeken, J. (2016). Northern lights on PISA and TALIS. Nordic Council
of Ministers. http://dx.doi.org/10.6027/TN2016-517
Maia, J. S., Mascarenhas, D., & Rosa, V. (2022). TALIS 2018: a comparison between seven European
Mediterranean Countries. In M. Cruz, Â. Couto, & F. Lambert (Eds.). Issues’22 – Issues in Education
(pp. 7-27). Instituto Politécnico do Porto, Escola Superior de Educação.
Nilsen, T., Slot, P., Cigler, H., & Chen, M. (2020). Measuring process quality in early childhood education
and care through Situational Judgement Questions: Findings from TALIS Starting Strong 2018 Field
Trial. OECD Education Working Paper, n.º 217. OCDE Publishing.
OECD (2013). Cadre d’évaluation et d’analyse du cycle PISA 2012. OCDE Publishing.
OECD (2014). TALIS 2013 results: An international perspective on teaching and learning. OECD
Publishing.
OECD (2019a). PISA 2018 Results. What students know and can do (Vol. I). OCDE Publishing.

196
Revista Lusófona de Educação, 56, 2022
Revista Lusófona de Educação
OECD (2019b). PISA 2018 Results. Where all students can succeed (Vol. II). OCDE Publishing.
OECD (2019c). TALIS 2018 Results (Volume I): Teachers and school leaders as lifelong learners. OECD
Publishing.
OECD (2020a). Quality early childhood education and care for children under age 3: results from the
Starting Strong Survey 2018, TALIS. Paris: OCDE Publishing. https://doi.org/10.1787/99f8bc95-en
OECD (2020b). TALIS 2018 Results (Volume II): Teachers and school leaders as valued professionals.
Paris: OECD Publishing. https://doi.org/10.1787/19cf08df-en
Rodrigues, N., Santos, J., Pimenta, M., Mestre, C., Saleiro, H., Rafael, J., Direção-Geral de Estatísticas
da Educação e Ciência (DGEEC), & Centro Nacional TALIS (2018). TALIS 2018 – Liderança, práticas
e valorização prossional de diretores e docentes do 3.º Ciclo do ensino básico. DGEEC.
Rosa, V., Maia, J. S., Mascarenhas, D., & Teodoro, A. (2020). PISA, TIMSS e PIRLS em Portugal: Análise
comparativa. Revista Portuguesa de Educação, 33(1), 94-120. http://doi.org/10.21814/rpe.18380
Rutkowski, D., Rutkowski, L., Bélanger, J., Knoll, S., Weatherby, K., & Prusinski, E. (2013). Talis 2013
conceptual framework. OECD Publishing.
Sørensen, T., & Robertson, S. (2020). O programa da OCDE TALIS: Enquadrando, medindo e vendendo
professores de qualidade. Currículo sem Fronteiras, 20(1), 43-61.
Teodoro, A. (2020). Contesting the global development of sustainable and inclusive education. Education
reform and the challenges of neoliberal globalization. Routledge.
Teodoro, V., Rosa, V., Maia, J., & Mascarenhas, D. (2022). Testing PISA tests: a study about how
secondary and college students answer PISA items in mathematics and science. In A. Teodoro (Ed.),
Critical perspectives on PISA as a means of global governance. Risks, limitations, and humanistic
alternatives (pp. 104-125). Routledge.
UNESCO (2012). International Standard Classication of Education ISCED 2011. UNESCO.
UNESCO (2015). A review of international and national surveys relevant to early childhood care and
education provision and the teaching workforce. UNESCO.
Zakariya, Y. (2020). Investigating some construct validity threats to TALIS 2018: Teacher job satisfaction
scale: implications for social sciences researchers and practitioners. Social Sciences, 9(38), 1-13.
https://doi.org/10.3390/socsci9040038
Daniela Mascarenhas
Escola Superior de Educação do Politécnico do Porto, inED, Portugal
E-mail: dfmmascarenhas@gmail.com
ORCID: https://orcid.org/0000-0001-5854-536X
João Sampaio Maia
Universidade Lusófona, CeiED, Portugal
E-mail: jsampmaia@gmail.com
ORCID: https://orcid.org/0000-0003-1466-1013

Revista Lusófona de Educação
Mascarenhas, Maia, Rosa & Teodoro:
Estudo correlacional entre os resultados globais dos domínios do PISA 2018 e os indicadores do TALIS 2018
197
Vítor Rosa
Universidade Lusófona, CeiED, Portugal
E-mail: vitor.rosa@ulusofona.pt
ORCID: https://orcid.org/0000-0002-5093-8115
Vítor Duarte Teodoro
Universidade Lusófona, CeiED, Portugal.
E-mail: vitor.teodoro@ulusofona.pt
ORCID: https://orcid.org/0000-0002-0314-1883
Correspondência
Daniela Mascarenhas
Centro de Investigação & Inovação em Educação (inED)
Escola Superior de Educação do Politécnico do Porto
Rua Dr. Roberto Frias, n.º 602 4200-465 Porto, Portugal
Data de submissão: Janeiro 2022
Data de avaliação: Março 2022
Data de publicação: Setembro 2022