Reclutamento accademico: come tutelare il pluralismo epistemico? Un modello di simulazione ad agenti (PREPRINT)

Abstract

(Abstract ITA): Lungi dall'essere monolitiche, le discipline scientifiche si frammentano sovente in scuole di pensiero rivali. Il reclutamento accademico è teatro privilegiato di questa competizione: infatti, è stato osservato che il giudizio delle e dei selezionatori è condizionato dalla scuola di appartenenza delle e dei candidati; e dato che le e i selezionati di oggi saranno le e i selezionatori di domani, questo meccanismo tenderà a propagarsi, ampliando il divario tra scuole di pensiero maggioritarie e minoritarie. Avvalendoci di un modello agent-based ispirato al contesto italiano, simuleremo come diversi assetti istituzionali impattino positivamente o negativamente sul pluralismo delle scuole di pensiero, accelerando o mitigando questa dinamica. |||

(Abstract ENG): According to some authors (e.g. Gillies 2014, Viola 2017), when researchers are called to express a judgment over their peers, they might exhibit an epistemic bias that make them favouring those who belong to their School of Thought (SoT). A dominant SoT is also most likely to provide some advantage to its members' bibliometric indexes, because more people potentially means more citations. In the long run, even the slight preference for one SoT over the others might lead to a monopoly, hampering the oft-invoked pluralism of research. In academic recruitment, given that those who recruited to permanent position will often become the recruiter of tomorrow, such biases might give rise to a self-reinforcing loop. However, the way in which this dynamics unfolds is affected by the institutional infrastructure that regulates academic recruitment. To reason on how the import of epistemic bias changes across various infrastructures, we built a simple Agent-Based Model using NetLogo 6.0.4., in which researchers belonging to rival SoTs compete to get promoted to professors. The model allows to represent the effect of epistemic and bibliometric biases, as well as to figure out how they get affected by the modification of several parameters.

Full text

PREPRINT ACCETTATO PER LA PUBBLICAZIONE SU SISTEMI INTELLIGENTI. NON CITARE
Reclutamento accademico: come tutelare il pluralismo epistemico?
Un modello di simulazione ad agenti*
Carlo Debernardi1, Eleonora Priori2,3, Marco Viola4
1 Dipartimento di Lettere e Filosofia, Università degli Studi di Firenze, Via della Pergola, 60 - 50121 Firenze, carlo.debernardi.w@gmail.com
2 Dipartimento di Economia e Statistica Cognetti de Martiis, Università degli Studi di Torino, Lungo Dora Siena, 100 A, 10153 Torino,
priori.ele@gmail.com
3 Collegio Carlo Alberto, Piazza Vincenzo Arbarello, 8, 10122 Torino TO
4 Dipartimento di Filosofia e Scienze dell’Educazione, Università degli Studi di Torino, via Sant’Ottavio 20, 10124 Torino, marco.viola@unito.it
Abstract (ITA): Lungi dall’essere monolitiche, le discipline scientifiche si frammentano sovente in scuole di
pensiero rivali. Il reclutamento accademico è teatro privilegiato di questa competizione: infatti, è stato
osservato che il giudizio delle e dei selezionatori è condizionato dalla scuola di appartenenza delle e dei
candidati; e dato che le e i selezionati di oggi saranno le e i selezionatori di domani, questo meccanismo
tenderà a propagarsi, ampliando il divario tra scuole di pensiero maggioritarie e minoritarie. Avvalendoci di
un modello agent-based ispirato al contesto italiano, simuleremo come diversi assetti istituzionali impattino
positivamente o negativamente sul pluralismo delle scuole di pensiero, accelerando o mitigando questa
dinamica.
Abstract (ENG): According to some authors (e.g. Gillies 2014, Viola 2017), when researchers are called to
express a judgment over their peers, they might exhibit an epistemic bias that make them favouring those
who belong to their School of Thought (SoT). A dominant SoT is also most likely to provide some advantage
to its members’ bibliometric indexes, because more people potentially means more citations. In the long run,
even the slight preference for one SoT over the others might lead to a monopoly, hampering the oft-invoked
pluralism of research. In academic recruitment, given that those who recruited to permanent position will
often become the recruiter of tomorrow, such biases might give rise to a self-reinforcing loop. However, the
way in which this dynamics unfolds is affected by the institutional infrastructure that regulates academic
recruitment. To reason on how the import of epistemic bias changes across various infrastructures, we built
a simple Agent-Based Model using NetLogo 6.0.4., in which researchers belonging to rival SoTs compete to
get promoted to professors. The model allows to represent the effect of epistemic and bibliometric biases,
as well as to figure out how they get affected by the modification of several parameters.
Keywords: reclutamento; sociologia della scienza; pluralismo epistemico; valutazione;
epistemologia sociale; modelli ad agenti.

PREPRINT ACCETTATO PER LA PUBBLICAZIONE SU SISTEMI INTELLIGENTI. NON CITARE
1. Introduzione: reclutamento accademico e pluralismo
Il reclutamento accademico ambisce a selezionare la o il ‘migliore’ tra i vari candidati. Questo in
teoria: nella pratica, è diffuso il sentire che ciò spesso non avvenga.
Tale sentire si traduce, perlomeno in Italia, in un’ampia casistica di scandali giornalistici e in
sporadiche pubblicazioni più o meno scientifiche
1
, che suggeriscono come le valutazioni puramente
intellettuali e professionali sarebbero sovente messe da parte - quando non completamente
accantonate - a favore di considerazioni nepotistiche.
Tuttavia, pur non volendo negare che dei casi di nepotismo esistano, è ragionevole pensare che
alcuni di questi malcontenti possano dipendere da un disaccordo a monte sui criteri per determinare
chi sia la o il migliore. Infatti, a seconda del tipo di posizione da ricoprire, si potrebbe attribuire un
diverso peso a svariati fattori: per esempio, l’esperienza nella didattica; la qualità della formazione;
le lettere di referenza più o meno autorevoli e/o lodevoli; la pertinenza scientifica; una lista di
pubblicazioni che attesti la capacità di produrre ricerca di qualità.
Concentriamoci su quest’ultimo punto: come misurare la qualità delle pubblicazioni scientifiche? La
risposta è resa ardua dalla natura elusiva e composita del concetto di ‘qualità’. Seguendo Baccini
(2010: 40), possiamo distinguere tre dimensioni della qualità di un prodotto di ricerca: “i) la qualità
interna; ii) l’importanza e l’impatto nella comunità degli scienziati; iii) l’impatto al di fuori
dell’accademia e della comunità scientifica”. In Italia, nonostante alcune raccomandazioni
internazionali
2
, abbiamo assistito ad un crescente uso della bibliometria – che misura l’impatto della
ricerca presso la comunità scientifica, tipicamente tramite le citazioni – come indicatore che si
vorrebbe in qualche modo oggettivo della qualità della ricerca, quando non addirittura della
maturità scientifica delle e dei singoli ricercatori. Un esempio in questo senso è l’istituzione di valori
soglia per alcuni settori scientifico-disciplinari (per questo denominati ‘settori bibliometrici’)
nell’ambito dell’Abilitazione Scientifica Nazionale (ASN) - la procedura di verifica dell’idoneità
introdotta nel 2010 con la Legge 240, il cui superamento costituisce il requisito per partecipare ai
concorsi e alle procedure di assunzione per le posizioni tenured. A sostengo di tale prassi, Ancaiani
e colleghi (2015) hanno sostenuto che i giudizi qualitativi espressi da alcuni reviewer durante
l’esercizio di Valutazione della Qualità della Ricerca (VQR) 2004-2010 mostrassero una buona
1
Si vedano ad es. i j’accuse di Perotti (2008) e Pivato (2015).
2
Si vedano ad es. la San Francisco Declaration of Research Assessement (https://sfdora.org/) e il Leiden Manifesto for
Research Metrics (Hicks et al., 2015).

PREPRINT ACCETTATO PER LA PUBBLICAZIONE SU SISTEMI INTELLIGENTI. NON CITARE
concordanza con quelli ottenuti tramite indicatori bibliometrici in un campione di 9000 articoli.
Baccini e De Nicolao (2016) hanno tuttavia contestato il metodo di analisi utilizzato, e dunque i
risultati. Inoltre, recentemente hanno evidenziato come l’insolito incremento dell’impatto
scientifico dell’Italia a partire dal 2010 sia ragionevolmente attribuibile a comportamenti strategici
che ricercatrici e ricercatori avrebbero messo in atto per ‘dopare’ gli indicatori tramite auto-citazioni
e scambi di citazioni tra ‘citation clubs’ di connazionali (Baccini, De Nicolao e Petrovich, 2019).
Tuttavia, le difficoltà della valutazione non investono solo le misurazioni ‘quantitative’, come quelle
bibliometriche, ma anche quelle ‘qualitative’, che dipendono dal giudizio delle e dei pari
3
. Una
fiorente letteratura mostra come la peer review sia perturbata da vari tipi di bias (Lee et al., 2013).
Alcuni di questi bias derivano da fattori sociologici come il genere (cfr. ad es. De Paola e Scoppa,
2015; Filandri e Pasqua, 2019; ma cfr. Squazzoni et al., 2020) o dal prestigio delle affiliazioni di chi
fa ricerca - fattori che peraltro si intrecciano tra loro (De Cruz, 2018). A determinare gli esiti della
procedura entrano però in gioco anche bias di natura epistemica. In questo articolo ci
concentreremo su uno di questi, presentato da Gillies (2014) con l’espressione narcisismo del
ricercatore: genuinamente convinti della superiorità della propria scuola di pensiero, le ricercatrici
e i ricercatori tenderanno a valutare più benevolmente quegli articoli, progetti di ricerca ecc. ad essa
aderenti, e meno benevolmente quelli di chi appartiene a scuole di pensiero rivali. Per scuole di
pensiero rivali intendiamo qui “diversi gruppi di ricerca che aderiscono a diverse metodologie o
dottrine, ma i cui ambiti esplicativi sono almeno in parte sovrapposti - gruppi cioè che competono
per spiegare uno stesso insieme di fenomeni” (Viola, 2017: 58).
L’evidenza disponibile ad oggi sembra attestare l’influenza di un bias di questo tipo (si vedano ad
es. Mahoney 1977; Travis e Collins 1991; e più recentemente Javdani e Chang 2019; per una visione
ottimistica che crede all’irrilevanza di questo bias, si veda Bonaccorsi 2016). Tuttavia, complice la
difficoltà di tradurre questo bias in un indicatore osservabile, non si dispone di stime dei suoi effetti.
Quando agisce a favore delle scuole di pensiero maggioritarie, esso può esacerbare la sovra-
rappresentazione di quest’ultime, a danno delle scuole eterodosse, che rischiano di rimanerne
soffocate.
3
La distinzione tra quantitativo e qualitativo è meno nitida di come potrebbe apparire a colpo d’occhio. Infatti, le
valutazioni quantitative su base bibliometrica si basano sul conteggio di pubblicazioni e citazioni presenti nelle riviste
contenute in un certo database, di fatto limitandosi ad aggregare un insieme di scelte qualitative svolte dai referee e
dagli editor di quelle riviste. D’altro canto, non è possibile escludere che talvolta certe valutazioni che si vorrebbero
qualitative si basino esse stesse, oltre che o invece che sulla lettura degli articoli o libri in oggetto, su criteri quantitativi
come il numero di citazioni (specialmente quando un’elevata mole di oggetti di valutazione rende difficile la lettura).

PREPRINT ACCETTATO PER LA PUBBLICAZIONE SU SISTEMI INTELLIGENTI. NON CITARE
Molte discussioni sulla valutazione della ricerca si concentrano ed infiammano in particolare sugli
esercizi di valutazione formalizzati su scala nazionale (Whitley, 2007), verosimilmente perché da
questi dipendono spesso effetti come l’allocazione dei fondi (Hicks, 2012). Tuttavia, a ben vedere,
una qualche forma di ‘valutazione’ è esercitata ogni volta che si rende necessario distribuire un
qualche tipo di risorsa. Nella struttura sociale della scienza nella sua accezione moderna, queste
risorse spaziano dai fondi di ricerca alla possibilità di pubblicare su una rivista, fino alle posizioni
lavorative e di potere.
Ora, Merton (1968) insegna che la struttura di incentivi della scienza moderna è influenzata da ciò
che egli chiama effetto san Matteo: chi gode di maggior prestigio tenderà più facilmente ad
accumularne altro rispetto a chi ne ha di meno. È plausibile che questo vantaggio riguardi e si
applichi non solo al prestigio, ma anche ad altre risorse: ad esempio, in università chi accumula più
fondi per la ricerca si trova verosimilmente in una posizione avvantaggiata per produrre un maggior
numero di articoli, che la o lo faciliteranno nel procurarsi ulteriori fondi in futuro, così come nel
vincere la titolarità di una cattedra. La presenza di un bias come quello suggerito da Gillies potrebbe
dunque propagarsi in modo moltiplicativo attraverso vari momenti di allocazione delle risorse,
comportando un ulteriore assottigliamento del pluralismo.
Tra tutte queste attività di allocazione di risorse, il reclutamento occupa una posizione di grande
rilievo (Viola, 2015). In molti sistemi accademici esiste infatti una divisione piuttosto netta tra
personale strutturato (o tenured), e non strutturato (tipicamente post-doc). In Italia questa si
articola a grandi linee come la distinzione tra professoresse e professori (ordinari e associati) e
ricercatrici e ricercatori (ivi incluse tutte le figure precarie, come le e gli assegnisti di ricerca). Ai primi
(e ai loro corrispettivi nei sistemi stranieri) spettano la quasi totalità delle attività di gatekeeping
(Hoenig 2015), ossia di decisori in merito all’allocazione di risorse di vario tipo.
Il reclutamento accademico non dipende unicamente dall’arbitrio delle singole persone che
selezionano: questo arbitrio deve infatti fare i conti con un sistema di leggi e regolamenti. In questo
lavoro vogliamo esplorare le questioni del se e del come diversi contesti istituzionali impattino
positivamente o negativamente sul pluralismo delle scuole di pensiero all’interno di una disciplina,
acuendo o mitigando i bias che potrebbero avvantaggiare le scuole maggioritarie.
Nel nostro lavoro, muoviamo dall’assunto che tutelare un certo grado di pluralismo sia di per sé un
valore. Si noti, tuttavia, che questo assunto è compatibile anche con forme di ‘monismo prudente’:
si può cioè pensare che la comunità scientifica debba in ultima istanza arrivare a convergere su

PREPRINT ACCETTATO PER LA PUBBLICAZIONE SU SISTEMI INTELLIGENTI. NON CITARE
un’unica scuola di pensiero, e tuttavia ammettere un periodo di transizione in cui le scuole di
pensiero neonate possano mostrare i loro eventuali meriti epistemici (Zollman 2010; cfr. §2).
Infatti, se è ovvio che il o la pluralista radicale si chieda come ritardare il soffocamento delle scuole
minoritarie, è altresì interesse del o della monista prudente domandarsi, qualora la comunità
scientifica converga sull’adozione di una scuola di pensiero, come far sì che questo avvenga per via
di considerazioni epistemicamente fondate, e non prima di aver permesso alle scuole minoritarie di
esprimere il loro potenziale. In altre parole, come possiamo minimizzare l’accelerazione dovuta a
meccanismi istituzionali e non epistemici?
Una risposta definitiva necessiterebbe inevitabilmente di un lavoro fondato anche su dati empirici,
ad oggi non disponibili. La stessa raccolta di questi ultimi è subordinata alla formulazione di un
quadro teorico entro cui incardinare concetti altrimenti sfuggenti come quelli di scuola di pensiero
o di bias epistemico. Anche per questa ragione, crediamo che serva proporre modelli in grado di
chiarificare i punti problematici e fornire una chiave di interpretazione delle dinamiche in gioco.
Nel seguito di questo articolo presenteremo dunque un modello il cui scopo è schematizzare con un
certo livello di fedeltà le dinamiche del reclutamento accademico italiano negli ultimi dieci anni.
Questa scelta di campo ha per noi una duplice valenza: se da una parte infatti è il contesto che incide
sulle biografie di chi scrive (e probabilmente di chi legge) questo articolo, dall’altra offre un punto
d’osservazione privilegiato per indagare le dinamiche in oggetto. Nell’ultimo decennio, infatti,
l’introduzione dell’ASN ha rivoluzionato le modalità di reclutamento del personale nell’accademia
italiana. Contestualmente, la riduzione dei finanziamenti alla ricerca ha ristretto lo spazio
contendibile tra le ricercatrici e i ricercatori, potenzialmente esacerbando il conflitto tra scuole di
pensiero rivali.
2. Le simulazioni ad agenti
Stanti l’impianto teorico della letteratura a cui ci siamo ispirati e gli obiettivi che la nostra ricerca si
pone, abbiamo valutato che un agent-based model (ABM) potesse essere uno strumento
particolarmente idoneo per i nostri fini.
Gli ABM sono una classe di modelli che, a partire dall’assunzione di alcune condizioni iniziali e da un
insieme di regole che determinano il modo in cui queste interagiscono simulano gli scenari di output
che un determinato contesto produce. Filiazione diretta degli Automi Cellulari sviluppati a fine anni
Quaranta da Von Neumann, gli ABM hanno iniziato a diffondersi su ampia scala a partire dagli anni

PREPRINT ACCETTATO PER LA PUBBLICAZIONE SU SISTEMI INTELLIGENTI. NON CITARE
Novanta, complice lo sviluppo e la disponibilità degli strumenti computazionali di cui necessitano.
Da quel momento in poi, le simulazioni hanno trovato terreno fertile nei più disparati campi di
applicazione: dalla fisica alla biologia alle scienze sociali.
Negli ABM la presenza di agenti tra loro eterogenei che sviluppano interazioni non-lineari dà luogo
a un sistema complesso, il cui comportamento emergente a livello collettivo non è riducibile alla
somma dei comportamenti individuali. In questo tipo di sistemi multiagenti, infatti, sono le
euristiche decisionali dei singoli agenti, nonché l’intreccio generato dalle interazioni tra le diverse
regole di comportamento che questi osservano, a dare luogo alla dinamica aggregata che si intende
studiare a livello di sistema.
Pertanto il ricorso ad una simulazione ad agenti consente di sviluppare un modello concept-driven
attraverso cui possiamo esplorare un sistema complesso come quello del reclutamento accademico.
Laddove abbiamo a che fare con un sistema complesso, infatti, non possiamo andare alla ricerca di
una soluzione puntuale, quanto di uno scenario che prende forma sotto determinate ipotesi. Da
questo punto di vista si può dire che un modello ad agenti svolga una funzione teorica nell’accezione
proposta da Bohm (1980/2002: 4):
La parola ‘teoria’ deriva dal greco antico ‘theoria’, che ha la stessa radice di ‘teatro’: una parola che
significa ‘vedere’ o ‘fare uno spettacolo’. Quindi, si potrebbe dire che una teoria sia prima di tutto
una forma di intuizione [insight], un modo di guardare al mondo e non una forma di conoscenza di
com’è il mondo.
Allo stesso modo, le simulazioni sono il teatro dove la combinazione di variabili che interagiscono
sotto una determinata serie di regole di comportamento dà luogo a un certo scenario di output.
I teatri degli ABM sono stati edificati e abbondantemente sfruttati per rappresentarvi certe
dinamiche strutturali della ricerca scientifica (per una buona rassegna si veda Payette 2012). Tra i
modelli che hanno avuto più successo vale la pena menzionare il lavoro di Weisberg e Muldoon
(2009). In questo modello, ciascun settore scientifico viene rappresentato come un panorama
epistemico tridimensionale, dove gli agenti debbono, muovendosi ogni turno da un approccio
(rappresentato da un quadrante) ad uno limitrofo, individuare gli approcci più promettenti (cioè
scalare i quadranti più alti). Questi agenti hanno però a disposizione solo due informazioni: l’altezza
dei quadranti attorno a sé e le tracce lasciate da agenti precedentemente transitati su quei
quadranti. Rispetto a queste tracce, gli autori sperimentano agenti animati da euristiche opposte:
in assenza di un quadrante più alto immediatamente adiacente, gli agenti tradizionalisti (followers)

PREPRINT ACCETTATO PER LA PUBBLICAZIONE SU SISTEMI INTELLIGENTI. NON CITARE
preferiranno muoversi in un quadrante già esplorato, mentre gli anticonformisti (mavericks)
preferiranno avventurarsi in un quadrante ignoto. Gli autori ne concludono che una popolazione di
anticonformisti sarà più rapida nello scalare i picchi rispetto ad una di tradizionalisti; ma che
aggiungere anche pochi anticonformisti a una popolazione di tradizionalisti aumenta di molto la
velocità di esplorazione.
Il modello di Weisberg e Muldoon (2009) ha generato un dibattito fertile e vivace, stimolando
risposte che ne soppesano l’interpretazione così come varianti che lo arricchiscono e lo mettono in
discussione. Ad esempio, nella sofistificata variante elaborata da Avin (2019): (a) il valore di un
determinato quadrante (approccio) non è fisso, ma può ad esempio diminuire col tempo, oppure
generare effetti ‘sismici’ che aumentano il valore di altri approcci (per esempio perché svelano
nuove implicazioni ed applicazioni di certi fenomeni); e (b) la sopravvivenza degli agenti o la
generazione di agenti nuovi dipendono da diversi modelli di finanziamento alla ricerca, che variano
da “si continuano a finanziare sempre i soliti” a “finanziamenti a lotteria”. In effetti, uno degli esiti
più sorprendenti a cui questo lavoro approda in termini di policy è quello di rivendicare i meriti di
un sistema che si basa (parzialmente) su finanziamenti a lotteria, date certe assunzioni.
Un altro interessante modello è quello proposto da Zollman (2010), che studia la dinamica del
raggiungimento del consenso nella comunità scientifica al variare della forza delle convinzioni dei
singoli scienziati e del loro grado di interconnessione. La conclusione controintuitiva è che una
comunità con molti legami e poco polarizzata rischia di convergere rapidamente al consenso verso
una tesi scorretta.
Ancor più clamore ha suscitato l’articolo “The Natural Selection of Bad Science” (Smaldino e
McElreath, 2016). I suoi autori imputano la crisi di riproducibilità che tanto preoccupa la scienza
negli ultimi anni (ben presentata da Romero, 2019) ad un sistema di incentivi e selezione delle
pubblicazioni che, guardato da una prospettiva in senso largo darwiniana, esercita ‘pressioni
selettive’ che premiano la quantità di studi condotti dai laboratori a scapito della robustezza (intesa
ad esempio come potenza statistica). Meno note ma comunque interessanti sono le simulazioni che
riguardano la peer review (su cui si veda la recente rassegna di Feliciani et al. 2019); o il modello di
Balietti, Mäs e Helbing (2015) che, prendendo spunto dalla narrazione kuhniana dello stabilirsi di un
paradigma come prerequisito per il progresso, esplora le possibili relazioni causali tra
minore/maggiore frammentazione disciplinare in scuole di pensiero alternative e velocità/scarsità
di progresso - contrapponendo esplicitamente le scienze umane e sociali a quelle fisiche e naturali.

PREPRINT ACCETTATO PER LA PUBBLICAZIONE SU SISTEMI INTELLIGENTI. NON CITARE
Nell’interpretazione di questi modelli giova però ricordare il monito di Martini e Fernández Pinto
(2017): che cioè in assenza di una calibrazione empirica scrupolosa e attenta al contesto - che gli
autori dimostrano mancare nella quasi totalità dei modelli presenti in letteratura - è bene astenersi
dal reificare gli esiti delle simulazioni interpretandole come predizioni, ed è pericoloso derivarne
immediati consigli di policy.
Ciò non significa però che i modelli, anche previa validazione, siano privi di utilità. Riprendendo
Epstein (2008), i modelli non devono necessariamente servire per elaborare una previsione (e non
è questo l’obiettivo che chi scrive si pone in questa sede), ma possono svolgere una serie di differenti
funzioni nell’ambito di una ricerca scientifica. Una delle principali e più affascinanti ha proprio a che
fare con la possibilità di comparare scenari differenti in termini di effetti che la variazione di un
parametro imprime su un determinato sistema.
L’obiettivo del modello che andiamo a proporre è esplorare le possibili conseguenze che meccanismi
quali quello del narcisismo del ricercatore descritto da Gillies esercitano sul reclutamento delle e
dei ricercatori.
3. Il modello
Per sviluppare il nostro ABM, ci siamo avvalsi del software NetLogo 6.0.4. In questa sezione
descriveremo brevemente il suo funzionamento
4
.
In particolare, ci interessa modellizzare i potenziali effetti di due tipi di bias che possono alterare le
scelte nel reclutamento. Un primo tipo di bias, il BIAS EPISTEMICO
5
, altera in modo diretto la
valutazione di chi esamina le e i candidati, inducendoli a favorire (a parità di condizioni) quelli che
appartengono alla propria scuola di pensiero a dispetto di coloro che aderiscono a scuole rivali. Un
secondo tipo di bias, il BIAS BIBLIOMETRICO, agisce invece a monte, e si riferisce in particolare a quei
settori scientifici dove i criteri bibliometrici di impatto della ricerca sono impiegati come strumenti
di valutazione. L’intuizione alla base di questo secondo bias è che l’appartenenza ad una scuola di
pensiero maggioritaria, che dispone di un accesso privilegiato a più riviste, offra maggiori
opportunità di pubblicare articoli e/o ricevere citazioni; opportunità che, verosimilmente, si
contraggono ed espandono in proporzione alla popolosità di quella scuola.
4
Coloro che fossero interessati ad esaminare il codice nel dettaglio possono trovarlo all’URL:
https://github.com/carlodebernardi/Simulating-epistemic-bias-in-italian-Academic-recruiting
5
Per convenzione, useremo il maiuscoletto per designare entità o variabili del modello.

PREPRINT ACCETTATO PER LA PUBBLICAZIONE SU SISTEMI INTELLIGENTI. NON CITARE
L’ecologia che simuliamo è dunque quella di una comunità scientifica, che per semplicità si assume
essere un sistema chiuso; ovvero, si assume che la formazione (che sottostà alla generazione di
nuovi RICERCATORI) e il reclutamento (per il passaggio di questi a PROFESSORI) possano avvenire
solamente entro la comunità oggetto del modello.
Il modello prevede due categorie di agenti. La prima è quella dei PROFESSORI, che rappresentano tutte
e tutti i titolari di una posizione a tempo indeterminato. Costoro possono essere sorteggiati a far
parte delle commissioni di concorso o di abilitazione e si ritirano una volta raggiunti i 70 anni. A
seguito dei pensionamenti si apre un numero di nuove posizioni a tempo indeterminato pari al
numero di pensionati pesato per un fattore di TURNOVER.
La seconda classe di agenti è quella dei RICERCATORI, che rappresentano tutte e tutti coloro che
ricoprono incarichi a tempo determinato; costoro concorrono a ricoprire le posizioni a tempo
indeterminato lasciate aperte dai pensionamenti – diventando così PROFESSORI. Nuovi RICERCATORI
vengono immessi ogni anno nel sistema. La durata lavorativa di questi agenti è fissata a 12 anni;
tutti coloro che non riescono ad ottenere una tenure, ovvero la stabilizzazione della propria
posizione, in questo arco di tempo vengono rimossi dal modello.
Per formalizzare la competizione tra i RICERCATORI li abbiamo dotati di un CURRICULUM rappresentato
astrattamente da un numero che aumenta ogni anno di un valore casuale, eventualmente pesato
attraverso il BIAS BIBLIOMETRICO (vedi oltre). Il ruolo del CURRICULUM è quello di rappresentare il
prestigio scientifico - ad esempio in termini di pubblicazioni e citazioni - accumulato da ogni
RICERCATORE. Dal momento che l’obiettivo del modello è l’analisi degli assetti istituzionali e non del
percorso di singoli individui, abbiamo scelto di non approfondire eccessivamente la dinamica
attraverso cui quest’ultimo si sviluppa. Siamo consapevoli che una misura tanto astratta del
prestigio scientifico di chi fa ricerca non renda conto del carattere complesso e dinamico di questa
variabile: pertanto la assumiamo unicamente come ipotesi di lavoro.
Tanto i PROFESSORI quanto i RICERCATORI appartengono ad una SCUOLA DI PENSIERO assegnata loro alla
‘nascita’ ed immutabile per tutta la loro vita
6
. La distribuzione tra le SCUOLE DI PENSIERO dei nuovi
6
L’immutabilità delle scuole di pensiero è frutto di una notevole semplificazione del reale. Tuttavia, seppur non
impossibili, le ‘conversioni’ sarebbero costose sotto molti punti di vista (Viola, 2015). La loro rarità sembra in linea con
l’evidenza raccolta da Azoulay e colleghi (2019) a supporto del principio di Planck: “Una nuova verità scientifica non
prevale convincendo i suoi detrattori e facendo veder loro la luce, ma piuttosto perché costoro prima o poi muoiono e
al loro posto cresce una generazione che vi è familiare” (Planck, 1950: 33). La ‘discretezza’ delle scuole di pensiero è
invece una delle assunzioni che meriterebbero di essere rilassate con un ulteriore lavoro di approfondimento, a partire

PREPRINT ACCETTATO PER LA PUBBLICAZIONE SU SISTEMI INTELLIGENTI. NON CITARE
RICERCATORI generati ogni anno segue dalla quota di PROFESSORI afferenti a ciascuna di esse. In ogni
situazione di valutazione dei RICERCATORI – sia essa un concorso o una sessione di abilitazione – viene
formata una commissione di PROFESSORI estratta a sorte (3 per il concorso, 5 per l’abilitazione). In
seguito ogni membro della commissione P esprime una valutazione V del candidato R in questi
termini:
V(P,R) = CV * (1 + BE) * N
Dove CV rappresenta il CURRICULUM del RICERCATORE R, BE il BIAS EPISTEMICO – maggiore di zero in caso
il RICERCATORE appartenga alla medesima SCUOLA DI PENSIERO del commissario –, ed N il rumore (un
numero casuale in un intorno di 1 la cui ampiezza è regolabile tramite i parametri del modello).
In sede di concorso, poi, le valutazioni espresse dalle e dai commissari vengono sommate, e la o il
candidato che raggiunge il valore più alto diventa un PROFESSORE. Nella procedura dell’ASN, invece,
ogni commissario la cui valutazione supera una SOGLIA prefissata esprime un parere positivo; le e i
candidati che totalizzano almeno il numero di pareri positivi richiesto ottengono l’abilitazione e
possono accedere ai concorsi.
Il BIAS BIBLIOMETRICO, che si traduce in un incremento del CURRICULUM dei RICERCATORI pesato
dall’influenza della loro scuola di pensiero di appartenenza, rappresenta la maggiore facilità di
pubblicare e/o di ricevere citazioni per coloro che appartengono ad una tradizione di ricerca
dominante. Quando questo parametro assume un valore maggiore di 0 l’incremento del CURRICULUM
di ogni RICERCATORE dall’anno t all’anno t+1 diviene formalmente:
CV(t+1) = CV(t) + G * (1 + BB * S / T)
Dove G è un numero casuale estratto da una distribuzione normale (con media 5 e deviazione
standard 1.66)
7
, BB il valore del BIAS BIBLIOMETRICO, S indica il numero di studiose e studiosi -
RICERCATORI o PROFESSORI - appartenenti alla stessa SCUOLA DI PENSIERO, e T indica il loro numero totale.
ad esempio dalla letteratura scientometrica sulla distanza cognitiva, che tuttavia sembra ad oggi incapace di distinguere
tra oggetti di studio e scuole di pensiero (vedi ad es. Wang e Sandström, 2015).
7
È da notare che, per quanto l’incremento del curriculum ad ogni tempo sia determinato a partire da una gaussiana, la
distribuzione risultante dei curriculum in ogni momento presenta una coda lunga, il che - come è noto - è un tratto
caratteristico di molte dinamiche sociali. Nello studio dei comportamenti citazionali della comunità scientifica è celebre
ad esempio la distribuzione a power law individuata da Lotka (1926).

PREPRINT ACCETTATO PER LA PUBBLICAZIONE SU SISTEMI INTELLIGENTI. NON CITARE
Ogni simulazione si articola in turni, ognuno dei quali corrisponde a un anno. Ogni turno è
strutturato come segue:
1. Aumento dell’età di tutti gli agenti.
2. Rimozione dal modello dei RICERCATORI che sono rimasti tali per 12 anni.
3. Aumento del CURRICULUM di ogni RICERCATORE in attività.
4. Pensionamento dei PROFESSORI.
5. Generazione di nuovi RICERCATORI.
6. [Per i modelli con ASN] Formazione della commissione ASN (5 membri).
7. [Per i modelli con ASN] I RICERCATORI che non sono in possesso dell’abilitazione si
sottopongono al vaglio della commissione.
8. Sorteggio delle commissioni (3 membri) ed apertura dei concorsi.
RICERCATORI
Durata dei contratti
12 anni
Accumulano CURRICULUM
CV(t+1) = CV(t) + G * (1 + BB * S / T)
Se è attivo il BIAS BIBLIOMETRICO sono avvantaggiati nell’appartenere a SCUOLE
DI PENSIERO maggioritarie
Se la ASN è attiva concorrono per essere abilitati
Partecipano ai CONCORSI
PROFESSORI
Pensionamento
70 anni
Vengono estratti a sorte per fare da COMMISSARI in CONCORSI ed ASN
Valutano i RICERCATORI
V(P,R) = CV * (1 + BE) * N
Se il BIAS EPISTEMICO è attivo preferiscono RICERCATORI appartenenti alla
propria SCUOLA DI PENSIERO

PREPRINT ACCETTATO PER LA PUBBLICAZIONE SU SISTEMI INTELLIGENTI. NON CITARE
Figura 1 - Esempio di schermata di NetLogo con l’implementazione del modello discusso.
4. Risultati
Nelle nostre simulazioni abbiamo preso in esame l’evoluzione del sistema in 100 turni. Come
ricordato in precedenza, abbiamo scelto di progettare il modello sulla falsariga del sistema di
reclutamento universitario italiano. Per questo nel definire i confini dello spazio dei parametri da
esplorare abbiamo deciso di implementare tre scenari ispirati alle diverse modalità di reclutamento
succedutesi in Italia nell’ultimo decennio:
● Concorso: i RICERCATORI possono accedere ai concorsi direttamente, senza bisogno di
ottenere abilitazioni.
● ASN, 4 pareri: per accedere ai concorsi è necessaria l’abilitazione, l’ottenimento della quale
richiede un parere positivo da parte di almeno 4 dei 5 membri della commissione.
● ASN, 3 pareri: per accedere ai concorsi è necessaria l’abilitazione, l’ottenimento della quale
richiede un parere positivo da parte di almeno 3 dei 5 membri della commissione.
Per esplorare l’emergenza di disparità tra scuole a parità di condizioni, abbiamo simulato scenari di
partenza che prevedono l’equinumerosità di due scuole di pensiero - laddove negli scenari reali
verosimilmente la situazione di partenza è già più o meno polarizzata, il che rende la questione della

PREPRINT ACCETTATO PER LA PUBBLICAZIONE SU SISTEMI INTELLIGENTI. NON CITARE
velocità del processo ancor più rilevante. La simulazione potrebbe facilmente essere estesa a
casistiche con un numero superiore alle due scuole di pensiero inizialmente previste. Tuttavia
abbiamo scelto di concentrare il nostro studio su uno scenario ipotetico il più semplificato possibile
con l’obiettivo di osservare come, anche sotto condizioni iniziali definite nel modo più equo
possibile, i meccanismi intrinseci su cui poggia il sistema del reclutamento conducano
strutturalmente alla prevaricazione di una scuola di pensiero sull’altra (o sulle altre) nel lungo
periodo.
Data la taglia finita del sistema, la dinamica di lungo periodo del modello (per t→∞) convergerebbe
verso l’uniformità persino nel caso in cui entrambi i bias siano nulli. Come sottolineato in precedenza
però la nostra attenzione è rivolta alla velocità con cui si svolge il processo, dal momento che una
convergenza troppo rapida - e determinata da fattori istituzionali - non permetterebbe a tutte le
scuole di pensiero in gioco di mostrare i propri meriti epistemici.
La prima caratteristica rilevante che è possibile individuare qualitativamente anche
dall’osservazione di una singola simulazione è la path dependence delle serie temporali, che diviene
particolarmente evidente in presenza di uno o di entrambi i bias implementati. È possibile notare
infatti che anche il minimo vantaggio di una scuola di pensiero è destinato ad aumentare con il
passare del tempo ed è sufficiente - nella maggior parte dei casi - a portarla ad essere la scuola
dominante nel lungo periodo, come ad istanziare a livello di scuola l’effetto San Matteo descritto da
Merton (1968).
Nelle Figure 2 e 3 è possibile osservare il ruolo dei due bias implementati
8
. Dal loro confronto risulta
evidente come il carattere cumulativo del BIAS BIBLIOMETRICO renda il suo impatto maggiore rispetto
a quello del BIAS EPISTEMICO - persino nel caso in cui quest’ultimo assuma valori relativamente elevati.
8
Le figg. 3--6 sono comparazioni di distribuzioni realizzate con la tecnica della kernel density estimation (KDE). Questa
scelta permette una maggiore facilità di visualizzazione dei dati nel confronto tra diverse distribuzioni nel confronto tra
diverse distribuzioni. È. È bene evidenziare che l’estensione delle distribuzioni su valori di quota dei membri della scuola
di maggioranza inferiori a 0.5 e superiori ad 1 è un artificio introdotto dalla tecnica di visualizzazione utilizzata. Inoltre,
sebbene a prima vista possa non risultare evidente, valori di densità di probabilità maggiori di 1 sono coerenti, ad essere
normalizzata ad 1 è infatti l’area sottesa alla funzione rappresentata. Ogni scenario simulato consiste nell’aggregazione
di 1000 simulazioni con il medesimo set di parametri iniziali.

PREPRINT ACCETTATO PER LA PUBBLICAZIONE SU SISTEMI INTELLIGENTI. NON CITARE
Figura 2 - Quota di membri della scuola maggioritaria su
totale. Andamento medio delle serie temporali per
diversi valori di bias.
Reclutamento = concorso, turnover = 1
Figura 3 - Quota di membri della scuola maggioritaria su
totale. Confronto tra distribuzioni delle serie temporali al
tempo t=100 per diversi valori di bias.
Reclutamento = concorso, turnover = 1
Come ricordato in precedenza, uno degli obiettivi di questo lavoro è l’individuazione delle differenze
tra i vari assetti istituzionali. Dal punto di vista del pluralismo la ASN risulta essere più restrittiva
rispetto al CONCORSO, dal momento che introduce un ulteriore step di valutazione. La richiesta di più
pareri positivi e l’innalzamento della SOGLIA contribuiscono ad accelerare il processo. Tuttavia - come
è possibile osservare nelle Figure 4 e 5 - questa differenza si manifesta in una misura piuttosto
contenuta. Ipotizziamo che una calibrazione dei parametri del modello su dati reali possa far
emergere uno scarto maggiore tra i vari sistemi.
Figura 4 - Quota di membri della scuola maggioritaria su
totale. Confronto tra distribuzioni delle serie temporali al
tempo t=100 sotto diversi sistemi di reclutamento.
Turnover = 1, Soglia ASN = 40, Bias epistemico = 0.2, Bias
bibliometrico = 0.0
Figura 5 - Quota di membri della scuola maggioritaria su
totale. Confronto tra distribuzioni delle serie temporali al
tempo t=100 sotto diversi sistemi di reclutamento.
Turnover = 1, Soglia ASN = 60, Bias epistemico = 0.2, Bias
bibliometrico = 0.0
Un parametro che, invece, a colpo d’occhio risulta essere cruciale è il TURNOVER. La Figura 6 mette
in evidenza l’impatto macroscopico di un reclutamento insufficiente sulla demografia delle scuole

PREPRINT ACCETTATO PER LA PUBBLICAZIONE SU SISTEMI INTELLIGENTI. NON CITARE
di pensiero minoritarie. Vi è inoltre da considerare che queste simulazioni sono state effettuate con
il medesimo BIAS EPISTEMICO, mentre è ragionevole pensare che la consapevolezza di trovarsi in un
regime di risorse scarse determini l’inasprimento di un bias di questo tipo. Se così fosse, nel nostro
modello l’influenza di un TURNOVER negativo - per quanto rilevante - risulterebbe addirittura
sottostimata.
Figura 6 - Quota di membri della scuola maggioritaria su totale. Confronto tra distribuzioni delle serie temporali al
tempo t=100 per diversi valori di turnover.
Reclutamento = concorso, Bias epistemico = 0.2, Bias bibliometrico = 0.0
5. Conclusioni e ulteriori sviluppi
Nel presente articolo, dopo aver esposto il rationale della domanda di ricerca (§1) e motivato la
scelta di simularla mediante un ABM (§2), abbiamo presentato un modello che simula come
l’interazione tra certi bias e determinati assetti istituzionali favorisca il soffocamento più o meno
veloce di determinate scuole di pensiero non maggioritarie all’interno di una disciplina (§3). Le
simulazioni ispirate al contesto italiano suggeriscono che: i) laddove il bias epistemico aumenta la
velocità del processo, il bias bibliometrico ne aumenta l’accelerazione, provocando un impatto
maggiore sul lungo periodo; ii) a parità di condizioni un turnover maggiore è più tutelante nei
confronti del pluralismo delle scuole di pensiero; iii) le riduzioni del turnover hanno un impatto
maggiore sul pluralismo rispetto alle differenti modalità di reclutamento.

PREPRINT ACCETTATO PER LA PUBBLICAZIONE SU SISTEMI INTELLIGENTI. NON CITARE
Ci preme ribadire come, in assenza di validazione empirica, gli esiti del modello vadano interpretati
in chiave ipotetica; il contributo che questo lavoro può apportare ai processi di policy-making è
dunque di tipo euristico, in quanto fornisce un “tool for thinking” (Hoad e Watts, 2012) che permette
di esplicitare i meccanismi in gioco, strutturando al contempo la raccolta di dati empirici che ne
permetterebbero una calibrazione. Ad esempio, l’ipotesi che un basso turnover amplifichi i bias
accelerando sensibilmente l’estinzione delle scuole minoritarie potrebbe essere verificata con un
attento scrutinio delle dinamiche di reclutamento avvenute in alcune discipline durante il decennio
2008-2018, caratterizzato da un pesante blocco del turnover.
Si noti inoltre che, per quanto il modello sia stato ideato per esplorare questioni legate al pluralismo
delle scuole di pensiero, la stessa architettura si presta a indagare altri aspetti del reclutamento.
Un’ulteriore domanda di ricerca potrebbe vertere sugli scenari che emergono in presenza
dell’eventuale segmentazione di una scuola di pensiero, osservando come andrebbero a distribuirsi
tra le diverse sotto-scuole i benefici derivanti dai bias. È inoltre possibile simulare, ad esempio, la
competizione tra discipline o sotto-discipline che dipendono dalle stesse risorse per il reclutamento:
in questo caso il bias epistemico andrebbe piuttosto inteso come ‘bias disciplinare’
9
. Inoltre, con
poco sforzo il modello potrebbe essere riadattato per analizzare bias di tipo sociologico quali il
genere o l’etnia, per i quali peraltro è già disponibile una letteratura empirica che ne permetterebbe
la calibrazione. Esiste poi la possibilità di modellizzare scenari ibridi, che simulino l’interazione tra
variabili sociali ed epistemiche.
Chiunque volesse sperimentare ed espandere il modello è la o il benvenuto, e può trovare il codice
all’indirizzo: https://github.com/carlodebernardi/Simulating-epistemic-bias-in-italian-Academic-
recruiting
Ringraziamenti: La concettualizzazione di questo lavoro e la sua scrittura sono frutto di un’intensa
collaborazione tra i tre autori. Volendo cercare una suddivisione, possiamo dire che la §1 è
principalmente opera di MV, la §2 di EP, le §§3-4 (e l’implementazione del modello) di CD, mentre
la §5 è condivisa. Il lavoro ha beneficiato delle preziose discussioni con il pubblico della conferenza
AISC 2018 a IUSS Pavia e del poster day LLC 2019 all’Università di Torino, a cui va la nostra
gratitudine. Un ringraziamento particolare a Fabio Paglieri, Eugenio Petrovich e Pietro Terna,
nonché ai revisori anonimi. Per questo progetto, Marco Viola è stato supportato dal gruppo di
9
Si noti che esiste almeno un caso in cui il panorama italiano offre un buon terreno di misurazione empirica di siffatto
bias disciplinare: dal momento che ogni settore ASN mette insieme valutatori e valutati provenienti da più settori
scientifico-disciplinari, sarebbe infatti possibile e forse interessante misurare se e quanto i commissari tendono ad
esprimere valutazioni più favorevoli ai ricercatori del proprio settore piuttosto che a quelli degli altri.

PREPRINT ACCETTATO PER LA PUBBLICAZIONE SU SISTEMI INTELLIGENTI. NON CITARE
ricerca DR2 dell’Università di Torino, grazie al progetto REPOSUM, e dal un progetto dell’Institute
For New Economic Thinking – Grant INO19-00023 (P.I. Alberto Baccini).
Riferimenti bibliografici
Ancaiani, A., Anfossi, A. F., Barbara, A., Benedetto, S., Blasi, B., Carletti, V., Cicero, T., Ciolfi, A., Costa, F.,
Colizza, G., Costantini, M., di Cristina, F., Ferrara, A., Lacatena R.M., Malgarini, M., Mazzotta, I., Nappi C.A.,
Romagnosi, S., Sileoni, S. (2015). Evaluating scientific research in Italy: The 2004–10 research evaluation
exercise. Research Evaluation. 24(3), pp. 242-255.
Avin, S. (2019). Centralized funding and epistemic exploration. The British Journal for the Philosophy of
Science, 70(3), 629-656.
Azoulay, P., Fons-Rosen, C., Graff Zivin, J.S. (2019). Does science advance one funeral at a time?. American
Economic Review, 109(8), pp. 2889-2920.
Baccini, A. (2010). Valutare la ricerca scientifica: uso e abuso degli indicatori bibliometrici. Bologna: Il Mulino.
Baccini, A., De Nicolao, G. (2016). Do they agree? Bibliometric evaluation versus informed peer review in the
Italian research assessment exercise. Scientometrics, 108(3), pp. 1651-1671.
Baccini, A., De Nicolao, G., Petrovich, E. (2019). Citation gaming induced by bibliometric evaluation: A country-
level comparative analysis. PLoS ONE, 14(9): e0221212. doi:10.1371/journal.pone.0221212.
Balietti, S., Mäs, M., & Helbing, D. (2015). On disciplinary fragmentation and scientific progress. PloS one,
10(3).
Bohm, D. (1980/2002). Wholeness and the Implicate Order, 2° ed. Abingdon-on-Thames: Routledge.
Bonaccorsi, A. (2015). La valutazione possibile. Teoria e pratica nel mondo della ricerca. Bologna: Il Mulino.
De Cruz, H. (2018). Prestige Bias: An Obstacle to a Just Academic Philosophy. Ergo, an Open Access Journal
of Philosophy, 5.
De Paola, M., Scoppa, V. (2015). Gender discrimination and evaluators’ gender: evidence from Italian
academia. Economica, 82(325), pp. 162-188.
Epstein, J. M. (2008). Why Model?. JASSS - Journal of Artificial Societies and Social Simulation, 11(4), 12.
Feliciani, T., Luo, J., Ma, L., Lucas, P., Squazzoni, F., Marušić, A., & Shankar, K. (2019). A scoping review of
simulation models of peer review. Scientometrics, 121(1), 555-594.
Filandri, M., Pasqua, S. (2019). Gender discrimination in academic careers in Italy. WP n. 21/19 Dipartimento
di Economia e Statistica Cognetti de Martiis, Università degli Studi di Torino.
URL=https://www.est.unito.it/do/home.pl/Download?doc=/allegati/wp2019dip/wp_21_2019.pdf
Gillies, D. (2014). Selecting applications for funding: why random choice is better than peer review. RT. A
Journal on research policy and evaluation, 2(1).
Hicks, D. (2012). Performance-based university research funding systems. Research policy, 41(2), pp. 251-
261.
Hicks, D., Wouters, P., Waltman, L., De Rijcke, S., Rafols, I. (2015). Bibliometrics: the Leiden Manifesto for
research metrics. Nature News, 520(7548), p. 429.
Hoad, K., Watts, C. (2012). Are we there yet? Simulation modellers on what needs to be done to involve agent-
based simulation in practical decision making. Journal of Simulation 6, pp. 67–70.
Hoenig, B. (2015). Gatekeepers in Social Science. The International Encyclopedia of the Social & Behavioral
Sciences. 2nd edition, Vol. 9. Oxford: Pergamon.

PREPRINT ACCETTATO PER LA PUBBLICAZIONE SU SISTEMI INTELLIGENTI. NON CITARE
Javdani, M., Chang, H-J. (2019). Who Said or What Said? Estimating Ideological Bias in Views Among
Economists. doi: 10.2139/ssrn.3356309
Lee, C.J., Sugimoto, C.R., Zhang, G., Cronin, B. (2013). Bias in peer review. Journal of the American Society
for Information Science and Technology, 64(1), pp. 2-17.
Lotka, A.J. (1926). "The frequency distribution of scientific productivity". Journal of the Washington Academy
of Sciences, 16 (1926), pp. 317-323.
Mahoney, M.J. (1977). Publication prejudices: An experimental study of confirmatory bias in the peer review
system. Cognitive therapy and research, 1(2), pp. 161-175.
Martini, C., & Fernández Pinto, M. (2017). Modeling the social organization of science. European Journal for
Philosophy of Science, 7(2), pp. 221-238.
Merton, R.K. (1968). The Matthew effect in science: The reward and communication systems of science are
considered. Science, 159(3810), pp. 56-63.
Payette N. (2012). Agent-Based Models of Science. In Scharnhorst A., Börner K., van den Besselaar P. (Eds.)
Models of Science Dynamics. Understanding Complex Systems. Berlin-Heidelberg: Springer.
Perotti, R. (2008). L’università truccata. Torino: Einaudi.
Planck, M. (1950). Scientific autobiography and other papers. American Journal of Physics, 18, pp. 117-117.
Pivato, S. (2015). Al limite della docenza. Roma: Donzelli.
Smaldino, P. E., & McElreath, R. (2016). The natural selection of bad science. Royal Society open science,
3(9), 160384.
Squazzoni, F., Bravo, G., Dondio, P., Farjam, M., Marusic, A., Menhami, B., Willis, M., Birukou, A., & Grimaldo,
F. (2020). No evidence of any systematic bias against manuscripts by women in the peer review process of
145 scholarly journals. https://doi.org/10.31235/osf.io/gh4rv
Travis, G.D.L., Collins, H.M. (1991). New light on old boys: Cognitive and institutional particularism in the peer
review system. Science, Technology, & Human Values, 16(3), pp. 322-341.
Viola, M. (2015). Some remarks on the division of cognitive labor. RT. A Journal on Research Policy and
Evaluation, 3, 1-14.
Viola, M. (2017). Evaluation of Research (ers) and its Threat to Epistemic Pluralisms. European journal of
analytic philosophy, 13(2), 55-78.
Wang, Q., Sandström, U. (2015). Defining the role of cognitive distance in the peer review process with an
explorative study of a grant scheme in infection biology. Research Evaluation, 24(3), pp. 271-281.
Weisberg, M., & Muldoon, R. (2009). Epistemic landscapes and the division of cognitive labor. Philosophy of
science, 76(2), pp. 225-252.
Whitley, R. (2007). Changing governance of the public sciences. In Whitley, R., Gläser, J. (a cura di), The
Changing Governance of the Sciences. The Advent of Research Evaluation Systems. Dordrecht: Springer, pp.
3-27.
Zollman, K. J. (2010). The epistemic benefit of transient diversity. Erkenntnis, 72(1), pp. 17-35.