Content uploaded by Tarcízio Silva
Author content
All content in this area was uploaded by Tarcízio Silva on May 29, 2019
Content may be subject to copyright.
Visão Computacional e
Vieses Racializados:
branquitude como padrão no
aprendizado de máquina
Tarcízio Roberto da Silva
Mestre em Comunicação e Cultura Contemporâneas
(Universidade Federal da Bahia)
Doutorando em Ciências Humanas e Sociais
(Universidade Federal do ABC)
Resumo
Recursos de inteligência artificial estão cada vez mais acessíveis a empresas e governos de todos os tipos, sendo
aplicados em sistemas de vigilância, plataformas de mídias sociais e outros tipos de agentes artificiais. Um dos campos
mais inovadores é o da visão computacional, que permite reconhecer automaticamente objetos, entidades, conceitos
ou características extraídas de imagens, inclusive sobre pessoas (WANG, ZHANG & MARTIN, 2015).
A partir da exploração de como a visão maquínica dos provedores de inteligência artificial reconhecem objetos,
conceitos e dimensões em redes semânticas (MINTZ, 2016), investigamos como o reconhecimento automatizado de
imagens e posterior modulação algorítmica (SILVEIRA, 2017) de comportamento parte frequentemente de um olhar
eurocêntrico quanto a categorias raciais (FANCHER, 2016; NAKAYAMA, 2017; BENTHALL & HAYNES, 2019) sobretudo
vinculado a inclusão/exclusão e visibilidade/invisibilidade do outro racializado, com impacto efetivo para os usuários
de agentes artificiais, plataformas de mídias sociais e bancos de dados. Esta investigação parte da bibliografia de
estudos sobre a branquitude (BENTO, 2012; BASTOS, 2016; CARONE & BENTO, 2017) e o seu papel enquanto
definidora da sociedade e tecnologias de produção e controle (MILLS, 2014; MBEMBE , 2017).
O trabalho apresenta criticamente casos mapeados por ativistas e desenvolvedoras em torno do mundo sobre
problemas especificamente ligados à visão computacional, lidos sob a ótica da Teoria Racial Crítica (NAKAMURA, 2008;
LOPEZ, 2013; NOBLE & TYNES, 2016; BUOLAMWINI & GEBRU, 2018; NOBLE, 2018). Tratam-se de casos de equivalência
de conceitos como visibilidade, eficácia, humanidade e beleza à experiência de usuários brancos em sistemas como
robôs interagentes, buscadores e mídias sociais. Uma vez que categorias e tipologias são manifestações de como os
registros informacionais configuram e reproduzem poder (ALI, 2013), com impacto real nas possibilidades de
representação e expressão equitárias entre diferentes segmentos da sociedade (COTTOM, 2016), o estudo busca jogar
luz sobre estas questões relevantes ao debate sobre algoritmos e suas opacidades (GILLESPIE, 2014; BROUSSARD,
2018).
TARCÍZIO SILVA
tarciziosilva.com.br
Foto da capa: https://dealhack.com/features/average-face-of-a-ceo/
Visão Computacional: o que é
A chamada “Visão Computacional” se refere à coleta,
análise e síntese de dados visuais através de
computadores, com objetivos diversos como a
identificação de rostos e biometria, a análise de
representações de objetos, entidades, conceitos e
contextos em imagens, entre outros (WANG, ZHANG
& MARTIN, 2015).
https://www.kdnuggets.com/2015/04/inside-deep-
learning-computer-vision-convolutional-neural-
networks.html
TARCÍZIO SILVA
tarciziosilva.com.br
É baseada nos procedimentos do aprendizado de
máquina (machine learning), onde os sistemas
"atualizam seu comportamento iterativamente
baseado em modelos ajustados em resposta a sua
experiência (dados de input) e métricas de
performance“ (OSOBA & WELSER, 2017, p.5)
Fornecedores de API e Vieses Algorítmicos
A visão computacional é composto de um
conjunto de recursos de algoritmos de
tomada de decisões sobre identificação,
classes e manipulações em imagens,
definidas e treinadas contextualmente.
Porém, os recursos de visão computacional
de empresas como IBM Watson, Google
Vision, Microsoft Azure e outros são
incorporados em outros sistemas –mídias
sociais, identificação policial, aplicativos de
entretenimento e outros..
TARCÍZIO SILVA
tarciziosilva.com.br
Casos: image tagging
2015
https://www.theverge.com/2015/7/
1/8880363/google-apologizes-
photos-app-tags-two-black-people-
gorillas
2018
https://www.theverge.com/2018/1/
12/16882408/google-racist-gorillas-
photo-recognition-algorithm-ai
“Engenheiro do Google pede desculpas depois
que o aplicativo Photos marcou duas pessoas
negras como gorilas”
“Google ‘consertou’ seu algoritmo racista
removendo a categorias gorilas de sua tecnologia
de etiquetamento de imagens”
“We are deeply sorry for this
unquestionably serious issue,” he
told The Independent. “It is an
unfortunate side-effect of the
underlying neural network caused
by the training set bias, not
intended behaviour. ”
Casos: classificação e julgamento
https://www.independent.co.uk/life-style/gadgets-and-tech/news/faceapp-
selfie-app-racism-filter-whitens-users-skin-viral-photo-a7701036.html
“Estamos muito tristes com esse
problema inquestionavelmente
sério”, ele disse ao Independent.
“É um efeito colateral acidental
do funcionamento da rede neural,
não comportamento intencional”.
TARCÍZIO SILVA
tarciziosilva.com.br
Casos: identificação facial e gênero
(BUOLAMWINI & GEBRU, 2018)
Recursos da IBM Watson, Microsoft
Cognitive Services e o Face++ são
mais imprecisos em fotos de pessoas
negras e de mulheres:
•Todos classificadores foram mais precisos
em faces de homens (8,1% –20,6% diferença
de taxa de erro)
•Todos classificadores performaram melhor
em faces mais claras do que faces mais
escuras (11,8% contra 19,2% de erro)
•Todos classificadores performaram pior em
faces mais escuras de mulheres (20,8%
comparado a 34,7%)
•A diferença máxima de taxa de erro entre
dois grupos foi de 34,4%
Dataset usado em treinamento:
TARCÍZIO SILVA
tarciziosilva.com.br
Casos: identificação facial e gênero
As autoras identificaram que os
bancos de dados de “treinamento”
dos sistemas quase não tinham fotos
de mulheres negras.
A base de dados desenvolvida pelas
autoras, melhor distribuída em
termos de gênero e tom de pele,
obteve resultados muito melhores.
TARCÍZIO SILVA
tarciziosilva.com.br
Caso: identificação e carros autônomos
https://www.independent.co.uk/life-style/gadgets-and-tech/news/self-driving-
car-crash-racial-bias-black-people-study-a8810031.html
“Tests on eight image-recognition
systems found this bias held true,
with their accuracy proving five per
cent less accurate on average for
people with darker skin.”
“Testes em 8 sistemas de
reconhecimento de imagens
identificaram este viés. A precisão
para identificar as pessoas foi em
média 5% menor em peles mais
escuras”.
TARCÍZIO SILVA
tarciziosilva.com.br
Branquitude
•Branquitude enquanto ideologia e sistema de perpetuação de dominação
estrutural, privilégios e ignorância racial/social (Bento; Bastos; Nascimento; Mills);
•“invisibilidade, distância e um silenciamento sobre a existência do outro “[...] não vê,
não sabe, não conhece, não convive [...]”. A racialidade do branco é vivida como um
círculo concêntrico: a branquitude se expande, se espalha, se ramifica e direciona o
olhar do branco” (BENTO, pos. 651);
•A ciência racial ganha nova relevância com a desregulação de ciência e
investimento do capital financeiro (ROBERTS, 2012), a favor da segmentação dos
corpos quanto a genética, biomedicina e vigilância (Mbembe, 2001, 2016; Harari,
2015; Browne, 2015);
•Os mitos de racial-blindness, pos-racialidade (BONILLA-SILVA, 2006) e democracia
racial (NASCIMENTO, 1978; SOUZA, 2017) como vetores do silenciamento do
debate sobre raça em todas esferas se ligam ao do technochauvinismo
(BROUSSARD, 2018) e sua pretensão de neutralidade da tecnologia gerando uma
dupla opacidade do debate sobre raça e tecnologia. TARCÍZIO SILVA
tarciziosilva.com.br
Branquitude x aprendizado de máquina
•Podemos falar de uma sociedade algorítmica (GILLESPIE, 2014; PASQUALE, 2015;
O’NEIL, 2016; SILVEIRA, 2017) onde procedimentos do tecnoliberalismo –como
classificação, pseudo-meritocracia, mensuração e vigilância - são automatizados e
consolidados em caixas-pretas que permitem poucos desvios;
•A modulação algorítmica (SILVEIRA, 2017) define e direciona comportamentos e
agenciamentos de forma sutil, sendo gradualmente adotadas também por
governos;
•“Geração de dados é um fenômeno social replete de vieses humanos. Aplicar
algoritmos “proceduralmente corretos” a dados enviesados é um jeito de ensinar
agentes artificiais a imitar qualquer viés que os dados contenham”(OSOBA &
WELSER IV, 2017, p. 17);
•A sociedade americana construiu a ideologia do Vale do Silício e seus pólos de
tecnologia de modo a normalizar branquitude e masculinidade, com decorrentes
impactos nos modos e níveis de avaliação dos procedimentos de treinamento de
máquinas (BROCK,2011; NOBLE, 2018). TARCÍZIO SILVA
tarciziosilva.com.br
Locus,impactos e causas
Caso
Problema/Viés
Algorítmico
Causa/problema
“técnico”
Caract./conceitos da
branquitude
Google marca pessoas
negras como gorilas
Representação e
associação racista;
desumanização
•Base de dados insuficiente
•Base de dados com
associações racistas
intencionais
•Ausência de testes
Pacto narcísico da
branquitude
(Bento);
Epistemologia da
ignorância (Mills);
Genocídio
epistemológico
(Nascimento);
Necropolítica
(
Mbembe);
Tecnochauvinismo
(
Broussard)
Faceapp
embranquece
pele para deixar “mais
bonita” a selfie
Representação
eurocêntrica de beleza;
desumanização
•Base de dados insuficiente
•Ausência de testes
APIs não reconhecem
gênero e idade de
mulheres negras
Representação
eurocêntrica de gênero
e idade
•Base de dados insuficiente
•Ausência de testes
Google Vision
confude
cabelo negro com
peruca
Reforço de apropriação
cultural;
desumanização
•Base de dados insuficiente
•Base de dados com
exemplos de apropriação
estético-cultural
•Ausência de testes
Carros autônomos tem
mais chance de
atropelar pessoas
negras
Desumanização; risco
físico direto
•Base de dados insuficiente
•Ausência de testes
Do diagnóstico à transformação social
•Interrogar/auditar algoritmos (SANDVIG et al, 2014; BAROCAS & SELBST,
2016; CRAWFORD, 2016; WILLIAMS et al; 2018);
•Estudar especificidades sobre raça, gênero e classe (SWEENEY, 2013;
NOBLE, 2017; OSOBA & WELSER VI, 2017; BUOLAMWINI, 2017, 2018; EUBANKS,
2018);
•Incentivo ao desenvolvimento de competência cultural dos grupos
hegemônicos (SUE, 2001; ORTIZ & SILVA, 2016);
•Literacia de dados/algorítmica/computacional como forma de crítica e
defesa pelas populações racializadas (LEVCHAK, 2018; DANIELS,
NKONDE & MIR, 2019).
TARCÍZIO SILVA
tarciziosilva.com.br
Referências
ALI, Syed Mustafa. Race: The difference that makes a difference. tripleC: Cognition, Communication, Co-
operation, v. 11, n. 1, p. 93-106, 2013.
BASTOS, Janaína Ribeiro Bueno. O lado branco do racismo: a gênese da identidade branca e a branquitude.
Revista da Associação Brasileira de Pesquisadores/as Negros/as (ABPN), v. 8, n. 19, p. 211-231, 2016.
BENTHALL, Sebastian; HAYNES, Bruce D. Racial categories in machine learning. In: Proceedings of the Conference
on Fairness, Accountability, and Transparency. ACM, 2019. p. 289-298.
BENTO, Maria Aparecida Silva. Pactos narcísicos no racismo: branquitude e poder nas organizações empresariais
e no poder público. Universidade de São Paulo, São Paulo, 2002.
BONILLA-SILVA, Eduardo. Racism without racists: Color-blind racism and the persistence of racial inequality in
the United States. Rowman & Littlefield Publishers, 2006.
BROUSSARD, Meredith. Artificial unintelligence: How computers misunderstand the world. MIT Press, 2018.
BUOLAMWINI, Joy; GEBRU, Timnit. Gender shades: Intersectional accuracy disparities in commercial gender
classification. In: Conference on Fairness, Accountability and Transparency. 2018. p. 77-91.
CARONE, Iray; BENTO, Maria Aparecida Silva. Psicologia social do racismo: estudos sobre branquitude e
branqueamento no Brasil. Editora Vozes Limitada, 2017.
COTTOM, Tressie McMillan. Black Cyberfeminism: Ways Forward for Classification Situations, Intersectionality and
Digital Sociology. 2016.
FANCHER, Patricia. Composing Artificial Intelligence: Performing Whiteness and Masculinity. Present Tense, v. 6,
n. 1, 2016.
GILLESPIE, Tarleton. The relevance of algorithms. Media technologies: Essays on communication, materiality,
and society, v. 167, 2014.
GUEDES, Ivanilde; SILVA, Aline. Vício Cacheado: Estéticas Afro Diaspóricas. Revista da ABPN, v6, n.14, jul.out.,
2014.
HAARUN, Ayana; WATSON, Melodye. Original Beauty: Black Hair in Cyberspace. Amazon Publishing, 2013.
HOOKS, Bell et al. Black looks: Race and representation. Academic Internet Pub Inc, 2006.
LÓPEZ, I. F. H. The Social Construction of Race. In: DELGADO, Richard; STEFANCIC, Jean (orgs.). Critical Race
Theory: The Cutting Edge. Filadélfia (EUA): Temple University Press, 2013.
Referências
MBEMBE, Achille. Políticas da Inimizade. Lisboa (Portugal: Antígona, 2017.
MILLS, Charles W. The racial contract. Cornell University Press, 2014.
MINTZ, André. Máquinas que veem: visão computacional e agenciamentos do visível. In: MENOTTI, Gabriel;
BASTOS, Marcus; MORAN, Partrícia (orgs.). Cinema apesar da imagem. São Paulo: Intermeios, 2016.
NAKAMURA, Lisa. Digitizing race: Visual cultures of the Internet. U of Minnesota Press, 2008.
NAKAYAMA, Thomas K. What’s next for whiteness and the Internet. Critical Studies in Media Communication, v.
34, n. 1, p. 68-72, 2017.
NOBLE, Safiya Umoja; TYNES, Brendesha M. The intersectional internet: Race, sex, class, and culture online.
Peter Lang International Academic Publishers, 2016.
NOBLE, Safiya Umoja. Algorithms of oppression: How search engines reinforce racism. NYU Press, 2018.
ORTIZ, Felipe Chibás; DA SILVA, Neide Cristina. BARREIRAS CULTURAIS À COMUNICAÇÃO NO MERCADO DE
TRABALHO PARA GRUPOS ÉTNICO-CULTURAIS ESPECÍFICOS: UM ESTUDO DE CASO NA PERIFERIA DE SÃO PAULO.
InterSciencePlace, v. 11, n. 3, 2016.
SILVEIRA, Sérgio Amadeu da. Tudo sobre Tod@s: redes digitais, privacidade e venda de dados pessoais. São Paulo:
Edições Sesc, 2017.
SUE, Derald Wing. Multidimensional facets of cultural competence. The counseling psychologist, v. 29, n. 6, p.
790-821, 2001.
WANG, JuHong; ZHANG, SongHai; MARTIN, Ralph R. New advances in visual computing for intelligent processing
of visual media and augmented reality. Science China Technological Sciences, v. 58, n. 12, p. 2210-2211, 2015.
