A Inteligência Artificial no Brasil ainda precisa de uma estratégia

Abstract

Quem tome o tempo de ler a recém-publicada Estratégia Brasileira de Inteligência Artificial (EBIA) poderá terminar a leitura sem uma ideia muito concreta de qual é, de fato, a estratégia. O documento descreve, em cerca de cinquenta páginas, algumas considerações genéricas sobre a implementação da IA em diversos setores, mas sem nunca mergulhar profundamente em questões de planejamento que seriam básicas para uma estratégia bem-sucedida. Muitas perguntas permanecem sem resposta, fazendo o documento tomar feições mais de uma carta de intenções do que de um planejamento pragmático. Abordaremos a seguir algumas dessas questões, tratando de como a EBIA i) não identifica os atores responsáveis pela governança, deixando de seguir o exemplo de outros documentos estratégicos já produzidos pelo Executivo; ii) não especifica indicadores mensuráveis de referência; iii) tem caráter demasiadamente genérico; iv) não aproveita suficientemente a expertise das contribuições ofertadas na consulta pública; v) não aprofunda os métodos disponíveis para prover transparência e explicabilidade aos sistemas de IA; e vi) incorpora de forma acrítica as pesquisas sobre o uso de IA na Segurança Pública.

Full text

A Inteligência
Artificial no Brasil
ainda precisa de
uma estratégia
Relatório de análise do Centro de Tecnologia e Sociedade da
FGV Direito Rio
Walter B. Gaspar e Yasmin Curzi de Mendonça

EDIÇÃO FGV Direito Rio
Obra Licenciada em Creative Commons
Atribuição — Uso Não Comercial — Não a Obras Derivadas
Fechamento da 1ª edição em maio de 2021
Este material, seus resultados e conclusões são de responsabilidade dos
autores e não representam, de qualquer maneira, a posição institucional da
Fundação Getulio Vargas/FGV Direito Rio.
Coordenação: Rodrigo Vianna, Sérgio França e Nathasha Chrysthie Martins.

A Inteligência Artificial no Brasil ainda precisa de uma estratégia
Relatório do Centro de Tecnologia e Sociedade da FGV Direito Rio
Walter B. Gaspar e Yasmin Curzi de Mendonça
Quem tome o tempo de ler a recém-publicada Estratégia Brasileira de Inteligência
Artificial (EBIA) poderá terminar a leitura sem uma ideia muito concreta de qual é, de
fato, a estratégia. O documento descreve, em cerca de cinquenta páginas, algumas
considerações genéricas sobre a implementação da IA em diversos setores, mas sem
nunca mergulhar profundamente em questões de planejamento que seriam básicas para
uma estratégia bem-sucedida. Muitas perguntas permanecem sem resposta, fazendo o
documento tomar feições mais de uma carta de intenções do que de um planejamento
pragmático.
Abordaremos a seguir algumas dessas questões, tratando de como a EBIA i) não
identifica os atores responsáveis pela governança, deixando de seguir o exemplo de
outros documentos estratégicos já produzidos pelo Executivo; ii) não especifica
indicadores mensuráveis de referência; iii) tem caráter demasiadamente genérico; iv)
não aproveita suficientemente a expertise das contribuições ofertadas na consulta
pública; v) não aprofunda os métodos disponíveis para prover transparência e
explicabilidade aos sistemas de IA; e vi) incorpora de forma acrítica as pesquisas sobre o
uso de IA na Segurança Pública.
Indefinição da governança
Um primeiro ponto essencial que permanece indefinido é o das estruturas de
governança responsáveis pela sua gestão. Muitas contribuições realizadas ao longo da
consulta pública sobre a EBIA sugeriram a criação de corpos regulatórios, autoridades
específicas ou o aproveitamento de estruturas já existentes. Por exemplo, nós do Centro
de Tecnologia e Sociedade (CTS) da FGV Direito Rio sugerimos, em nossa contribuição
(p. 18), que uma possível solução para alguns problemas inerentes à implementação de
sistemas IA seria
1

“[A] criação de um órgão regulador especializado e independente, capaz de
revisar e licenciar os sistemas de decisão algorítmica. Essa autoridade teria como
função definir quais os tipos de auditorias podem ser realizadas; quais exigências
técnicas e/ou jurídicas devem ser feitas para cada caso; determinar eventuais
tipos de decisão ou contextos em que deve ser vedado o uso de algoritmos de
machine learning, devido à sua ‘opacidade intrínseca’; enunciar eventuais tipos de
decisão ou contextos que demandam uma explicação mais apurada da decisão ou
a possibilidade de revisão humana; definir as exigências técnicas a serem
seguidas pelas organizações tanto no desenvolvimento quanto na utilização de
sistemas de IA”.
Da mesma forma, o Instituto de Tecnologia e Sociedade do Rio de Janeiro (ITS Rio)
destacou em sua contribuição (p. 16) que muitas jurisdições ao redor do mundo
discutiram a criação de uma autoridade específica para tratar o tema, em alguns casos
criando uma subdivisão de suas autoridades nacionais de proteção de dados dedicada
exclusivamente à Inteligência Artificial. A criação de uma autoridade específica é, ainda,
identificada como uma diretriz compartilhada por diversas cartas de princípios no
estudo Principled Artificial Intelligence, do centro Berkman Klein da Universidade de
Harvard, em que se avaliaram abordagens de múltiplas fontes sobre as aplicações de
inteligência artificial para se chegar a um saldo geral das recomendações mais
frequentes.
Muitas das ações do primeiro eixo da estratégia - “Legislação, Regulações e Uso Ético” -,
bem como dos demais, se beneficiariam de uma melhor definição sobre quem será seu
sujeito ativo. Quando, por exemplo, se fala em “Criar e implementar melhores práticas ou
códigos de conduta com relação à coleta, implantação e uso de dados, incentivando as
organizações a melhorar sua rastreabilidade, resguardando os direitos legais” ou
“Promover abordagens inovadoras para a supervisão regulatória”, é muito importante
saber quem estará criando, implementando, incentivando ou promovendo, pois isso
define a extensão do que efetivamente poderá ser realizado. Repisando o ponto, uma
definição da estrutura de governança - atores responsáveis e respectivas capacidades -
traria clareza sobre a implementação destas ações.
A EBIA é, neste ponto, silente. Apesar de em alguns momentos mencionar estruturas de
governança já existentes, nenhuma das “ações estratégicas” listadas ao fim de cada eixo
do documento é decisiva em relação a um corpo ou corpos de governança responsáveis
pelo acompanhamento da execução da estratégia como um todo. A Portaria nº 4.617/21
do Ministério de Ciência, Tecnologia e Inovações (MCTI), que cria a estratégia, estabelece
sobre este ponto apenas que caberá ao ministério “criar instâncias e práticas de
governança para priorizar, implantar, monitorar e atualizar as ações estratégicas
estabelecidas na Estratégia Brasileira de Inteligência Artificial”.
Diante disto, é impossível saber a forma que a governança da IA no Brasil tomará no
futuro. Se olharmos para outros documentos vizinhos produzidos pelo próprio Executivo
Federal, a insuficiência da EBIA fica em evidência:
- O Decreto nº 9.319/18, que institui o Sistema Nacional para a Transformação
Digital, estabelece uma estrutura de governança específica formada pelo Comitê
Interministerial para a Transformação Digital (CITDigital, composto por
representantes do Poder Público federal), pelo Conselho Consultivo para a
2

Transformação Digital (composto por especialistas e representantes da
comunidade científica, da sociedade civil e do setor produtivo) e órgãos,
entidades e instâncias vinculados às políticas de transformação digital.
- O Decreto nº 9.854/19, que institui o Plano Nacional de Internet das Coisas, cria a
Câmara de Gestão e Acompanhamento do Desenvolvimento de Sistemas de
Comunicação Máquina a Máquina e Internet das Coisas (Câmara IoT), formada
por representantes do MCTI, Ministério da Saúde, da Economia, da Agricultura,
Pecuária e Abastecimento e do Desenvolvimento Regional.
Sobre o tema, vale notar que é essencial a ampla participação da sociedade civil,
academia e setor produtivo, dada a natureza complexa do tema abordado. Como
reiteradamente comentado nas contribuições ao processo de consulta pública da
estratégia, diferentes aplicações de inteligência artificial em diversos setores têm
potenciais riscos e benefícios radicalmente distintos, de modo que a composição de
grupamentos demasiadamente homogêneos e unívocos para o acompanhamento da
estratégia pode levar a pontos cegos que prejudiquem a realização dos objetivos
expostos.
Mensuração do progresso
A questão da governança relacionada à estratégia de inteligência artificial é um tema que
precisará ser definido pelo MCTI no futuro para dar concretude à EBIA. Isto é crucial,
pois dessa definição partem várias outras perguntas que o documento deixou em aberto.
Qual será a periodicidade de revisão e controle das ações? Quais os indicadores de
sucesso para cada uma? Em quanto tempo a estratégia precisará ser reformulada - um
ponto importante, dada a velocidade com que o cenário tecnológico se transforma?
Tomando como referência, por exemplo, a Estratégia Brasileira Para a Transformação
Digital, vemos que cada um de seus nove eixos traz não apenas ações estratégicas - que
em alguns casos chegam a um nível de especificidade maior do que o apresentado na
EBIA -, mas também indicadores mensuráveis de referência para a verificação do sucesso
da implementação da estratégia. Isto é um elemento essencial para que se possa verificar
se todo o esforço empenhado no desenho da estratégia tem dado resultado efetivo.
Seria importante, portanto, desenvolver indicadores e um cronograma de revisões
periódicas, com publicação de metas para seu acompanhamento. Isto contribuiria para o
accountability relativo aos objetivos traçados na EBIA e serviria como um caminho das
pedras para a sua execução, facilitando o trabalho do MCTI e demais órgãos
governamentais envolvidos.
Imprecisão das ações
Além disso, é interessante notar como algumas das ações estratégicas da EBIA não têm
tanto a feição de ações quanto de objetivos. Por exemplo, ainda no primeiro eixo, a ação
de “Estimular ações de transparência e de divulgação responsável quanto ao uso de
sistemas de IA, e promover a observância, por tais sistemas, de direitos humanos, de
valores democráticos e da diversidade”, em sua forma atual, soa mais como um intróito a
uma carta de princípios do que uma ação concreta. Na verdade, parece mais uma
reorganização de pontos já elaborados na fase de consulta pública (grifos nossos):
3

“Além disso, é frequente a afirmação de que os sistemas devem ser projetados de
maneira a respeitar os direitos humanos, os valores democráticos e a
diversidade, impondo-se a inclusão de salvaguardas apropriadas que
possibilitem a intervenção humana, sempre que necessária, para garantir uma
sociedade justa.
Outro ponto bastante discutido refere-se à transparência e à divulgação
responsável acerca dos sistemas de Inteligência Artificial, frisando-se a
necessidade de adoção de medidas para garantir a compreensão dos processos
associados à tomada de decisões automatizadas, tornando possível identificar
vieses envolvidos no processo decisório e desafiar as referidas decisões, quando
cabível”.
A própria página da consulta pública que contém este tópico traz contribuições
relevantes que poderiam dar mais concretude ao enunciado. A BRASSCOM, por exemplo,
destaca o AI Framework de Singapura, que enumera princípios para a aplicação de
sistemas de IA e extrai deles boas práticas:
“Tendo esses princípios em mente, o AI Framework de Singapura traz como
sugestão algumas boas práticas para auxiliar aquelas organizações que optarem
por seguir os princípios apresentados pela PDPC, divididas em categorias: 1)
Medidas e Estruturas de Governança Interna ●Estabelecimento de papéis e
responsabilidades claras dentro da organização; ●Pessoal envolvido com práticas
e políticas de proteção de dados devem monitorar e gerenciar riscos; e ●
Treinamento interno. 2) Determinando o nível de envolvimento humano na
tomada de decisão de sistemas de IA ●Nível apropriado de envolvimento
humano, levando em consideração todo o contexto; e ●Tomar medidas para
minimizar danos aos indivíduos. 3) Gerenciamento de Operações ●Minimizar
viés nos dados e nos modelos; e ●Abordagem baseada em risco para garantir
robustez e sintonia regular. 4) Comunicação e interação com todas as partes
interessadas ●Compartilhar com os usuários a(s) política(s) de IA adotada(s) ●
Permitir que usuários forneçam feedback, se possível; e ●Tornar as
comunicações fáceis de entender”.
Em seguida, com foco no uso de soluções de IA pelo Estado, a associação Data Privacy
Brasil destaca os termos da Declaração de Toronto de 2018, segundo a qual “os
principais princípios éticos são (i) Identificar riscos, (ii) Garantir transparência e
accountability e (iii) Impor mecanismos de supervisão”. Tratando especificamente do
ponto ii, que se relaciona mais proximamente à ação estratégica ora comentada,
continuam:
“O princípio de garantia de transparência significa que “Os Estados devem
garantir e requerer accountability e a máxima transparência possível em relação
ao uso de sistemas de aprendizado de máquina pelo setor público. Isso deve
incluir a explicabilidade e inteligibilidade no uso destas tecnologias, de forma que
o impacto sobre indivíduos e grupos afetados possa ser efetivamente escrutinado
por entidades independentes, que responsabilidades sejam estabelecidas e que
atores sejam obrigados a prestar contas”. Esse princípio se desdobra em três
obrigações positivas por parte do Estado: (i) revelar publicamente onde sistemas
de aprendizado de máquina são utilizados na esfera pública, fornecer informação
4

que explique em termos claros e acessíveis como processos decisórios
automatizados ou de aprendizado de máquina são efetivados, e documentar
ações tomadas para identificar, documentar e mitigar impactos discriminatórios
ou contra outros direitos, (ii) permitir análise e supervisão independente por
meio de sistemas que sejam auditáveis, e (iii) evitar a utilização de sistemas de
‘caixa preta’ que não possam ser sujeitos a parâmetros significativos de
accountability e transparência, e não utilizar esses sistemas sob nenhuma
hipótese em contextos de alto risco”.
Apesar de citada no corpo do texto da EBIA, a Declaração de Toronto é apenas
mencionada em nível genérico, sem ir às minúcias de como implementar a accountability
no uso de sistemas de IA pelo poder público. As ações estratégicas, como já exposto,
também apenas tocam superficialmente o assunto. Isto parece uma oportunidade
perdida, dado o nível de detalhamento que se pode encontrar em algumas das
contribuições da sociedade civil ao processo de consulta pública da EBIA.
Como se pode observar, ambas as contribuições anteriormente citadas trazem
mecanismos práticos para a concretização do objetivo de “transparência e de divulgação
responsável quanto ao uso de sistemas de IA”. O próprio CTS o fez em sua contribuição,
ao descrever diversas opções técnicas e organizacionais para promover a transparência
e a explicabilidade de sistemas de IA - como, por exemplo, o uso de model cards ao longo
do processo de desenvolvimento dos algoritmos. Sobre o mesmo ponto, ainda, de
divulgação responsável do uso da IA, é interessante recorrer a referências internacionais.
OAI Roadmap desenvolvido pelo conselho consultivo independente de especialistas em
inteligência artificial junto ao governo do Reino Unido, por exemplo, indica a seguinte
ação:
“Commit to achieving AI and data literacy for everyone. The public needs to
understand the risks and rewards of AI so they can be confident and informed users.
An Online Academy for understanding AI, with trusted materials and initiatives
would support teachers, school students and lifelong learning”.
Além de uma intenção genérica - informar todos a respeito da IA -, a ação indica um
caminho efetivamente concreto e realizável, de modo que configure uma ação objetiva.
Este é um problema que permeia muitas das ações da EBIA, que falam em “estimular”,
“estruturar”, “incentivar” e “definir” sem dizer o quem, o quando ou o como.
Além disso, alguns termos-chave precisariam de melhor definição para serem
operacionalizados. Por exemplo, ao falar em “Facilitar o acesso aos dados abertos do
governo” (eixo “Governança de IA”), seria importante especificar o que se pretende por
“facilitar”, visto que para aplicações de IA não apenas o acesso a dados abertos, mas a
qualidade e estruturação desses dados são fatores cruciais. Ao enunciar a ação de
“Estimular a retenção de talentos especializados em TIC no Brasil” (eixo “Força de
trabalho e capacitação”), seria importante listar as formas como esse objetivo pode ser
alcançado, sob o risco de meramente recorrer a uma obviedade sem indicar um caminho
real.
5

O problema da segurança pública
Em complemento a estas considerações mais gerais, é importante notar pelo menos um
problema substancial e específico que a EBIA carrega ao tratar do uso de IA na
Segurança Pública.
A EBIA introduz estatística da pesquisa do Carnegie Endowment for International Peace
de forma acrítica. Entretanto, o intuito de tal estudo foi estabelecer preocupações com o
avanço do uso ativo e indiscriminado de tecnologias de IA por governos com fins de
vigilância. O uso de dados da pesquisa para afirmar posição favorável ao uso de IA neste
setor é profundamente problemático, tendo em vista que o estudo objetivou trazer
atenção e alarme para o uso de IAs pelo poder público na área de segurança pública.
Como atesta a conclusão do estudo (p. 24), os potenciais problemas do uso de IA, mesmo
aqueles advindos de tecnologias aparentemente benevolentes, evocam a necessidade de
absoluta cautela do poder público na implementação de sistemas de IAs no setor de
segurança pública, sobretudo em relação a tecnologias de reconhecimento facial (TRFs).
"The spread of AI surveillance continues unabated. Its use by repressive regimes to
engineer crackdowns against targeted populations has already sounded alarm
bells. But even in countries with strong rule of law traditions, AI gives rise to
troublesome ethical questions. Experts express concerns about facial recognition
error rates and heightened false positives for minority populations. The public is
increasingly aware of algorithmic bias in AI training datasets and their prejudicial
impact on predictive policing algorithms and other analytic tools used by law
enforcement. Even benign IOT applications—smart speakers, remote keyless entry
locks, automotive intelligent dash displays—may open troubling pathways for
surveillance. Pilot technologies that states are testing on their borders—such as
iBorderCtrl’s affective recognition system—are expanding despite criticisms that
they are based on faulty science and unsubstantiated research. The cumulative
impact gives pause. Disquieting questions are surfacing regarding the accuracy,
fairness, methodological consistency, and prejudicial impact of advanced
surveillance technologies. Governments have an obligation to provide better
answers and fuller transparency about how they will use these new intrusive tools."
Em relação especificamente à disseminação de sistemas de reconhecimento facial no
Brasil, a EBIA cita estudo elaborado pelo Instituto Igarapé sobre a implementação de
sistemas de reconhecimento facial (SRF) no Brasil para denotar que "desde 2011, SRFs
sao utilizados no Brasil para diferentes finalidades. De 47 casos reportados, 13 tinham
como objetivo o uso no contexto de seguranca publica. Por exemplo, na cidade do Rio de
Janeiro, entre julho e outubro de 2019, 10% das prisoes do 19º Batalhao da Policia
Militar - BPM foram decorrentes do SRF utilizado". É conclusão fundamental do estudo
citado, no entanto, que a adoção destes sistemas implicou na coleta de dados detalhados
sobre vidas civil e penal de indivíduos, registros faciais e biométricos, antes mesmo da
elaboração e adoção da lei geral de proteção de dados (LGPD).
A despeito de também fazer menção ao uso de SRFs em conjunto a sistemas de
monitoramento por circuitos fechados de televisão (CFTVs) e de também fazer
referência à pesquisa do Instituto Igarapé sobre o tema em uma nota de rodapé, a EBIA
não retrata a conclusão do estudo, o qual, por sua vez, observa que:
6

"Diversos estudos apontam que a videovigilância tem efeito limitado na redução
de crimes. Câmeras de vigilância tendem a ser mais eficazes em reduzir crimes
contra a propriedade, em detrimento de crimes contra a vida. Fatores como local
de instalação e tipo de sistema afetam a eficácia da videovigilância. A presença de
câmeras de vigilância não necessariamente leva a um aumento na percepção de
segurança. A melhoria na iluminação urbana pode contribuir mais com a redução
de certos tipos de crime do que a instalação de câmeras."
A EBIA tece algumas críticas aos potenciais efeitos perversos da implementação de SRFs,
como a possibilidade de discriminação algoritmica e ineficiência de aplicações. No
entanto, em suas ações estratégicas, delineia poucas formas efetivas de endereçamento e
enfrentamento a estes problemas e corrobora a implementação, delegando as iniciativas
de normatização e possíveis planejamentos necessários para a estruturação de sistemas
seguros a outros "órgãos reguladores", sem sequer apontar de forma apropriada quais
seriam estes (pp. 49-50).
Conclusão
A generalidade com que os temas são abordados nas ações estratégicas da EBIA, aliados
à falta de um delineamento claro da estrutura de governança pretendida, prazos e metas,
dão ao documento a feição de um primeiro passo tímido no caminho da regulação da IA.
Uma série de perguntas segue em aberto: quais as diretrizes técnicas e organizacionais
para o enfrentamento de problemas atrelados à implementação de sistemas de IA?
Quem será capaz de definir ou revisar essas diretrizes, com que periodicidade, por meio
de que instrumentos regulatórios? Como se dará a participação da sociedade civil nos
processos decisórios acerca do tema? Que instrumentos de incentivo serão aplicados
para o desenvolvimento de aplicações de IA no Brasil? Quais os setores prioritários para
esse desenvolvimento?
Essas são questões sobre as quais a EBIA dá pistas, mas não respostas. No entanto, dado
o longo processo de consulta pública, o volume de conhecimento já existente e as
experiências de outros países em empreitadas semelhantes, era de se esperar um avanço
mais significativo. O Executivo terá pela frente o trabalho árduo de desenhar contornos
firmes para a IA no Brasil. Escutar as vozes que indicam caminhos concretos e possíveis
e observar o desenrolar de experimentos semelhantes em outros países poderá dar mais
solidez e eficácia a qualquer passo que tome daqui em diante.
7