1 Introdução

Este texto foi planejado e escrito para a chamada “Nunca fomos tão digitais” da vigésima primeira edição da revista V!RUS. A chamada aponta para análises que se relacionam com a crise sanitária causada pelo novo coronavírus e os deslocamentos de formas de socialização para a internet, principalmente em decorrência do confinamento, dentre outros impactos numa dimensão digital. Na emergência dessas transformações, torna-se imprescindível pensar nas respostas estatais à contenção da pandemia, assim como na complexidade dos problemas sociais sucedidos do contexto. Além dos deslocamentos mencionados, que se operam de diferentes maneiras em diferentes grupos sociais, essa crise global e nacional intensificou problemas estruturais no Brasil, como o racismo e outros marcadores de opressão – tais como classe, gênero e sexualidade – que conjunturalmente agravam a vida das pessoas no contexto pandêmico.

Nossa intenção é refletir sobre o cruzamento de três questões que emergem e intensificam-se: dispositivos tecnológicos, desigualdades raciais e medidas adotadas pelo Estado na contenção da pandemia. Na intersecção das duas primeiras, importantes trabalhos foram lançados recentemente, com destaque para o livro “Comunidades, algorítimos e ativismos digitais: olhares afrodiaspóricos”, de organização de Tarcízio Silva, lançado em 2020. Se jamais fomos tão digitais, torna-se indispensável pensar as dinâmicas sociais dentro desse contexto, sobretudo como se operam as desigualdades raciais e o racismo dentro das próprias redes, sem ignorar o abismo de diferenças entre pessoas que têm ou não direito ao distanciamento social e acesso às redes em épocas de confinamento:

Claramente, o isolamento como forma de segurança e proteção à saúde tem sido experimentado pelas classes médias e altas. Para esses segmentos sociais, apesar dos inevitáveis inconvenientes, tem sido facultado o recolhimento dentro de suas residências, com a possibilidade da realização de compras online, de trabalho remoto, do uso de máscaras apropriadas, do uso sistemático de álcool gel, dentre tantas outras medidas necessárias para a preservação da saúde. Se, para esses segmentos, o isolamento tem sido traduzido como exercício de garantias, para a massa populacional das periferias negras, esse processo tem significado privação e violência. A precariedade das habitações nas periferias brasileiras, a falta de saneamento básico e o difícil acesso à água são alguns dos fatores que contribuem para que a prescrição do isolamento e da higienização não consigam se materializar.” (FLAUZINA, PIRES, 2020, p. 71)

Num outro vértice, conectando a segunda e terceira questão, em recente artigo, Flauzina e Pires (2020) explicam que, para além de um marcador agudizado durante a pandemia, “[...] o racismo é a régua que mede o mundo e organiza os limites das políticas adotadas no enfrentamento da pandemia”. Igualmente, as ações governamentais se relacionam também com a questão racial: “Mesmo sendo nitidamente o elo mais vulnerável da pandemia, a realidade do povo negro empobrecido não é tomada como o ponto de partida para se pensarem as ações governamentais” (FLAUZINA, PIRES, 2020, p. 73).

A partir disso, nos debruçamos sobre dispositivos de vigilância digital e especificamente sobre tecnologias de reconhecimento facial (amplamente utilizadas em alguns países asiáticos no enfrentamento da pandemia¹) sem necessariamente traçar uma problemática temporalmente localizada na pandemia do coronavírus, porém pensada desde tensionamentos possíveis no momento. Nosso objetivo é pensar as implicações na utilização desses dispositivos num país em que o racismo segue estruturando políticas de morte, de exclusão e de controle social de corpos negros, que se agravam no contexto pandêmico. Nos detivemos especificamente sobre questões que envolvem o controle social exercido pelo Estado no âmbito tecnológico-penal. Assim, esta pesquisa busca introduzir a discussão sobre a utilização de dispositivos tecnológicos de reconhecimento facial no Brasil, num contexto de importação de políticas criminais atuariais com especial efeito racializado. Trabalhando com o método indutivo, investigou-se a distribuição da punição por parte do Estado a partir de uma distinção que programa a máquina para automatizar a criminalização secundária, isto é, reconhecer e identificar “quem são os criminosos”.

As falhas na diferenciação das pessoas pelos dispositivos demonstram, antes de qualquer coisa, um programa de governo e uma técnica utilizada. O acúmulo de informações sobre os indivíduos elevou a capacidade do Estado em vigiar, controlar, organizar, fiscalizar e punir por meio de dispositivos tecnológicos. Estas práticas, embora catalisadas pelas atuais metodologias, não constituem novidade, como destaca Ruha Benjamin (2019) ao apontar o controle da população negra nas esferas virtuais e por dispositivos tecnológicos, de maneira discriminatória e culminando em seu encarceramento, numa espécie de New Jean Code², ou, nas palavras de Michelle Alexander, The newest Jim Crow (2018b). A multiplicação dos dispositivos eletrônicos, a acessibilidade de ferramentas digitais, a expansão do mundo virtual e a integração/incorporação com o mundo físico (FLUSSER, 2007) expõem o sentimento e a constatação de que jamais fomos tão digitais. Todavia, apesar de decisivamente impactar a sociedade contemporânea, o desenvolvimento tecnológico, por si só, não foi capaz de modificar elementos centrais de nossa forma de existir, a respeito da manutenção do racismo como elemento estruturante da conjuntura³ – intensificado pelos dispositivos virtuais.

Pensando nestas questões, e em como o racismo atravessa a sociedade brasileira e escamoteia-se sob o mito da cordialidade⁴, ao investigarmos os dispositivos de reconhecimento facial e sua interação com o racismo, esbarramos com uma questão anterior: a própria tecnologia, sobretudo sua programação e algoritmos. Assim, buscamos compreender por meio desta relação, reconhecimento facial e raça, se existe neutralidade na tecnologia. Para isso, num primeiro tópico abordamos a relação entre raça e tecnologia na polissemia do termo Black Software, principalmente com as contribuições de McIlwain (2020) sobre a revolução tecnológica nos Estados Unidos. Na sequência, recorremos a recente literatura de mulheres afro-americanas sobre o comportamento das máquinas e algoritmos que cada vez mais compõe as instituições formais de controle. Por fim, cotejando com estudos similares nos Estados Unidos, investigamos no cenário nacional a importação de políticas criminais que têm como principal instrumento o reconhecimento facial, apresentando em quais estados foram implementadas e seus resultados preliminares.

2 Raça e tecnologia

O projeto de modernidade é um projeto colonizador que tem o racismo como estrutura fundante e mantenedora (ALMEIDA, 2018; QUIJANO, 2005; FOUCAULT, 2010; DUARTE et al., 2016). A noção de racismo precede à concepção do que se entende por raça. Raça é um conceito não estático, mas histórico⁵ e relacional⁶. Racismo, portanto, “[...] é uma forma sistemática de discriminação que tem a raça como fundamento, e que se manifesta por meio de práticas conscientes ou inconscientes que culminam em desvantagens ou privilégios para indivíduos, a depender do grupo racial ao qual pertençam” (ALMEIDA, 2018, p. 25). É o racismo, compreendido como uma ferramenta de poder, de hierarquização e estratificação social, que mantém a população negra nos piores indicadores sociais, acirrando os processos de exclusão e desigualdades. Pensar a tecnologia e o mundo virtual a partir de uma problemática racial – inserida no eixo colonizador/modernizador – pode ser organizado da seguinte forma: como se constituem os dispositivos tecnológicos, as máquinas, as empresas, as condições de acesso à tecnologia, ou seja, analisar historicamente os processos de formação e desenvolvimento tanto das empresas que fabricam equipamentos quanto dos equipamentos em si (MCILWAIN, 2020).

O desenvolvimento das tecnologias no século XX envolveu fundamentalmente a segregação em seu processo de elaboração: pensando nos Estados Unidos, a própria criação de dispositivos, máquinas e aparelhos que compõem a esfera digital tem como pré-condição a segregação da população negra e sua subordinação. Negar acesso a empregos, educação, saúde, moradia, foi também – além da segregação institucionalizada – ferramenta de exclusão que tornou o processo de elaboração das tecnologias separado dessa população, apesar dos esforços e lutas em resistir e constituir ativamente ferramentas, empresas, organizações e formas de compor a revolução digital (MCILWAIN, 2020). Ou seja, a revolução tecnológica do século XX foi pensada por brancos e para brancos. E, como efeito do poder, numa perspectiva etnocentrada, não incluiu a população negra, a não ser quando para controlá-la, como apresenta Mcilwain na polissemia do conceito de Black Software:

Para mim, o "software negro" evoca as inúmeras maneiras de mobilizarmos a tecnologia dos computadores. Black Software se refere ao programa que desejamos e programamos os computadores para execução. Refere-se a quem cria o programa, para quais propósitos e o que ou quem torna-se seus objetos em dados. Refere-se a como, e quão bem, o computador executa a tarefa para a qual foi programado. (MCILWAIN, 2020, p. 7, tradução nossa)

A população negra participa da revolução tecnológica principalmente enquanto objeto de controle, num mecanismo que alia empresas, governos e dispositivos. A expansão do controle formal (penal) sobre este grupo é exemplificada não só pelo programa de reconhecimento facial abordado nesta pesquisa⁷ – historicamente essa tecnologia consiste em mais uma das ferramentas de controle. Como todo dispositivo de dominação, a tecnologia busca seu véu de legitimação: os elementos-chave de controle social (como raça, gênero e classe) geralmente acompanham um discurso de justificação, que o torne aceitável, lógico, até mesmo inevitável ou natural. No caso dos dispositivos tecnológicos, a legitimação se dá por uma suposta neutralidade tecnológica. Essa arguição acompanha a incorporação da tecnologia ao sistema penal. Este, como esfera privilegiada de controle social, buscou refúgio em diferentes ancoradouros. Se, em sua fundação, legitimou-se sob discursos de violação do pacto social e – posteriormente, mas sem abandonar essa premissa – na patologização do crime (DUARTE, 2016), hoje busca sua razão por meio de uma neutralidade tecnológica que busca isentar seus operadores de intencionalidade e discriminação. Sempre justificativas que elidem processos conscientes de decisão que criminalizam (controlam) segmentos específicos da população (DIETER, 2012).

Sendo assim, relembrando o prision fix proposto por Ruth Gilmore (2007) como política norte americana de construção de presídios e incremento do aprisionamento como solução unidimensional para as multiplicidades dos conflitos sociais, podemos aproximar nos estudos de Ruha Benjamin (2019) a polissemia do tech fix como solução aos problemas da contemporaneidade. Não só a solução e harmonização dos conflitos sociais via prisão, mas via objetividade da tecnologia. A reparação pela tecnologia, o uso do termo fix, designa também para a autora a capacidade de estabilizar, identificar e marcar a população negra para assim distribuí-la e manter intocadas as estruturas de dominação. Inclui também o processo de acumulação de informação por parte de empresas específicas⁸ e o potencial dos dados como novas formas de controle racializado.

3Robôs podem ser racistas?

Estudos sobre a interação raça e tecnologia no Brasil ainda são relativamente escassos, dentre os quais se destaca a obra recém lançada ‘Comunidades, algorítimos e ativismos digitais: olhares afrodiaspóricos’, organizado por Tarcízio Silva. Todavia, internacionalmente, face à atualidade da problemática, cada vez mais autoras dedicam-se a pensar e desconstruir a neutralidade dos algoritmos (O’NEIL, 2016), sua composição (CHUN, 2011) e como retomam um projeto de vigilância e controle da população negra (BROWN, 2015). Seria a tecnologia, enquanto exclusão total da subjetividade pela automação, isenta da possibilidade de discriminação? Na defesa dos dispositivos virtuais e maquínicos, estão os argumentos de que, inexistindo intenção humana, possuiriam um “grau zero” de objetividade, que impossibilitaria discriminação e injustiça: pura ciência. Ruha Benjamin (2019) relembra alguns acontecimentos que põem em xeque essa premissa: a classificação virtual, por parte da ferramenta de pesquisa Google, de pessoas negras como gorilas; aplicativo para telefone que classifica usuários em escala estética – dos cinquenta primeiros classificados, seis pessoas eram negras; a empresa HP, que não reconheceu rostos negros em seus equipamentos de tecnologia, em razão da “baixa luminosidade”; a Kodak, que, no processo de revelação de fotos, tornava visíveis apenas os olhos e sorrisos de pessoas negras, entre outros fatos que geralmente são tratados como excepcionalidade à objetividade tecnológica.

Questionamos: poderiam os robôs serem racistas? A questão é preliminarmente rejeitada pelos modernos que arguem a ausência de subjetividade da máquina. Todavia, a resposta é muito clara e afirmativa: os robôs podem sim ser racistas. São assim pela programação que os configura, pelo programador que organiza seus códigos e pela empresa que desenvolve um objeto pensado para um determinado fim (BENJAMIN, 2019). Os reiterados casos de racismo na esfera virtual não constituem falhas, erros, desvios do sistema; ao contrário, refletem a perspectiva daqueles que constroem os códigos e elegem seus interesses acima dos demais, espelhada na execução de programas como forma de assegurar a dominação em outras esferas (BENJAMIN, 2019). Os dispositivos de reconhecimento facial funcionam por meio de algoritmos, que, por sua vez, atuam como linhas de programação, compondo um modelo que servirá de referência à máquina. Programar uma máquina é inserir dados bases que ordenam o funcionamento do conjunto. São modelos baseados no passado que têm sua capacidade de projeção limitada a parâmetros inseridos por dados precedentes (O’NEIL, 2016, p. 40).

Para aperfeiçoar qualquer sistema automatizado, os algoritmos devem continuamente receber feedback sobre o que desenvolvem. Isto é, uma resposta sobre a precisão do que calculam, aperfeiçoando o modelo pré-existente para que se atualize com a diferença do devir. Sem retorno, o sistema continua girando em falso sem aprender com seus erros (O’NEIL, 2016). Todavia, esse retorno não garante a aprendizagem do sistema e os dados inseridos inicialmente podem desembocar num efeito looping. Esse efeito retroalimenta a programação inicial sem que o sistema seja capaz de corrigir falhas, ao contrário, aperfeiçoa-se em criar uma realidade, girando em falso e reproduzindo a programação inicial indefinidamente.

O problema que é pertinente a qualquer modelo algorítmico tem efeitos especialmente nefastos enquanto ferramenta de controle social. Modelos de policiamento funcionam por cálculo de registros policiais baseados em acontecimentos passados (cidade, hora, local, tipo de crime), criando zonas de risco criminal, para identificar chances de repetição e tornar o policiamento mais eficiente (O’NEIL, 2016, p. 75). Seria assim, caso a questão criminal fosse a priori neutra. Os números inicialmente inseridos nesses programas são, na verdade, fruto primeiro de uma decisão política sobre quais condutas são criminalizáveis e quais indivíduos serão alvo maior de ação policial. Uma polícia guiada pela “guerra às drogas” e focada em crimes contra o patrimônio irá centrar sua atividade em determinados territórios, já vulnerabilizados e alvos de atuação policial (ALEXANDER, 2018; BATISTA, 2011; ANDRADE, 2012; LEAL, 2017).

Com um maior policiamento, novos crimes serão captados. O’ Neil (2016) expõe a prática norte-americana de abordagem de indivíduos suspeitos. De acordo com sua pesquisa, na última década essa prática aumentou 600%, sendo 85% dos indivíduos abordados negros ou latinos. Dessas abordagens, apenas 0,1% dos abordados estava ligado a algum crime violento. Essa eficiência já não importa. Se esses dados compõem e ordenam sucessivamente a intensificação do policiamento em regiões já policiadas, geram um looping no sistema. Como espécie de exercício criativo, imagine-se o mesmo mapa de zonas de risco, mas agora alimentado por outros dados: dados vinculados a crimes de sonegação fiscal. O dispositivo alertaria cuidado ao entrar em bairros específicos, sob risco de algum crime fiscal (BENJAMIN, 2019). Consequentemente, aumentaria o policiamento dessas regiões, captando cada vez mais e mais condutas criminosas, intensificando as ações policiais, entre outras situações. Talvez assim se imagine a SWAT entrando nos bairros nobres de Chicago (O’NEIL, 2016), ou talvez, no Brasil, o BOPE invadindo violentamente bairros prestigiosos de São Paulo.

4 Reconhecimento facial no Brasil

Sobre o uso do reconhecimento facial no Brasil, o estudo “Regulação do reconhecimento facial no setor público”, lançado em junho de 2020 pelo Instituto Igarapé e Data Privacy Brasil (FRANCISCO et al., 2020) baliza aspectos fundamentais da discussão, comparando a legislação referente ao tema na Inglaterra, França e Estados Unidos. Nestes três países, respectivamente, observa-se: a incorporação das políticas de proteção de dados à legislação vigente; legislações que exigem anuência expressa do usuário sobre os possíveis usos das informações que fornecem, e legislações que vedam o uso de dados obtidos virtualmente por parte de empresas e Estado. Em outro estudo do Instituto Igarapé, levantou-se que, até 2019, 16 estados do Brasil contavam com o uso de tecnologia de reconhecimento facial, distribuindo-se em 30 municípios diferentes (INSTITUTO IGARAPÉ, 2019). Tratam-se de 48 iniciativas público-privadas distribuídas em áreas como transporte (21), segurança pública (13), educação (5), controle de fronteiras (4) e outras (4) (INSTITUTO IGARAPÉ, 2019). No campo do transporte, busca-se reduzir o número de fraudes quanto ao transporte gratuito; na educação controla-se frequência e ausência dos alunos; enquanto no campo da segurança pública trata-se da identificação e procura de foragidos.

Sobre o controle jurídico destas tecnologias, em que pese a Lei Geral de Proteção de Dados Pessoais 13.709/2018, o governo brasileiro editou a portaria n° 793/2019, que regulamenta o uso de dinheiro do Fundo Nacional de Segurança Pública para o “fomento à implantação de sistemas de vídeo monitoramento com soluções de reconhecimento facial, por Optical Character Recognition - OCR, uso de inteligência artificial ou outros”. A portaria representa o estímulo a políticas de reconhecimento facial, sem, em contrapartida, desenvolver um marco de controle e limitação desses dispositivos, que já são utilizados na atividade policial.

Atualmente, a intensificação que nos referimos opera em direção a políticas criminais que trabalham com eficiência. O uso das tecnologias de reconhecimento facial marca a reprodução em outra esfera – tecnológica – do racismo estrutural enquanto evita críticas sob o abrigo da neutralidade científica tecnológica. O uso desses instrumentos constitui uma política atuarial de controle, que corresponde a um processo originalmente americano de desenvolver tabelas e testes de cálculo de reincidência. Essa técnica, inicialmente destinada à execução penal, passa a integrar políticas criminais de atuação policial (DIETER, 2012, p. 84). A eficiência, então, é medida pela reincidência específica que se traduzirá como periculosidade. Assim, temos o desenvolvimento de uma política criminal que se justifica pela busca em prender menos e concentrar seus esforços em prender “melhor”, em selecionar indivíduos de alto risco, supostamente responsáveis pela maioria dos crimes cometidos. Em tese, guiando a ação policial e as decisões judiciais por meio da vinculação a itens integrantes do cálculo de risco, seus agentes (policiais e juízes) teriam menor espaço de discricionariedade⁹ e se reduziriam as práticas racistas desses espaços. Tratou-se literalmente da automação dos processos de criminalização. Ao contrário do que propôs, a adoção da política criminal atuarial foi decisiva no aumento do encarceramento da população negra nos Estados Unidos (DIETER, 2012; ALEXANDER, 2018). Compreendendo o que significa uma política criminal atuarial, principalmente no que versa sobre a automação do controle social/penal sobre a criminalização secundária, emerge em toda sua complexidade o uso do reconhecimento facial como medida de política criminal no Brasil, tornando urgentes debates sobre como contribui e contribuirá para o encarceramento em massa e na potencialização e reprodução da discriminação, repressão e reclusão da população negra.

Em 2019, uma rede de observatórios de segurança estudou violência e uso do reconhecimento facial como medida de segurança pública e política criminal em cinco diferentes estados do País, durante cinco meses. Do relatório, depreende-se que a ideia de eficiência a partir da tecnologia não encontra respaldo: na Bahia, durante o carnaval, o sistema de reconhecimento identificou mais de 1.300.000 rostos, gerando 903 alertas, 18 mandados e prisão de 15 pessoas, ou seja, 96% das notificações foram inúteis (NUNES, 2019). Dos dados obtidos, quanto ao perfil dos presos por reconhecimento facial, 87,9% dos suspeitos foram homens e 12,1% mulheres; já quanto à raça, 90,5% das pessoas eram negras e 9,5% eram brancas. As abordagens foram motivadas majoritariamente por delitos de tráfico e roubo (NUNES, 2019, p. 69).

A discriminação racial via reconhecimento facial não é uma exclusividade do Brasil. Nos estudos de Garvie e Frankle (2016) já se apontava que os dispositivos utilizados pela polícia norte americana falhavam duas vezes mais em reconhecer e diferenciar rostos negros do que brancos, levando a intensificação da vigilância sobre a população negra através de falsos positivos. Essas falhas, conforme já apontamos, são construídas preliminarmente nas opções de engenharia e na manutenção desses aparelhos. Nesse sentido, o viés racial não se dá via intencionalidade da máquina, mas por uma série de amarras na sua construção – envolvendo seus desenvolvedores e operadores, como no banco de imagens utilizado para “treinar” o reconhecimento facial (GARVIE, FRANKLE, 2016).

A pesquisa dos autores reforça o elemento de raça enquanto relacional e circunscrito. Isso porque dispositivos desenvolvidos em outras regiões do mundo, conforme Patrick J. Grother, George W. Quinn e Jonathon Phillips (2011) pelo National Institute of Standards and Technology (NIST) em relatório que media avanços dessa tecnologia, verificaram que as tecnologias desenvolvidas na China, Japão e Coréia do Sul reconheciam com maior precisão feições Asiáticas que outras. Igualmente, Estados Unidos, França e Alemanha, em que reconheciam melhor feições caucasianas que outras. A pesquisa, comparando diferentes empresas que trabalham com reconhecimento facial, identificou sutis diferenças no que se refere a gênero, idade e peso, mas destacou uma significativa diferença na precisão do reconhecimento no que diz respeito à raça: o desempenho dos dispositivos é diretamente ligado ao banco de dados utilizado para treinar a máquina e visam um grupo demográfico específico (GROTHER et al., 2011).

Quase dez anos depois, o mesmo instituto lançou uma nova pesquisa comparando 18.270.000 imagens e 8.490.000 pessoas, utilizando-se dos 189 algoritmos mais comerciais de 99 empresas diferentes. Nesta pesquisa, verificou-se a manutenção da problemática do estudo anterior no que tange à centralidade que cada algoritmo dá para determinada fisionomia, a partir da região em que é produzido (GROTHER et al., 2019). As conclusões foram ainda mais graves: os falsos positivos são altos nos indivíduos negros norte-americanos, leste e sul asiáticos e indivíduos da América Central. Os indivíduos com menos falsos positivos são homens brancos americanos ou europeus. Contrariamente, os falsos negativos são majoritariamente da população negra (GROTHER et al., 2019). Essa armadilha da visibilidade, que ora invisibiliza, ora destaca a população negra, sempre é feita em um contexto. O elemento relacional da raça demonstra a perspectiva etnocentrada dos algoritmos, e, no Brasil, apresenta um efeito especialmente nocivo à população negra.

5 Conclusão

Pela recente importação e implementação da tecnologia, as pesquisas sobre reconhecimento facial no Brasil são escassas. Ainda assim, os estudos preliminares e os dados sobre o perfil dos selecionados por esta tecnologia indicam a reprodução da seletividade racial da programação criminalizante. Nesse sentido, Nunes (2019) escreve:

Por mais que para alguns a tecnologia de reconhecimento facial possa parecer uma novidade misteriosa e incerta em seus resultados, para os rapazes jovens e negros ela tem representado a certeza de que continuarão a ser abordados de forma preferencial, em nome da chamada “guerra às drogas”. O reconhecimento facial tem se mostrado uma atualização high-tech para o velho e conhecido racismo que está na base do sistema de justiça criminal e tem guiado o trabalho policial há décadas. (NUNES, 2019, p. 69-70)

Diante deste cenário, três horizontes de pesquisa mostram-se indispensáveis: 1) Estudos jurídicos na busca de uma legislação limitante da atuação estatal frente às novas tecnologias, principalmente em sua face mais violenta (sistema de justiça criminal); 2) Pesquisas voltadas à análise dos impactos da utilização do reconhecimento facial na criminalização secundária; 3) Estudos que tensionem a gramática racial na programação maquínica destes dispositivos.

O presente artigo buscou demonstrar que a tecnologia não é isenta de intenções, não é neutra, e que a programação de seus dispositivos, codificados a reconhecer o padrão branco, implica em uma reprodução do racismo na potencialidade de empreender o encarceramento da população negra através dos “falsos positivos”. Estes demonstram a incapacidade dos aparelhos em reconhecer rostos não brancos, e implicam em uma generalização do negro como culpado. Como reboot da política criminal atuarial, o reconhecimento facial não é neutro. Sua programação amplifica e automatiza o já racializado processo de criminalização secundária, porém acrescentando ao agente humano o elemento maquínico. Sobretudo, o funcionamento institucional ancorado no que é branco normatiza e normaliza a violência frente ao que não o é; o que enseja, além de uma discussão crítica, um debate sobre a regulamentação jurídica desses dispositivos.

O contexto em que vivemos hoje, atravessado pela pandemia causada pela Covid-19, só demonstra aquilo que há muito tempo o movimento negro e os/as intelectuais negros/as já denunciavam: o racismo, juntamente com outros marcadores de opressão imbricados, estrutura as desigualdades no País. Por meios tecnológicos ou não, ancorado sob uma suposta neutralidade, é que o Estado atua como agente potencializador do que Abdias do Nascimento (1978) chamou de genocídio da população negra, não apenas como morte física, e que segue alimentado pelo racismo. Não questionar os indicadores sociais de pobreza e exclusão, impostos às pessoas negras nos mais diversos contextos, é continuar naturalizando o racismo e negá-lo enquanto processo gerador de violência, desigualdade e exclusão!

Referencias

ALEXANDER, M. A Nova Segregação: racismo e encarceramento em massa. São Paulo: Boitempo, 2018a.

ALEXANDER, M. The newest Jim Crow. The New York Times. New York, p. 3, 8 nov. 2018b. Disponível em: https://www.nytimes.com/2018/11/08/opinion/sunday/criminal-justice-reforms-race-technology.html. Acesso em 14 ago. 2020

ALMEIDA, S. O que é racismo estrutural? Belo Horizonte: Letramento, 2018.

ANDRADE, V. R. Pelas mãos da criminologia: o controle penal para além da (des)ilusão. Rio de Janeiro: Instituto Carioca de Criminologia, 2012.

BATISTA, V. M. Introdução crítica à criminologia brasileira. Rio de Janeiro: Revan, 2011.

BECKER, H. S. Outsiders: estudos de sociologia do desvio. Tradução Maria Luiza X. de Borges. Rio de janeiro: Zahar, 2008.

BENJAMIN, R. Race After Technology. Cambridge: Polity Press, 2019.

BROWN, S. Dark Matters: on the survillence of blackness. Durhan: Duke Press, 2015.

CHUN, W. H. K. Programmed Visions: Software and Memory. Cambridge, Massachusetts: MIT Press, 2011.

DIETER, M. S. Política Criminal Atuarial: a criminologia do fim da história. 2012. Tese (Doutorado em Direito) – Universidade Federal do Paraná, Curitiba, 2012.

DUARTE, E. P.; QUEIROZ, M. V. L.; COSTA, P. A.. A Hipótese Colonial, um diálogo com Michel Foucault: a modernidade e o Atlântico Negro no centro do debate sobre racismo e Sistema penal. Universitas JUS, Brasília, v. 27, n. 2, p. 1-31, jul/dez. 2016.

DUARTE, E. P. Paradigmas em criminologia e relações raciais. In: Cadernos dos CEAS, Salvador, n. 238, p. 500-526, Número Especial. 2016.

FLAUZINA, A. L. P.; PIRES, T. R. O. Políticas da morte: Covid-19 e os labirintos da cidade negra. Revista Brasileira de Políticas Públicas. Brasília, n. 2, v. 10, p. 66-84, Ago. 2020.

FOUCAULT, M. Em defesa da sociedade. São Paulo: Editora Martins Fontes, 2010.

FRANCISCO, P. A. P; HUREL, L. M.; RIELLI, M. M. Regulação do reconhecimento facial no setor público. Igarapé; Data Search Brasil, 2020.

FLUSSER, V. Mundo Codificado. São Paulo: Cosac Naify, 2007.

GARVIE, C.; FRANKLE, J. Facial-Recognition Software Might Have a Racial Bias Problem. Atlantic, 2016. Disponível em: https://www.theatlantic.com/technology/archive/2016/04/the-underlying-bias-of-facial-recognition-systems/476991/. Acesso em: 12 ago. 2020.

GILMORE, R. Golden Goulag: Prisons, Surplus, Crisis, and Opposition in Globalizing California. Berkeley: California Press, 2007.

GROTHER, P. J.; QUINN, G. W.; PHILLIPS, P. J. Report on the Evaluation of 2D Still-Image Face Recognition Algorithms. NIST, 2011. Disponível em: https://tsapps.nist.gov/publication/get_pdf.cfm?pub_id=905968. Acesso em: 12 ago. 2020.

GROTHER, P. J.; NGAN, M.; HANAOKA, K. Face Recognition Vendor Test. Part 3: Demographic Effects NIST, 2019. Disponível em: https://nvlpubs.nist.gov/nistpubs/ir/2019/NIST.IR.8280.pdf. Acesso em: 12 ago. 2020

HAN, B. C. O coronavírus de hoje e o mundo de amanhã. 2020. Disponível em: https://brasil.elpais.com/ideas/2020-03-22/o-coronavirus-de-hoje-e-o-mundo-de-amanha-segundo-o-filosofo-byung-chul-han.html. Acesso em: 23 out. 2020.

INSTITUTO IGARAPÉ. Reconhecimento facial no Brasil, n.p., 2019. Disponível em: https://igarape.org.br/infografico-reconhecimento-facial-no-brasil/. Acesso em: 07 ago. 2020.

LEAL, J. S. Criminologia da Libertação: a construção da criminologia crítica latino-americana como teoria crítica do controle social e a contribuição desde o Brasil. Belo Horizonte: D’Plácido, 2017.

MCILWAIN, C. D. Black Software: The Internet & Racial Justice, from the AfroNet to Black Lives Matter. New York, Oxford University Press, 2020.

NASCIMENTO, Abdias do. O Genocídio do Negro Brasileiro. Processo dum racismo mascarado. Rio de Janeiro: Paz e Terra, 1978.

NUNES, P. Novas ferramentas, velhas práticas: reconhecimento facial e policiamento no Brasil. In: REDE de Observatório de Segurança. Retratos da Violência: cinco meses de monitoramento, análise e descobertas. Centro de Estudos em Segurança e Cidadania, 2019. (relatório).

O’NEIL, C. Weapons of Math Destruction: how big data increase inequality and threatens democracy. NY: Crown, 2016.

QUIJANO, A. Colonialidade do Poder, Eurocentrismo e América Latina. In: LANDER, Edgardo (org.) Colonialidade do Saber: eurocentrismo e ciências sociais. Perspectivas latinoamericanas. Buenos Aires: CLACSO, 2005. Disponível em: http://biblioteca.clacso.edu.ar/clacso/sur-sur/20100624103322/12_Quijano.pdf. Acesso em: 21 ago. 2020.

SANTANA, M. C.; BICALHO, P. S. S. A construção negativa e o mito da democracia racial: uma análise comparativa entre a condição do negro no Brasil e nos Estados Unidos. Revista Eletrônica de Interações Sociais – REIS. Rio Grande, v. 3, n.1, p. 8-16, jan/jun. 2019. Disponível em: https://periodicos.furg.br/reis/article/view/9074. Acesso em: 10 ago. 2020.

SCHUCMAN, L. V. Entre o “encardido”, o “branco” e o “branquíssimo”: raça, hierarquia e poder na construção da branquitude paulistana. Tese (Doutorado em Psicologia) Instituto de Psicologia, Universidade de São Paulo. São Paulo, 2012.

SILVA, T. Comunidades, algoritmos e ativismos digitais: Olhares afrodiaspóricos. Literarua: São Paulo, 2020.

WARK, M. Capital is dead. London: Verso, 2019.

1 Introduction

This article was planned and written for the “We have never been so digital” call for papers of the V!RUS journal's 21st issue. The call points to studies related to the sanitary crisis caused by the new coronavirus and the displacements of the socialization methods to the Internet, mainly due to social distancing, amongst other impacts on a digital dimension. On the rise of these transformations, it becomes fundamental to think about the governmental responses to the contention of the pandemic, as well as about the complexity of social issues that happen in this context. Beyond these aforementioned displacements, that operate in different ways in different social groups, this global and national crisis has intensified structural problems in Brazil, such as racism and other oppression markers – class, gender, and sexuality, for example – that structurally aggravate the life of the population in the pandemic context.

We intend to reflect on the crossing between three emerging, intense questions: technological devices, racial inequalities, and measures taken by the state on the contention of the pandemic. On the intersection of the first two questions, important pieces of work were published recently, with an emphasis on the book Communities, algorithms, and digital activisms: Afrodiasporic views, organized by Tarcízio Silva, launched in 2020. Since we have never been so digital, it is crucial to think about social dynamics in this context, and especially about how racism and racial inequalities operate inside networks themselves. We can not ignore as well the huge divide between those who have the right to social distancing and those who do not, or those who are allowed or are not to access networks in times of lockdown:

Clearly, social isolation as a means of safety and protection has been experimented with by upper and middle classes. For these social segments, albeit the inevitable inconveniences, staying inside their homes has been facultative, with the possibility of shopping online, working remotely, the use of appropriate face masks, the use of hand sanitizer, among so many other needed measures for the preservation of health. If, for these segments, social isolation has been translated as an exercise of guarantees, for the masses in poor black communities this process has meant privation and violence. The precariousness of housing in Brazilian suburbs, the lack of basic sanitation, and the difficult access to water are some of the factors that contribute to the fact that the prescription of social isolation and proper sanitation is not able to happen. (Flauzina, Pires, 2020, p. 71, our translation)

In another vertex, connecting the second and third questions, Flauzina and Pires (2020, p. 73, our translation) explain in a recent article that, beyond a more acute marker during the pandemic, “[…] racism is the ruler that measures the world and organizes the limits of adopted policies on the combat of the pandemic”. Similarly, governmental actions are also related to the racial question: “Even if this is clearly the most vulnerable link of the pandemic, the reality of impoverished black people is not taken as the starting point to planning governmental actions.” (Flauzina, Pires, 2020, p. 73, our translation).

From this starting point, we then shifted our attention to digital surveillance devices, especially to facial recognition technologies (broadly applied in some Asian countries on the facing of the pandemic¹). We did not necessarily trace a problem temporaly situated within the COVID-19 pandemic, but approached from possible tensions of the current scenario. Our objective here is to think about the implications of the utilization of such devices in a country where racism still plays a major role in structuring policies of killing, exclusion and social control of black bodies, which are aggravated in the pandemic context. We have dwelt mainly on the matters that involve the social control exerted by the state on the penal and technological sphere. Thus, this research aims to introduce the matter of the utilization of technological devices of facial recognition in Brazil, in a context of importing actuarial criminal policies with a particular racialized effect. Working with the inductive method, the distribution of punishment by the state was investigated from a distinction that programs the machine to automatize the secondary criminalization, which is to say, to recognize and identify “who the criminals are”.

The failures on the differentiation of people by the devices demonstrated, before anything else, a governmental program and an utilized technique. The collection of information on individuals has elevated the capacity of the state in surveilling, controlling, organizing, inspecting and punishing through technological devices. These practices, however catalyzed by the current methodologies, are not new, as it is highlighted by Ruha Benjamin (2019) when pointing out the control of black population on digital domains and through technological devices, in a discriminatory form and culminating on their imprisonment, in a sort of a New Jean Code² or, in the words of Michelle Alexander, The newest Jim Crow (2018). The proliferation of electronic devices, the accessibility of digital tools, the expansion of the virtual world and the integration/incorporation with the physical world (Flusser, 2007) expose the feeling and the acknowledgement that we have never been so digital. However, despite having an impact on modern society, technological development by itself was not capable of modifying central elements of our way of living, in regards to the conservation of racism as a structural element of the conjuncture³ – intensified by virtual devices.

Having in mind these matters about how racism percolates Brazilian society and conceals itself under the myth of cordiality⁴, when we investigate facial recognition devices and their interaction with racism, we stumble upon a previous issue: technology itself, above all its programming and algorithms. This way, we look to comprehend using this relationship, between facial recognition and race, if there is such a thing as neutrality in technology. For that, on a first topic, we cover the relation between race and technology on the polysemy of the term Black Software, mainly with the contributions of McIlwain (2020) about the technological revolution in the United States. Subsequently, we recur to the recent literature of Afro-American women about the behavior of machines and algorithms that are progressively composing the formal institution of control. Finally, collating similar studies in the United States, we investigate the importing of criminal policies in the national scenario that have facial recognition as the main instrument, showing in which states they were implemented, and which were their preliminary results.

2 Race and technology

The Project of modernity is a colonizing project that has racism as a structure of foundation and maintenance (Almeida, 2018; Quijano, 2005; Foucault, 2003; Duarte et al., 2016). The notion of racism precedes the conception of what is understood by race. Race is a non-static concept, but historical⁵ and relational⁶. Racism, therefore, “[...] is a systematic form of discrimination that has race as a fundamental, and that manifests through conscious or subconscious practices that culminate in disadvantages or privileges to individuals, depending on the racial group they are part of.” (Almeida, 2018, p. 25, our translation). It is racism, comprehended as a tool of power, of social hierarchization and stratification, that maintains the black population on the worse social indicators, inciting the processes of exclusion and inequalities. Thinking about technology and the virtual world from a racial perspective – inserted in the colonizer/modernizer axis – can be organized as follows: how are the technological devices, machines, companies, the condition for the access to technology constituted, that is to say, historically analyzing the processes of formation and development of both the company that fabricates the equipment and the equipment itself (McIlwain, 2020).

The development of technology during the 20th century fundamentally involved segregation in its elaboration process: thinking about the United States, the very creation of devices, machines and appliances that compose the digital domain has the segregation and subordination of the black population as its pre-condition, unless when it’s used to control it, as presented by McIlwain on the polysemy of the concept of Black Software:

For me, “black software” conjures the myriad ways that we mobilize computing technology. Black Software refers to the programs we desire and design computers to run. It refers to who designs the program, for what purposes, and what or who becomes its object or data. It refers to how, and how well, the computer performs the tasks for which it was programmed. (McIlwain, 2020, p. 7)

Black population takes part in the technological revolution mainly when it is its object of control, in a mechanism that associates companies, governments and devices. The expansion of formal control (penal) over this group is exemplified not only by the facial recognition program tackled on this research⁷ – historically this technology consists of one more control tool. Like any other domination device, technology looks for its veil of legitimacy: the key-elements of social control (such as race, gender and class) are generally followed by a statement of justification that makes it acceptable, logical, even inevitable or natural. In the case of technological devices, the legitimacy happens through a supposed technological neutrality. This claim follows the incorporation of the technology in the criminal justice system. This, as a privileged domain of social control, has sought refuge in different anchorages. If, in its foundation, it was legitimized under discourses of violation of the social pact and – subsequently, but without ever abandoning this premise – in the pathologizing of crime (Duarte, 2016), today it seeks its reasoning through the means of a technological neutrality that aims to exempt its operators of intentionality and discrimination. The reasoning is always one that removes conscious decision-making processes that criminalize (control) specific segments of the population (Dieter, 2012).

Therefore, remembering the prison fix proposed by Ruth Gilmore (2007) as a North-American policy for construction of jails and increasing imprisonment as a unidimensional solution for the multiplicities of social conflicts, we can approximate in the studies of Ruha Benjamin (2019) the polysemy of the tech fix as a solution to the problems of the contemporaneity. Not only the solution and harmonization of social conflict through imprisonment, but through the objectiveness of technology. The reparation through technology, the usage of the term fix, also designates to the author the capacity of stabilizing, identifying and marking the black population to then distribute it and keep untouched the structures of domination. It also includes the process of accumulation of information by specific companies⁸ and the potential of data as a new form of racialized control.

3 Can robots be racists?

Studies on the interaction between race and technology in Brazil are still relatively scarce, among which stands out the newly launched book “Communities, algorithms and digital activisms: Afrodiasporic views”, organized by Tarcízio Silva. However, internationally, in face of the current problems, more and more authors dedicate themselves to thinking and deconstructing the neutrality of algorithms (O’Neil, 2016), their composition (Chun, 2011) and how they retake a project of surveillance and control of the black population (Brown, 2015). Would technology, as a total exclusion of subjectivity through automation, be exempt from the possibility of discrimination? On the defense of virtual and mechanical devices, are the arguments that, in the absence of a human intention, they would possess a “zero degree” objectivity, which would hinder discrimination and injustice: pure science. Ruha Benjamin (2019) reminds us of some events that puts this premise at stake: virtual classification, though the Google search tool, of black people as gorillas; phone app that classifies users in a aesthetical scale – out of the first 50 classified, only 6 people were black; the company HP, which did not recognize black faces in their technology equipment, due to “low luminosity”; Kodak, that, in the process of photo developing, made visible only the eyes and smiles of black people, among other facts that are generally treated and exceptionalities to the technological objectivity.

We asked: can robots be racists? The question is previously rejected by modern thinkers that argue the absence of subjectivity in the machine. However, the answer is very clear and affirmative: robots can be racists. They are due to the programming that configures them, as well as to the programmer that organizes its codes, and to the company that develops an object thought for a specific purpose (Benjamin, 2019). The reiterated cases of racism in the virtual domain do not constitute failures, mistakes, system misalignments. On the contrary, they reflect the perspective of those who build the codes and elect their interests above others, mirrored in the execution of software as a form of assuring domination in other fields (Benjamin, 2019). Facial recognition devices work through algorithms that, in turn, act as lines of code, composing a model that will serve as a reference to the machine. Programming a machine is inserting base data that ordinate the functioning of the whole. They are models based on the past that have their capacity limited to parameters inserted through precedent data (O’Neil, 2016, p. 40).

In order to improve any automated system, algorithms must continuously receive feedback about what they develop. That is to say, a response about the precision of what they calculate, improving the pre-existing model so that it updates itself with the becoming. Without this feedback, the system continues spinning aimlessly without ever learning from its mistakes (O’Neil, 2016). Nevertheless, this feedback does not guarantee the learning of the system and the starting data may lead to a looping effect. This effect positively feeds back the initial programming without the system ever being able to correct failures, on the contrary, it improves itself in creating a reality, spinning aimlessly and reproducing the initial programming indefinitely.

The problem that is relevant to any algorithmic model has especially harmful effects when used as a social control tool. Models for police enforcement work through the calculation of police registration based on past occurrences (city, time of the day, place, type of crime), creating criminal risk zones, to identify chances of recurrences and made police enforcement more efficient (O’Neil, 2016, p. 75). This would be the case if the criminal matter was neutral in advance. The initial numbers inserted in these codes are, in fact, firstly resultant of a political decision over which conducts are subject to criminalization and which individual will be more subject to police action. A police force guided by the “war on drugs” and focused on crimes against patrimony will center its activity in certain territories, already vulnerable and targeted by police action (Alexander, 2010; Batista, 2011; Andrade, 2012; Leal, 2017).

With a larger police presence, new crimes are intercepted. O’ Neil (2016) exposes the North-American practice of checking suspect individuals. According to his research, in the last decade this practice increased 600%, being 85% of the approached individuals black or Latino. Of these checks, only 0.1% of the individuals approached were connected to a violent crime. This efficiency does not matter anymore. If this data composes and successively orders the intensification of police patrolling in regions already patrolled, it generates a loop in the system. As a form of creative exercise, let’s imagine the same map of risk zones, but now fed by other data, data linked to tax evasion crimes. The device would signal to be careful when entering specific neighborhoods, under the risk of a tax evasion crime (Benjamin, 2019). Consequently, the police presence in these areas would increase, intercepting more and more criminal conducts, intensifying police action, among other situations. Maybe this way one could imagine the SWAT team entering the noble neighborhoods of Chicago (O’Neil, 2016), or maybe in Brazil the BOPE team violently invading the prestigious districts of São Paulo.

4Facial recognition in Brazil

On the use of facial recognition in Brazil, the paper Regulation of facial recognition in the public sector, published in June 2020 by the Instituto Igarapé and Data Privacy Brazil (Francisco et al., 2020), defines crucial aspects of the debate, comparing laws concerning this topic in England, France, and the United States. In these three countries, we can find respectively: the incorporation of data protection policy to the current legislation; laws that demand express approval by the user on the possible uses of the information provided, and laws that prevent the usage of data obtained virtually on behalf of companies and the government. Another study, carried out by Instituto Igarapé, showed that, until 2019, 16 Brazilian states had used facial recognition technology, across 30 cities (Instituto Igarapé, 2019). This encapsulates 48 private businesses distributed across several areas, such as transport (21), public safety (13), education (5), border control (4), and others (4) (Instituto Igarapé, 2019). The transportation sector uses technology to reduce fraud related to free public transportation. The Education domain employs this technology to control students' class attendance rates, while in public safety it is used to identify and search for fugitives.

On the judicial control of these technologies, in spite of the General Law of Personal Data Protection nº 13.709/2018, the Brazilian government issued the Administrative Ruling nº 793/2019, that designates the utilization of Money from the National Public Security Fund to the “promotion of the implementation of video monitoring systems with facial recognition solutions through Optical Character Recognition - OCR, use of artificial intelligence or others”. The ruling represents the stimulus to facial recognition policies without, in counterpart, developing a control and limitation benchmark to these devices, that are already used in police activity.

Currently, the intensification that we refer to operates towards criminal policies that work with efficiency. The usage of facial recognition technologies marks the reproduction of structural racism in a different area – the technological one –, while at the same time evading criticism under the shelter of scientific technological neutrality. The usage of these instruments constitutes an actuarial control policy, that corresponds to a process originally American of developing tables and tests of recidivism calculation. This technique, initially destined to criminal execution, starts to integrate criminal policies regarding police enforcement (Dieter, 2012, P.84). The efficiency, therefore, is measured by the specific recidivism that will be translated as risk. Thus, we have the development of a criminal police that justifies itself on the search for arresting less and concentrating their efforts in arresting “better”, in selecting high-risk individuals, supposedly responsible for the majority of the committed crimes.

In theory, guiding police enforcement actions and court decisions through the linking to items that constitute the risk calculation, its agents (police officers and judges) would have less margin of discretion⁹ and the racist practices of these spaces would be reduced. It’s quite literally about the automation of criminalization processes. On the contrary of what was proposed, the adoption of the actuarial criminal policy was decisive in the increase of incarceration of the black population in the United States (Dieter, 2012; Alexander, 2010). If we comprehend what an actuarial criminal policy means, mainly in regards to the automation social/criminal control over secondary criminalization, the use of facial recognition as a criminal policy in Brazil emerges in all its glory, urging the debate about how it contributes and shall contribute to a mass incarceration and to the strengthening and reproduction of discrimination, repression and reclusion of the black population.

In 2019, a network of public safety observatories studied violence and the usage of racial recognition as a public safety measure and as a criminal policy in five different states of the country, for a period of five months. From the report it surfaces that the idea that efficiency through technology finds no support: in Bahia, during carnival, the facial recognition system identified over 1,300,000 faces, generating 903 alerts, 18 mandates and the detention of 15 people, in other words, 96% of notifications were useless (Nunes, 2019). From the obtained data on the profile of inmates incarcerated through facial recognition, 87.9% of all suspects were men and 12.1% were women, on race, 90;5% of all people were black and 9.5 were while. The police checking was mainly motivated by theft and drug traffic felonies (Nunes, 2019, p. 69).

Racial discrimination through facial recognition is not limited to Brazil. In the studies of Garvie and Frankle (2016) it was already pointed that the devices utilized by American police were twice as likely to recognize and differentiate black faces than white ones, leading to the intensification of vigilance over the black population through false positives. These failures, as we have previously indicated, are built preliminarily upon the engineering and maintenance options of these devices. In this regard, racial bias does not happen through the intentionality of the machine, but through a series of bindings in its construction – involving its developers and operators, such as in the image database utilized to “train” the facial recognition algorithm (Garvie, Frankle, 2016).

The research done by the authors reinforces the element of race as relational and circumscriptive. This is due to the fact that devices developed in other regions of the world, according to Patrick J. Grother, George W. Quinn and Jonathon Phillips (2011) through the National Institute of Standards and Technology (NIST) on a report that measured the advances of this technology, verified that the technologies developed in China, Japan and South Korea recognized Caucasian features more easily than others. The research, while comparing different companies that work with facial recognition, found subtle differences when it comes to gender, age and weight, but highlighted a significant difference on the precision of recognition regarding race: the overall performance of the devices is directly linked to the image database utilized to train the machine and targets a specific demographic group (Grother et al., 2011).

Nearly ten years later, the same institute launched a new research comparing 18,270,000 images and 8,490,000 people, utilizing 189 of the more commercialized algorithms made by 99 different companies, in which it verified the persistence of the problem identified on the previous study concerning the centrality that each algorithms allocates to a given physiognomy from the region in which it is produced (Groter et al., 2019). The conclusions were even more serious: false positives are higher on African-American, East and South Asian and Central American individuals, respectively. The individuals with the lesser number of false positives are white European or American men. In contrast, false negatives are majorly reported on black population (Groter et al., 2019). This visibility trap, that sometimes erases, and other times highlights the black population, is Always done in a context. The relational element of race shows the ethnocentric perspective of algorithms and, in Brazil, presents a special harmful effect to the black population.

5 Conclusions

Due to the recent importing and implementation of the tool, researches on facial recognition in Brazil are still scarce. Yet preliminary studies and data on the profile of those targeted by this technology indicate the reproduction of racial selectivity of the criminalizing programming. In this sense, Nunes (2019) writes:

Although for some facial recognition technology might seem like a mysterious novelty and uncertain in its results, for young black males it has represented the assurance that they will keep being preferred on checking, in the name of the “war on drugs”. Facial recognition has been showing itself as a high-tech update to the old and well-known racism that is in the base of the criminal justice system and has guided police work for decades. (Nunes, 2019, p. 69-70, our translation)

Although for some facial recognition technology might seem like a mysterious novelty and uncertain in its results, for young black males it has represented the assurance that they will keep being preferred on checking, in the name of the “war on drugs”. Facial recognition has been showing itself as a high-tech update to the old and well-known racism that is in the base of the criminal justice system and has guided police work for decades. (Nunes, 2019, p. 69-70, our translation).

Before this scenario, three research horizons are shown to be crucial: 1) Juridical studies on the search for a limiting legislation of the governmental action under the new technologies, especially in their most violent front (criminal justice system); 2) Researches focused on analysis the impacts of the utilization of facial recognition in secondary criminalization; 3) Studies that stress the racial grammar on the programming of these devices.

Ultimately, the current paper aimed to demonstrate that technology is not devoid of intentions, it’s not neutral, and that the programming of its devices, coded to recognize the white pattern, implies reproduction of racism on the potentiality of undertaking the incarceration of the black population through the “false positives”, which demonstrate the incapability of the devices to recognize non-white faces, and implies in a generalization of black as guilty. As a reboot of the actuarial criminal policy, facial recognition is not neutral. Its programming amplifies and automates the already racialized process of secondary criminalization but adding the machine element to the human agent. Above all, the institutional functioning anchored in what is white standardizes violence compared to what is not white. Such a consequence provokes a debate about juridical regulation of these devices, beyond a critical discussion.

The context in which we live in today, transversed through the pandemic caused by COVID-19, only shows that which the black movement and other black intellectuals have already been exposing: racism, alongside other interwoven markers of oppression, structures the country’s inequalities. Through technological means or not, anchored under a supposed neutrality, it is that the state acts as an aggravating agent to what Abdias do Nascimento (1978) called the genocide of the black population, not only as a physical death, which keeps being fed by racism. To not question the social indicator of poverty and exclusion imposed to the black population in several contexts means to keep naturalizing racism and denying it as a generator of violence, inequality and exclusion.

References

Alexander, M., 2010. The new Jim Crow: Mass Incarceration in the Age of Colorblindness. NY: The New Press.

Alexander, M., 2018. The newest Jim Crow. The New York Times. New York, p. 3, 8 nov. 2018. Available at: https://www.nytimes.com/2018/11/08/opinion/sunday/criminal-justice-reforms-race-technology.html. Accessed: 10 August 2020.

Almeida, S., 2018. O que é racismo estrutural? Belo Horizonte: Letramento.

Andrade, V. R., 2012. Pelas mãos da criminologia: o controle penal para além da (des)ilusão. Rio de Janeiro: Instituto Carioca de Criminologia.

Batista, V. M., 2011. Introdução crítica à criminologia brasileira. Rio de Janeiro: Revan.

Benjamin, R., 2019. Race After Technology. Cambridge: Polity Press

Brown, S., 2015. Dark Matters: on the surveillance of blackness. Durham: Duke Press.

Chun, W. H. K., 2011. Programmed Visions: Software and Memory. Cambridge, Massachusetts: MIT Press.

Dieter, M. S., 2012. Política criminal atuarial: a criminologia do fim da história. 2012. Ph.D. Universidade Federal do Paraná, Curitiba.

Duarte, E. P.; Queiroz, M. V. L.; Costa, P. A., 2016. A Hipótese Colonial, um diálogo com Michel Foucault: a modernidade e o Atlântico Negro no centro do debate sobre racismo e Sistema penal. Universitas JUS, Brasília, v. 27, n. 2, p. 1-31, jul/dez. 2016.

Duarte, E. P., 2016. Paradigmas em criminologia e relações raciais. In: Cadernos dos CEAS, Salvador, n. 238, p. 500-526, Special Issue.

Flauzina, A. L. P.; Pires, T. R. O., 2020. Políticas da morte: Covid-19 e os labirintos da cidade negra. Revista Brasileira de Políticas Públicas. Brasília, n. 2, v. 10, p. 66-84, Ago. 2020.

Foucault, M., 2003. Society Must Be Defended: Lectures at College de France, 1975-1976. NY: Picador.

Francisco, P. A. P; Hurel, L. M.; Rielli, M. M., 2020. Regulação do reconhecimento facial no setor público. Igarapé; Data Search Brasil.

Flusser, V., 2007. Mundo codificado. São Paulo: Cosac Naify.

Garvie, C.; Frankle, J., 2016. Facial-Recognition Software Might Have a Racial Bias Problem. Atlantic. Available at: https://www.theatlantic.com/technology/archive/2016/04/the-underlying-bias-of-facial-recognition-systems/476991/. Accessed: 10 August 2020.

Gilmore, R., 2007. Golden Gulag: Prisons, Surplus, Crisis, and Opposition in Globalizing California. Berkeley: California Press.

Grother, P. J.; Quinn, G. W.; Phillips, P. J., 2011. Report on the Evaluation of 2D Still-Image Face Recognition Algorithms. NIST. Available at: https://tsapps.nist.gov/publication/get_pdf.cfm?pub_id=905968. Accessed: 10 August 2020.

Grother, P. J.; Ngan, M.; Hanaoka, K., 2019. Face Recognition Vendor Test. Part 3: Demographic Effects NIST. Available at:: https://nvlpubs.nist.gov/nistpubs/ir/2019/NIST.IR.8280.pdf. Accessed: 10 August 2020

Han, B. C., 2020. O coronavírus de hoje e o mundo de amanhã. Available at: https://brasil.elpais.com/ideas/2020-03-22/o-coronavirus-de-hoje-e-o-mundo-de-amanha-segundo-o-filosofo-byung-chul-han.html. Accessed: 10 October 2020.

Instituto Igarapé, 2019. Reconhecimento facial no Brasil, n.p. Available at: https://igarape.org.br/infografico-reconhecimento-facial-no-brasil/. Accessed: 10 August 2020.

Leal, J. S., 2017. Criminologia da Libertação: a construção da criminologia crítica latino-americana como teoria crítica do controle social e a contribuição desde o Brasil. Belo Horizonte: D’Plácido.

McIlwain, C. D., 2020. Black Software: The Internet & Racial Justice, from the AfroNet to Black Lives Matter. New York, Oxford University Press.

Nascimento, A., 1978. O genocídio do negro brasileiro: processo dum racismo mascarado. Rio de Janeiro: Paz e Terra.

Nunes, P., 2019. Novas ferramentas, velhas práticas: reconhecimento facial e policiamento no Brasil. In: REDE de Observatório de Segurança. Retratos da Violência: cinco meses de monitoramento, análise e descobertas. Centro de Estudos em Segurança e Cidadania. (Report).

O’Neil, C., 2016. Weapons of Math Destruction: how big data increases inequality and threatens democracy. NY: Crown.

Quijano, A., 2005. Colonialidade do Poder, Eurocentrismo e América Latina. In: Lander, Edgardo (org.) Colonialidade do Saber: eurocentrismo e ciências sociais. Perspectivas latinoamericanas. Buenos Aires: CLACSO. Available at: http://biblioteca.clacso.edu.ar/clacso/sur-sur/20100624103322/12_Quijano.pdf. Accessed: 10 August 2020.

Santana, M. C.; Bicalho, P. S. S., 2019. A construção negativa e o mito da democracia racial: uma análise comparativa entre a condição do negro no Brasil e nos Estados Unidos. Revista Eletrônica de Interações Sociais - REIS. Rio Grande, v. 3, n.1, p. 8-16, jan/jun. 2019. Available at: https://periodicos.furg.br/reis/article/view/9074. Accessed: 10 August 2020.

Schucman, L. V., 2012. Entre o “encardido”, o “branco” e o “branquíssimo”: raça, hierarquia e poder na construção da branquitude paulistana. Ph.D. Instituto de Psicologia, Universidade de São Paulo. São Paulo.

Silva, T., 2020. Comunidades, algoritmos e ativismos digitais: Olhares . Literarua: São Paulo.

Wark, M., 2019. Capital is dead. London: Verso.