1 Introdução

Como pensar a informação em tempos de mídia digital? Smartphones, redes sociais, mecanismos de coleta e análise hiper massiva de dados têm reconfigurado a forma como pensamos e nos relacionamos com dados, informação e a produção de conhecimento. A elaboração de meios de análise dos dados que são coletados a partir dos meios de comunicação digitais de cada indivíduo deu início a era da dataficação. Esses meios da análise elaboram perfis que são utilizados para a propagação de conteúdo segmentado com base nas preferências de um determinado grupo e, no escopo do poder de controle que pode ser exercido por meio dessa análise, elaborar mecanismos governamentais de controle populacional, como no caso de um sistema de avaliação social elaborado pelo governo chinês.

Técnicas de poder na sociedade de controle, em especial àquelas baseadas em coleta e análise de dados de comportamento para engenharia social, são temas já tratados pelos autores em outros artigos, como “O fenômeno Fake News. Redes, algoritmos e verdade”, publicado no e-book “Diálogos entre a comunicação, filosofia e tecnologia: Reflexões sobre tecnologia, religião e sociedade nas práticas comunicacionais contemporâneas” pela editora FAPCOM (ARRUDA; SILVA, 2019). A pesquisa de mestrado do autor Renê Eduardo Arruda, intitulada “Dispositivo da Web: Estudo de caso sobre a lógica do filtro de busca do Google” também está relacionada diretamente com o conteúdo deste artigo. Os objetivos da pesquisa são a compreensão e mapeamento da forma e em qual medida o algoritmo do sistema de busca modula a oferta de informação ao usuário, tratando, portanto, da captura de dados de comportamento para engenharia social e formas de controle.

Em 2013, o Supremo Tribunal Popular da China criou e divulgou uma lista de devedores com cerca de trinta e dois mil nomes (CHAN, 2017), a ser mantida atualizada pelo Judiciário do país. Os inadimplentes que constavam na lista estavam proibidos de comprar passagens de trem, realizar viagens aéreas e se hospedarem em hotéis com 3 estrelas ou mais. A lista foi descrita, na época, pelos meios de comunicação estatais, como o primeiro passo em direção a um Sistema Nacional de Crédito Social. De 2013 a 2017, cerca de 6,73 milhões de inadimplentes passaram pela lista. Neste período, devedores foram impedidos de voar 6,15 milhões de vezes, e tiveram a venda de bilhetes de trem de alta velocidade negada 2,22 milhões de vezes (XIAOFENG, 2017). Além das restrições de viagem, pessoas que constam na lista podem ser penalizadas em outras situações e serviços cotidianos – 71 mil inadimplentes perderam cargos executivos em empresas chinesas como resultado de suas dívidas, e o Banco Industrial e Comercial da China declarou ter recusado empréstimos a devedores no valor de mais de 6,97 bilhões de yuans (US$ 1,01 bilhão).

De acordo com um documento de planejamento publicado pelo Conselho de Estado chinês em 2014, o objetivo do Sistema Nacional de Crédito Social é melhorar a "sinceridade" nos assuntos governamentais, comércio e interações sociais (CREEMERS, 2014). Quando o sistema estiver em operação, indivíduos e empresas serão pontuados em vários aspectos de suas respectivas condutas, e essas pontuações serão integradas a um banco de dados abrangente que conecta informações do governo e dados coletados por empresas privadas. As pontuações têm o objetivo de medir as condutas de profissionais, como médicos e professores, mas também a probidade comercial, incluindo a venda de produtos abaixo dos padrões legais, como itens falsificados. O sistema, segundo o governo chinês, também servirá para monitorar o desempenho dos governos e tribunais locais. Ou seja, ele também foi projetado para vigiar as gestões públicas locais e garantir que cidadãos e autoridades cumpram as leis de forma consistente.

2 O indivíduo como fonte de dados para regulação de mercado

O Sistema Nacional de Crédito Social chinês apóia-se tanto em dados fornecidos por empresas e governo da maneira tradicional, como a situação de um cidadão na justiça ou rating de crédito em uma instituição financeira, quanto na captura de dados através de dispositivos digitais. Os processos automatizados de extração de dados de usuários através de dispositivos digitais incluem informações sobre o modo como cada indivíduo usa seu smartphone, quais aplicativos são utilizados, usos de serviços online como redes sociais e buscadores, além de ferramentas que digitalizam movimentos e comportamentos do mundo real para o meio digital – câmeras de reconhecimento facial em espaços públicos e privados, registros de entrada e saída em catracas eletrônicas e através do uso de crachás, dentre muitos outros procedimentos que fazem parte da vida cotidiana nas cidades.

Oito gigantes chinesas de tecnologia, incluindo Alibaba e Tencent, bem como os maiores serviços de compartilhamento de caronas e de encontros online da China, respectivamente Didi Chuxing e Baihe.com, foram autorizadas pelo Conselho de Estado, em 2014, a conduzir testes piloto de sistemas de crédito social. De acordo com o Dr. Wang Keren, da Pennsylvania State University, empresas do setor de tecnologia foram os verdadeiros impulsionadores do Sistema de Crédito Social, em especial Jack Ma, fundador do Alibaba e Ma Huateng, fundador e presidente da Tencent (BORAK, 2017).

O Sesame Credit, administrado pelo Ant Financial, da Alibaba, é atualmente (2019) o maior piloto do Sistema de Crédito Social, e foi construído sobre o enorme acervo de informações da empresa sobre seus consumidores. Ele integra informações sobre todos os 400 milhões de usuários do serviço, e tem por objetivo construir uma classificação holística de caráter de cada pessoa. O algoritmo do sistema Sesame Credit avalia cada compra e a pontua de acordo com critérios que sugerem ou não responsabilidade social – video games, por exemplo, têm baixa pontuação de responsabilidade social, enquanto equipamentos para segurança de bebês têm pontuação alta. O Alibaba incentiva os usuários a exibirem sua nota de crédito social no website Baihe, o website de encontros online da empresa, para que os possíveis parceiros possam considerá-lo em suas decisões românticas. Além disso, o Alibaba oferece aos usuários com altas pontuações de crédito social descontos em passagens aéreas e hotéis, isenções no aluguel de bicicletas e de carros, e até mesmo vistos rápidos para países como Cingapura e Luxemburgo.

Um outro exemplo de implementação do Sistema de Crédito Social pode ser encontrado na empresa chinesa de aluguel de bicicletas por aplicativo chamada Mobike, que incentiva um “comportamento mais cortês” entre seus clientes, concedendo a cada usuário uma pontuação inicial de crédito de 100 pontos – esse número diminui se o usuário estacionar sua bicicleta em algum lugar inadequado, e aumenta se ele denunciar outro usuário que está abusando do sistema ou cometendo alguma infração. Se a pontuação do usuário cair abaixo de 80, o preço cobrado pelo aluguel de uma bicicleta aumenta. Se a pontuação do usuário continua alta por determinado período, ele é recompensado com aluguéis gratuitos (HAWKINS, 2017).

Em 2017, o governo chinês passou a acompanhar mais de perto o programa piloto de crédito social das empresas de tecnologia autorizadas devido a denúncias de manipulação do sistema para ganho financeiro e vazamentos de dados privados de usuários.

Embora seja comum que reportagens e artigos sobre o sistema chinês tenham foco em como a pontuação social afetará os indivíduos, um aspecto que não pode ser ignorado são as implicações para fazer negócios na China. De acordo com uma análise publicada pelo Mercator Insititute for China Studies (MERICS), o Sistema de Crédito Social da China tem o potencial de se tornar o modelo mais globalmente sofisticado para a regulamentação do mercado (KOSTKA, 2018). O relatório classifica o Sistema de Crédito Social como uma abordagem altamente inovadora para monitorar, classificar e regular o comportamento dos participantes do mercado, incluindo indivíduos, empresas e outras instituições, como ONGs. A ideia é criar uma economia altamente eficaz e adaptativa, capaz de superar as economias ocidentais mais lentas e fragmentadas – tudo através da coleta e processamento massivo de dados sobre comportamento de pessoas e empresas.

Há ainda fatores domésticos que explicam o surgimento do Sistema Nacional de Crédito Social. A mídia estatal chinesa reconheceu, em 2017, que existe uma crise de confiança naquela sociedade – os cidadãos sentem que cada oferta ou oportunidade tem uma chance de ser um engodo e que atos de generosidade entre cidadãos são desencorajados pelo risco de exploração (HAWKINS, 2017). Quando um idoso cai na rua, é comum que ninguém se ofereça para ajudá-lo, com medo de que seja acusado de empurrá-lo e obrigado a pagar uma indenização. Apesar da degradação da confiança social ter começado há décadas, junto com a modernização e integração econômica do país às cadeias produtivas da Europa e EUA, o reconhecimento de que este problema ameaça não apenas a convivência harmônica dos cidadãos, mas também o sistema político como um todo, é recente. A percepção do governo chinês parece ser de que quanto menos as pessoas confiam umas nas outras, mais o pacto social que o governo tem com seus cidadãos – de estabilidade social e harmonia em troca de direitos políticos reduzidos – se desintegra.

A segurança alimentar, a falsificação e o abuso local são problemas reais para os cidadãos chineses, e se esse sistema específico resultar em uma supervisão e prestação de contas mais eficazes, ele provavelmente será bem recebido pela população (CREEMERS, 2015). No entanto, o sistema também incluirá o monitoramento abrangente da conduta dos indivíduos online. O plano do Conselho de Estado, por exemplo, menciona “espalhar rumores” como um exemplo de comportamento a ser sancionado. Punições para indivíduos com baixa pontuação social poderão incluir, além das restrições a viagens e crédito, exclusão de escolas particulares, conexão lenta com a Internet e impossibilidade de realizar determinadas atividades profissionais.

3 Capitalismo de vigilância e engenharia social

Ao analisar como o Sistema de Crédito Social chinês está se formando, é possível inferir que a vida nas cidades será altamente impactada – determinados locais, serviços e atividades econômicas seriam acessíveis apenas para cidadãos de alta pontuação social. Ao pontuar as condutas sociais de cada indivíduo e empresa, o sistema tem a tendência de aumentar a segregação dos espaços da cidade, tanto públicos quanto privados.

É importante notar que, apesar do Sistema Nacional de Crédito Social ter como objetivo integrar dados de várias fontes em um único banco de dados, isso está longe de acontecer. Atualmente, o sistema está fragmentado em bancos de dados do governo nacional chinês, de empresas estatais e privadas e também de províncias ou cidades, como Xangai (que tem o aplicativo Sincere Shangai). Cada um destes atores decide suas próprias regras para pontuação, bem como as recompensas e punições. O governo chinês está, neste momento, tentando estabelecer as bases para um Sistema Nacional de Crédito Social, que irá integrar as pontuações individuais, governamentais, legais e empresariais de todos os cidadãos em um único sistema.

Apesar da iniciativa da China ser inédita em seu escopo e alcance, classificações de usuários de tecnologia baseados em seus comportamentos não são exclusivas do país asiático. Das avaliações do vendedor do eBay às classificações de passageiros e de motorista do Uber, empresas em todo o mundo têm incentivado os consumidores a se classificar uns aos outros. Em 2018, a New Economics Foundation comparou a pontuação do cidadão chinês a sistemas de classificação no Reino Unido (WILLIAMS, 2018), como o uso de dados de crédito de um cidadão britânico – uso do telefone, pagamento de aluguel, etc. – para filtrar os pedidos de emprego, determinar o acesso aos serviços sociais, entre outros.

Shoshana Zuboff, professora emérita da Harvard University, argumenta que, embora a visão de crédito social chinesa possa ser descrita por muitos como “totalitarismo digital” e seja frequentemente comparada à obra 1984, de George Orwell, ela pode ser melhor entendida como a apoteose de técnicas de poder e controle dos sistemas de captura de dados de comportamento, cuja particularidade do caso chinês em relação ao Ocidente é apenas que o controle é de um estado autoritário (ZUBOFF, 2019, p. 389). Segundo ela, sistemas de extração e processamento de dados sobre comportamento de usuários formam a base de uma nova lógica econômica e social, a qual ela nomeia de capitalismo de vigilância.

Neste cenário, a pressão competitiva por lucros cada vez mais escassos (imperativo econômico) teria levado empresas e instituições ao uso de tecnologias de big data para a coleta massiva de dados sobre comportamento de pessoas. O objetivo seria, a partir destes dados, inferir a probabilidade de determinados desfechos comportamentais. Assim, com a probabilidade de comportamento de pessoas devidamente calculada, se reduziria a incerteza em relação a investimentos e ações comerciais, além de ser possível “direcionar” os usuários de serviços digitais para situações com maior probabilidade de realizar lucros.

O uso da tecnologia de previsão comportamental vai desde a identificação de comportamentos simples, como prever de forma confiável qual o posicionamento de um anúncio online gera mais cliques, até questões mais complexas, como verificar o humor de um usuário pelo seu padrão de digitação de mensagens, ou compreender o posicionamento político a partir das curtidas e compartilhamentos em redes sociais.

No Ocidente, estas técnicas são amplamente utilizadas por corporações para gerar “desfechos garantidos”– clicar em um anúncio, curtir a ação de uma empresa, comprar um produto etc. (ZUBOFF, 2019, p. 203). São três os principais modos de direcionar o comportamento de pessoas para o “desfecho” desejado: 1. modulação, que consiste em pistas subliminares projetadas para moldar sutilmente o fluxo de comportamento no momento e local precisos para uma influência maximamente eficiente (exemplo: o anúncio do produto certo na hora certa, no website certo); 2. pastoreio, que é o controle de elementos-chave no contexto imediato da pessoa (exemplos: bloqueio ou desbloqueio de um meio de transporte alugado, bloqueio ou desbloqueio de crédito, abertura ou fechamento de catracas e portas, etc.); e 3. condicionamento, que se resume a reforços positivos e negativos relacionados a determinados comportamentos (exemplo: mais ou menos pontos se determinada ação for realizada) (ZUBOFF, 2019, p. 294-296).

Portanto, a tendência à engenharia social e ao "empurrão" dos indivíduos em direção ao "melhor" comportamento também faz parte da abordagem do Vale do Silício. Nesse sentido, talvez o elemento mais intrigante do Sistema Nacional de Crédito Social chinês não seja a agenda específica do governo, mas sua semelhança com o uso das tecnologias digitais para controle social e econômico em países de democracia liberal.

4Vida dataficada e liberdade individual

A coleta massiva de dados por meio de tecnologias da informação e seu uso como ferramenta de análise do comportamento humano para a indução a possíveis condutas, assim como a imposição de restrições, coloca em risco princípios éticos declarados na promulgação de artigos constitucionais que foram instituídos durante o século XX, e que garantem o direito à liberdade aos cidadãos. Um país que condiciona as ações dos cidadãos a um sistema de avaliação que atribui um valor às suas ações, e que mantém um banco de dados sobre todas as atividades, acaba por cercear o livre direito à escolha e à livre circulação. Uma pergunta deve ser feita diante de um cenário no qual a vida cotidiana vem sendo influenciada pela análise dos dados coletados por meio dos dispositivos de tecnologias da informação: quais são as possíveis implicações que podem emergir em uma sociedade, na qual as ações humanas são guiadas por dados massivos analisados por algoritmos?

Podemos postular que, frente a um cenário no qual o big data tem influenciado as ações individuais e as diretrizes das relações complexas (política, comércio, cultura, etc.) estabelecidas no mundo todo, temos a definição de uma “dataeconocracia”, ou seja, a formação de um Estado regulado por uma economia com dados gerados por pessoas e coletados por tecnologias da informação, utilizados para influenciar desde as atividades mais comuns, como por exemplo a aquisição de bens de consumo, até as diretrizes políticas de um país.

Os dados coletados passam a ser de propriedade de instituições privadas, são analisados e mantidos como ativos econômicos que definem o comportamento de quem os gerou, tanto num espectro individual quanto massivo. É perceptível que as hipermediações, baseadas no uso dado pelas pessoas, tornaram-se meios de regulação da vida cotidiana, já que há uma hiper-exposição a conteúdo direcionado com base nos interesses do usuário e na sua relação com a informação à qual é exposto. Pensamos que, em uma dataeconocracia informacional, os sistemas éticos que garantem a liberdade individual acabam por ser fragilizados, já que o comportamento individual e coletivo é orientado por instruções algorítmicas que desempenham uma função regulatória sobre nossas vivências, pensamentos, o que consumimos etc. De acordo com o pensamento de Edgar Morin (2011, p. 19), a ética é manifesta no ser humano como uma exigência moral, que tem como origem tanto o interior do indivíduo, quanto às relações, crenças e normas instituídas por uma comunidade.

Deleuze e Guattari (LAZZARATO, 2014, p. 17) argumentam que, no capitalismo, a produção de subjetividade opera de duas maneiras: através de dispositivos de sujeição social e servidão maquínica. Os dispositivos de sujeição social atribuem ao indivíduo uma identidade (sexo, corpo, profissão, nacionalidade, e papéis sociais preestabelecidos como homem/mulher, empregado/desempregado, consumidor etc.), em resposta às necessidades da divisão social do trabalho. A servidão maquínica, por outro lado, não institui o indivíduo enquanto “sujeito individuado”, mas o considera apenas como engrenagem, parte componente de outros agenciamentos como “empresa”, “sistema financeiro”, “mídia”, e de seus equipamentos coletivos (escolas, hospitais, museus, teatros, televisão, Internet etc.). 

Estas duas formas de operação da produção de subjetividade agem como duplo dispositivo de poder – enquanto a sujeição social produz indivíduos, a servidão maquínica os torna “dividuais” –, amostras, dados, massas de informação, commodities (LAZZARATO, 2014, p. 29). Portanto, o "dividual" é a objetificação do ser humano e redução de sentido da vida a um mero componente de outros agenciamentos, assim como componentes “não humanos” são partes de máquinas técnicas. 

O Sistema de Crédito Social chinês vincula os cidadãos a um objeto externo (dispositivos digitais de coleta de dados) de que o sujeito faz uso e com o qual ele age. O dividual é adjacente às máquinas, e, juntos – humano e máquina –, constituem um dispositivo no qual as partes são intercambiáveis e recorrentes em um processo de produção, comunicação e consumo, que os excede. Assim, inteligência, afetos, sensações, memória e cognição tornam-se componentes cuja síntese não reside mais na pessoa, mas, sim, no agenciamento ou no processo no qual o dispositivo “homem-máquina” está inserido.

No sistema social influenciado pela avaliação que confere notas à conduta do indivíduo, a relação ética que se tem com a sociedade deixa de ser um compromisso individual com o bem-comum para ser uma exigência algorítmica de um sistema regulatório pan-óptico, baseado em dados que analisam o comportamento. A pessoa, aqui, deixa de “ser” para se tornar a “data”, em um processo que reduz o ser humano a um feixe de decisões que podem resultar numa melhor ou pior avaliação no sistema. À medida que a lógica da mediação se impõe às práticas da vida cotidiana, nesse caso, uma lógica algorítmica, as relações sociais/culturais/econômicas/políticas, ou seja, toda prática condicionada à complexidade das relações humanas, pode passar a ser cada vez menos influenciada pela compreensão ética do mundo que o indivíduo tem, para relações condicionadas pela interação do indivíduo com a lógica algorítmica da mediação.

Em uma cultura na qual a lógica algorítmica da hipermediação fundamenta as práticas cotidianas, o modo como se dão as nossas relações éticas com o mundo deve ser considerado, já que a dinâmica da hipermídia é a de expor a informação quase com o mesmo imediatismo com o qual ela ocorre. Ao fazer isso, ela promove condutas na sociedade que podem levar a rupturas em sistemas éticos.

A dinâmica característica da hipermediação orienta ao consumo de uma determinada ideia (direcionamentos políticos, informações econômicas, entre outros) e dá o poder da palavra a qualquer pessoa, até mesmo a pessoas que não existem realmente (bots), como no caso de perfis falsos criados para a propagação massiva de mensagens orientadas a disseminar um tipo específico de conteúdo.

Por não haver critérios de verificação que garantam a veracidade de um fato ou impeçam a propagação de discursos orientados a formas de violência discursiva ou à propagação de notícias falsas, as mídias digitais têm se mostrado uma forma de mediação que expõe a fragilidade dos sistemas éticos do ser humano, e culmina na formação de uma cultura em que é aceitável que corporações se apropriem de informações particulares das pessoas e as usem para um processo de manipulação de dados.

Morin (2018) afirma que a cultura de massa é fruto das relações mercadológicas e a forma como ela impõe uma pedagogia que orienta os participantes dessa cultura mas que, em si, não é imposta, e sim, proposta. O indivíduo é que aceita participar dela e se submete à sua lógica. Segundo Morin, a cultura de massa

Passa sempre pela mediação do produto vendável e por isso mesmo toma emprestadas certas características do produto vendável, como a de se dobrar à lei do mercado, da oferta e da procura. Sua lei fundamental é a do mercado. (MORIN, 2018, p. 36)

Para o filósofo sul-coreano Byung Chul-Han (2018), a liberdade e a comunicação ilimitada, que são características das redes sociais digitais, constituem um estado de vigília constante, o qual chama de “panóptico digital”, que constantemente coleta informações e dados sobre as pessoas. Han define o big data como um instrumento psicopolítico que, por meio da análise de uma grande quantidade de dados coletados, cria parâmetros para um entendimento das dinâmicas comunicacionais, assim possibilitando intervenções no comportamento humano como uma forma de “prever o futuro”. Para Han, essa prática configura uma "coisificação" da pessoa em um objeto mensurável e passível de controle, colocando em risco o livre-arbítrio individual. A mensurabilidade do ser humano em dados gerados por dispositivos que carregamos conosco é considerada, por Han, como a principal característica dominante da era digital, a qual ele define como “quantified self” (2018, p. 84). O quantified self seria uma técnica dataísta definida pelo esvaziamento do sentido do que caracteriza a pessoa em dados insignificantes, ou seja, uma técnica que reduz a complexidade do ser em dados de mensurabilidade, e que o transformam em fragmentos que não possuem a narrativa que constitui o conhecimento. Segundo Han:

Os big data sugerem um conhecimento absoluto. Tudo é mensurável e quantificável. As coisas revelam suas correlações secretas, que até então estavam ocultas. Do mesmo modo, o comportamento humano também deve ser previsível. Uma nova era de conhecimento é anunciada. As correlações substituem a causalidade. O é assim mesmo substitui o por quê. A quantificação da realidade movida a dados afasta completamente o espírito do conhecimento. (HAN, 2018, p. 93)

Referente à complexidade das atividades humanas e os dados captados por dispositivos de tecnologias da informação, um dos problemas que temos que colocar em discussão está na redução do conhecimento ao dado. A previsibilidade gerada pelas análises de big data não considera as narrativas individuais, como pode ser visto na crítica que Byung Chul-Han faz a este método de coleta de dados e análise, e muito menos as relações com o ambiente e o momento em que esses dados são gerados. É referente a este ponto que afirmamos anteriormente que, na lógica algorítmica da mediação digital, na qual o indivíduo é submetido a um sistema de avaliação de suas práticas e de sua conduta, há uma transformação do “ser” para o “data”. Dados expressam apenas um fragmento de uma condição e não a sua complexidade. Excluem a narrativa individual, assim como afirmado por Han, e configuram o “quantified self”, o ser mensurável em dados mas vazio em narrativa, e sem o sentido construído pelas experiências individuais.

5 Conclusões

Um ponto que deve ser exposto mediante este fato é que os sistemas que analisam os dados coletados não possuem a faculdade de judicação ética e moral própria do ser humano. Muito menos consideram a experiência estética individual. Logo, restrições à conduta humana podem emergir baseadas em números gerados no (e pelo) sistema, e não em avaliações que respeitem as relações humanas e o direito à liberdade. Dados são frágeis, pois podem ser manipulados pelos interesses de quem os controla, ao mesmo tempo que, por intermédio de propostas como o Sistema de Crédito Social chinês, há o risco de as dinâmicas próprias da complexidade da vida humana ficarem submetidas a um sistema regulatório que modela o comportamento das pessoas por meio de induções inibitórias que recompensam o indivíduo pela sua conduta, ao mesmo tempo que podem penalizá-lo. A história das mídias digitais exemplifica diversos momentos em que sistemas guiados por algoritmos demonstraram sua fragilidade, por serem suscetíveis ao hackeamento e ao vazamento de dados.

Pensamos que as decisões referentes às ações cotidianas ficam submetidas a uma espécie de jogo social, no qual dados e algoritmos guiam as decisões que são baseadas em sistemas de avaliação da experiência individual, mas que não necessariamente expressam a qualidade da experiência. Dessa forma, o dado exposto guia a decisão do indivíduo em função de um método de avaliação baseado em algoritmos, e que pode culminar na deterioração da liberdade de escolha.

Algoritmos que capturam e processam dados de usuários para a criação de “desfechos garantidos” são realidade na web há anos, e podem servir como precedente para análise da iniciativa chinesa. Quando um usuário faz uma busca no Google, o algoritmo do buscador leva em consideração uma série de variáveis e dados coletados sobre este usuário para compor a página de resultados, personalizando-a, em alguma medida, para que seja “a mais relevante possível” àquela busca realizada por aquela pessoa, naquele momento. Relevância, no caso do Google, se traduz em possibilidade de cliques. Ou seja, uma das principais medidas de relevância do buscador é o número de vezes que determinado link é clicado, e quantos websites independentes apontam para aquele link específico.

Ao considerar mais relevante o que tem mais chances de ser clicado pelo usuário, o Google reproduz o que seus usuários já pensam. Assim, o próprio conceito de relevância do Google tem viés (ARRUDA, 2019, p. 11). Ao personalizar o que será exibido na página de resultados de cada usuário através de uma lógica opaca, o Google cria estratos de visibilidade, e, portanto, de invisibilidade, baseando-se, principalmente, na probabilidade de cliques e “autoridade social” de links. Essa lógica operativa do algoritmo do Google reforça o viés de confirmação de seus usuários, promovendo um tipo de sensibilidade que reforça o que é familiar e repudia a alteridade (ARRUDA; SILVA, 2019, p. 201). Especula-se o quanto desta lógica operacional do buscador, mas também encontrada de forma semelhante em redes sociais como Facebook, estaria relacionada com fenômenos contemporâneos como a polarização política no Ocidente, fake news, movimento anti-vacina, dentre outros.

O Sistema de Crédito Social chinês compartilha desta mesma lógica operacional, direcionando os cidadãos a determinados comportamentos definidos pelo governo ou por empresas, em suma, por agentes sociais que detêm poder. A construção da informação acerca das condutas dos cidadãos, possibilitada por aparelhos digitais, pode tornar-se insumo para controle através de engenharia social. Portanto, uma das consequências mais prováveis deste sistema em relação à distribuição e ocupação do espaço urbano é a segregação e fragmentação, de acordo com a pontuação dos indivíduos, radicalizando as diferenças sociais já existentes e perpetuando-as.

Referências

ARRUDA, R. E. Dispositivo da web:Subjetivação e Captura de Fluxos de Desejo. In: ENCONTRO REGIONAL CENTRO-SUL DA ABCIBER, 2., 5 de abril de 2019, São Paulo. Anais...

ARRUDA, R. E.; SILVA, T. T. R. O fenômeno Fake News: Redes, Algoritmos e Verdade. In: MARASSI, A. C. B.; PINHEIRO, W. M. (Org.). Diálogos entre a comunicação, filosofia e tecnologia: Reflexões sobre tecnologia, religião e sociedade nas práticas comunicacionais contemporâneas. v. 2. São Paulo: Paulus, 2019. p. 194-206.

BORAK, M. China’s Social Credit System: AI-driven panopticon or fragmented foundation for a sincerity culture? TECH NODE. 23 de Agosto de 2017. [onlie] Disponível em: <https://technode.com/2017/08/23/chinas-social-credit-system-ai-driven-panopticon-or-fragmented-foundation-for-a-sincerity-culture/>. Acesso em: 16 ago. 2019.

CHAN, T. F. Debtors in China are placed on a blacklist that prohibits them from flying, buying train tickets, and staying at luxury hotels. BUSINESS INSIDER. 19 de dezembro de 2017. [online] Disponível em: <https://www.businessinsider.com/chinas-tax-blacklist-shames-debtors-2017-12?r=UK>. Acesso em: 16 ago. 2019.

CREEMERS, R. Planning Outline for the Construction of a Social Credit System (2014-2020). CHINA COPYRIGHT AND MEDIA. 14 de junho de 2014. [online] Disponível em: <https://chinacopyrightandmedia.wordpress.com/2014/06/14/planning-outline-for-the-construction-of-a-social-credit-system-2014-2020/>. Acesso em: 16 ago. 2019.

CREEMERS, R. China's chilling plan to use social credit ratings to keep score on its citizens. CNN. 28 de outubro de 2015. [online] Disponível em: <https://edition.cnn.com/2015/10/27/opinions/china-social-credit-score-creemers/index.html>. Acesso em: 16 ago. 2019.

HAN, B.-C. Psicopolítica: o neoliberalismo e as novas técnicas de poder. 1. ed. Belo Horizonte: Âyiné, 2018.

HAWKINS, A. Chinese Citizens Want the Government to Rank Them. FOREIGN POLICY. 24 de maio de 2017. [online] Disponível em: <https://foreignpolicy.com/2017/05/24/chinese-citizens-want-the-government-to-rank-them/>. Acesso em: 16 ago. 2019.

KOSTKA, G. China’s social credit systems are highly popular – for now. MERICS. 2018. [online] Disponível em: <https://www.merics.org/en/blog/chinas-social-credit-systems-are-highly-popular-now>. Acesso em: 16 ago. 2019.

LAZZARATO, M. Signos, Máquinas, Subjetividades. 1. ed. São Paulo: N-1 edições, 2014.

MORIN, E. O método 6: ética. 4. ed. Porto Alegre: Sulinas, 2011.

MORIN, E. Cultura de massas no século XX: neurose e necrose. 11. ed. Rio de Janeiro: Forense, 2018.

WILLIAMS, Z. Algorithms are taking over – and woe betide anyone they class as a 'deadbeat'. THE GUARDIAN. 12 de julho de 2018. [online] Disponível em: <https://www.theguardian.com/world/commentisfree/2018/jul/12/algorithm-privacy-data-surveillance>. Acesso em: 16 ago. 2019.

XIAOFENG, S. Court blacklist prevents millions from flying, taking high-speed trains. CHINA DAILY. 14 de fevereiro de 2017. [online] Disponível em: <http://www.chinadaily.com.cn/china/2017-02/14/content_28195359.htm>. Acesso em: 16 ago. 2019.

ZUBOFF, S. The Age of Surveillance Capitalism: A Fight for a Human Future at the New Frontier of Power. 1. ed. New York: Public Affairs, 2019.

1 Introduction

How to think of information in the era of digital media? Smartphones, social networks, mechanism of collection and hyper massive data analysis have reconfigured the way we think and relate to data, information and knowledge production. The elaboration of means to analyze the data that is collected from each individual’s digital means of communication has ushered the age of datafication. These means of analysis elaborate profiles that are used for the propagation of segmented content based on the preferences of a particular group and, within the scope of the control power that can be exercised through this analysis, elaborate governmental population control mechanisms, as in the case of a social evaluation system elaborated by the Chinese government.

Power techniques in the society of control, especially those based on behavioral data collection and analysis for social engineering are topics already addressed by the authors in other papers, such as “O fenômeno Fake News. Redes, algoritmos e verdade”, published on the e-book “Diálogos entre comunicação, filosofia e tecnologia: Reflexões sobre tecnologia, religião e sociedade nas práticas comunicacionais contemporâneas” by the publisher FAPCOM (Arruda and Silva, 2019). Rene Arruda master’s research, entitled “Dispositivo da Web: Estudo de caso sobre a lógica do filtro de busca do Google”, is also directly related to the content of this paper. The objectives of the research are the understanding and mapping of the form and the extent to which the search engine algorithm modulates the supply of information to the user - thus dealing with behavioral data capture for social engineering and forms of control.

In 2013, the Supreme People’s Court of China created and published a debtors blacklist with about thirty two thousand names (Chan, 2017), to be kept updated by the country’s judiciary. The defaulters on the list were prohibited from buying train tickets, taking air travels and staying in hotels with three stars or more. The list was described at the time by the state media as the first step towards a National Social Credit System. From 2013 to 2017, about 6.73 million defaulters were listed. In this period, debtors were prevented from flying 6.15 million times and were denied high-speed train tickets sale 2.22 million times (Xiaofeng, 2017). In addition to travel restrictions, people on the list may be penalized on other everyday situations and services - 71,000 defaulters have lost executive positions in Chinese companies as a result of their debts and the China Industrial and Commercial Bank has declared it has declined loans to debtors with debit balance over 6.97 billion Yuan ($1.01 billion).

According to a planning document published by the Chinese State Council in 2014, the objective of the National Social Credit System is to improve “sincerity” in government affairs, commerce and social interactions (Creemers, 2014). When the system is in operation, individuals and companies will be scored on various aspects of their respective conduct and these scores will be integrated into an encompassing database that connects government information and data collected by private companies. Scores are intended to measure the conduct of professionals, such as physicians and teachers, but also commercial probity, including the sale of legally substandard products, such as counterfeit items. The system, according to the Chinese government, will also help monitoring the performance of local governments and courts. That is, it is also designed to oversee local public management and ensure that citizens and authorities comply with the law consistently.

2 The individual as a data source for market regulation

China's National Social Credit System relies as much on data provided by companies and government in the traditional way, e.g. the status of a citizen in court or credit rating in a financial institution, as well as data capture through digital devices. Automated processes for extracting user data through digital devices include information on how each individual uses their smartphone, what applications they use, uses of online services such as social networks and search engines, as well as tools that scan movements and behaviors from the real world to the digital medium - face recognition cameras in public and private spaces, entry and exit records on electronic ticket gates and through the use of badges, among many other procedures that are part of daily life in cities.

Eight Chinese technology titans, including Alibaba and Tencent, as well as China's largest hitchhiking and online dating services, respectively Didi Chuxing and Baihe.com, were authorized by the State Council in 2014 to conduct pilot tests of social credit systems. According to Dr. Wang Keren from Pennsylvania State University, technology companies were the real drivers of the Social Credit System, particularly Jack Ma, founder of Alibaba, and Ma Huateng, founder and president of Tencent (Borak, 2017).

Sesame Credit, managed by Alibaba's Ant Financial, is currently (2019) the largest pilot of the Social Credit System and was built on the company's vast array of consumers information. It integrates information about all 400 million users of the service and aims to build a holistic character classification of each person. The Sesame Credit system algorithm evaluates each purchase and scores it according to criteria that suggest or not social responsibility - video games, for example, have low social responsibility scores, while baby safety equipment scores high. Alibaba encourages users to display their social credit score on the company's online dating site, Baihe, so possible partners can consider it in their romantic decisions. In addition, Alibaba offers to users with high social credit scores discounts on airfares and hotels, bicycle and car rental exemptions and even fast visas for countries such as Singapore and Luxembourg.

Another example of the Social Credit System implementation can be found at the Chinese bike rental app company called Mobike, which encourages “more courteous behavior” among its customers by giving each user an initial credit score of 100 points. This number decreases if the user parks his or her bicycle in an inappropriate place and rises if he or she reports another user who is abusing the system or committing an infraction. If the user's score falls below 80, the price charged for renting a bike increases. If the user's score remains high for a certain period, he is rewarded with free rentals (Hawkins, 2017).

In 2017, the Chinese government began to closely monitor the social credit pilot program of authorized technology companies, due to allegations of system manipulation for financial gain and user’s private data leakage.

Although it is common that stories and articles about the Chinese system focus on how social scoring might affect individuals, an aspect that cannot be ignored are the implications for doing business in China. According to an analysis published by the Mercator Institute for China Studies (MERICS), the Chinese Social Credit System has the potential to become the most globally sophisticated model for market regulation (Kostka, 2018). The report classifies the Social Credit System as a highly innovative approach to monitoring, classifying and regulating the behavior of market participants, including individuals, companies and other institutions, such as NGOs. The idea is to create a highly effective and adaptive economy, capable of overcoming the slowest and most fragmented Western economies - all through the collection and massive processing of behavioral data from people and companies.

There are also domestic factors that explain the emergence of the National Social Credit System. Chinese state media recognized in 2017 the existence of a crisis of trust in that society - citizens feel that every offer or opportunity has a chance of being a scam and that acts of generosity among citizens are discouraged by the risk of exploitation (Hawkins, 2017). When an elderly person falls onto the street, it is common for no one to offer him help, out of fear of being accused of pushing him and forced to pay compensation. Although the degradation of social trust began decades ago, along with the modernization and economic integration of the country within the productive chains of Europe and the USA, the recognition that this problem threatens not only the harmonious coexistence of citizens, but also the political system as a whole, is recent. The Chinese government's perception seems to be that the less people trust each other, the more the government's social pact with its citizens - of social stability and harmony in exchange for reduced political rights - disintegrates.

Food safety, falsification and local abuse are real problems for Chinese citizens, and if this specific system results in more effective supervision and accountability, it will likely be well received by the population (Creemers, 2015). However, the system will also include an all-encompassing monitoring of the individuals conduct online. The State Council's plan, for example, mentions "spreading rumors" as an example of behavior to be sanctioned. Punishments for individuals with low social scores may include, in addition to travel and credit restrictions, exclusion from private schools, slow internet connection and impossibility to perform certain professional activities.

3 Surveillance Capitalism and Social Engineering

By analyzing how the Chinese Social Credit System is forming, it can be inferred that life in cities will be highly impacted - certain places, services and economic activities would be accessible only to high-ranking citizens. By scoring the social behaviors of each individual and company, the system tends to increase the segregation of public and private spaces in the city.

It is important to notice that despite the National Social Credit System having as its goal to integrate data from multiple sources into a single database, this is far from happening. Currently, the system is fragmented into databases of the Chinese federal government, state and private companies and, at last, provinces or cities, such as Shanghai (which has the Sincere Shanghai app). Each of these actors decides their own rules for scoring, as well as rewards and punishments. The Chinese government is currently trying to lay the groundwork for a National Social Credit System, which will integrate the individual, government, legal and business scores of all citizens into one system.

Although China's initiative is unprecedented in its scope and range, ratings on technology users based on their behavior are not exclusive of the Asian country. From eBay sellers ratings to Uber passengers and drivers ratings, companies around the world have encouraged consumers to rate each other. In 2018, the New Economics Foundation compared the Chinese citizen's score to UK rating systems (WILLIAMS, 2018), such as the use of a British citizen's credit data - telephone usage, rent payment, etc. - to filter job applications, determine access to social services, etc.

Harvard University emeritus professor Shoshana Zuboff argues that while China's view of social credit may be described by many as “digital totalitarianism” and is often compared to George Orwell's work, 1984, it can be best understood as the apotheosis of power and control techniques of behavioral data capture systems, whose particularity, relating Chinese case to the West, is only that control is exerted by an authoritarian state (ZUBOFF, 2019, p.389). According to her, user behavior data extraction and processing systems form the basis of a new economic and social logic, which she calls surveillance capitalism.

In this scenario the competitive pressure for increasingly scarce profits (economic imperative) would have led companies and institutions to use big data technologies for the massive collection of data on people's behavior. The objective would be, from these data, to infer the probability of certain behavioral outcomes. Therefore, with the people’s behavior probability properly calculated, the uncertainty about investments and commercial actions would be reduced and it would also be possible to “direct” digital service users to situations that are more likely to generate profits.

The use of behavioral prediction technology ranges from identifying simple behaviors, such as reliably predicting which online ad placement generates most clicks, to more complex issues, such as verifying a user's mood by their message typing pattern or understand political positioning from likes and shares on social networks.

In the West, these techniques are widely used by corporations to generate “guaranteed outcomes” - clicking on an ad, liking a company's action, buying a product, etc. (Zuboff, 2019, p.203). There are three main ways of directing people's behavior to the desired “outcome”: (1) modulation, which consists of subliminal clues, designed to subtly shape the flow of behavior, at the precise time and place for maximal efficient influence (examples: advertising the right product at the right time on the right website); (2) herding, which is the control of key elements in the immediate context of the person (examples: blocking or unblocking a rented mean of transport, blocking or unblocking credit, opening or closing of turnstiles and doors, etc.); and (3) conditioning, which boils down to positive and negative reinforcements related to certain behaviors (examples: plus or minus score points if certain action is performed) (Zuboff, 2019, p.294-296).

Therefore, the tendency to social engineering and to the "nudge" of individuals toward "better" behavior is also part of the Silicon Valley approach. In this sense, perhaps the most intriguing element of the National Social Credit System is not the specific agenda of the Chinese government, but its similarity to the use of digital technologies for social and economic control in liberal democracy countries.

4 Datafied life and individual freedom

Massive data collection through information technology and its use as a tool for analyzing human behavior to induce possible conduct, as well as imposing behavioral restrictions, put at risk ethical principles stated in the promulgation of constitutional articles instituted during the twentieth century, which guarantee citizen’s rights to freedom. A country that conditions citizens' actions to an evaluation system that attaches scores to their actions and maintains a database of all activities ends up curtailing the free right of choice and free movement. A question should be asked in a scenario which everyday life is being influenced by the analysis of data collected through information technology devices: What are the possible implications that may emerge in a society in which human actions are guided by massive data analyzed by algorithms?

We can postulate that, against a backdrop in which big data has influenced individual actions and guidelines of complex relationships (politics, trade, culture, etc.) established around the world, we have the definition of a “dataeconocracy”, in other words, the formation of a state regulated by an economy with data generated by people and collected by information technologies, which are used to influence activities, from the most common, such as the acquisition of consumer goods, to the political guidelines of a country.

The collected data becomes a property of private institutions and is analyzed and maintained as economic assets that define the behavior of those who generated them, both in an individual and massive spectrum. It is perceptible that hyper mediation, based on people's use, have become a regulating mean of daily life, as there is an overexposure to directed content, supplied to each person based on each one’s interests and their relation to the information they are exposed to. It is believed that in an informational dataeconocracy, the ethical systems that guarantee individual freedom end up being weakened, as individual and collective behavior is guided by algorithmic instructions that play a regulatory role in our experiences, thoughts, what we consume, etc. According to the thought of Edgar Morin (2011, p.19), ethics manifests in the human being as a moral requirement, which has as its origin both the individual’s interior and the relationships, beliefs and norms instituted by a community.

Deleuze and Guattari argue that (Lazzarato, 2014, p.17) in capitalism, the production of subjectivity operates in two ways: through devices of social subjection and machinic servitude. Social subjection devices provide the individual an identity (gender, body, profession, nationality, and pre-established social roles as male / female, employed / unemployed, consumer, etc.) in response to the needs of the social division of labor. Machinic servitude, on the other hand, does not institute the individual as an “individuated subject”, but only considers it as a gear, a component part of other assemblages such as “company”, “financial system”, “media” and their collective equipment (schools, hospitals, museums, theaters, television, internet, etc.).

These two forms of operation of the production of subjectivity acts as a double device of power - while social subjection produces individuals, machinic servitude makes them “dividual” - samples, data, masses of information, commodities (Lazzarato, 2014, p. 29). Therefore, the “dividual” is the objectification of the human being and the meaning of life reduction to a mere component of other assemblages, just as “non-human” components are parts of technical machines.

The Chinese Social Credit System links citizens to an external object (digital data collection devices) that the subject makes use of and acts with. A dividual is adjacent to machines and together - human and machine - they constitute a device in which each part is interchangeable and recurrent in a process of production, communication and consumption that exceeds them. Thus, intelligence, affects, sensations, memory and cognition become components whose synthesis no longer resides in the person, but rather in the assemblage or process in which the “man-machine” device is inserted.

In the social system influenced by the assessment that scores the individuals conduct, the ethical relationship with society is no longer an individual commitment to the common good but an algorithmic requirement of a data-based panoptic regulatory system that analyzes the behavior. The person here goes from “being” to become “data” in a process that reduces the human being to a bundle of decisions that can result in better or worse scoring in the system. As the logic of mediation imposes itself onto the practices of everyday life - in this case an algorithmic logic -, social/cultural/economic/political relations, that is, any practice conditioned to the complexity of human relations may become less and less influenced by the ethical understanding that the individual has of the world, while relationships conditioned by the interaction of the individual with the algorithmic logic of mediation strengthen.

In a culture in which the algorithmic logic of hypermediation underlies everyday practices, the way our ethical relations with the world take place must be considered, since the dynamics of hypermedia is to expose information almost as immediately as it occurs. In doing so, it promotes behaviors in society that can lead to disruptions in ethical systems.

The dynamic that characterizes hypermediation drives the consumption of a given idea (political directions, economic information, among others) and gives the power of speech to anyone, even people who do not really exist (bots), as in the case of fake profiles, designed to massively spread messages aimed at disseminate specific content.

Since there are no verification criteria that guarantee the truth of a fact or prevent the propagation of discourses oriented to discursive violence or false news, digital media have proven to be a form of mediation that exposes the fragility of the ethical systems of the human being. It culminates in the shaping of a culture where it is acceptable for corporations to take personal information from individuals for a data manipulation process.

Morin (2018) states that mass culture is a result of market relations and the way it imposes a pedagogy that guides this culture’s participant, but which, itself, is not imposed, but proposed. It is the individual who accepts to participate in it and submits to its logic. According to Morin the mass culture:

“It always goes through the mediation of salable product and therefore borrows certain characteristics of salable product, such as bending to the law of Market, of supply and of demand. Its fundamental law is that one of the Market (Morin, 2018, p. 36).”

For the South Korean philosopher Byung Chul-Han (2018), the freedom and unlimited communication, that are characteristic of digital social networks, constitute a state of constant surveillance, which he calls the “digital panopticon” that constantly collects information and data about people. Han defines big data as a psychopolitical instrument that, by analyzing a large amount of collected data, creates parameters for an understanding of communicational dynamics, thus enabling interventions in human behavior as a way of 'predicting the future'. For Han, this practice configures a “thingification” of the person into a measurable and controllable object, endangering individual free will. The measurability of the human being in data generated by devices they carry with them is considered by Han as the main dominant feature of the digital age, which he defines as “quantified self” (2018, p. 84). The quantified self is defined as a dataistic technique defined by the emptying of the meaning that characterizes the person into insignificant data, that is, a technique that reduces the complexity of being into measurable data and turns it into fragments that do not have the narrative that constitutes knowledge. According to Han:

“Big data suggests absolute knowledge. Everything is measurable and quantifiable. Things reveal their secret correlations, which until then were hidden. Similarly, human behavior must also be predictable. A new age of knowledge is heralded. Correlations replace causality. The that’s the way it is substitutes why. Quantifying data-driven reality completely alienates the spirit of knowledge (Han, 2018, p. 93).”

Regarding the complexity of human activities and the data captured by information technology devices, one of the problems that must be put into discussion is the reduction of knowledge to data. The predictability generated by big data analysis does not consider individual narratives, as can be seen in Byung Chul-Han's critique to this method of data collection and analysis, let alone the relationships with the environment and the time when such data are generated. It was referring to this point that we have it was stated earlier that, in the algorithmic logic of digital mediation, in which the individual is subjected to an evaluation system of its practices and conduct, there is a transformation from 'being' to 'data'. Data expresses only a fragment of a condition and not its complexity. They exclude individual narrative, as stated by Han, and configure the quantified self, the measurable being in data but void in narrative and without the meaning built by individual experiences.

5 Conclusions

A point that should be made by this fact is that the systems that analyze the collected data do not have the proper moral and ethical judgment, proper of the human being, much less consider the individual aesthetic experience. Therefore, restrictions on human conduct may emerge based on numbers generated in (and by) the system and not in evaluations that respect human relations and the right to freedom. Data is fragile because it can be manipulated by the interests of those who control it, while at the same pace, through proposals such as the Chinese Social Credit System, there is a risk that the inherent dynamics in the complexity of human life will be subjected to a regulatory system that shapes people's behavior through inhibitory inducements that reward and penalize individuals for their conduct. The history of digital media exemplifies several moments when algorithm-driven systems have demonstrated their fragility by being susceptible to hacking and data leakage.

It is considered that decisions about everyday actions are subjected to a kind of social game in which data and algorithms guide decisions that are based on individual experience evaluation systems but do not necessarily express the quality of experience. Therefore, the exposed data guides the decision of the individual in function of an evaluation method based on algorithms, that may culminate in the deterioration of freedom of choice.

Algorithms that capture and process user data to create “guaranteed outcomes” have been a reality on the web for years and may serve as a precedent for analyzing the Chinese initiative. When a user searches on Google, the search algorithm takes into account a series of variables and collected data about that user to compose the results page, customizing it to some extent in order for it to be “as relevant as possible” to that search performed by that person at that time. Relevance, in the case of Google, translates into the possibility of clicks. That is, one of the main measures of search engine relevance is how often a determined link is clicked, and how many independent websites link to that specific link.

By considering most relevant what is most likely to be clicked by the user, Google reproduces what its users already think. Therefore, Google's own concept of relevance is biased (Arruda, 2019, p. 11). By customizing what will be displayed on each user's results page through opaque logic, Google creates layers of visibility and therefore invisibility, based primarily on the likelihood of clicks and “social authority” of links. This operative logic of the Google algorithm reinforces the confirmation bias of its users and promotes a kind of sensitivity that reinforces what is familiar and repudiates otherness (Arruda and Silva, 2019, p. 201). It is speculated how much of this search engine operating logic, but also similarly found in social networks like Facebook, would be related to contemporary phenomena such as political polarization in the West, fake news, anti-vaccine movement, among others.

The Chinese Social Credit System shares this same operating logic, directing citizens to certain behaviors defined by the government or companies; in short, by social agents who hold power. The information gathering about citizens' behavior, made possible by digital devices, can become input for control through social engineering. Therefore, one of the most likely consequences of this system in relation to the distribution and occupation of urban space is the segregation and fragmentation according to the individual's score, radicalizing the existing social differences and perpetuating them.

References

Arruda, Renê E., 2019. Dispositivo da web - Subjetivação e Captura de Fluxos de Desejo, in. II Encontro Regional Centro-Sul da ABCiber, 2019. Filosofia e Tecnologia, São Paulo.

Arruda, Renê E. and Silva, Thiago T. R., 2019. O fenômeno Fake News: Redes, Algoritmos e Verdade, in Marassi, Alessandra de Castro Barros and Pinheiro, Wesley Moreira. (Ed.) Diálogos Entre A Comunicação, Filosofia E Tecnologia: Reflexões sobre tecnologia, religião e sociedade nas práticas comunicacionais contemporâneas. Paulus, São Paulo, p. 194-206.

Borak M., 2017, China’s Social Credit System: Al-driven panopticon or fragmented foundation for a sincerity culture? Available at: https://technode.com/2017/08/23/chinas-social-credit-system-ai-driven-panopticon-or-fragmented-foundation-for-a-sincerity-culture/ .Accessed 16 Aug 2019.

Chan, T. F., 2017. Debtors in China are placed on a blacklist that prohibits them from flying, buying train tickets, and staying at luxury hotels. Available at: https://www.businessinsider.com/chinas-tax-blacklist-shames-debtors-2017-12?r=UK Accessed 16 aug 2019.

Creemers, R., 2014. Planning Outline for the Construction of a Social Credit System (2014-2020). available at: https://chinacopyrightandmedia.wordpress.com/2014/06/14/planning-outline-for-the-construction-of-a-social-credit-system-2014-2020/ .Accessed 16 aug 2019.

Creemers, R., 2015. China’s chilling plan to use social credit ratings to keep score on its citizens. Available at: https://edition.cnn.com/2015/10/27/opinions/china-social-credit-score-creemers/index.html .Accessed 16 aug 2019.

Han, B., 2018. Psicopolítica: o neoliberalismo e as novas técnicas de poder. Yné, Belo Horizonte.

Hawkins, A., 2017. Chinese Citizens Want the Government to Rank Them. Available at: https://foreignpolicy.com/2017/05/24/chinese-citizens-want-the-government-to-rank-them/ Accessed 16 aug 2019.

Kostka, G., 2018. China’s social credit systems are highly popular - for now. Available at: https://www.merics.org/en/blog/chinas-social-credit-systems-are-highly-popular-now Accessed 16 aug 2019.

Lazzarato, M., 2014. Signos, Máquinas, Subjetividades, N-1 edições, São Paulo.

Morin, E., 2011. O método 6: ética, 4th ed., Sulinas, Porto Alegre.

Morin, E., 2018. Cultura de massas no século XX: neurose e necrose. 11th ed., Forense, Rio de Janeiro.

Williams, Z., 2018. Algorithms are taking over - and woe betide anyone they class as a ‘deadbeat’. Available at: https://www.theguardian.com/world/commentisfree/2018/jul/12/algorithm-privacy-data-surveillance. Accessed 16 aug 2019.

Xiaofeng, S.2017. Court blacklist prevents millions from flying, taking high-speed trains. Available at: http://www.chinadaily.com.cn/china/2017-02/14/content_28195359.htm Accessed 16 aug 2019.

Zuboff, S., 2019. The Age of Surveillance Capitalism - A Fight for a Human Future at the New Frontier of Power, Public Affairs, New York, NY.