Inteligência Artificial e Discriminação Algorítmica

Grupo de Estudos em Direito e Tecnologia da Universidade Federal de Minas Gerais – DTEC - UFMG

Data: 01/04/2025

Relatores: Denis Almeida; Izabela Acorroni; Jessica Rocha; Mariana Lopes.

Bibliografia Base: (a) Bias and Discrimination in AI: a cross-disciplinary perspective; (b) Contemporary forms of racism, racial discrimination, xenophobia and related intolerance; (c) Algorithmic discrimination: examining its types and regulatory measures with emphasis on US legal practices

Bibliografia Complementar: (d) Addressing discriminatory bias in artificial intelligence systems operated by companies: An analysis of end-user perspectives (e) AI and Algorithmic Bias: Source, Detection, Mitigation and Implications (f) Discriminatory AI and the Law: Legal Standards for Algorithmic Profiling (g) When AI Systems Fail: Introducing the AI Incident Database

Proposta de organização da discussão:  1. Apresentação dos autores da bibliografia base |2. Conceitos, tipos de vieses e discriminação | 3. Casos de discriminação algorítmica | 4. Perspectivas técnicas | 5. Perspectivas Jurídicas | 6. Conclusões e pontos de reflexão | 7. Outras referências

1. Apresentação dos autores da bibliografia base

   1. Xavier Ferrer: Doutor em Informática pelo Instituto de Inteligência Artificial, Conselho Nacional de Pesquisa da Espanha (IIIA-CSIC) e Universidade Autônoma de Barcelona. Pesquisador Associado em discriminação digital no Departamento de Informática

   2. Tom van Nuenen: Doutor em Estudos Culturais pela Universidade de Tilburg, Holanda. Pesquisador Associado no Departamento de Informática e Pesquisador Visitante em humanidades digitais na Universidade da Califórnia em Berkeley.

   3. Jose M. Such: Professor Associado (Reader) no Departamento de Informática e Diretor do Centro de Cibersegurança KCL.

   4. Mark Coté: Professor Sênior (Senior Lecturer) em cultura de dados e sociedade no Departamento de Humanidades Digitais

   5. Natalia Criado: Professora Sênior (Senior Lecturer) em ciência da computação no Departamento de Informática e Co-Diretora do Centro UKRI de Treinamento de Doutorado em IA Segura e Confiável

   6. Ashwini K.P.: indiana, relatora especial da ONU. A Sra. Ashwini KP obteve seu Bacharelado em História, Economia e Ciência Política pelo Mount Carmel College, Índia. Ela possui um Mestrado em Ciência Política pelo St. Joseph 's College, Índia e MPhil e Ph.D. em Estudos do Sul da Ásia pela Jawaharlal Nehru University, Nova Déli.

   7. Xukang Wang: Master's student at UW ECE major in embedded software and system. Sage IT Consulting Group, Shanghai, China.

   8. Ying Cheng Wu: School of Law, University of Washington, Seattle, WA, United States.

   9. Xueliang Ji: Faculty of Law, The Chinese University of Hong Kong, Sha Tin, Hong Kong SAR, China. Ph.D. Candidate at the University of Macao, Faculty of Law.

   10. Hongpeng Fu: Khoury College of Computer Sciences, Northeastern University, Seattle, WA, United States.

       
       

2. Conceitos, tipos de vieses e discriminação

(a) Bias and Discrimination in AI: a cross-disciplinary perspective - O artigo explora a discriminação em IA, definida como discriminação digital, a partir de uma perspectiva interdisciplinar que incorpora as dimensões técnica, legal, social e ética. Dado que muitas pesquisas não conseguiram resolver o problema isoladamente, devido ao uso de métodos computacionais que desconsideram as complexidades culturais e éticas, além de não distinguirem adequadamente entre viés e discriminação, os autores argumentam que a solução para o enviesamento e a discriminação em IA requer colaborações interdisciplinares robustas. Nesse sentido, propõem uma abordagem integrada que complementa a literatura técnica com perspectivas proveniente de outras dimensões.

2.1. Viés X Discriminação

A.      Viés em IA: Qualquer desvio em relação a um padrão de referência. Na prática, o viés é essencial para identificar padrões estatísticos em dados. Embora o viés não leve necessariamente à discriminação em sistemas de tomada de decisão baseados em IA, ele desempenha um papel significativo nesse processo.

B.      Discriminação algorítmica: Tratamento desigual ou injusto de indivíduos ou grupos por um sistema de inteligência artificial, resultante de viés nos dados ou nos algoritmos, que pode levar a desigualdades em áreas como emprego, crédito ou justiça, violando direitos protegidos por leis antidiscriminação[1].

●        Como podemos distinguir entre viés necessário para categorizar informações e viés problemático que leva a discriminação?

○        Talvez seja útil pensar que o viés se torna problemático quando afeta grupos desproporcionalmente e sem justificativa técnica ou ética.

2.2. Formas de viés na construção de modelos de IA:

A.      Bias in Modeling (Viés na Modelagem): Refere-se ao viés introduzido intencionalmente na estrutura do algoritmo para ajustar o modelo ou ao utilizar categorias objetivas para fazer julgamentos subjetivos. Muitas vezes, os modelos são projetados com suposições implícitas sobre os dados, que podem não refletir com precisão a diversidade ou as características de todas as populações representadas.

B.      Bias in Training (Viés no Treinamento): ocorre quando o conjunto de dados históricos utilizados para treinar o algoritmo refletem preconceitos e desigualdades presentes na sociedade. Além disso, o viés pode surgir quando os dados não representam de forma adequada a diversidade ou as características da população

C.       Bias in Usage (Viés no Uso): Ocorre quando um algoritmo é aplicado em um contexto diferente daquele para o qual foi originalmente projetado, ou quando seus resultados são interpretados de forma inadequada.

2.3. Tipos de discriminação algorítmica:

(a) Bias and Discrimination in AI: a cross-disciplinary perspective; (c) Algorithmic discrimination: examining its types and regulatory measures with emphasis on US legal practices.

A.  Disparate Treatment (Tratamento Diferenciado): Ocorre quando o modelo explicitamente considera atributos protegidos (como gênero ou etnia) para tomar decisões.

B. Disparate Impact (Impacto Desproporcional): Manifesta-se quando um modelo, ainda que aparentemente neutro, que não use explicitamente características protegidas ou variáveis proxy, gera impactos negativos desproporcionais sobre determinados grupos.

C. Discriminação com base em agentes tendenciosos: Quando o processo de tomada de decisão depende de agentes ou fontes de dados tendenciosos (algoritmos que são treinados em dados históricos que refletem práticas discriminatórias passadas ou vieses sociais).

D. Discriminação com base na seleção de características: Discriminação relacionada à maneira como os recursos são selecionados e ponderados no processo de tomada de decisão (envolve especificamente as escolhas feitas pelos designers e algoritmos ao determinar quais atributos incluir e como priorizá-los).

E. Discriminação por meio de variáveis proxy: Discriminação que ocorre por meio de atributos mascarados que servem como substitutos para características protegidas (ex.: um algoritmo usado para selecionar candidatos a emprego pode não considerar explicitamente raça ou gênero, mas pode usar variáveis como “distância do local de trabalho” ou “lacunas no histórico de emprego” que se correlacionam com esses atributos protegidos).

F. Discriminação na publicidade e preços direcionados: Discriminação que ocorre quando algoritmos são usados para segmentar consumidores em grupos granulares e entregar anúncios ou preços personalizados com base em suas preferências, comportamentos e características percebidas de modo que isso gere resultados discriminatórios (ex.: casos nos quais determinadas ofertas de emprego são mostradas apenas para determinadas faixas etárias).

(b) Contemporary forms of racism, racial discrimination, xenophobia and related intolerance;

2.4. Formas transversais em que a inteligência artificial pode contribuir para manifestações de discriminação racial

(1)   Problemas com os dados:

a)       Os conjuntos de dados nos quais os algoritmos são treinados são frequentemente incompletos ou sub-representam certos grupos de pessoas.

b)      Vieses históricos podem afetar os próprios dados.

c)       Proteção de dados. Violações de privacidade podem colocar esses grupos em risco de ostracismo, discriminação ou perigo físico.

(2)   Problemas de design do algoritmo:

a)       Decisões sobre os parâmetros e o funcionamento de um algoritmo podem introduzir vieses, o código reflete valores e interesses daqueles que influenciam seu design, mesmo que de forma inconsciente.

b)      A falta de diversidade nos setores de tecnologia digital é alegadamente exacerbada pela ausência de processos de consulta inclusivos no desenvolvimento de sistemas de inteligência artificial, o que contribui para problemas de design algorítmico.

c)       Em análise de risco de crédito, pesquisas demonstraram que há uma forte correlação entre pontuação de crédito, raça e outros indicadores demográficos, sendo que o uso de pontuações de crédito prejudicaria grupos minoritários.

(3)   Uso para propósitos discriminatórios:

a)       Vigilância e policiamento excessivo sobre comunidades específicas; monitoramento, criação de perfis e segmentação de grupos ou indivíduos específicos com base em suas identidades raciais ou étnicas; disseminação de desinformação com propósitos explicitamente racistas para manipulação de política pública ou processos políticos, minar a confiança nas instituições e/ou semear discórdia para imposição de censura.

(4)   Problemas de transparência e responsabilização (“accountability”):

a)       Processo de decisão oculto para alguns modelos (“black box”), decisões independentes dada a  constante atualização, incorporando novos padrões em seu código e tomada de decisão diferentes dos quais foi originalmente programada.

b)      Desafio de auditabilidade em função de regras de leis contratuais e de propriedade intelectual.

c)       Vulnerabilidade na hipótese de discriminação da tomada de decisão por algoritmos: “processos autônomos de tomada de decisão não criam trilhas probatórias da mesma forma que tomadores de decisão humanos” aumentando a barreira para o acesso à justiça.

3. Casos de discriminação algorítmica

(c) Algorithmic discrimination: examining its types and regulatory measures with emphasis on US legal practices

Amazon - Algoritmo de recrutamento	COMPAS – Sistema de justiça criminal
Em 2018, a Amazon descontinuou um algoritmo de recrutamento que penalizava candidaturas femininas. O sistema, treinado com dados históricos de profissionais contratados pela empresa nos últimos 10 anos, reproduziu padrões discriminatórios do setor de tecnologia, que historicamente favorecem homens em posições técnicas.	O sistema COMPAS, utilizado nos EUA para prever reincidência criminal, apresentou um viés racial significativo. Um estudo da ProPublica de 2016 revelou que o algoritmo atribuía um risco maior de reincidência a réus negros, em comparação com réus brancos, mesmo quando os réus brancos tinham perfis semelhantes em termos de histórico criminal.

(b) Contemporary forms of racism, racial discrimination, xenophobia and related intolerance;

1. Aplicação da lei, segurança e sistema de justiça criminal

   1. Identificação automatizadas

   2. Algoritmos de policiamento preditivo

   3. Algoritmos de avaliação de reincidência

   4. Sistemas de armas autônomos

2. Assistência Médica

   1. Scores de risco voltados à saúde

   2. Detecção de doenças

   3. Dispositivos médicos habilitados para inteligência artificial

3. Educação

   1. Algoritmos de sucesso acadêmico e profissional

   2. Algoritmos de avaliação

   3. Large language models na educação

   4. Reconhecimento facial em instituições educacionais

4. Perspectivas Técnicas

   
   

(a) Bias and Discrimination in AI: a cross-disciplinary perspective;

Diferentes abordagens podem ser utilizadas para detectar e corrigir possíveis distorções:

4.1. Abordagens para detectar e medir viés

A. Identificação de Viés

●        Processuais (foco no processo algorítmico): Examina a lógica do algoritmo para identificar vieses internos, mas enfrenta os seguintes desafios:

○        Modelos complexos, especialmente aqueles que se valem de métodos de aprendizagem não supervisionada, são difíceis de rastrear e de compreender (como redes neurais).

○        Algoritmos são ativos privados, comumente protegidos por direitos de propriedade intelectual, não estando livremente disponíveis para análise de sua lógica interna.

●        Relacionais (foco nos resultados): Medem vieses tanto no conjunto de dados quanto nos resultados produzidos pelo algoritmo, avaliando o impacto do modelo sobre diferentes grupos populacionais. Entre os métodos utilizados, destacam-se:

○        Paridade Estatística: Compara taxas de aprovação entre grupos diferentes.

○        Explicabilidade Local (LIME)[2]: Examina por que o algoritmo tomou uma decisão específica.

○        Explicações Contrafactuais: Esse método busca entender o que mudaria se o indivíduo fosse diferente em algum aspecto. "O que aconteceria se este indivíduo tivesse outra raça/gênero?"

B. Métricas de Viés

●        Métricas Estatísticas:

○        Paridade Demográfica: A mesma proporção de pessoas de diferentes grupos deveria receber cada decisão do algoritmo.

○      Paridade Preditiva: Analisa a precisão do modelo entre diferentes grupos, ou seja, se o modelo tem a mesma taxa de acerto (ou precisão) ao prever resultados para diferentes grupos.

○        Calibração Justa: A calibração justa verifica se a probabilidade prevista pelo modelo corresponde à probabilidade real de uso quando quiser garantir que indivíduos com características relevantes, mas não protegidas, sejam tratados de maneira justa e igual quando um evento ocorrer (e isso deve ser igual para diferentes grupos).

●        Métricas Baseadas em Similaridade: Compara indivíduos com características semelhantes, mas que não são protegidas por lei (como idade, nível educacional, experiência de trabalho), e exige que decisões semelhantes sejam tomadas para pessoas com perfis semelhantes.

●        Métricas Baseadas em Causalidade: Usa grafos causais[3] para identificar se um atributo protegido influencia a decisão do algoritmo.

C. Estratégias para mitigação

●        Remoção de variáveis críticas:

○        Excluir atributos protegidos (ex.: gênero, raça) dos dados.

○        Problema: O algoritmo pode inferir essas informações indiretamente (proxy bias)[4].

●        Ajuste de pesos[5] e penalizações[6]:

○        Modificar modelos e bases de treinamento para equilibrar decisões entre diferentes grupos.

●        Balanceamento dos dados:

○        Incluir amostras mais representativas para reduzir vieses.

●        Modelos interpretáveis:

○        Preferência por algoritmos como árvores de decisão que permitem auditoria.

5. Perspectivas Jurídicas

   
   

   (b) Contemporary forms of racism, racial discrimination, xenophobia and related intolerance;

   
   

   • Iniciativas nacionais

   • Países estão desenvolvendo uma combinação de regulamentações legais vinculativas e padrões políticos voluntários para gerenciar a IA. Exemplos incluem a legislação pendente do Brasil e documentos políticos que abordam o viés algorítmico, a Ordem Executiva 14110 dos Estados Unidos e iniciativas estaduais, além da Lei de Inteligência Artificial e Dados do Canadá junto com padrões voluntários.

   • Desafios de Implementação: Existem preocupações sobre a eficácia dessas regulamentações, incluindo falta de consulta às comunidades afetadas (como pessoas de ascendência africana no Brasil), ausência de referência explícita à discriminação racial em algumas regulamentações (como a Ordem Executiva dos EUA), e questões sobre coerência e consistência entre diferentes padrões.

(c) Algorithmic discrimination: examining its types and regulatory measures with emphasis on US legal practices

O artigo explora as principais abordagens regulatórias para mitigar a discriminação algorítmica, pontuando que tais estratégias visam garantir a justiça algorítmica, a transparência e a responsabilização, ponderando os riscos e benefícios associados aos sistemas de tomada de decisão automatizada. 

São destacadas as seguintes estratégias:

a)       Regulação baseada em princípios[7]:

●        Os princípios antidiscriminação e das normativas gerais nesse sentido no ordenamento jurídico americano são aplicáveis tanto para decisões humanas quanto automatizadas. Entretanto, existem leis específicas como a Fair Credit Reporting Act (que protege consumidores de práticas injustas no crédito) e o Civil Rights Act (que proíbe discriminação com base em raça, sexo, etc.), devem ser seguidas quando se usa algoritmos para tomar decisões.

b)      Controles preventivos[8]:

●        Os controles preventivos, enquanto elemento das estratégias regulatórias adotadas contra a discriminação algorítmica, se baseia principalmente na regulamentação visando fomentar:

○        Avaliação e revisão dos algoritmos: visa identificar e corrigir possíveis vieses discriminatórios desde sua criação, a fim de que decisões algorítmicas sejam justas e que não sejam baseadas em dados que influenciem negativamente os resultados.

○        Coleta democrática de dados:  busca assegurar que os dados sejam coletados de maneira transparente e ética, em uma dinâmica de autodeterminação informativa, garantindo que o uso de suas informações não seja discriminatório.

c)       Responsabilidade pós-evento[9]:

●        A regulação baseada em responsabilidade consequencial busca garantir que, quando decisões algorítmicas resultam em discriminação e afetam negativamente as pessoas envolvidas, quem tomou a decisão ou usou o algoritmo assuma a responsabilidade por isso. (A ideia central é que o responsável pela decisão deva corrigir os danos causados e ser punido de acordo com a gravidade do erro.)

d)      Autorregulação[10] e Regulação por heteronomia[11]:

●        A autorregulação se baseia no controle interno da indústria, com a Association for Computing Machinery (ACM) apresentando sete princípios essenciais para garantir a transparência e a auditabilidade dos algoritmos:

●      A EEOC[12] (Comissão de Igualdade de Oportunidades no Emprego) e a FTC[13] (Federal Trade Commission) assumem papeis importantes.

e)      Revisão Judicial de Discriminação Algorítmica:

●        Os tribunais americanos distinguem entre:

○      Discriminação intencional (quando há intenção clara de discriminar).

○      Discriminação não intencional (quando o impacto discriminatório ocorre sem intenção explícita).

• Iniciativas regionais

  1. União Europeia:

     1. Os aspectos positivos da aprovação da Lei de Inteligência Artificial da UE: incorporação de raça, salvaguardas de direitos humanos, proibições de certos usos, mecanismos de reparação;

     2. Preocupações com exceções na lei para imigração, gestão de fronteiras e aplicação da lei, apesar do histórico de discriminação racial nessas áreas

        
        

• Iniciativas internacionais

  1. Iniciativas das Nações Unidas para gerenciar a inteligência artificial, incluindo:

     1. Criação do Órgão Consultivo de Alto Nível sobre Inteligência Artificial pelo Secretário-Geral - relatório provisório, que, entretanto, não faz referência específica ao risco de viés racial e discriminação

     2. O trabalho do Alto Comissariado das Nações Unidas para os Direitos Humanos (ACNUDH) na integração dos direitos humanos nos diálogos internacionais sobre tecnologias emergentes

  2. Outras iniciativas internacionais como as da OCDE e do G7

  3. O papel das organizações internacionais para:

     
     

• Arcabouço do direito internacional dos direitos humanos aplicável à inteligência artificial e discriminação racial.

  1. A tecnologia de inteligência artificial deve fundamentar-se nos padrões do direito internacional dos direitos humanos. A proibição mais abrangente da discriminação racial pode ser encontrada na Convenção Internacional sobre a Eliminação de Todas as Formas de Discriminação Racial[14].

     1. As obrigações dos Estados abrangem ações tanto preventivas quanto corretivas.

     2. Se a discriminação racial resultante da inteligência artificial é intencional ou não, é irrelevante.

  2. Pacto Internacional sobre Direitos Civis e Políticos: privacidade (17º) e Liberdade e segurança da pessoa (artigo 6ª, 7º, 9º, 14º, 26º - não discriminação de grupos minoritários)

  3. Arcabouço sobre o uso de inteligência artificial na imigração e controle de fronteiras e no contexto das mídias sociais - Relatórios  A/75/590 and A/78/538.

  4. Remédios contra a discriminação racial reconhecidos pela Assembleia da ONU: restituição, compensação, reabilitação, satisfação e garantias de não repetição[15].

  5. Entidades empresariais - Princípios Orientadores sobre Empresas e Direitos Humanos

     1. As empresas devem prevenir, mitigar e remediar violações de direitos humanos que elas possam causar ou para as quais possam contribuir e de conduzir a devida diligência em direitos humanos com relação às atividades empresariais relevantes.

6. Conclusões e Pontos de Reflexão

(b) Contemporary forms of racism, racial discrimination, xenophobia and related intolerance;

Recomendações da Relatora Especial das Nações Unidas

                              (i)            Considerações sobre a insuficiência da abordagem atual para regulamentação de IA (parágrafo 66-67)

(1)    Superação de abordagens daltônicas que entendem tecnologias como objetivas e neutras

(2)    Iniciativas adicionais devem ser executadas para além de regulações efetivas: “educação pública baseada em direitos humanos sobre tecnologias emergentes” e “alfabetização em inteligência artificial”;

                            (ii)            Recomendações para Estados (parágrafo 68, itens a-o):

(1)    as recomendações reclamam por urgência regulatória, abordagem abrangente, mecanismos de prevenção e proteção, participação nos processos políticos, investimentos em infraestrutura e alfabetização tecnológica

                           (iii)            Recomendações para entidades empresariais (parágrafo 69, itens a-f):

(1)    as recomendações reclamam por responsabilidade, monitoramento e correção e capacitação.

                           (iv)            Recomendações para as Nações Unidas e seus mecanismos independentes de direitos humanos (parágrafo 70, itens a-e):

(1)    liderança global e integração, monitoramento e cooperação.

7. Outras referências

1. INFORMATION COMMISSIONER'S OFFICE (ICO). What about fairness, bias and discrimination? Information Commissioner's Office (ICO), ©2024. Disponível em: https://ico.org.uk/for-organisations/uk-gdpr-guidance-and-resources/artificial-intelligence/guidance-on-ai-and-data-protection/how-do-we-ensure-fairness-in-ai/what-about-fairness-bias-and-discrimination/. Acesso em: 23 mar. 2025.

2. MAVROGIORGOS, Konstantinos et al. Bias in Machine Learning: A Literature Review. Applied Sciences, v. 14, n. 19, p. 8860, 2024.

3. KREMER, Bianca. Racismo Algorítmico. [Coleção Panorama]. Org. Thallita G. L. Lima; Pablo Nunes. Rio de Janeiro: CESeC, 2023.

4. SILVA, Tarcízio. Racismo Algorítmico: inteligência artificial e discriminação nas redes digitais. São Paulo: Edições Sesc, 2022.

5. WU, Yi. Data Governance and Human Rights: An Algorithm Discrimination Literature Review and Bibliometric Analysis. Journal of Humanities, Arts and Social Science, v. 7, n. 1, p. 128-154, 2023.

6. Lyria Bennett Moses, Regulating in the Face of Sociotechnical Change, in R Brownsword, E Scotford and K Leung (eds);

7. Brownsword R and Goodwin M, Regulatory Connection II: Disconnection and Sustainability in Law and the Technologies of the Twenty-First Century: Text and Materials(CUP, 2012)

8. https://fra.europa.eu/sites/default/files/fra_uploads/fra-2022-bias-in-algorithms_en.pdf

9. https://www.academia.edu/114040800/Racismo_Algorítmico

10. https://racismo-algoritmico.pubpub.org

11. https://www.intercept.com.br/2023/04/24/startup-de-seguranca-gabriel-cria-rede-de-informacoes-clandestinas-pelo-whatsapp-com-a-policia-do-rio/

12. https://tarciziosilva.com.br/blog/destaques/posts/racismo-algoritmico-linha-do-tempo/

13. https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing

14. MENDES, Laura Schertel; MATTIUZZO, Marcela. Discriminação algorítmica: conceito, fundamento legal e tipologia. Direito Público, v. 16, n. 90, 2019. Disponível em: <https://www.portaldeperiodicos.idp.edu.br/direitopublico/article/view/3766/Schertel%20Mendes%3B%20Mattiuzzo%2C%202019>. Acesso em 01 de abril de 2024.

[1] A legislação elaborada para impedir a discriminação contra grupos específicos de pessoas que compartilham um ou mais atributos protegidos (grupos protegidos).

[2] Técnica usada para entender como um modelo de IA toma decisões em casos específicos. O objetivo do LIME é fornecer explicações sobre uma única previsão feita pelo modelo, ajudando a entender quais características ou variáveis influenciaram a decisão de maneira mais direta e local (ou seja, no contexto de uma instância específica).

[3] Grafos causais são representações gráficas utilizadas para modelar relações de causa e efeito entre variáveis. Eles são ferramentas matemáticas usadas em várias disciplinas, como estatística, aprendizado de máquina e ciências sociais, para entender como as mudanças em uma variável podem influenciar outras variáveis, e como os diferentes fatores se inter-relacionam de forma causal.

[4] A ICO pontua que a remoção de dados sensíveis ou de características protegidas nos dados de treinamento não elimina necessariamente o risco de discriminação. Muitas vezes, variáveis proxy, como a ocupação, estão correlacionadas com essas características de maneira não óbvia, permitindo que o modelo reproduza padrões discriminatórios, mesmo sem a intenção dos desenvolvedores. Assim, a abordagem de "justiça pela ignorância" (remover atributos específicos) pode não ser eficaz, pois outras variáveis podem continuar a gerar discriminação. INFORMATION COMMISSIONER'S OFFICE (ICO). What about fairness, bias and discrimination? Information Commissioner's Office (ICO), ©2024. Disponível em: https://ico.org.uk/for-organisations/uk-gdpr-guidance-and-resources/artificial-intelligence/guidance-on-ai-and-data-protection/how-do-we-ensure-fairness-in-ai/what-about-fairness-bias-and-discrimination/. Acesso em: 23 mar. 2025.

[5] Por exemplo, se um grupo minoritário estiver sub-representado, ele pode receber um peso maior para garantir que o modelo leve suas características mais em consideração ao fazer previsões.

[6] ​​Técnicas que aplicam penalizações (ou "custos") adicionais quando o modelo toma decisões erradas sobre determinados grupos, de forma a incentivar a equidade algorítmica.

[7] Refere-se a regulamentações que são baseadas em princípios gerais ou valores fundamentais, em vez de regras detalhadas e específicas. Elas visam orientar a aplicação da lei e regulamentos com base em diretrizes amplas e éticas, promovendo flexibilidade na sua interpretação e aplicação.

[8] São medidas e regulamentações estabelecidas para evitar problemas ou danos antes que ocorram. No contexto da regulação de IA, isso pode se referir a medidas que previnem o uso indevido de tecnologias ou mitigam riscos de discriminação ou viés, por exemplo.

[9] Responsabilização por danos ou consequências resultantes de ações ou omissões, demandando a responsabilidade por prejuízos causados por decisões automatizadas ou pelo uso inadequado de tecnologias, com base nas consequências desses atos.

[10] Quando os próprios setores ou indústrias se organizam internamente e criam suas próprias regras e padrões, sem a imposição direta de governos ou agências externas. A ideia é que as empresas ou organizações, cientes dos seus problemas e das suas responsabilidades, criem mecanismos para se controlar e garantir que suas práticas estejam em conformidade com certos padrões.

[11] Regulação que vem de fora do setor, geralmente o governo ou uma agência reguladora, que impõe regras e leis que as empresas devem seguir. A ideia é garantir que as empresas sigam padrões e normas que protejam a sociedade como um todo (mesmo que não queiram ou não tenham iniciativa para isso).

[12] A EEOC é responsável por garantir que os empregadores cumpram as leis federais contra a discriminação no trabalho, como a Title VII do Civil Rights Act. Em casos de discriminação algorítmica no recrutamento ou seleção, a EEOC pode investigar práticas discriminatórias e exigir que os empregadores modifiquem seus processos, garantindo que a tecnologia usada no recrutamento não discrimine com base em características protegidas, como raça, gênero ou origem nacional.

[13] A FTC protege os consumidores contra práticas comerciais desleais ou enganosas, incluindo aquelas que envolvem algoritmos. Quando sistemas de IA discriminam ou enganam os consumidores (por exemplo, em marketing, precificação ou acesso a crédito), a FTC pode intervir, aplicando a legislação de proteção ao consumidor para garantir práticas transparentes e justas.

[14]“Nesta Convenção, a expressão “discriminação racial” significará qualquer distinção, exclusão, restrição ou preferência baseadas em raça, côr, descendência ou origem nacional ou étnica que tem por objetivo ou efeito anular ou restringir o reconhecimento, gôzo ou exercício num mesmo plano, (em igualdade de condição), de direitos humanos e liberdades fundamentais no domínio político econômico, social, cultural ou em qualquer outro domínio de vida pública.” - BRASIL. Decreto nº 65.810, DE 8 DE DEZEMBRO DE 1969. Promulga a Convenção Internacional sôbre a Eliminação de tôdas as Formas de Discriminação Racial. Disponível em: <https://www.planalto.gov.br/ccivil_03/decreto/1950-1969/d65810.html>. Acesso em 30 de março de 2025.

[15] Basic Principles and Guidelines on the Right to a Remedy and Reparation for Victims of Gross Violations of International Human Rights Law and Serious Violations of International Humanitarian Law, paras. 15–23.

__________________________________________________________________________________

O DTec UFMG (Grupo de Estudos em Direito & Tecnologia da Faculdade de Direito da UFMG) é um grupo de estudos registrado junto à Faculdade de Direito da UFMG e ao NIEPE/FDUFMG. O DTec realiza encontros quinzenais remotos para debater temas afetos à sua área e o DTIBR cede espaço no site e nas suas redes sociais para divulgar as atas de reuniões e editais de processo seletivo do grupo de estudos.

Por outro lado, o Centro de Pesquisa em Direito, Tecnologia e Inovação - DTIBR é uma associação civil de direito privado, dotada de personalidade jurídica própria e sem finalidade econômica. Não possui vínculo com a UFMG e, por isso, participantes do grupo de estudos DTec não são membros do DTIBR. Para maiores informações, acesse nosso FAQ.