O preconceito na máquina: preconceitos de dados de treinamento e seu impacto no código gerado pelos assistentes de código de IA

1981 foi um ano marcante para a música inspirada nos computadores e no futurismo. Da distópica “Red Barchetta” do álbum do Rush Imagens em movimento, para a totalidade do Kraftwerk Computer World, os artistas olhavam para o futuro com precisão tecnológica. Como disse o Kraftwerk: “Eu programo meu computador doméstico, me transporto para o futuro”. Outro álbum desse tipo é Fantasma na máquina da The Police, que usa a crescente influência da tecnologia como tema central. Eles analisaram de forma mais cínica as possíveis desvantagens do avanço tecnológico. O álbum ainda ressoa enquanto sua visão de um mundo em fluxo ainda soa verdadeira.

Desde 1981 e a revolução dos computadores domésticos, temos visto a tecnologia se desenvolver em velocidades vertiginosas, culminando (até agora) na ascensão dos assistentes de código de IA. Essas ferramentas prometem agilizar o processo de codificação, mas assim como o álbum The Police mencionado acima, que traz uma sensação de alienação sob a superfície, há também um fator oculto em jogo.

Vieses na IA

Por mais negativo que seja, os preconceitos geram desilusão e infiltram-se nos dados de formação dos assistentes de IA. A Polícia canta na música “Invisible Sun” sobre a influência positiva de uma força invisível; no entanto, o negativo também é verdadeiro. Ferramentas de IA tendenciosas podem levar a consequências indesejadas e prejudicar as ferramentas de IA. Então, vamos discutir como esses preconceitos podem se tornar os “fantasmas na máquina” das ferramentas de IA.

“Muita informação passando pelo meu cérebro”

O aprendizado de máquina capacita assistentes de código de IA e ferramentas generativas, revolucionando a forma como o software é construído. Sua principal função na codificação é lidar com tarefas repetitivas e propor alterações de código de maneira integrada. Eles são considerados no nível de desenvolvedor júnior e precisam de muitos dados para melhorar. Isso vem na forma de uma enorme coleção de projetos anteriores para um assistente de codificação de IA. A IA o utiliza como uma versão de um manual de instruções. Esses dados treinam a IA e, ao analisar o código, ela pode compreender padrões e escrever código com mais eficiência.

A chave aqui é que a qualidade e a variedade dos dados são altas. Esta informação é a base do conhecimento da IA ​​e deve ser suficientemente boa para garantir resultados de qualidade.

“Eles subjugam os mansos, mas é a retórica do fracasso”

O calcanhar de Aquiles dos assistentes de código de IA reside nos preconceitos ocultos dentro deles. Sua base são os dados nos quais os modelos de IA são treinados. Assim como uma fundação descentralizada formará rachaduras e levará a uma estrutura instável, o mesmo se aplica aos modelos de IA. Dados repletos de preconceitos ocultos comprometerão todo o modelo de IA. Os preconceitos podem assumir várias formas:

• Preconceitos sociais – pode refletir preconceitos sociais
• Preconceitos de gênero – pode favorecer um gênero em detrimento de outro
• Preconceitos culturais – pode distorcer os dados em favor de culturas específicas

As razões para os preconceitos se infiltrarem nos modelos de IA podem nem ser nefastas ou mal intencionadas. Por vezes, os dados históricos reflectem desigualdades passadas. Outras vezes, os métodos de recolha de dados podem introduzir um preconceito. Um exemplo rápido seria uma IA destinada a ajudar a fornecer aconselhamento médico. Se for treinado principalmente em dados escritos por homens, poderá não conseguir captar algumas nuances da saúde das mulheres.

As consequências de dados tendenciosos sobre formação são abrangentes e têm impacto num número quase infinito de cenários, desde aprovações de empréstimos até recomendações de emprego. Vejamos o exemplo da carreira. Uma empresa usa um assistente de código de IA para ajudar no processo de contratação. O modelo é treinado com base em dados de contratações anteriores. Se os dados indicarem que as contratações mais bem-sucedidas foram homens com formação educacional específica, isso poderá favorecer currículos semelhantes a esses candidatos. Este cenário fornece um exemplo simples e óbvio de como certos candidatos podem ser desqualificados com base no seu género ou nível de escolaridade.

Dados de treinamento tendenciosos podem:

• Perpetuar as desigualdades existentes: Os sistemas de aprovação de empréstimos treinados com base em dados históricos que favoreceram determinados grupos demográficos podem continuar com esse preconceito nas suas respostas automatizadas.
• Discriminar certos grupos: O sistema de recomendação de IA de um site de roupas pode ser treinado com base em dados fortemente distorcidos para um perfil de tamanho específico em compras anteriores. Isso pode tornar difícil para indivíduos fora desse grupo demográfico encontrar roupas que caibam bem.
• Forneça resultados imprecisos: Um aplicativo meteorológico treinado com dados de uma região específica pode ter dificuldades para prever padrões climáticos em outros locais.

“Estou construindo uma máquina que não é para mim, deve haver um motivo que não consigo ver”

Os assistentes de código de IA aprendem analisando padrões de dados de treinamento, como aprender um novo idioma. Se você aprendeu francês lendo Victor Hugo, poderá ter dificuldade para fazer um pedido em francês em um café parisiense. Da mesma forma, os preconceitos nos dados de treinamento levam o assistente de IA a desenvolver padrões tendenciosos no código gerado.

Isso pode acontecer de várias maneiras:

• Convenções de nomenclatura tendenciosas: Se os dados de treinamento se concentrarem em pronomes masculinos ao se referirem aos desenvolvedores, o sistema poderá então ser calibrado para gerar variáveis ​​de código dominadas por homens e excluir involuntariamente os desenvolvedores do sexo feminino.
• Algoritmos ineficientes: Os dados de treinamento focados na resolução de problemas para dados demográficos específicos de usuários podem ter dificuldades para gerar tarefas eficientes fora desse âmbito. Um gerador de código de IA treinado para gerar código de site pode não gerar o melhor código para dispositivo móvel.

Esses preconceitos parecem menores, mas as consequências podem ser terríveis. A discriminação algorítmica pode perpetuar estereótipos e reforçar o tratamento injusto na tomada de decisões automatizada. Além disso, o código tendencioso pode criar riscos de segurança. Assistentes de IA treinados em código de rede fechado podem ter pontos fracos exploráveis ​​se forem transferidos para um ambiente de código mais aberto.

“Você verá luz na escuridão / Você entenderá isso”

Os preconceitos nos dados de treinamento podem se tornar o “fantasma na máquina” dos assistentes de código de IA. No entanto, ao implementar práticas básicas, podemos garantir que as ferramentas de IA servem um bem maior:

• Crie um conjunto de treinamento diversificado: Assim como uma dieta saudável requer vários alimentos, os assistentes de código de IA precisam de diversos dados de treinamento. As equipes devem buscar ativamente dados de uma ampla variedade de fontes e dados demográficos. Deve ser incluído código escrito por programadores de todos os gêneros, etnias e origens. Quanto mais diversificados forem os dados de treinamento, menor será a probabilidade de um viés se infiltrar no código final.
• Supervisão humana: Embora assistentes de código de IA capazes e poderosos não devam operar no vácuo, a supervisão humana é necessária para revisar o código gerado em busca de possíveis distorções. Funciona como um editor de código que também pode dizer o que é justo e o que não é. Ter um elemento humano identificará e resolverá preconceitos antes que o código seja deployed.
• Desviando o algoritmo: À medida que a investigação em IA evolui, os cientistas desenvolvem técnicas para criar algoritmos tendenciosos. Esses algoritmos são projetados para serem mais robustos e menos suscetíveis a dados de treinamento tendenciosos. Eles oferecerão uma base neutra a partir da qual os assistentes de código de IA poderão aprender.

Com estas estratégias, podemos garantir que os assistentes de código de IA se tornem ferramentas poderosas para o progresso e não instrumentos de preconceito.

“Somos espíritos no mundo material”

A influência da tecnologia, explorada em álbuns como Ghost in the Machine, do The Police, é mais relevante do que nunca. Os preconceitos nos dados de treinamento impedem os assistentes de código de IA de cumprir sua promessa de revolucionar o desenvolvimento de software. Este fator oculto é como um “Sol Invisível” influenciando forças invisíveis. Os preconceitos podem infiltrar-se no código gerado e levar a consequências indesejadas.

O pensamento futuro não está predeterminado. Construir diversos conjuntos de treinamento em assistentes de código de IA, incorporar supervisão humana e pesquisar algoritmos tendenciosos ajudará a mitigar os preconceitos. Imaginar um mundo onde os assistentes de código de IA sejam fortalezas de justiça, e não instrumentos de preconceito, exige que garantamos que os princípios éticos e o compromisso com a inclusão orientem o desenvolvimento da IA. Existe um vasto potencial e, ao abordarmos os “preconceitos da máquina”, garantiremos que são ferramentas poderosas para o progresso e não perpetuadores de preconceitos.