IA - A Mozilla mais Confável

Mozilla & IA

Ao longo do último ano, a Mozilla tem trabalhado para mostrar o que queremos dizer com IA confiável. Quando introduzimos nossos novos companheiros no outono passado, compartilhamos que muitos estavam focando em inteligência artificial que ajuda, em vez de prejudicar, a humanidade. Também nos inclinamos para o atual cenário regulatório na Europa com um número significativo de bolsistas lá que estão contribuindo para as conversas em curso sobre a abordagem europeia da IA.

Quando a Comissão Europeia — como parte de um processo de consulta pública — recentemente pediu feedback sobre suas propostas sobre como lidar com os riscos associados ao uso de aplicativos de IA, muitos de nossos bolsistas e organizações anfitriãs apresentaram respostas (vinculadas abaixo).

A Mozilla também apresentou feedback a esta consulta pública. Embora cada submissão difere em termos de foco, existem algumas críticas comuns e uma abordagem alternativa para regular a IA que surgiram.

Alguns bolsistas e organizações anfitriãs apontaram questões com o enquadramento geral do white paper, incluindo um dos principais objetivos da estratégia da Comissão, ou seja, promover a absorção de IA como meta em si mesma:

"A absorção de qualquer tecnologia, particularmente no setor público, não deve ser uma meta autônoma e não é de valor em si. Nos casos em que não há impactos negativos graves e há evidências de benefício real, os sistemas baseados em IA podem ser considerados como uma opção ao lado de outras abordagens, mas devemos garantir que os formuladores de políticas não sejam desviados por slogans de marketing e hype de IA infundado." —Mozilla Fellow Daniel Leufer, incorporado no AccessNow

A abordagem baseada em riscos deixa as pessoas desprotegidas

A UE propõe que uma aplicação de IA deve ser geralmente considerada de alto risco quando tanto o setor quanto o uso pretendido envolvem riscos significativos. Se os pedidos de IA não se encaixarem na categoria de "alto risco", a legislação existente da UE permanece aplicável. Mas nossos companheiros observam que o impacto e o risco não são compartilhados igualmente entre a população - o que ficou dolorosamente claro nas últimas semanas.

A abordagem da UE ignora que o que é baixo risco para muitos pode ser muito arriscado para outros. As populações marginalizadas — por exemplo, a classe social ou econômica, raça, gênero, afiliação religiosa, pessoas com deficiência, etc., e assim por diante – são mais vulneráveis e serão impactadas muito mais do que aquelas que não estão nessas categorias. Qualquer abordagem à regulação que negligencie esse fato não mitigará efetivamente os riscos relacionados ao uso de aplicações de IA.

"Para certos grupos de pessoas, qualquer aplicação da IA, não apenas aquelas consideradas 'de alto risco', vem com um risco inerente de discriminação e exclusão." — A colega de Mozilla Frederieke Kaltheuner

Medidas para compensar um risco podem ter o efeito de aumentar outro risco

O white paper da Comissão identifica amplamente o risco como compreendendo os domínios dos direitos fundamentais e da segurança do usuário. Mas não explica como diferentes vetores de risco podem interagir e ser interdependentes, nem articula se e quando os direitos humanos, os riscos sociais e ambientais são elementos obrigatórios de uma avaliação de risco.

"Recomendamos que a Comissão Europeia publique sua teoria de risco quantificada e qualificada, incluindo disposições para pessoas vulneráveis e monitoramento de 'desconhecidos desconhecidos' para escrutínio público." — Mozilla Fellow Harriet Kingaby, incorporada na Consumers International

O risco deve ser avaliado ao longo do ciclo de vida das aplicações, não apenas na entrada no mercado

A filosofia por trás da abordagem da UE agora é que o risco de uma aplicação é avaliada antes de entrar no mercado da UE. No entanto, o risco também pode ser introduzido bem antes de uma aplicação ser totalmente desenvolvida ou depois de ter entrado no mercado da UE.

O que fazer em vez disso?

Os problemas associados a essa abordagem baseada em riscos em sua forma atual levantam questões sobre sua viabilidade global como o quadro norteador para regular a IA. Alguns de nossos bolsistas e organizações anfitriãs estão propondo abordagens alternativas em vez disso:

"A UE deve desenvolver um quadro mais matizado e abrangente que formula explicitamente critérios que distinguem entre 1) danos elevados, e devem ser banidos, 2) danos elevados, mas apenas permitidos sob controle rigoroso, 3) danos médios, permitidos apenas com transparência, deliberação pública e supervisão ex-ante e ex-posto 4) de baixo dano, permitido com ex-supervisão pós.. Essa abordagem mais abrangente oferece espaço para medidas e salvaguardas além da mitigação de riscos e permite a articulação de linhas vermelhas para proteger as áreas onde as tecnologias de IA são consideradas incompatíveis com a Carta dos Direitos Fundamentais." — Mozilla Fellow Fieke Jansen

Para essa abordagem abrangente e baseada em direitos para o trabalho, alguns bolsistas e organizações anfitriãs enfatizam que os sistemas e decisões de IA devem ser explicados não apenas aos órgãos de supervisão, mas também aos grupos e indivíduos afetados:

"As pessoas devem saber quando estão lidando com um sistema de IA que pode afetá-los, e devem ser oferecidas uma explicação geral dos objetivos, da lógica e dos riscos envolvidos no uso desse sistema, da mesma forma que atualmente recebem informações-chave para alimentos processados ou medicamentos. Além desses "rótulos" voltados para o público para sistemas orientados por IA, os indivíduos afetados devem ser capazes de entender - em um nível pessoal - o raciocínio por trás do resultado que experimentam, em particular como leva em conta suas circunstâncias específicas, antecedentes e qualidades pessoais." — Mozilla Fellow Karolina Iwańska, incorporada na Fundação Panoptykon.

Esta consulta e conversa foi a primeira de muitas oportunidades destinadas a moldar a abordagem europeia à IA. Esperamos continuar a colaborar com nossos companheiros e parceiros, bem como com as instituições da UE, para desenvolver um forte quadro para o desenvolvimento de um ecossistema de IA confiável.