Como a OpenAI cedeu ao Pentágono em relação à vigilância por IA

A lei não diz o que Sam Altman afirma que diz. A lei não diz o que Sam Altman afirma que diz. Na sexta-feira à noite, em meio às repercussões de um impasse entre o Departamento de Defesa e a Anthropic, o CEO da OpenAI, Sam Altman, anunciou que sua própria empresa havia negociado com sucesso novos termos com o Pentágono. O governo dos EUA acabara de colocar a Anthropic na lista negra por se manter firme em duas linhas vermelhas para uso militar: nenhuma vigilância em massa dos americanos e nenhuma arma autônoma letal (ou sistemas de IA com o poder de matar alvos sem supervisão humana). Altman, no entanto, deu a entender que havia encontrado uma maneira única de manter esses mesmos limites no contrato da OpenAI.

“Dois dos nossos princípios de segurança mais importantes são a proibição da vigilância em massa doméstica e a responsabilidade humana pelo uso da força, incluindo para sistemas de armas autônomas”, escreveu Altman. “O DoW concorda com esses princípios, os reflete na lei e na política, e nós os colocamos em nosso acordo”, acrescentou, usando o nome preferido da administração Trump para o Departamento de Defesa, o Departamento de Guerra.

Nas redes sociais e na indústria de IA, as pessoas imediatamente começaram a contestar a afirmação de Altman. Por que, perguntaram, o Pentágono de repente concordaria com as linhas vermelhas que havia dito — em termos inequívocos — que nunca aceitaria? A resposta, disseram fontes ao The Verge, é que o Pentágono não cedeu. A OpenAI concordou em seguir as leis que permitiram a vigilância em massa no passado, enquanto insistia em proteger suas linhas vermelhas.

Uma fonte familiarizada com as negociações do Pentágono com empresas de IA confirmou que o acordo da OpenAI é muito mais brando do que o que a Anthropic estava pressionando, graças em grande parte a três palavras: “qualquer uso legal”. Nas negociações, disse a pessoa, o Pentágono não recuou em seu desejo de coletar e analisar dados em massa sobre os americanos. Se você analisar linha por linha os termos da OpenAI, disse a fonte, todos os aspectos se resumem a: se for tecnicamente legal, então as Forças Armadas dos EUA podem usar a tecnologia da OpenAI para realizá-lo. E, nas últimas décadas, o governo dos EUA ampliou a definição de “tecnicamente legal” para abranger programas de vigilância em massa abrangentes — e muito mais.

O ex-chefe de pesquisa de políticas da OpenAI, Miles Brundage, disse no X que “à luz do que os advogados externos e o Pentágono estão dizendo, a suposição padrão dos funcionários da OpenAI aqui deve ser, infelizmente, que a OpenAI cedeu + enquadrou isso como não ter cedido, e prejudicou a Anthropic enquanto enquadrava isso como uma ajuda a eles”.

Em uma declaração ao The Verge, a porta-voz da OpenAI, Kate Waters, disse que o Pentágono não havia solicitado poderes de vigilância em massa e negou que o acordo permitisse o cruzamento de certas linhas. “O sistema não pode ser usado para coletar ou analisar dados de americanos de forma massiva, aberta ou generalizada”, disse Waters.

Os sistemas de IA poderiam ajudar os militares (ou outros departamentos) a conduzir operações de vigilância generalizadas com níveis de detalhe sem precedentes. O maior talento da IA é encontrar padrões, e o comportamento humano nada mais é do que um conjunto de padrões — imagine um sistema de IA sobrepondo, para qualquer indivíduo, dados de geolocalização, informações de navegação na web, dados financeiros pessoais, imagens de CFTV, registros de eleitores e muito mais — alguns disponíveis publicamente, outros comprados de corretores de dados. “Usar esses sistemas para vigilância doméstica em massa é incompatível com os valores democráticos”, escreveu Amodei em um comunicado. “A IA poderosa torna possível reunir esses dados dispersos e individualmente inofensivos em um quadro abrangente da vida de qualquer pessoa — automaticamente e em grande escala.” Embora a Anthropic afirme ter pressionado por um contrato que proíba especificamente a prática, a OpenAI parece confiar fortemente nos limites legais existentes. Ela afirmou que seu acordo com o Pentágono estabelece que “para atividades de inteligência, qualquer tratamento de informações privadas estará em conformidade com a Quarta Emenda, a Lei de Segurança Nacional de 1947 e a Lei de Inteligência Estrangeira e Vigilância de 1978, a Ordem Executiva 12333 e as diretrizes aplicáveis do Departamento de Defesa que exigem um objetivo definido de inteligência estrangeira”.

Mas isso não é tranquilizador. Nos anos após o 11 de setembro, as agências de inteligência dos EUA intensificaram um sistema de vigilância que determinaram estar dentro dos limites legais citados pela OpenAI, incluindo várias operações de espionagem doméstica em massa (juntamente com outras internacionais aparentemente altamente invasivas). Em 2013, o contratado de inteligência da Agência de Segurança Nacional Edward Snowden revelou a extensão de alguns desses programas, como a coleta de registros telefônicos de clientes da Verizon em uma base “contínua e diária” e a coleta de dados em massa sobre indivíduos de empresas de tecnologia como Microsoft, Google e Apple por meio de um programa secreto chamado PRISM. Apesar das promessas de reforma das agências de inteligência e das tentativas de mudanças legais, poucos limites significativos a esses poderes foram promulgados. Mike Masnick, fundador da Techdirt, disse online que o acordo da OpenAI “absolutamente permite a vigilância doméstica. A EO 12333 é como a NSA esconde sua vigilância doméstica, capturando comunicações por meio de linhas *fora dos EUA*, mesmo que contenham informações de/sobre pessoas dos EUA”.

“A seção da lei de inteligência sobre isso é muito persuasiva se você não perceber que todos os escândalos de inteligência nos últimos 30 anos tiveram um memorando legal dizendo que estavam em conformidade com essas autoridades”, escreveu Dave Kasten, da Palisade Research, sobre o acordo da OpenAI.

O Pentágono “não nos pediu para apoiar esse tipo de coleta ou análise, e nosso acordo não permite isso”, disse Waters. “Nosso acordo não permite o uso de nossos modelos para monitoramento irrestrito de informações privadas de cidadãos americanos, e todas as atividades de inteligência devem estar em conformidade com a legislação americana vigente. Em termos práticos, isso significa que o sistema não pode ser usado para coletar ou analisar dados de americanos de forma massiva, aberta ou generalizada.”

Amodei, da Anthropic, afirmou publicamente que a lei ainda não acompanhou a capacidade da IA de realizar vigilância em grande escala. E Altman se esforça em sua declaração para dizer que o contrato da OpenAI “reflete [suas linhas vermelhas] na lei e na política”, o que significa que está simplesmente cumprindo as leis existentes e as políticas existentes do Pentágono, as quais podem mudar a qualquer momento. (A OpenAI tenta abordar a última questão em uma sessão de perguntas e respostas, onde afirma que o contrato “faz referência explícita às leis e políticas de vigilância e armas autônomas existentes atualmente, de modo que, mesmo que essas leis ou políticas mudem no futuro, o uso de nossos sistemas ainda deve permanecer alinhado com os padrões atuais refletidos no acordo.”)

Sarah Shoker, pesquisadora sênior da Universidade da Califórnia em Berkeley e ex-líder da equipe de geopolítica da OpenAI, disse ao The Verge que “acho que há muitas palavras modificadoras nas frases que o porta-voz [da OpenAI] apresentou”. Shoker acrescentou que a imprecisão da linguagem não deixa claro o que exatamente é proibido aqui. “O uso da palavra ‘irrestrito’, o uso da palavra ‘generalizado’, ‘aberto’ — isso não é uma proibição completa. Essa é uma linguagem projetada para permitir opcionalidade para a liderança... Ela permite que os líderes também não mintam para seus funcionários no caso de o Pentágono usar o LLM de maneira legal sem o conhecimento da liderança da OpenAI.”

Com base no que vimos do contrato existente da OpenAI e de acordo com as restrições legais atuais do Pentágono, ele poderia usar legalmente a tecnologia da OpenAI para pesquisar bancos de dados de inteligência estrangeiros em busca de informações sobre americanos em grande escala. O Pentágono também poderia comprar dados de localização em massa de corretores de dados e usar a tecnologia da OpenAI para mapear os padrões típicos dos americanos ou para construir de forma rápida e integrada perfis de muitos cidadãos americanos a partir de dados disponíveis publicamente, incluindo imagens de vigilância, publicações nas redes sociais, notícias online, registros de eleitores e muito mais, potencialmente sobrepostos a outros dados que já tivesse adquirido.

A “linha vermelha” da OpenAI sobre armas autônomas letais é igualmente fraca. O contrato da empresa com o Pentágono, do qual a empresa divulgou trechos no sábado, afirma que a tecnologia da OpenAI “não será usada para direcionar armas autônomas de forma independente em nenhum caso em que a lei, a regulamentação ou a política do Departamento exijam controle humano”. Isso a colocaria em conformidade com uma diretiva do Departamento de Defesa de 2023. Parece não haver proibições ou restrições adicionais obrigatórias por contrato — o que é ostensivamente a razão pela qual ela conseguiu assinar um acordo com o Pentágono. A Anthropic, por sua vez, buscou uma proibição para armas autônomas letais não supervisionadas, pelo menos até considerar a tecnologia pronta.

A fonte disse que a maior parte do acordo da OpenAI não era novidade e não era nada que outras empresas de IA envolvidas em acordos com o Pentágono não tivessem visto antes, seja devido a elementos levantados nas negociações ou a coisas que as empresas de IA envolvidas com o Pentágono já vinham fazendo.

Depois que um funcionário do governo Trump confirmou que o acordo da OpenAI “decorre do princípio de ‘todo uso legal’”, Altman citou outras partes do acordo para argumentar que a OpenAI estava mantendo seus limites. Ele disse que alguns funcionários da OpenAI receberiam autorizações de segurança para verificar os sistemas, por exemplo, e que a OpenAI introduziria classificadores (ou pequenos modelos que podem monitorar e marcar modelos grandes, potencialmente impedindo-os de realizar certas ações). Na postagem do blog da OpenAI sobre o acordo, a empresa escreve que sua arquitetura de implantação “nos permitirá verificar de forma independente se esses limites não foram ultrapassados, incluindo a execução e atualização de classificadores”.

Mas isso não é necessariamente verdade, disse a fonte. A fonte disse que as empresas de IA envolvidas com o Pentágono já usam essas salvaguardas, e seu impacto é limitado. Os classificadores, por exemplo, não seriam capazes de confirmar se um humano revisou a decisão de um sistema de IA de atacar um alvo antes do ataque mortal, disse a fonte. A fonte acrescentou que também não seria possível saber se uma consulta para resumir as postagens de um americano nas redes sociais é uma solicitação pontual ou parte de um programa de vigilância em massa. E se o governo determinar que uma ação é legal, os classificadores da OpenAI não teriam permissão para proibir a tecnologia de executá-la, disse a fonte. Altman disse que o acordo da OpenAI inclui “a responsabilidade humana pelo uso da força, inclusive para sistemas de armas autônomos”. Isso é diferente da exigência da Anthropic: não implantar esses sistemas “sem supervisão [humana] adequada”. Embora seja difícil quando as definições específicas desses termos nos contratos não estão explicitamente disponíveis, a responsabilidade humana poderia facilmente denotar alguém responsável pelas decisões desses sistemas após o fato, enquanto a solicitação de supervisão da Anthropic exigiria que humanos estivessem envolvidos antes e/ou durante as decisões de um sistema de IA de matar alvos.

Assim como na vigilância em massa, a OpenAI argumenta que as salvaguardas técnicas ajudariam a manter sua linha vermelha para robôs assassinos. A empresa escreveu que “não estava fornecendo ao DoW modelos sem ‘barreiras de proteção’ ou sem treinamento em segurança” e que sua tecnologia seria implantada apenas na nuvem, não em dispositivos de ponta (ou dispositivos que processam dados localmente, como um drone militar) — onde, segundo ela, “poderia haver a possibilidade de uso para armas letais autônomas”.” Mas a fonte disse que implantar a tecnologia da OpenAI apenas na nuvem significa pouco para qualquer um dos limites declarados pela OpenAI. A vigilância doméstica em massa, disse a fonte, requer um volume tão grande de dados que é praticamente impossível não realizá-la usando a nuvem. E mesmo que a maioria das decisões de matar seja executada em uma máquina local, a maioria das decisões que levam a isso — a “cadeia de morte autônoma” — envolve primeiro a execução de algoritmos poderosos na nuvem, disse a fonte. Mesmo que a tecnologia da OpenAI não esteja diretamente envolvida em puxar o gatilho, ela pode muito bem estar alimentando tudo o que leva a esse ponto, sem garantia de que um humano supervisione a etapa final.

E, novamente: o acordo da OpenAI diz que permitirá tudo o que o governo dos EUA determinar ser legal. Mesmo suas garantias de que seguirá apenas as leis e políticas atuais, e não aquelas que forem alteradas ou reeditadas, podem não oferecer salvaguardas significativas. No passado, agências reinterpretaram leis existentes de maneiras que efetivamente lhes conferiram novos poderes. E o governo Trump alegou que leis como a Lei de Poderes Econômicos de Emergência Internacional justificam poderes presidenciais sem precedentes, como a imposição de tarifas globais. Esses poderes, na verdade, às vezes foram declarados ilegais — mas somente após meses de batalhas judiciais, durante as quais a OpenAI teria que seguir as ordens do governo ou tomar uma decisão independente sobre a lei. Altman afirmou publicamente que, ao contrário da Anthropic, a OpenAI está “geralmente bastante confortável com as leis dos EUA”.

O secretário de Defesa Pete Hegseth e o presidente Trump, em uma enxurrada de postagens nas redes sociais, afirmaram que nunca permitiriam que uma empresa privada de tecnologia influenciasse a forma como as Forças Armadas dos EUA utilizam a tecnologia para a guerra. “Somente o comandante-chefe e o povo americano determinarão o destino de nossas forças armadas, não executivos de tecnologia não eleitos”, escreveu Hegseth, e “os combatentes americanos nunca serão reféns dos caprichos ideológicos das grandes empresas de tecnologia”.

Até mesmo Jeremy Lewin, subsecretário do governo Trump, disse que o acordo do Pentágono com a OpenAI (e outro acordo com a xAI) foi um “compromisso que foi oferecido à Anthropic e rejeitado” — o que significa que os termos não se alinhavam com as linhas vermelhas da Anthropic. Lewin disse que os acordos incluíam certos mecanismos de segurança mutuamente acordados, provavelmente as salvaguardas técnicas mencionadas por Altman.

No anúncio de Altman na sexta-feira, ele disse que a OpenAI havia pedido ao Pentágono para “oferecer esses mesmos termos a todas as empresas de IA, que, em nossa opinião, todos deveriam estar dispostos a aceitar”. Parecia ser uma indireta à Anthropic, já que a rival da OpenAI não havia aceitado tal acordo até o momento e, de acordo com Lewin, já havia recebido a mesma oferta e a recusado.

Recusar esse “compromisso” teve consequências importantes para a Anthropic. Na sexta-feira, após o rompimento das negociações entre ela e o Pentágono, este anunciou que a Anthropic seria classificada como um risco para a cadeia de suprimentos, uma classificação geralmente reservada para empresas estrangeiras com problemas de segurança cibernética e que praticamente nunca é divulgada publicamente ou aplicada a uma empresa americana. A Anthropic disse que estava disposta a contestar a designação na Justiça. Trump ordenou que as agências federais abandonassem a IA da Anthropic, e não ficou imediatamente claro até que ponto o Pentágono poderia colocar na lista negra as empresas que usam o Claude para serviços não relacionados à segurança nacional.

Os trabalhadores de tecnologia de todo o setor apoiaram a Anthropic por sua decisão de se manter firme e se perguntaram por que suas próprias empresas não estavam se alinhando com as linhas vermelhas da Anthropic e se unindo a ela. A decisão da empresa foi elogiada online e, no sábado, ela ultrapassou o ChatGPT e se tornou o aplicativo mais baixado na App Store da Apple. Figuras públicas, celebridades e líderes de IA expressaram seu apoio — incluindo a estrela pop Katy Perry, que se inscreveu para uma assinatura do Claude Pro.

Vale a pena repetir, no entanto, que apesar de Amodei ser amplamente retratado como um herói aqui, ele não é de forma alguma contra armas autônomas letais em algum momento no futuro — algo que a Anthropic deixou claro que está totalmente pronta para apoiar. Em suas declarações públicas, Amodei chegou a se oferecer para fazer parceria com o Departamento de Defesa dos Estados Unidos em “P&D para melhorar a confiabilidade desses sistemas”, de modo que o uso militar de armas autônomas letais, nos termos da Anthropic, pudesse ser acelerado. Tudo o que Amodei disse é que a tecnologia não é confiável o suficiente “hoje” para matar alvos humanos sem supervisão.

“Armas totalmente autônomas (aquelas que tiram os humanos completamente do circuito e automatizam a seleção e o ataque a alvos) podem ser fundamentais para nossa defesa nacional”, disse Amodei. “Mas hoje, os sistemas de IA de ponta simplesmente não são confiáveis o suficiente para alimentá-las.”

A Meta não permitirá que a moralidade atrapalhe o lançamento de um produto O alto-falante portátil Sonos Play vaza na Best Buy canadense O sistema de alerta do Observatório Rubin enviou 800.000 pings em sua primeira noite A Polymarket defende sua decisão de permitir apostas na guerra como “inestimável”