OpenAI president urges enterprises to hasten AI security defences

O presidente e cofundador da OpenAI, Greg Brockman, alertou que as equipes de segurança das empresas enfrentam um prazo reduzido para adotar defesas em inteligência artificial (IA). Em um relato sobre o que a empresa chamou de incidente "OpenAI-Hugging Face", Brockman argumenta que as organizações precisam elevar suas práticas de segurança com uma velocidade sem precedentes. Desde o incidente, ele conversou com diversas organizações e percebeu um tema recorrente: os líderes reconhecem que devem agir mais rapidamente do que seus programas de segurança atuais permitem. A urgência dessa mudança decorre de um evento específico, onde um "coletivo agente" conseguiu penetrar autonomamente na infraestrutura de pesquisa da OpenAI e, em seguida, na infraestrutura de produção da Hugging Face. Os atacantes conseguiram explorar falhas de segurança desconhecidas, combinadas com credenciais de contas de usuários vazadas na internet, para completar a intrusão. Brockman descreve isso como uma prévia de como as capacidades de um ator de ameaça típico evoluirão nos próximos meses. O dilema de defesa em IA que os líderes de segurança enfrentam é que o incidente expôs um problema que vai além da rede de qualquer empresa. Brockman observa que a dívida técnica acumulada em cada organização "mascara falhas significativas" que os defensores precisam localizar e corrigir antes que os atacantes o façam. Ele destaca que os modelos de IA desenvolvidos na indústria estão cada vez mais aptos a automatizar partes de ataques cibernéticos, tornando mais fácil para os atacantes encontrar e explorar lacunas de segurança. O prazo para que as empresas tomem decisões sobre suas defesas em IA é curto. No início do ano, a OpenAI começou a liberar suas capacidades cibernéticas apenas para defensores de confiança, uma tentativa deliberada de manter os defensores à frente. Desde então, outras empresas lançaram modelos abertos com capacidades cibernéticas que estão apenas alguns meses atrás da fronteira. Brockman menciona um modelo que parece estar programado para ser lançado no final de agosto, o que pode acelerar significativamente o cenário de ameaças. Para os líderes empresariais, isso reduz a janela para construir defesas assistidas por IA antes que modelos amplamente disponíveis fechem a lacuna com a capacidade dos atacantes. Brockman descreve essa dinâmica como uma corrida com duas frentes: atacantes impulsionados por IA poderão em breve encontrar falhas de longa data em muitos sistemas existentes, mas a mesma tecnologia oferece aos defensores ferramentas para identificar, priorizar e corrigir essas falhas mais rapidamente. Embora a segurança continue a ser um jogo de gato e rato, Brockman acredita que a IA pode mudar a economia subjacente de maneiras que favoreçam os defensores. A OpenAI começou a treinar modelos especificamente para escrever códigos mais seguros. Além disso, a empresa destaca a capacidade de seus modelos em provas matemáticas, que podem ser aplicadas para verificar formalmente a segurança do software, algo que tem se mostrado difícil para revisores humanos em larga escala. Como exemplo prático, Brockman compartilha que, após o incidente, pediu ao ChatGPT Work para avaliar a segurança de seu site pessoal. A avaliação revelou 13 problemas, muitos dos quais poderiam ser encadeados com outras vulnerabilidades. O ChatGPT Work também foi capaz de corrigir os problemas encontrados em cerca de uma hora, demonstrando o potencial das ferramentas de IA como "ciber-guardas". Após o incidente, a OpenAI percebeu que subestimou as capacidades cibernéticas reais de seus próprios modelos de IA, o que levou a empresa a reforçar seus requisitos de segurança e a acelerar sua pesquisa em segurança interna. Brockman delineia quatro áreas de investimento interno que informam suas recomendações a outras organizações, incluindo o uso de modelos da OpenAI para ajudar a proteger seu código e defender sua infraestrutura continuamente. Isso mostra que a integração de IA nas práticas de segurança não é apenas uma tendência, mas uma necessidade urgente para enfrentar as crescentes ameaças cibernéticas.