O especialista do Facebook que está desenvolvendo a moderação de conteúdo para a era da IA

Quando Brett Levenson deixou a Apple em 2019 para liderar a área de integridade empresarial no Facebook, a gigante das redes sociais estava no meio do escândalo da Cambridge Analytica. Na época, ele achava que poderia simplesmente resolver o problema de moderação de conteúdo do Facebook com uma tecnologia melhor.

Ele logo percebeu que o problema ia além da tecnologia. Esperava-se que os revisores humanos memorizassem um documento de políticas de 40 páginas que havia sido traduzido automaticamente para o idioma deles, disse ele. Em seguida, tinham cerca de 30 segundos por conteúdo sinalizado para decidir não apenas se aquele conteúdo violava as regras, mas o que fazer a respeito: bloqueá-lo, banir o usuário, limitar a divulgação. Essas decisões rápidas tinham apenas “pouco mais de 50% de precisão”, segundo Levenson.

“Era como jogar uma moeda: os revisores humanos conseguiam ou não aplicar as políticas corretamente, e isso acontecia muitos dias depois que o dano já havia ocorrido”, disse Levenson ao TechCrunch.

Esse tipo de abordagem reativa e atrasada não é sustentável em um mundo de atores adversários ágeis e bem financiados. O surgimento dos chatbots de IA só agravou o problema, já que falhas na moderação de conteúdo resultaram em uma série de incidentes de grande repercussão, como chatbots fornecendo orientações de automutilação a adolescentes ou imagens geradas por IA contornando filtros de segurança.

A frustração de Levenson levou à ideia de “política como código” — uma maneira de transformar documentos de política estáticos em lógica executável e atualizável, intimamente ligada à aplicação. Essa percepção levou à fundação da Moonbounce, que anunciou ter levantado US$ 12 milhões em financiamento na sexta-feira, segundo informações exclusivas do TechCrunch. A rodada foi co-liderada pela Amplify Partners e pelo StepStone Group.

A Moonbounce trabalha com empresas para fornecer uma camada adicional de segurança onde quer que o conteúdo seja gerado, seja por um usuário ou por IA. A empresa treinou seu próprio modelo de linguagem de grande porte para analisar os documentos de política do cliente, avaliar o conteúdo em tempo de execução, fornecer uma resposta em 300 milissegundos ou menos e tomar medidas. Dependendo da preferência do cliente, essa ação pode consistir no sistema da Moonbounce retardar a distribuição enquanto o conteúdo aguarda uma revisão humana posteriormente, ou pode bloquear conteúdo de alto risco no momento.

Hoje, a Moonbounce atende a três verticais principais: plataformas que lidam com conteúdo gerado por usuários, como aplicativos de namoro; empresas de IA que criam personagens ou companheiros; e geradores de imagens por IA.

Disrupt 2026: O ecossistema de tecnologia, tudo em uma sala

Economize até US$ 300 ou 30% no TechCrunch Founder Summit

A Moonbounce está dando suporte a mais de 40 milhões de revisões diárias e atendendo a mais de 100 milhões de usuários ativos diariamente na plataforma, disse Levenson. Entre os clientes estão a startup de companheiros de IA Channel AI, a empresa de geração de imagens e vídeos Civitai e as plataformas de RPG de personagens Dippy AI e Moescape.

“A segurança pode, na verdade, ser um benefício do produto”, disse Levenson ao TechCrunch. “Isso simplesmente nunca aconteceu porque sempre é algo que ocorre posteriormente, não algo que você possa realmente incorporar ao seu produto. E vemos que nossos clientes estão encontrando maneiras realmente interessantes e inovadoras de usar nossa tecnologia para tornar a segurança um diferencial e parte da história de seus produtos.”

O chefe de confiança e segurança do Tinder explicou recentemente como a plataforma de namoro usa esses tipos de serviços baseados em LLM para alcançar uma melhoria de 10 vezes na precisão das detecções.

“A moderação de conteúdo sempre foi um problema que atormentava as grandes plataformas online, mas agora, com os LLMs no centro de cada aplicativo, esse desafio é ainda mais assustador”, disse Lenny Pruss, sócio geral da Amplify Partners, em um comunicado. “Investimos na Moonbounce porque imaginamos um mundo onde barreiras de segurança objetivas e em tempo real se tornem a espinha dorsal que possibilita todas as aplicações mediadas por IA.”

As empresas de IA estão enfrentando pressão legal e reputacional crescente depois que chatbots foram acusados de levar adolescentes e usuários vulneráveis ao suicídio e geradores de imagens como o Grok, da xAI, foram usados para criar imagens de nudez sem consentimento. Claramente, as barreiras de segurança internas estão falhando, e isso está se tornando uma questão de responsabilidade. Levenson disse que as empresas de IA estão cada vez mais buscando ajuda fora de suas próprias paredes para reforçar a infraestrutura de segurança.

“Somos um terceiro entre o usuário e o chatbot, então nosso sistema não é inundado com contexto da mesma forma que o próprio chat é”, disse Levenson. “O chatbot em si precisa lembrar, potencialmente, dezenas de milhares de tokens que vieram antes… Nossa única preocupação é fazer valer as regras durante a execução.”

Levenson dirige a empresa de 12 pessoas com seu ex-colega da Apple, Ash Bhardwaj, que anteriormente construiu uma infraestrutura de nuvem e IA em grande escala para os principais produtos da fabricante do iPhone. O próximo foco deles é um recurso chamado “orientação iterativa”, desenvolvido em resposta a casos como o suicídio, em 2024, de um garoto de 14 anos da Flórida que ficou obcecado por um chatbot da Character AI. Em vez de uma recusa direta quando surgem temas prejudiciais, o sistema interceptaria a conversa e a redirecionaria, modificando as solicitações em tempo real para levar o chatbot a uma resposta mais ativamente solidária.

“Esperamos poder adicionar ao nosso conjunto de ferramentas a capacidade de orientar o chatbot em uma direção melhor para, essencialmente, pegar a solicitação do usuário e modificá-la para forçar o chatbot a ser não apenas um ouvinte empático, mas um ouvinte prestativo nessas situações”, disse Levenson.

Quando questionado se sua estratégia de saída envolvia uma aquisição por uma empresa como a Meta, fechando o ciclo de seu trabalho em moderação de conteúdo, Levenson disse que reconhece o quanto a Moonbounce se encaixaria bem na estrutura de sua antiga empregadora, bem como em seus próprios deveres fiduciários como CEO.

“Meus investidores me matariam por dizer isso, mas eu odiaria ver alguém nos comprar e depois restringir a tecnologia”, disse ele. “Tipo: ‘Ok, isso agora é nosso, e ninguém mais pode se beneficiar disso.’”

Rebecca Bellan é repórter sênior da TechCrunch, onde cobre negócios, políticas e tendências emergentes que moldam a inteligência artificial. Seu trabalho também já foi publicado na Forbes, Bloomberg, The Atlantic, The Daily Beast e outras publicações.

Você pode entrar em contato ou confirmar o contato de Rebecca enviando um e-mail para rebecca.bellan@techcrunch.com ou por mensagem criptografada no Signal: rebeccabellan.491.

O StrictlyVC dá início ao ano em São Francisco. Participe de conversas informais e sem filtros com líderes do setor, insights privilegiados de investidores de capital de risco e conexões de alto valor que realmente fazem a diferença. Os ingressos são limitados.

A Anthropic retirou milhares de repositórios do GitHub na tentativa de remover seu código-fonte vazado — uma ação que a empresa afirma ter sido um acidente Tim Fernholz

A Anthropic retirou milhares de repositórios do GitHub na tentativa de remover seu código-fonte vazado — uma ação que a empresa afirma ter sido um acidente

A Anthropic retirou milhares de repositórios do GitHub na tentativa de remover seu código-fonte vazado — uma ação que a empresa afirma ter sido um acidente

A Anthropic está tendo um mês difícil — Connie Loizos

O Google agora permite que usuários nos EUA alterem seu endereço do Gmail — Ivan Mehta

O Google agora permite que usuários nos EUA alterem seu endereço do Gmail

O Google agora permite que usuários nos EUA alterem seu endereço do Gmail

Por que a OpenAI realmente desativou o Sora — Connie Loizos

O Pixel 10a não tem saliência na câmera, e isso é ótimo — Ivan Mehta

O Pixel 10a não tem saliência para a câmera, e isso é ótimo

O Pixel 10a não tem saliência para a câmera, e isso é ótimo

A popularidade do Claude, da Anthropic, entre os consumidores pagantes está disparando Julie Bort

A popularidade do Claude, da Anthropic, entre os consumidores pagantes está disparando

A popularidade do Claude, da Anthropic, entre os consumidores pagantes está disparando

Vamos dar uma olhada na tecnologia retrô que está voltando Lauren Forristal

Vamos dar uma olhada na tecnologia retrô que está voltando

Vamos dar uma olhada na tecnologia retrô que está voltando