- Jacob Coxon deixa a Anthropic após três anos em pré-treinamento de modelos
- Executivo de segurança da própria Anthropic estima risco acima de 10%
- Sanders propõe suspender desenvolvimento até criação de órgão regulador federal
O pesquisador britânico Jacob Coxon, de 27 anos, decidiu abandonar o setor de inteligência artificial após trabalhar na OpenAI e na Anthropic. Sua justificativa expõe uma preocupação dentro dos próprios laboratórios: a corrida para desenvolver sistemas capazes de aperfeiçoar a si mesmos pode avançar mais rapidamente do que a capacidade humana de controlá-los.
Coxon passou os últimos três anos na pesquisa de pré-treinamento, etapa em que modelos aprendem padrões a partir de grandes volumes de dados. Depois de atuar na criadora do ChatGPT, migrou neste ano para a Anthropic, que considerava mais cautelosa em relação à segurança.
A mudança, porém, não afastou suas preocupações. Ao anunciar a saída, em 8 de setembro, ele acusou as duas empresas de colocar a população em risco.
“Nenhuma das empresas age de forma responsável. Elas correm diretamente em direção a uma superinteligência capaz de se autoaperfeiçoar e jogam com as nossas vidas”, afirmou Coxon.
Em outra declaração publicada no X, o pesquisador disse que o temor de consequências catastróficas faz parte das discussões entre profissionais que desenvolvem a tecnologia.
“As pessoas que estão construindo a IA acreditam sinceramente que ela pode matar a todos nós até o final da década”, escreveu. “Isso não é uma jogada de marketing.”
As declarações expressam a avaliação de Coxon sobre os riscos futuros da tecnologia. Elas não demonstram que uma catástrofe ocorrerá nesse prazo, mas expõem sua crítica à decisão de continuar acelerando o desenvolvimento diante de incertezas sobre segurança.
Por que Jacob Coxon decidiu abandonar a corrida pela inteligência artificial
O principal receio do pesquisador envolve o chamado autoaperfeiçoamento recursivo: um processo em que sistemas de IA participam do desenvolvimento de versões mais avançadas, que, por sua vez, ajudam a produzir novas gerações.
Na avaliação de Coxon, essa dinâmica pode reduzir a capacidade de supervisão humana. Quanto mais rapidamente os sistemas evoluírem, maior será a dificuldade de compreender suas capacidades e estabelecer controles antes da próxima etapa.
O pesquisador disse ao The Wall Street Journal que, nos cenários que considera mais agressivos, a situação poderia sair do controle já no fim de 2027. Trata-se de uma projeção atribuída a ele, condicionada à velocidade dos avanços tecnológicos.
Sua crítica também se dirige à lógica competitiva dos laboratórios. Coxon reconhece os esforços de segurança da Anthropic, mas considera que a empresa continua presa à necessidade de superar os concorrentes.
“Na Anthropic, os riscos envolvidos são bem compreendidos, mas eles estão presos em uma corrida para chegar lá primeiro; acreditam que ninguém mais agirá com responsabilidade, então precisam fazer isso eles mesmos, apesar dos riscos”, afirmou.
Sob essa perspectiva, cada empresa apresenta sua própria liderança como uma proteção contra a atuação de rivais menos cuidadosos. Para Coxon, o resultado é uma corrida que nenhuma delas consegue interromper por iniciativa própria.
Por isso, ele defende intervenção governamental e uma desaceleração coordenada. Sua avaliação é que os esforços internos de segurança, mesmo quando sinceros, não bastam para tornar responsável o desenvolvimento de sistemas superiores à inteligência humana.
O que significa o alerta de que a IA poderia matar a humanidade
A manifestação de Coxon recebeu apoio de Evan Hubinger, pesquisador da área de segurança e alinhamento da Anthropic. Ao comentar a publicação, Hubinger afirmou que compartilha a preocupação com consequências extremas.
“Nós realmente acreditamos, de forma sincera, que a IA pode matar todos os humanos”, declarou.
Hubinger estimou pessoalmente uma probabilidade superior a 10% de isso acontecer na próxima década. O percentual representa sua avaliação individual, e não uma probabilidade comprovada ou uma previsão oficial da Anthropic.
Ele também fez uma distinção essencial: considera baixo o risco dos modelos atuais nesse contexto. Sua preocupação se concentra em sistemas futuros, especialmente na possibilidade de uma superinteligência surgir por meio do autoaperfeiçoamento.
Superinteligência é o conceito de uma IA que ultrapassa amplamente as capacidades intelectuais humanas. Já o problema do alinhamento consiste em fazer com que os sistemas ajam de acordo com objetivos e valores humanos, inclusive diante de situações novas.
Hubinger afirmou que a Anthropic está “fazendo o possível”, mas ainda não dispõe de um plano capaz de resolver o alinhamento de uma superinteligência.
O desafio também aparece em uma análise publicada pelo cientista-chefe da OpenAI, Jakub Pachocki, em 6 de setembro. Segundo ele, sistemas mais capazes encontram situações cada vez mais diferentes daquelas usadas no treinamento, o que dificulta prever se manterão o comportamento esperado. Leia o texto de Pachocki.
Isso ajuda a explicar por que os alertas se concentram na relação entre capacidade e controle. Um sistema executar tarefas mais complexas não significa, automaticamente, que seus desenvolvedores tenham a mesma segurança sobre como ele se comportará em todas as circunstâncias.
Empresas reconhecem limites e pressão por regras chega ao Congresso
As críticas de Coxon ocorrem em meio a manifestações públicas dos próprios dirigentes do setor sobre a necessidade de cautela.
Em seu artigo, Pachocki afirmou que nenhum laboratório havia resolvido os problemas de alinhamento e monitoramento em grau suficiente para continuar ampliando as capacidades dos modelos à velocidade máxima por muito mais tempo.
Ele defendeu padrões obrigatórios de segurança, com fiscalização que poderia envolver auditores independentes, governos ou instituições internacionais.
“A coordenação internacional sobre o desenvolvimento futuro da IA precisa se tornar uma prioridade máxima para governos de todo o mundo”, escreveu o cientista-chefe da OpenAI. A posição foi publicada antes do anúncio da saída de Coxon.
O debate ganhou outro desdobramento em 12 de setembro. Dario Amodei, CEO da Anthropic, passou a defender publicamente uma redução no ritmo de avanço das capacidades da IA, para dar tempo às medidas de prevenção de riscos.
Em seu ensaio We Must Pace the Frontier, Amodei propôs ampliar o acesso de avaliadores externos aos sistemas, coordenar práticas entre empresas e buscar cooperação internacional. A iniciativa mostra que a discussão sobre desaceleração também alcançou a liderança da companhia criticada por Coxon. Leia a proposta de Amodei.
A governança interna da Anthropic já havia passado por mudanças. Em fevereiro, a empresa publicou a terceira versão de sua política de desenvolvimento responsável, um conjunto voluntário de medidas para lidar com riscos catastróficos.
Ao explicar a revisão, a companhia reconheceu que certas contramedidas necessárias para sistemas mais avançados seriam difíceis ou impossíveis de implementar unilateralmente. Essa limitação reforça um ponto central do debate: quais garantias podem depender das empresas e quais exigem coordenação externa.
No campo político, o senador Bernie Sanders e o deputado Greg Casar anunciaram, em 3 de setembro, uma proposta legislativa chamada Ban Artificial Superintelligence Act.
Segundo o comunicado oficial, a iniciativa pretende proibir permanentemente o desenvolvimento e a implantação de superinteligência artificial. Também prevê uma pausa temporária no desenvolvimento de IA avançada até que um regulador federal estabeleça regras de segurança.
A proposta inclui ainda a busca de acordos internacionais para impedir o desenvolvimento de superinteligência em outros países. O anúncio expressa uma iniciativa dos parlamentares e não equivale à aprovação de uma lei ou à entrada em vigor das restrições.
