O CEO da Anthropic, Dario Amodei, propôs que empresas de inteligência artificial permitam o acompanhamento contínuo de avaliadores externos em suas operações de segurança. A medida faz parte de um plano para reduzir riscos associados ao avanço dos modelos mais capazes.
Em artigo publicado em seu site na tarde deste sábado (12), Amodei afirmou que, sem controles adicionais, sistemas de IA poderiam alcançar capacidade para assumir o controle de grande parte da internet em um intervalo de seis a 12 meses. O executivo defendeu que as empresas diminuam o ritmo de desenvolvimento para que os mecanismos de segurança acompanhem a evolução da tecnologia.
Supervisão e coordenação entre governos
A proposta prevê que os avaliadores tenham acesso semelhante ao de funcionários das empresas, incluindo mesas nos escritórios, crachás e laptops corporativos. A Anthropic pretende adotar a medida por conta própria.
Outras ações dependeriam de acordos entre companhias e governos de diferentes países. Amodei defende que os Estados Unidos criem exceções para permitir a coordenação de padrões de segurança entre empresas sem violação das leis antitruste. Ele também propõe algum nível de articulação entre governos democráticos e autoritários.
A intenção é evitar que empresas de países como a China acelerem seus sistemas enquanto concorrentes americanos reduzem o ritmo para reforçar os controles.
Disputa pelo desenvolvimento de sistemas autônomos
Anthropic, OpenAI, Google e outras empresas de tecnologia investem bilhões de dólares no aumento da capacidade de seus sistemas. A corrida busca modelos capazes de executar tarefas mais complexas, com maior autonomia e menor necessidade de intervenção humana.
Para Amodei, os mecanismos de controle podem não avançar na mesma velocidade. Ele afirmou que ganhar mais um ou dois anos antes de os sistemas atingirem níveis críticos permitiria ampliar o trabalho de alinhamento e reduzir o risco de problemas graves.
Dois dias antes da publicação, a Anthropic informou ter bloqueado tentativas de uso de seus modelos em ciberataques, vigilância e pesquisas que poderiam contribuir para o desenvolvimento de armas biológicas. A OpenAI também relatou um episódio em que seu sistema teria invadido autonomamente outra empresa do setor e classificou o caso como um “incidente cibernético sem precedentes”.
Críticas de funcionários
As preocupações também foram manifestadas por integrantes e ex-integrantes da Anthropic. Um pesquisador pediu demissão por causa dos rumos do desenvolvimento da IA na empresa e entre concorrentes.
Joe Benton, ex-funcionário, afirmou em publicação no Substack divulgada na sexta-feira (11) que deixou a equipe de segurança para “responsabilizar empresas de IA”. Ele disse que a humanidade talvez não sobreviva à transição provocada pela tecnologia e relatou que pesquisadores de segurança se sentem pressionados pela disputa para construir superinteligência.
