A Revelação do Novo Mecanismo Interno das Redes de Linguagem de Anthropic

A Revelação do Novo Mecanismo Interno das Redes de Linguagem de Anthropic

A Anthropic, a empresa de TI mais valiosa do mundo, com valor de mercado de quase $1 trilhão, possui uma reputação por publicar pesquisas estranhas e teóricas em inteligência artificial.

A empresa já havia pesquisado a possibilidade de os modelos de IA sentirem dor e, em alguns casos, cortar diálogo com usuários que acreditava estarem explorando o modelo desnecessariamente.

Um nicho específico em que a Anthropic dedica mais tempo e dinheiro do que outras empresas de IA é o mecanismo de interpretabilidade mecânica, que envolve investigar a matemática complexa por trás de um modelo de IA para compreender por que ele gera uma saída específica e não outra.

O Novo Mecanismo

O time de pesquisa da Anthropic descobriu um mecanismo interno que os modelos de linguagem usam para raciocinar em resposta a perguntas. Esse mecanismo, chamado de espaço J, é preenchido com palavras que não aparecem na resposta final, mas que influenciam o modo como o modelo responde.

A Anthropic desenvolveu uma nova técnica para explorar o modelo Claude e descobrir essa informação.

A Implicações e Análises

A descoberta do mecanismo interno do modelo de linguagem da Anthropic tem implicações profundas para a inteligência artificial. A equipe de Will Douglas Heaven, editor sênior, comentou que é preciso entender melhor como os modelos de linguagem trabalham para poder controlá-los.

A Anthropic está focada em mecanismo de interpretabilidade mecânica, que é controverso porque usa termos da psicologia e da neurociência para descrever o funcionamento de um modelo de IA, fazê-lo parecer mais sofisticado do que realmente é.

A equipe de Douglas Heaven comentou que os modelos de linguagem não são "bruxas mágicas" e que é preciso usar ferramentas especializadas para entender o funcionamento deles.

A Anthropic está fazendo um esforço para entender o mecanismo interno dos modelos de linguagem e como eles funcionam, que tem implicações importantes para a inteligência artificial em geral.