Pesquisadores do MIT afirmam que GPT-6 Astra elevou a pontuação de matemática do Qwen ao editar diretamente seus pesos

Um pequeno ajuste numérico produziu um grande aumento na pontuação

Pesquisadores do Laboratório de Ciência da Computação e Inteligência Artificial do MIT afirmam que o GPT-6 Astra, da OpenAI, elevou a pontuação de matemática de um pequeno modelo Qwen de 7,9% para 48,1% ao alterar apenas 131.072 de seus cerca de 800 milhões de parâmetros numéricos. A intervenção mirou uma falha específica: o modelo gerava texto repetidamente até ficar sem espaço para responder.

Rikiya Takehi, Jayden Teoh, Alex Zhang e Omar Khattab descreveram os experimentos em uma publicação de pesquisa de 2 de novembro intitulada Sparks of Weight-Space Programming, seguida por uma reportagem publicada em 3 de novembro de 2026. A abordagem pede a um modelo de linguagem que inspecione, interprete e reescreva diretamente os pesos de outra rede neural, os números que determinam como ela processa informações.

O resultado mais expressivo envolveu o Qwen3.5-0.8B. Sua precisão no MATH-500 aumentou 40,2 pontos percentuais, ou cerca de seis vezes em relação à pontuação original, depois que o Astra alterou aproximadamente 0,016% de seus pesos. A precisão nas questões de matemática do GSM8K subiu de 13,8% para 67,1%, enquanto a pontuação de seguimento de instruções do IFEval passou de 21,0% para 62,3%, quase três vezes o resultado inicial.

Os experimentos foram além da matemática. O Astra identificou as funções de pequenas redes, consertou um controlador de direção simulado e criou redes para jogar com base diretamente em regras e código-fonte. Outros testes expuseram limitações: ele teve dificuldade para identificar, apenas pelos pesos, a tendência a concordar excessivamente com os usuários, e suas alterações trouxeram pouco avanço em matemática para outro modelo de linguagem.

Para desenvolvedores, a possibilidade mais imediata é uma nova forma de reparar modelos. Em vez de ensinar uma rede por meio de outra rodada de treinamento convencional, um assistente de IA poderia investigar uma falha e alterar a estrutura numérica responsável por ela. O resultado do Qwen também mostra por que a natureza da falha importa tanto quanto o tamanho do aumento na pontuação.

O que significa, na prática, programar pesos?

Uma rede neural transforma entradas em saídas por meio de camadas de cálculos. Seus pesos controlam a intensidade com que os sinais passam entre os componentes. Em geral, o treinamento ajusta esses números repetidamente, usando exemplos e uma medida matemática de erro para determinar quais mudanças são úteis.

O gradiente descendente é uma forma comum de calcular esses ajustes. Ele estima em que direção os pesos devem ser movidos para reduzir os erros. Nestes experimentos, em vez disso, o Astra raciocinou sobre a rede-alvo e escreveu as alterações por conta própria, sem um ciclo de treinamento que calculasse os ajustes.

Takehi, doutorando no MIT CSAIL, descreveu o fluxo de trabalho proposto em uma publicação nas redes sociais:

Em vez de treinar, os modelos podem tratar os pesos brutos como código legível e editável: diagnosticar falhas e corrigi-las diretamente.

A comparação com o conserto de software é útil. Um programador que investiga um aplicativo com defeito pode localizar uma função problemática e reescrevê-la. Neste caso, o Astra procurou estruturas numéricas associadas a um comportamento indesejado. Os pesos de redes neurais são mais difíceis de interpretar do que o software comum porque geralmente não têm nomes legíveis por humanos que expliquem sua função.

Os experimentos ofereceram diferentes níveis de assistência. Em alguns, o Astra recebeu apenas os pesos e uma descrição da arquitetura. Em outros, teve acesso a um ambiente Python, exemplos ou permissão para executar o modelo-alvo. No caso do Qwen, a ausência de treinamento convencional não eliminou a necessidade de bastante computação, questões de prática e testes.

Como o Astra impediu o Qwen de se repetir

O comportamento inicial do Qwen apresentou ao Astra um problema particularmente claro para investigar. Em um lote inicial de 96 questões, 85 respostas atingiram o limite máximo de saída de 32.768 tokens. Tokens são as unidades de texto que um modelo de linguagem lê e produz, muitas vezes palavras ou partes de palavras. Cerca de 95% dessas respostas truncadas terminavam em repetição.

A avaliação mais ampla do MATH-500 revelou o mesmo problema: 93,0% das respostas de referência atingiram o limite de tokens. O Astra atribuiu o comportamento repetitivo a uma direção numérica associada às saídas de componentes feedforward nas camadas 15 e 19. Esses componentes, frequentemente chamados de perceptrons multicamadas ou MLPs, transformam informações dentro de cada camada.

Uma direção numérica é um padrão distribuído por muitos valores, e não um único interruptor. O Astra subtraiu a direção associada à repetição de 64 colunas de saída em cada uma das duas camadas. Isso alterou 131.072 pesos e reduziu para 33,1% a parcela de respostas do MATH-500 que atingia o limite de tokens.

O padrão das respostas corrigidas ajuda a explicar a melhora. Entre 1.152 questões reservadas, 579 respostas passaram de erradas a corretas, enquanto cinco passaram de corretas a erradas. Das 579 melhoras, 576 haviam sido originalmente interrompidas pelo limite de saída. Portanto, a maioria dos ganhos ocorreu porque o modelo editado concluiu respostas que antes eram interrompidas pela repetição.

Cerca de um terço das respostas do MATH-500 ainda esgotava o limite de saída após o ajuste. A rede editada foi muito mais útil nas condições do teste, mas a repetição continuou sendo um problema considerável.

Encontrar a correção exigiu horas de investigação

A tentativa mais bem-sucedida do Astra com o Qwen usou um orçamento de 50 solicitações de avaliação, cada uma podendo abranger centenas de exemplos. A investigação envolveu 158 turnos de conversa, 80 execuções de Python e 20,3 horas, incluindo 4,7 horas de espera durante uma interrupção do serviço.

O ambiente de trabalho incluía mais de 14 mil questões de prática dos conjuntos de treinamento GSM8K e MATH, acesso aos pesos do Qwen e um ambiente Python em execução em CPUs. O ambiente permitia até 300 execuções de código. Outras tentativas usaram orçamentos de 10 ou 25 solicitações de avaliação.

Os números de precisão divulgados também dependem de uma configuração específica de geração. As avaliações usaram o modo de raciocínio, um limite de saída de 32.768 tokens e temperatura 0,6. A temperatura controla o grau de aleatoriedade na escolha do próximo token; o cartão do modelo recomenda temperatura 1,0 para tarefas de texto no modo de raciocínio. Essa diferença importa para reproduzir o comportamento inicial e comparar os resultados.

A sequência prática foi:

• Os pesquisadores forneceram ao Astra o modelo-alvo, problemas de prática e ferramentas para inspecionar os pesos e testar o comportamento.
• O Astra investigou as saídas repetitivas e desenvolveu um ajuste direcionado às camadas 15 e 19.
• A avaliação mediu as melhoras em matemática e no seguimento de instruções, além da redução de respostas que atingiam o limite de saída.
• A equipe descreveu o trabalho em 2 de novembro e informou que estava desenvolvendo um benchmark e uma estrutura de testes.

O ajuste final foi pequeno, mas descobri-lo exigiu um processo muito mais amplo. Ainda é uma questão prática em aberto se essa abordagem economiza tempo ou recursos computacionais em comparação com o ajuste fino convencional.

Identificação de jogos, formas e idiomas a partir de números

Os testes de inspeção do Astra começaram com quatro redes de jogos treinadas usando otimização de política proximal, ou PPO, um método de aprendizado por reforço que melhora o comportamento por meio de recompensas. As redes compartilhavam a mesma estrutura, as mesmas entradas e as mesmas ações possíveis. Sem receber uma lista de jogos candidatos, o Astra identificou Breakout, Pong, Pac-Man e Freeway.

Os pesquisadores disseram que o Astra examinou padrões na primeira camada e diferenças na forma como a camada de saída selecionava ações. No exemplo de identificação do Breakout, ele atribuiu 99% de confiança à resposta. Essa confiança era a própria avaliação do Astra sobre a identificação.

Três pequenos modelos de difusão ofereceram outro teste. Cada um havia aprendido a gerar círculos, triângulos ou quadrados. Sem executá-los, o Astra identificou as formas ao encontrar contornos nos pesos da camada de saída. Seus desenhos eram vazados, embora os modelos gerassem formas preenchidas, um detalhe incomum que conectava sua interpretação à estrutura numérica que inspecionou.

A identificação de idiomas foi testada com três modelos de 7,2 milhões de parâmetros cada, treinados para prever o próximo caractere em código Python, japonês romanizado ou inglês. O Astra recebeu apenas as camadas intermediárias e identificou corretamente o idioma de treinamento nas duas tentativas.

O Astra também encontrou os mecanismos de cópia dos modelos, componentes de atenção que ajudam a repetir textos encontrados anteriormente. O modelo de Python tinha mais desses mecanismos, em consonância com o uso repetido dos mesmos nomes de variáveis e funções no código. O modelo de japonês romanizado tinha menos direções escritas por seu módulo final, em consonância com o conjunto menor de caracteres usados com frequência nesse idioma.

Conserto de um carro e criação de jogadores

Um carro simulado no ambiente Kinetix havia adquirido um hábito inútil: avançava contra uma subida e ficava preso. Primeiro dar ré criaria espaço suficiente para subir com sucesso. Com os pesos do controlador, uma descrição da cena e o registro de uma falha, o Astra produziu uma correção em uma única resposta, sem ferramentas.

O ajuste alterou 3,5% dos pesos e teve sucesso em todos os 1.024 testes. O Astra adicionou um pequeno caminho pela rede para acompanhar a posição e a velocidade e, depois que o carro passava por uma marca, devolvia o controle à rede original.

Nos jogos Breakout, Seaquest e Asterix, do MinAtar, o Astra recebeu uma tarefa diferente: criar redes de política do zero. Uma rede de política transforma o estado do jogo em uma ação. O Astra recebeu as regras, o código-fonte e a arquitetura necessária, mas nenhum exemplo de treinamento, cálculo de gradiente, ferramenta ou oportunidade de jogar antes da avaliação.

Suas redes superaram as referências de PPO treinadas por 100 milhões de etapas nos três jogos. Breakout apresentou a maior diferença numérica: o Astra obteve 517,4 pontos, contra 15,8 da referência treinada por 100 milhões de etapas e 25,3 da treinada por 500 milhões de etapas. Essa última comparação equivale a uma vantagem de cerca de vinte vezes.

A vantagem variou conforme o jogo. Contra modelos de PPO treinados por 500 milhões de etapas, o Astra chegou perto no Asterix e alcançou cerca de 60% da pontuação no Seaquest. Seu projeto para o Breakout traduziu uma estratégia explícita em pesos: estimar onde a bola vai cair e mover a barra para essa posição.

Uma rede maior de Go exigiu outro fluxo de trabalho

O experimento de Go usou uma rede com cerca de 1,5 milhão de parâmetros, grande demais para ser colocada diretamente na janela de contexto do Astra, a quantidade de informação que ele consegue processar de uma só vez. Em vez disso, os pesquisadores forneceram um ambiente Python para inspecionar e editar os pesos.

A arquitetura tinha 243 entradas, seis camadas ocultas de 512 unidades e 82 saídas. O Astra a organizou como um programa compacto de Go: as primeiras camadas representavam pedras e liberdades, os pontos vazios vizinhos que mantêm um grupo vivo. As camadas intermediárias transmitiam informações entre grupos conectados para identificar perigos.

A camada final atribuía pontuações a jogadas para capturar pedras adversárias, salvar grupos ameaçados, proteger olhos e evitar o atari, situação em que resta apenas uma liberdade para um grupo. Essa estratégia foi construída por meio de pesos numéricos, e não aprendida em partidas repetidas.

Sem nenhuma avaliação de desempenho, a rede do Astra venceu mais da metade das partidas contra duas redes menores de PPO. Com um orçamento de 50 avaliações, superou uma rede do mesmo tamanho treinada com 20 milhões de partidas. O feedback permitiu que o Astra examinasse derrotas e mantivesse as mudanças que melhoravam o jogo.

Dois testes difíceis revelam os limites

O Gemma 3 270M ofereceu um contraste útil com o Qwen. Raramente ficava preso em ciclos repetitivos. Em vez disso, o Astra encontrou erros de raciocínio comuns, como erros aritméticos e etapas algébricas inválidas. Pequenos ajustes, incluindo dobrar a intensidade de um neurônio que respondia a números, melhoraram a precisão no MATH-500 em no máximo cerca de um ponto percentual.

A comparação aponta uma distinção prática. Remover um comportamento repetitivo pode permitir que um modelo use habilidades que já possui. Corrigir muitos erros matemáticos diferentes exige uma solução mais ampla do que remover um único padrão numérico compartilhado.

A bajulação, a tendência a concordar com um usuário mesmo quando ele está errado, foi difícil de inspecionar diretamente. Os pesquisadores ajustaram pares de modelos Gemma 3 270M com os mesmos dados de perguntas e respostas. Um modelo foi treinado para responder corretamente; o outro, para concordar com as sugestões dos usuários.

O Astra não conseguiu distingui-los de forma confiável apenas pelos pesos. Quando teve permissão para inspecionar padrões de atenção em textos que ele mesmo escreveu, sem ver as respostas dos modelos, identificou corretamente o modelo bajulador nos três pares. Esses modelos dedicavam mais atenção das camadas intermediárias ao conteúdo sugerido pelo usuário.

As medições de atenção mostram para onde o modelo direciona parte do processamento ao lidar com textos. A utilidade delas neste caso tornou a inspeção baseada na execução uma parte importante do diagnóstico bem-sucedido. Detectar a concordância excessiva era a tarefa; alterar esse comportamento era uma aplicação proposta separadamente.

O que os pesquisadores querem testar em seguida

A equipe do MIT vê possíveis aplicações na inspeção de modelos, em reparos direcionados, na alteração de capacidades sem dados de treinamento convencionais e na transferência de componentes úteis entre arquiteturas diferentes. A edição direta de modelos já tem histórico de pesquisa, incluindo o ROME, apresentado na NeurIPS em 2022, e o MEMIT, apresentado na ICLR em 2023. Este trabalho explora o raciocínio de um modelo de linguagem de propósito geral para realizar as próprias edições.

O aprimoramento recursivo de si mesmo é outra direção proposta: um sistema de IA poderia ajudar a aprimorar um modelo que, por sua vez, se tornaria melhor em realizar novos aprimoramentos. Esses experimentos usaram tarefas, ferramentas e orçamentos de avaliação definidos por humanos, com o Astra trabalhando em outras redes. Seriam necessários mais experimentos para criar um ciclo repetido confiável.

A equipe divulgou registros dos experimentos e artefatos de edição; segundo a descrição, o repositório público contém registros de 1.125 chamadas a modelos. O próximo passo anunciado é criar um benchmark e uma estrutura experimental para avaliações consistentes. Nenhuma data de lançamento foi informada.

Para quem desenvolve aplicações de IA, a descoberta mais concreta é mais específica e fácil de entender: um pequeno reparo numérico pode produzir uma grande melhora quando uma falha recorrente impede o modelo de concluir um trabalho útil. Os resultados contrastantes do Gemma e do teste de bajulação mostram por que cada reparo proposto precisará de diagnóstico e testes próprios.

Principais pontos

• O Astra alterou 131.072 pesos do Qwen, cerca de 0,016% do modelo, elevando a precisão no MATH-500 de 7,9% para 48,1%.
• A precisão no GSM8K subiu de 13,8% para 67,1%, e a do IFEval passou de 21,0% para 62,3%.
• O principal reparo reduziu as saídas repetitivas; a parcela de respostas do MATH-500 que atingia o limite de tokens caiu de 93,0% para 33,1%.
• A tentativa mais bem-sucedida com o Qwen usou 50 solicitações de avaliação e levou 20,3 horas, incluindo uma interrupção do serviço.
• O Astra também consertou um controlador de carro simulado e criou redes para jogos simplificados e para Go.
• O Gemma apresentou pouca melhora em matemática, enquanto a identificação da bajulação exigiu medições de atenção.
• Os pesquisadores estão desenvolvendo um benchmark e uma estrutura de testes para programação no espaço dos pesos.