Uma IA de jogos criada para a mesa dos desenvolvedores
A equipe de pesquisa em IA da Honkai, da HoYoverse, apresentou a Gamer, um sistema de inteligência artificial que joga observando a tela e enviando comandos de teclado e mouse. Em um teste divulgado, com duração de 50 horas, ela controlou Honkai: Star Rail de forma autônoma durante 95% do tempo, enfrentando um desafio que vai além de escolher a jogada certa: lembrar o que fazer ao longo de uma aventura extensa.
Conteúdo
- Uma IA de jogos criada para a mesa dos desenvolvedores
- Como a Gamer transforma capturas de tela em ações?
- Como ensinar o sistema a se lembrar de uma missão
- O que os resultados das missões realmente medem
- Os quebra-cabeças revelam um desempenho bem menos uniforme
- Por que decisões mais rápidas exigem hardware potente
- O que foi lançado e o que ainda está pendente?
- Como um jogador virtual poderia ajudar a testar um jogo
- Por que o trabalho vai além de Honkai: Star Rail
- Principais pontos
A equipe da miHoYo publicou a página do projeto e o artigo de pesquisa em 13 de novembro de 2026. As demonstrações mostram a Gamer seguindo missões, conversando com personagens, lutando contra inimigos e chefes, resolvendo quebra-cabeças e completando cinco tipos de minijogos. Suas informações de entrada vêm de capturas de tela, e não de dados ocultos dentro do jogo.
O público-alvo são desenvolvedores e pesquisadores. A HoYoverse descreve a Gamer como uma ferramenta que poderia ajudar a testar jogos, encontrar problemas e reduzir tarefas repetitivas no desenvolvimento, com pesquisas de longo prazo voltadas também à inteligência artificial para robôs. Os testes de desempenho divulgados usam hardware potente de data center, incluindo processadores gráficos Nvidia H200.
Para os jogadores, portanto, a novidade imediata é um projeto de pesquisa, e não um novo recurso de jogo automático. Para os desenvolvedores, a vantagem é mais concreta: um testador virtual capaz de tentar cumprir uma missão pela mesma interface visível usada por uma pessoa e seguir adiante por conversas, viagens, batalhas e quebra-cabeças.
Como a Gamer transforma capturas de tela em ações?
A Gamer é um modelo de visão, linguagem e ação. Em termos simples, ele conecta três capacidades: ver o que aparece na tela, compreender instruções e executar ações. O artigo se chama Gamer: A Generalist Vision-Language-Action Foundation Model for Long-Horizon Real-Time Game Agent. O nome extenso descreve o objetivo central: controlar jogos por períodos prolongados, em vez de realizar uma única ação isolada.
O sistema captura a tela do jogo cinco vezes por segundo e produz instruções de teclado e mouse equivalentes a 30 atualizações por segundo. Cada decisão de ação abrange cerca de 200 milissegundos, divididos em seis etapas de aproximadamente 33 milissegundos cada. Isso permite planejar uma sequência curta de comandos entre novas observações visuais.
Um jogador pode olhar rapidamente para um marcador de destino, manter pressionada uma tecla de movimento e ajustar a câmera. A Gamer aprende uma relação semelhante entre imagens da tela e comandos de entrada. Ela consegue mover personagens, girar a câmera, navegar por menus e interagir com objetos sem depender de uma interface especial que forneça o estado interno do jogo.
O formato de ação publicado inclui 74 tokens de tecla, com regras específicas para o uso de letras maiúsculas e minúsculas. Saídas inválidas são tratadas como ausência de ação. Essas regras são importantes porque um sistema de IA precisa enviar comandos que o software consiga interpretar de forma confiável, mesmo quando seu raciocínio mais amplo é imperfeito.
Como ensinar o sistema a se lembrar de uma missão
O treinamento começa com mais de 10 mil horas de atividade registrada de teclado e mouse em diferentes jogos. Esses registros relacionam o que aparecia na tela às ações realizadas, ajudando a Gamer a aprender habilidades básicas de controle antes de receber a tarefa de concluir objetivos mais longos.
Em seguida, os pesquisadores acrescentaram treinamento com instruções, incluindo explicações sobre decisões e resumos da atividade anterior. O material de treinamento divulgado inclui cerca de 1,2 milhão de anotações de raciocínio e 223 mil anotações de memória. Elas fornecem exemplos de como escolher a próxima etapa e preservar informações úteis.
A memória é essencial em uma missão que leva o jogador a vários lugares. Um sistema pode precisar lembrar com qual personagem já conversou, qual caminho não deu certo e qual objetivo ainda não foi concluído. A Gamer cria resumos compactos para continuar quando o contexto de trabalho ativo se esgota.
A equipe também usa o que chama de raciocínio esparso. Em vez de gerar uma explicação longa antes de cada movimento, o modelo pode continuar agindo enquanto um plano ainda for útil e dedicar mais esforço ao raciocínio quando as circunstâncias mudarem. Isso ajuda a conciliar o planejamento deliberado com os comandos rápidos exigidos pelo jogo.
O que os resultados das missões realmente medem
Os pesquisadores avaliaram a Gamer em duas missões secundárias de Honkai: Star Rail: Opportunity Makes the Thief (Part I) e Bestial Ferocity. Ambas envolvem vários tipos de atividade, incluindo deslocamento, conversas com personagens e combates contra inimigos. Os testes das missões também incluem um quebra-cabeça simples.
Após a etapa inicial de treinamento continuado, as pontuações divulgadas de conclusão dos objetivos das missões foram de 34,4% e 47,9%, respectivamente. Após o aprendizado por reforço, elas chegaram a 80,0% e 83,6%. Os ganhos foram de 45,6 pontos percentuais na primeira missão e 35,7 pontos percentuais na segunda.
O aprendizado por reforço consiste em melhorar por meio de tentativas cujos resultados recebem uma pontuação. Neste caso, a equipe usou um método chamado Temporal-Aware GRPO para relacionar recompensas a ações ao longo de períodos de jogo conectados pela memória. O problema é semelhante a aprender qual decisão anterior ajudou a concluir uma tarefa vários minutos depois.
O teste de 50 horas, no qual a Gamer controlou o jogo de forma autônoma durante 95% do tempo, mede por quanto tempo ela assumiu o controle. As pontuações dos objetivos das missões medem o progresso em relação a metas específicas. A equipe também afirmou ter alcançado mais de 95% de sucesso em desafios da história principal em testes automatizados, outra medida com escopo diferente. Esses resultados publicados são dos desenvolvedores; ainda não há relatos de replicação independente.
Os quebra-cabeças revelam um desempenho bem menos uniforme
Os resultados da Gamer nos minijogos mostram por que uma demonstração convincente pode coexistir com limitações consideráveis. Em 40 tarefas inéditas, distribuídas por sete tipos de minijogos, a versão treinada com aprendizado por reforço obteve uma taxa média de sucesso de 49,7%. A etapa de treinamento anterior marcou 15,0%, uma melhora de 34,7 pontos percentuais.
Os resultados mais alto e mais baixo ficaram bem distantes. A Gamer marcou 95,8% nos quebra-cabeças Bússola de Navegação e 22,2% em Circuitos de Ábaco. A diferença foi de 73,6 pontos percentuais, mostrando como o desempenho dependia do tipo de quebra-cabeça.
Os vídeos de demonstração mostram partidas bem-sucedidas em cinco variedades de minijogos, enquanto a avaliação abrange sete tipos. O teste mais amplo oferece aos desenvolvedores uma visão mais detalhada das capacidades do sistema, inclusive das tarefas com as quais ele ainda tem dificuldades.
Para uma equipe de testes, essas diferenças têm consequências práticas. Um agente que navega por um desafio com confiabilidade pode precisar de supervisão mais próxima em outro. Os resultados servem de base para decidir onde os testes automatizados poderiam economizar trabalho e onde ainda seria necessário que pessoas verificassem os resultados com atenção.
Por que decisões mais rápidas exigem hardware potente
A equipe de pesquisa desenvolveu um mecanismo de inferência chamado Streaming-vLLM para reduzir o tempo entre a solicitação de uma decisão e o recebimento dela. Inferência é a etapa em que um modelo de IA treinado processa novas informações e produz uma resposta ou ação.
Na configuração divulgada com Nvidia H200, o mecanismo reduziu a latência de ponta a ponta das solicitações de 1.306 milissegundos para 65,12 milissegundos, um aumento de velocidade de cerca de vinte vezes. Em termos simples, o atraso caiu de aproximadamente 1,3 segundo para cerca de 0,065 segundo. Isso é importante quando o jogo continua em andamento enquanto a IA decide o que fazer.
A configuração divulgada usou um modelo de mistura de especialistas Qwen3.5-35B-A3B, com a computação distribuída entre quatro dispositivos. Um modelo de mistura de especialistas ativa partes selecionadas da rede para cada tarefa. A configuração de hardware e software é essencial para entender o dado de velocidade, pois se trata de um ambiente de pesquisa, e não do desempenho em um computador doméstico comum.
O Streaming-vLLM reduz cálculos repetidos, reutiliza informações armazenadas e pode enviar a primeira ação válida enquanto continua gerando o restante da saída. Decisões mais rápidas também ajudam no treinamento: um sistema que passa menos tempo esperando consegue realizar mais interações no mesmo período.
O que foi lançado e o que ainda está pendente?
O lançamento público inclui uma página do projeto, o artigo e um repositório no GitHub com código sob a licença Apache-2.0. O repositório descreve os prompts, os formatos de ação e os resultados da avaliação. Os pesos do modelo — os parâmetros numéricos aprendidos necessários para executar um modelo treinado — não estão incluídos no lançamento do código.
A equipe não disponibilizou os dados de treinamento de Honkai: Star Rail nem os pesos do modelo treinados ou ajustados com dados do jogo, citando questões de segurança de dados. Os arquivos públicos dizem respeito às pesquisas anteriores de treinamento geral do projeto.
A implementação do Streaming-vLLM está listada como “em breve”. Não foi informada uma data de lançamento para o mecanismo. Junto com a ausência dos pesos treinados e a exigência de hardware potente, isso cria uma distância considerável entre ler a pesquisa e reproduzir o sistema demonstrado.
A sequência de publicações é curta:
- 13 de novembro de 2026: A equipe de pesquisa em IA de Honkai publicou a página do projeto Gamer e o artigo.
- 16 e 17 de novembro de 2026: Reportagens públicas detalharam a abordagem de treinamento, as demonstrações e os resultados de desempenho.
- Na época dessas publicações: O mecanismo de inferência continuava listado como “em breve”, sem data de lançamento prevista.
Como um jogador virtual poderia ajudar a testar um jogo
A HoYoverse aponta os testes de jogos como uma das principais aplicações potenciais. Uma missão pode conter várias etapas encadeadas: aproximar-se de um personagem, iniciar uma conversa, viajar para outra área, vencer uma luta e coletar um item. Um problema em qualquer etapa pode interromper o progresso do jogador.
A abordagem da Gamer poderia permitir que os desenvolvedores enviassem um agente para repetir essas interações visíveis. Sua capacidade de navegar, ler a tela e usar controles comuns poderia ajudar a verificar se os objetivos e menus funcionam como esperado. Repetir uma sequência de ações também poderia ajudar os desenvolvedores a reproduzir um problema antes de corrigi-lo.
A equipe de pesquisa lista a assistência à acessibilidade e a pesquisa sobre a interação entre pessoas e computadores entre outras aplicações possíveis. Também se opõe ao uso da Gamer para trapacear, obter acesso não autorizado, explorar vulnerabilidades de segurança ou prejudicar usuários e o jogo justo.
Essas restrições são importantes porque a mesma capacidade de controlar um jogo automaticamente pode servir a objetivos muito diferentes. O objetivo de desenvolvimento declarado é a pesquisa e os testes autorizados, sob supervisão humana e respeitando as regras do jogo em qualquer aplicação prática.
Por que o trabalho vai além de Honkai: Star Rail
A HoYoverse também considera os mundos tridimensionais dos jogos ambientes úteis para pesquisas que podem, no futuro, contribuir para a robótica. Os jogos oferecem sequências de observações, escolhas e consequências: um agente vê um obstáculo, escolhe um caminho, age e verifica o que mudou.
A Gamer reúne várias partes desse problema em um único sistema. As observações da tela fornecem percepção, as instruções e os resumos ajudam no planejamento, e as saídas de teclado e mouse permitem o controle. O treinamento em diferentes jogos busca tornar essas habilidades úteis além de uma única missão ou título.
Um robô físico enfrentaria exigências adicionais, incluindo sensores reais, limitações de movimento e requisitos de segurança. A contribuição imediata da Gamer é oferecer uma forma de estudar ações prolongadas e memória em ambientes virtuais, nos quais os pesquisadores podem repetir tarefas e medir resultados.
A visão mais útil do projeto vem da análise conjunta dos resultados: desempenho muito superior nas missões após o aprendizado por reforço, sucesso irregular nos quebra-cabeças e uma grande redução na latência de decisão em hardware caro. Esses detalhes explicam tanto por que um desenvolvedor poderia querer esse tipo de testador quanto por que ainda é necessário avançar antes que ele se torne uma ferramenta de uso rotineiro.
Principais pontos
- A Gamer, da HoYoverse, controla jogos por meio de capturas de tela e comandos de teclado e mouse.
- Em um teste divulgado de 50 horas, o sistema controlou o jogo de forma autônoma durante 95% do tempo.
- Após o aprendizado por reforço, as pontuações dos objetivos de duas missões secundárias chegaram a 80,0% e 83,6%.
- A taxa média de sucesso foi de 49,7% em 40 tarefas de minijogos, com grandes diferenças entre os tipos de quebra-cabeça.
- Na configuração H200 divulgada, a latência de decisão caiu de 1.306 para 65,12 milissegundos.
- O projeto é voltado à pesquisa e aos testes de jogos. Os pesos do modelo treinado não foram incluídos, e o mecanismo de inferência foi listado como “em breve”.






