Baidu apresenta IA multimodal de código aberto que, segundo a empresa, supera GPT-5 e Gemini em benchmarks de visão

Um novo concorrente de código aberto em IA multimodal

A Baidu abriu o código de um novo modelo multimodal, o ERNIE 4.5 VL 28B A3B Thinking, um sistema com 28 bilhões de parâmetros que processa imagens, vídeos, documentos e textos. A empresa afirma que ele supera os principais modelos fechados em benchmarks com foco em visão, usando menos recursos. O modelo é licenciado sob Apache 2.0, para uso comercial irrestrito. Se a afirmação se confirmar em testes independentes, a Baidu se posiciona como uma importante fornecedora de modelos de raciocínio visual para empresas, capazes de funcionar em hardware acessível.

O ERNIE 4.5 VL 28B A3B Thinking ativa cerca de 3 bilhões de parâmetros por token, uma pequena fração do total, usando uma arquitetura de Mistura de Especialistas (Mixture of Experts) que direciona cada entrada às redes especializadas mais relevantes. Essa ativação seletiva reduz o uso de computação e memória sem abrir mão da capacidade de um modelo muito maior. A Baidu afirma que o modelo pode executar inferências em uma única GPU de 80 GB e ainda apresentar bons resultados na compreensão de documentos, interpretação de gráficos e raciocínio visual complexo.

O principal destaque é o que a Baidu chama de Thinking with Images (Raciocínio com Imagens). O modelo pode ampliar e reduzir uma imagem enquanto raciocina, examinar pequenas áreas em busca de pistas e combinar descobertas locais com a cena mais ampla. Esse comportamento se aproxima da maneira como as pessoas resolvem problemas visuais e melhora tarefas como ler diagramas técnicos densos, detectar defeitos em uma linha de produção ou localizar referências como o conector azul sob o segundo parafuso.

A Baidu também destaca um melhor aterramento visual, maior precisão no cumprimento de instruções em tarefas com imagens, uso de ferramentas que inclui busca por imagens e compreensão robusta de vídeos com percepção temporal. O modelo vem com kits de integração compatíveis com Transformers, vLLM e FastDeploy, além de um kit de treinamento e ajuste fino chamado ERNIEKit. Em um setor concorrido, no qual a maioria dos principais sistemas de visão e linguagem continua fechada, esse lançamento oferece a desenvolvedores e empresas uma nova opção aberta, com uma licença favorável ao uso comercial.

O que o modelo promete fazer

A Baidu agrupa as capacidades do modelo em seis áreas: raciocínio visual, resolução de problemas de STEM, aterramento visual, integração com ferramentas, compreensão de vídeos e análise dinâmica de imagens. Na prática, isso significa que o sistema pode ler e resumir faturas ou demonstrações financeiras, analisar gráficos e tabelas, raciocinar sobre diagramas de circuitos e problemas de geometria, apontar objetos ou áreas específicas de uma imagem quando solicitado, acionar ferramentas externas para buscar imagens de referência e acompanhar eventos ao longo de trechos de vídeo.

Nos rankings apresentados na documentação da Baidu, o modelo é descrito como equivalente ou superior a versões do OpenAI GPT-5 High e do Google Gemini 2.5 Pro em um conjunto de testes com foco em visão. Entre eles estão benchmarks de respostas a perguntas sobre gráficos, compreensão de documentos e raciocínio visual em várias etapas. A empresa também destaca vantagens de velocidade, afirmando que a inferência é de duas a três vezes mais rápida que a de modelos comparáveis com precisão semelhante.

Laboratórios independentes ainda não verificaram esses gráficos. Conjuntos de benchmarks muitas vezes favorecem a memorização de padrões, a formatação de prompts ou truques específicos, em vez da confiabilidade em implantações reais e desordenadas. Empresas que avaliarem o ERNIE 4.5 VL 28B A3B Thinking deverão realizar projetos-piloto direcionados com seus próprios documentos, condições de iluminação, ângulos de câmera e políticas de segurança antes de se comprometerem com a produção.

Mesmo com essa ressalva, a variedade de tarefas cobertas é ampla. A combinação de raciocínio, aterramento e uso de ferramentas torna o modelo uma opção para fluxos de trabalho no estilo de agentes, como ler solicitações de sinistro recebidas por seguradoras, sinalizar anomalias em operações de armazém ou ajudar técnicos a diagnosticar problemas em equipamentos com fotos anotadas e vídeos curtos.

Como um modelo de 28 bilhões roda em uma GPU de 80 GB

A chave é a Mistura de Especialistas, uma arquitetura em que várias sub-redes especializadas ficam conectadas a um roteador. Para cada token ou recorte de imagem, o roteador seleciona um pequeno grupo de especialistas para ativar. Apenas esses especialistas fazem os cálculos; assim, o sistema se comporta como um modelo pequeno em cada etapa, enquanto o conjunto completo de especialistas oferece maior capacidade ao longo de várias etapas e tarefas. Essa estrutura aumenta a velocidade de processamento porque a maioria dos parâmetros fica inativa em cada operação.

A ativação seletiva reduz a necessidade de memória e o custo computacional. Um modelo denso de 28 bilhões de parâmetros exigiria muito mais hardware para funcionar em velocidades úteis. Ao ativar cerca de 3 bilhões de parâmetros por token, a Baidu afirma que é possível fazer inferências do modelo de visão e linguagem em uma única GPU, o que amplia o acesso a testes por diversos laboratórios. A contrapartida é uma complexidade maior. Os engenheiros precisam de um roteador rápido e equilibrado, de uma distribuição cuidadosa da carga e de técnicas de treinamento estáveis para evitar que poucos especialistas façam todo o trabalho.

Raciocínio com imagens e aterramento preciso

Modelos tradicionais de visão e linguagem recebem uma imagem em resolução fixa e produzem uma resposta em texto. O Thinking with Images acrescenta um ciclo de planejamento. O modelo divide a pergunta em etapas, sugere onde olhar em seguida, recorta uma área em alta resolução, lê o texto ou mede a geometria dentro dela e então atualiza o plano. Esse ciclo se repete até que haja evidências suficientes para responder. A capacidade também funciona no sentido inverso quando a tarefa pede que o modelo aponte algo: ele associa palavras a coordenadas de pixels e desenha uma caixa ou máscara.

Um aterramento melhor é importante quando as imagens são carregadas de elementos ou têm conteúdo técnico. Na indústria, duas peças podem parecer quase idênticas até serem ampliadas. Em desenhos de engenharia, poucos pixels de diferença na notação podem mudar o significado de um símbolo. Em exames médicos por imagem, pequenos artefatos podem alterar um diagnóstico. Um sistema capaz de alternar entre o contexto da cena e os detalhes, explicando as etapas que seguiu, oferece aos operadores um registro de auditoria mais claro e um caminho para corrigir erros.

Benchmarks e cargas de trabalho reais

Os gráficos dos fornecedores costumam reunir pontuações de muitas avaliações. Alguns benchmarks usam imagens nítidas com recortes perfeitos. Outros fazem perguntas já cobertas pelo conjunto de treinamento. Implantações reais trazem reflexos, desfoque de movimento, fontes incomuns, obstruções e rótulos em vários idiomas. O desempenho pode variar quando as entradas fogem da distribuição de treinamento. Por isso, a afirmação de que o modelo supera GPT-5 ou Gemini em testes selecionados deve ser tratada como um ponto de partida, não como uma conclusão.

Uma abordagem mais confiável é avaliar tarefas específicas. Para documentos, as equipes podem reunir algumas centenas de arquivos representativos e medir a precisão da extração de campos com respostas auditadas por pessoas. Em tarefas visuais, podem simular condições de produção e acompanhar a precisão e a revocação das caixas ou máscaras. Para gráficos, podem criar representações sintéticas com casos extremos, como escalas logarítmicas ou séries empilhadas. Isso permite entender melhor o comportamento do modelo e seus modos de falha.

Receita de treinamento e ferramentas para desenvolvedores

Os modelos ERNIE 4.5 usam um processo de treinamento que combina aprendizado supervisionado tradicional com aprendizado por reforço em tarefas multimodais. A documentação menciona estratégias chamadas GSPO e IcePop para estabilizar o roteador e melhorar a definição de recompensas durante o treinamento de um modelo de Mistura de Especialistas, combinadas com amostragem dinâmica de dificuldade para apresentar exemplos mais difíceis à medida que o modelo melhora. O resultado é um sistema capaz de planejar raciocínios em várias etapas sobre imagens, gráficos e vídeos, em vez de tentar adivinhar tudo em uma única passagem.

A família de modelos inclui versões apenas de texto e de visão e linguagem, desde modelos densos muito pequenos até sistemas enormes de Mistura de Especialistas, com centenas de bilhões de parâmetros no total. A Baidu afirma que a arquitetura permite o compartilhamento de parâmetros entre modalidades, de modo que os componentes de texto e visão possam se beneficiar mutuamente sem prejudicar a qualidade da linguagem. O treinamento e a inferência são executados na plataforma da empresa, PaddlePaddle, que, segundo a equipe, apresenta alta utilização de hardware em grande escala.

Para desenvolvedores, a Baidu oferece um conjunto de ferramentas. O ERNIEKit permite ajuste fino, otimização de preferências e quantização para implantações eficientes em recursos. O modelo de visão e linguagem pode ser disponibilizado por meio de estruturas comuns, como Transformers e vLLM, e as inferências em produção podem ser executadas com o FastDeploy. A licença Apache 2.0 elimina muitas restrições ao uso comercial. A página oficial do modelo está disponível no Hugging Face, e o código e as receitas estão no repositório da Baidu no GitHub.

O que isso significa para as empresas

A licença aberta e a inferência em uma única GPU tornam o modelo atraente para equipes que buscam IA visual privada, instalada em suas próprias dependências, sem enviar dados a um provedor de nuvem. Setores que lidam com muitos documentos podem testar a triagem inteligente de contratos, faturas e sinistros. Fabricantes podem criar estações de inspeção de qualidade que combinem visão e orientações em linguagem para os trabalhadores da linha de produção. Equipes de varejo e logística podem usar o aterramento para localizar itens e verificar etiquetas em armazéns. Áreas de atendimento ao cliente podem aprimorar respostas de chat lendo gráficos ou capturas de tela incorporados.

Os custos são importantes. Muitas organizações não podem reservar conjuntos de GPUs da classe H100 para uma única aplicação. Um sistema que roda em uma placa de 80 GB reduz as barreiras para projetos-piloto e implantações iniciais. A combinação de aterramento, uso de ferramentas e compreensão de vídeos também favorece fluxos de trabalho no estilo de agentes, nos quais o modelo lê, pesquisa, clica e raciocina em várias etapas para concluir uma tarefa. Isso acompanha a tendência de agentes que usam computadores e operam interfaces padrão, em vez de APIs personalizadas.

A disputa mais ampla: modelos abertos e serviços fechados

O lançamento ocorre em um ano movimentado para modelos abertos. A DeepSeek apresentou um modelo de linguagem de Mistura de Especialistas muito grande, com centenas de bilhões de parâmetros no total e apenas algumas dezenas de bilhões ativos por token, relatando pontuações elevadas em benchmarks gerais por uma fração do custo de treinamento observado em sistemas fechados. O Marco o1, da Alibaba, avançou no raciocínio com técnicas como ajuste fino por cadeia de pensamento e planejamento guiado por buscas para lidar com tarefas abertas, sem recompensas numéricas claras.

Laboratórios chineses, incluindo Baidu, Alibaba e outros, estão lançando cada vez mais modelos capazes sob licenças permissivas. O acesso aberto permite que desenvolvedores da região criem soluções com menos dependência de serviços proprietários. Também pressiona fornecedores globais a justificar preços premium oferecendo vantagens claras em confiabilidade, ferramentas ou integrações. Em muitas áreas, a diferença de desempenho entre modelos abertos e fechados diminuiu, sobretudo em tarefas especializadas, como análise de gráficos e extração de documentos.

Limitações e questões em aberto

Há contrapartidas. Para obter os melhores resultados, o modelo de visão e linguagem ainda precisa de uma GPU de 80 GB, o que o torna inacessível para muitos dispositivos de consumo. A janela de contexto é de 128 mil tokens, útil para PDFs longos, mas ainda limitada quando se combinam muitas imagens, textos de OCR e instruções. O roteamento da Mistura de Especialistas pode complicar a implantação em grande escala, pois os engenheiros precisam monitorar o equilíbrio entre especialistas e evitar picos de latência causados por concentrações de roteamento.

A segurança continua sendo um tema central. Sistemas de imagem podem ser enganados por padrões adversariais ou correlações espúrias. Um modelo que recorta e amplia imagens ativamente precisa evitar o viés de confirmação, que o levaria a continuar examinando a área errada. Empresas esperam registros de auditoria claros de cada etapa da cadeia de pensamento quando o modelo está no modo de raciocínio, ou pelo menos rastros estruturados das chamadas de ferramentas e das caixas delimitadoras. A Baidu afirma que o modelo passou por aprendizado por reforço multimodal e alinhamento de aterramento, mas serão necessárias avaliações amplas de terceiros para gerar confiança.

Principais pontos

• A Baidu lançou o ERNIE 4.5 VL 28B A3B Thinking, um modelo multimodal de código aberto sob a licença Apache 2.0, para uso comercial.
• O modelo afirma superar GPT-5 High e Gemini 2.5 Pro em benchmarks com foco em visão, mas ainda depende de validação independente.
• Ele usa uma arquitetura de Mistura de Especialistas, ativando cerca de 3 bilhões de seus 28 bilhões de parâmetros por token para reduzir o uso de computação e memória.
• A inferência pode ser executada em uma única GPU de 80 GB, reduzindo as barreiras para projetos-piloto e testes nas próprias instalações.
• Entre os principais recursos estão o Thinking with Images, para ampliar e inspecionar imagens, um aterramento visual aprimorado e a compreensão de vídeos.
• Seis capacidades centrais abrangem raciocínio visual, tarefas de STEM, aterramento, uso de ferramentas, análise de vídeos e planejamento dinâmico de imagens.
• O treinamento inclui aprendizado por reforço multimodal com GSPO e IcePop, além de amostragem dinâmica de dificuldade para estabilizar a Mistura de Especialistas.
• As ferramentas para desenvolvedores incluem ERNIEKit, compatibilidade com Transformers, vLLM e FastDeploy, além de uma página pública do modelo e um repositório de código.
• Os casos de uso incluem processamento de documentos, controle de qualidade na indústria, operações de armazém e atendimento ao cliente.
• As limitações incluem a necessidade de uma GPU de 80 GB, uma janela de contexto de 128 mil tokens, a complexidade do roteamento da Mistura de Especialistas e questões em aberto sobre robustez e segurança.