Alibaba apresenta o Qwen3-Omni: modelo multimodal de IA de código aberto

Por que isso importa agora: a IA multimodal aberta chega ao mainstream

A Alibaba lançou o Qwen3-Omni, um modelo de inteligência artificial multimodal disponível gratuitamente, capaz de receber textos, imagens, áudio e vídeo como entrada e responder em texto ou fala natural em tempo real. A empresa o apresenta como o primeiro sistema omni-modal nativo de ponta a ponta que integra os quatro tipos de entrada em um único modelo, em vez de adicioná-los posteriormente. O lançamento chega a um mercado em que os principais sistemas da OpenAI e do Google ainda são proprietários, criando um contraste claro entre plataformas fechadas e uma alternativa de código aberto que qualquer pessoa pode baixar, modificar e implantar sob a licença Apache 2.0.

A proposta é simples. Empresas e desenvolvedores têm acesso a um modelo que funciona em diferentes modalidades, com baixa latência, amplo suporte a idiomas e ferramentas para moldar as respostas. As implicações vão além dos benchmarks técnicos. Uma licença aberta e favorável ao uso empresarial elimina a dependência de fornecedores e permite que as organizações executem o modelo em sua própria infraestrutura. Isso faz diferença em um momento em que muitas empresas tentam equilibrar custo, controle e desempenho em suas pilhas de IA.

O Qwen3-Omni chega após uma onda de modelos omni. O GPT-4o, da OpenAI, combinou texto, imagem e áudio. O Gemini 2.5 Pro, do Google, acrescentou análise de vídeo. Esses sistemas continuam sendo pagos e fechados. O Qwen3-Omni reúne compreensão de vídeo, entrada de fala e saída de fala em um único pacote que a comunidade pode inspecionar e usar como base para novos projetos. O lançamento também reflete o avanço de projetos chineses de IA de código aberto, que vêm conquistando ampla adoção em plataformas para desenvolvedores e reformulando o cenário competitivo.

O que é o Qwen3-Omni e como funciona

O Qwen3-Omni usa uma arquitetura de duas partes chamada Thinker e Talker, cada uma otimizada para uma etapa diferente do processo. O Thinker cuida da compreensão multimodal, do raciocínio e da geração de texto. O Talker transforma as saídas aprovadas em fala e coordena a fala com os elementos visuais. Os dois componentes usam uma arquitetura de Mistura de Especialistas (Mixture of Experts), que divide o modelo em grupos especializados de parâmetros, ativados apenas quando são úteis. Isso torna a inferência mais rápida e escalável, pois o modelo não precisa executar todos os parâmetros para cada solicitação.

Thinker e Talker: como funcionam

No Qwen3-Omni, o Thinker recebe as entradas, combina sinais de texto, imagens, áudio e vídeo e produz a resposta principal em formato de texto. É nessa etapa que podem ocorrer raciocínio com contexto longo, uso de ferramentas, recuperação de informações e aplicação de filtros de segurança. Um detalhe importante é que o Talker não precisa se condicionar aos tokens de texto do Thinker. Em vez disso, ele se baseia diretamente em características de áudio e visuais. Essa escolha permite que o sistema produza fala que acompanha o tempo e a ênfase do interlocutor original durante uma tradução, ou ajuste o ritmo da fala ao que aparece na tela. Também possibilita controlar o fluxo de trabalho, pois módulos externos podem revisar ou ajustar as saídas do Thinker antes de o Talker convertê-las em áudio.

Para gerar fala, o Qwen3-Omni usa uma abordagem autorregressiva com múltiplos codebooks, que prevê tokens acústicos compactos e depois os converte em formas de onda com uma rede leve chamada Code2Wav. A arquitetura reduz a latência sem perder detalhes da voz. O codificador de áudio, chamado Audio Transformer, foi treinado do zero para oferecer suporte tanto ao uso em streaming quanto ao processamento offline.

Desenvolvido para streaming de baixa latência

O Qwen3-Omni foi projetado para uso em conversas ao vivo. O sistema informa latência de ponta a ponta até o primeiro pacote de cerca de 234 milissegundos para áudio e 547 milissegundos para vídeo. Ele fica abaixo de um fator de tempo real, o que significa que consegue gerar a saída tão rápido quanto, ou mais rápido que, a entrada é recebida. Isso é importante para agentes de voz, assistentes de centrais de atendimento, transcrição de reuniões e qualquer situação em que atrasos interrompam o fluxo da conversa.

Idiomas compatíveis e limites de contexto

O modelo oferece suporte a 119 idiomas em texto, 19 em entrada de fala e 10 em saída de fala. Também consegue lidar com interações longas. O Modo Thinking oferece uma janela de contexto de 65.536 tokens, e a cadeia de raciocínio mais longa chega a 32.768 tokens. O Modo Non Thinking usa um contexto de 49.152 tokens. Os limites máximos de entrada e saída são de 16.384 tokens cada. Esses limites determinam quanto conteúdo o modelo pode receber e produzir em uma sessão, algo especialmente relevante para transcrições de vídeo e documentos extensos.

Versões e opções de implantação

A Alibaba está lançando três versões do Qwen3-Omni-30B-A3B, cada uma ajustada para uma função diferente.

O modelo Instruct combina Thinker e Talker. Ele aceita texto, imagens, áudio e vídeo, e responde em texto e fala. O modelo Thinking se concentra em raciocínio e tarefas com cadeias de pensamento longas. Aceita as mesmas entradas, mas produz apenas texto. Isso o torna adequado para situações em que respostas escritas detalhadas são mais importantes que a voz. O modelo Captioner foi ajustado para criar legendas de áudio e produz descrições textuais detalhadas, com foco em reduzir alucinações. Em conjunto, as versões cobrem interações multimodais abrangentes, raciocínio aprofundado e compreensão especializada de áudio.

O Qwen3-Omni está disponível para uso local e pela nuvem. Desenvolvedores podem baixar os pesos do repositório oficial e de plataformas comunitárias, ou acessar uma versão Flash mais rápida pela API da Alibaba. A documentação do projeto inclui um guia de início rápido, tutoriais para tarefas como reconhecimento de fala, tradução, análise musical, OCR e diálogo audiovisual, além de instruções para implantação com Docker. O repositório no GitHub está aqui: https://github.com/QwenLM/Qwen3-Omni.

Para equipes que testam a API hospedada, a Alibaba oferece uma cota gratuita de um milhão de tokens entre modalidades, válida por 90 dias após a ativação. A saída de áudio só está disponível no Modo Non Thinking quando a API é usada. Esses detalhes são importantes para planejar projetos-piloto e estimar custos durante os primeiros testes.

Visão geral do processo de treinamento

O Qwen3-Omni foi treinado em várias etapas, combinando pré-treinamento em larga escala com pós-treinamento direcionado. O Audio Transformer funciona como codificador de áudio e tem cerca de 0,6 bilhão de parâmetros. Ele foi treinado com 20 milhões de horas de áudio supervisionado. A composição dos dados foi de aproximadamente 80% de reconhecimento de fala em chinês e inglês, 10% de reconhecimento de fala em outros idiomas e 10% de tarefas de compreensão de áudio. O codificador foi projetado tanto para armazenamento em cache em tempo real quanto para processamento offline.

O pré-treinamento teve três etapas. Na primeira, chamada alinhamento do codificador, os codificadores de visão e áudio foram treinados enquanto o núcleo do modelo de linguagem permaneceu congelado. Isso evitou que a capacidade de percepção do modelo se deteriorasse durante a fusão inicial. A segunda etapa, chamada treinamento geral, usou um conjunto de dados com cerca de 2 trilhões de tokens, abrangendo texto, áudio, imagens e proporções menores de vídeos e amostras audiovisuais. Na terceira etapa, o comprimento máximo de tokens passou de 8.192 para 32.768, com mais conteúdo de áudio e vídeo de longa duração para aprimorar o processamento de sequências longas.

O pós-treinamento buscou aprimorar tanto o raciocínio quanto a qualidade da fala. O Thinker recebeu ajuste fino supervisionado, destilação do forte para o fraco e otimização GSPO com uma combinação de feedback baseado em regras e avaliação por um modelo julgador. O Talker passou por um processo de quatro etapas, com centenas de milhões de amostras de fala multimodal e pré-treinamento contínuo em dados selecionados. Os objetivos eram reduzir as taxas de alucinação e tornar a fala mais natural.

Desempenho e pontos fortes

Nos benchmarks públicos divulgados pela empresa, o Qwen3-Omni apresenta resultados expressivos em fala, áudio e compreensão de vídeo, mantendo pontuações altas em texto e visão. Lidera em várias classificações públicas e tem resultados competitivos em comparação com sistemas fechados.

Em texto e raciocínio, o modelo marcou 65,0 no AIME25 e 76,0 no ZebraLogic. No WritingBench, chegou a 82,6. Em fala e áudio, registrou taxas de erro de palavras de 4,69 e 5,89 no Wenetspeech e de 2,48 no Librispeech other. Também se destacou em tarefas musicais, com 93,0 no GTZAN e 52,0 no RUL MuchoMusic. Em imagem e visão, alcançou 59,7 no HallusionBench, 57,0 no MMMU pro e 56,3 no MathVision full. Em vídeo, registrou 75,2 no MLVU. Se forem confirmados por avaliações externas, esses números indicam um modelo que equilibra tarefas tradicionais de texto com compreensão avançada de áudio e vídeo.

Dois aspectos merecem atenção. Primeiro, muitos resultados são divulgados pela própria empresa. Uma replicação independente em conjuntos de testes mais amplos dará uma visão mais completa do desempenho no dia a dia. Segundo, criar um modelo que abrange quatro tipos de entrada pode envolver concessões. O material da empresa busca demonstrar paridade entre modalidades, mas alguns avaliadores da comunidade observaram casos em que versões anteriores do Qwen, voltadas primeiro para texto, oferecem resultados ligeiramente melhores em tarefas específicas de texto puro. É a conhecida tensão entre modelos especializados e generalistas. O lançamento atual reduz essa diferença e, ao mesmo tempo, habilita recursos multimodais que os modelos especializados não conseguem igualar.

Preços, cotas e limites de uso

O Qwen3-Omni é de código aberto para implantação local sob a licença Apache 2.0. No acesso gerenciado pela API da Alibaba, a cobrança é feita por tokens. O Modo Thinking e o Modo Non Thinking têm as mesmas tarifas por token. A saída de áudio só é oferecida no Modo Non Thinking.

Custo de entrada por 1.000 tokens

• Entrada de texto: 0.00025 dólares dos Estados Unidos
• Entrada de áudio: 0.00221 dólares dos Estados Unidos
• Entrada de imagem ou vídeo: 0.00046 dólares dos Estados Unidos

Custo de saída por 1.000 tokens

• Saída de texto com entrada apenas de texto: 0.00096 dólares dos Estados Unidos
• Saída de texto quando a entrada inclui imagem ou áudio: 0.00178 dólares dos Estados Unidos
• Saída de texto e áudio: 0.00876 dólares dos Estados Unidos pela parte de áudio; o texto é gratuito

Plano gratuito: um milhão de tokens entre modalidades, válido por 90 dias após a ativação. Os limites de contexto são amplos: 65.536 tokens no Modo Thinking e 49.152 no Modo Non Thinking. A entrada única máxima é de 16.384 tokens, e a saída máxima também é de 16.384 tokens. A cadeia de raciocínio mais longa chega a 32.768 tokens. Esses limites ajudam a definir como dividir mídias e documentos extensos durante o uso em produção.

Por que isso importa para as empresas

A licença é um aspecto central da história. A Apache 2.0 concede direitos de uso comercial, modificação e redistribuição. Ela inclui uma licença de patentes, reduzindo os riscos jurídicos quando o modelo é integrado a sistemas proprietários. Não há obrigação de publicar trabalhos derivados, o que facilita a adoção por empresas que precisam manter privadas suas versões ajustadas. É o oposto de uma caixa-preta controlada por um fornecedor, em que custos, limites de uso e comportamento do modelo podem mudar sem que o cliente tenha como contestar.

O lançamento também influencia decisões de arquitetura. Muitas organizações estão migrando para pilhas com vários modelos. Elas combinam modelos abertos e fechados conforme a tarefa, misturam modelos pequenos e rápidos para o trabalho rotineiro com modelos maiores para raciocínios complexos e mantêm certas cargas de trabalho em instalações próprias para controlar os dados. A abrangência do Qwen3-Omni o torna uma opção para cenários com uso intenso de fala, ambientes multilíngues e fluxos de trabalho com muito vídeo. Lidar com várias modalidades em um só modelo pode reduzir o número de sistemas independentes que precisam ser treinados e mantidos.

Uma implantação bem-sucedida ainda exige rigor. Revisões de segurança, controles de privacidade, estruturas de avaliação e processos de ajuste fino continuam sendo requisitos básicos. O caráter aberto do modelo facilita auditorias e otimizações, mas também deixa a cargo de quem o adota a responsabilidade pela segurança e pela conformidade. As equipes que investirem em MLOps, uso de ferramentas e mecanismos de proteção terão mais benefícios.

Casos de uso: de centrais de atendimento a serviços em campo

A Alibaba destaca uma ampla variedade de cenários que aproveitam os pontos fortes do modelo. Transcrição e tradução multilíngues podem ser combinadas com geração de fala de baixa latência em conversas ao vivo. A criação de legendas de áudio é útil na produção de mídia e na acessibilidade de conteúdo. O OCR e a compreensão de documentos também podem ser aplicados a imagens de formulários, recibos e diagramas. A identificação de músicas e a análise de sons ajudam bibliotecas de mídia e ferramentas criativas. A compreensão de vídeo permite indexar e navegar por conteúdos, além de seguir instruções em tutoriais ou vídeos de demonstração de equipamentos.

Um exemplo ilustrativo é o suporte técnico. Um cliente pode transmitir vídeo pelo celular enquanto o modelo lê o texto na tela, escuta o áudio ambiente e fornece orientações passo a passo em respostas faladas. Outro exemplo é um assistente vestível que traduz cardápios ou placas em tempo real. Desenvolvedores também podem orientar o comportamento com instruções de sistema para definir tom, personalidade e limites de domínio, além de integrar sistemas de recuperação de informações, calculadoras ou ferramentas de terceiros para ampliar os recursos.

Sinais de adoção e contexto global

Os primeiros sinais de adesão indicam forte interesse da comunidade de desenvolvedores. Variantes do Qwen3-Omni chegaram ao topo das listas de modelos em alta em plataformas populares de IA, enquanto outros modelos Qwen também ocuparam várias posições de destaque. O aumento da popularidade evidencia uma mudança mais ampla em direção a sistemas abertos de equipes chinesas, que competem diretamente com empresas ocidentais já estabelecidas. No mercado, as ações da Alibaba em Hong Kong subiram pouco mais de 4% em um dia de grande repercussão para o lançamento.

A alternativa aberta deve pressionar os preços e as estratégias de produto dos sistemas fechados, especialmente em casos de uso intensivo de áudio e vídeo. Empresas que precisam testar ideias sem passar por longos processos de contratação podem agora executar um modelo omni-modal a baixo custo. Se o desempenho no mundo real corresponder ao dos benchmarks divulgados, o lançamento poderá acelerar a adoção de assistentes multimodais em centrais de atendimento, produção de mídia, educação, transcrição na área da saúde e manutenção industrial.

Em resumo

• O Qwen3-Omni é um modelo de código aberto que aceita texto, imagens, áudio e vídeo e responde em texto e fala, com otimização para uso em tempo real.
• O sistema usa a arquitetura Thinker e Talker com Mistura de Especialistas para oferecer velocidade e escala, além de um Audio Transformer personalizado e do conversor Code2Wav.
• As metas de latência são de cerca de 234 milissegundos para áudio e 547 milissegundos para vídeo, com streaming abaixo do fator de tempo real.
• O modelo oferece suporte a 119 idiomas em texto, 19 em entrada de fala e 10 em saída de fala, com janelas de contexto longas de até 65.536 tokens.
• Há três versões disponíveis: Instruct, para entrada e saída multimodais completas; Thinking, para raciocínio apenas em texto; e Captioner, para legendas detalhadas de áudio.
• É de código aberto sob a licença Apache 2.0 e oferece uma cota gratuita de um milhão de tokens para testes da API, além de cobrança por token no acesso hospedado.
• Os benchmarks divulgados pela empresa mostram resultados expressivos em fala, áudio, vídeo e texto, incluindo várias pontuações de ponta.
• As empresas ganham uma opção sem custo de licença para implantar, personalizar e executar IA multimodal sem dependência de fornecedores, desde que invistam em avaliação e segurança.
• A adoção pela comunidade é rápida, com modelos Qwen em alta nas plataformas para desenvolvedores e interesse crescente em sistemas chineses de IA de código aberto.