Alibaba lança o Qwen3 Omni, um modelo de IA multimodal de código aberto

Por que este lançamento é importante agora

A Alibaba lançou o Qwen3 Omni, um modelo de inteligência artificial multimodal que processa texto, imagens, áudio e vídeo em um único sistema, em um momento de intensificação da competição global em IA. O modelo pode ser baixado e usado sob a licença Apache 2.0, que concede às empresas amplos direitos para executar, modificar e distribuir a tecnologia em produtos comerciais. Essa combinação de ampla cobertura de modalidades e licenciamento permissivo pressiona diretamente os sistemas fechados dos líderes dos Estados Unidos.

O momento chama atenção. Empresas ocidentais continuam investindo grandes somas em IA proprietária e na infraestrutura que a sustenta, enquanto grupos de pesquisa chineses atraem desenvolvedores com modelos de acesso aberto. O Qwen3 Omni subiu rapidamente nos rankings da comunidade no Hugging Face, sinal de que desenvolvedores estão adotando o modelo em grande escala. Para a Alibaba, o lançamento indica que a maior provedora de serviços de nuvem da China pretende competir por cargas de trabalho globais de IA, e não apenas por influência na pesquisa.

A promessa do modelo é simples de descrever: um único modelo de base que recebe linguagem, imagens, áudio e vídeo e, em seguida, responde em texto ou fala natural, com transmissão em tempo real. Se o desempenho divulgado pela Alibaba se confirmar no uso cotidiano, empresas poderão implementar assistentes, serviços de transcrição e ferramentas de análise sem pagar taxas de uso a plataformas fechadas e sem combinar modelos separados para cada tipo de dado.

O que é o Qwen3 Omni e o que ele faz

O Qwen3 Omni é um modelo de base desenvolvido para interações multimodais nativas. Ele aceita quatro tipos de entrada — texto, imagem, áudio e vídeo — e produz dois tipos de saída: texto e fala. As respostas podem ser transmitidas quase em tempo real, para que o usuário converse com o sistema ou aponte uma câmera para uma cena e comece a ouvir uma resposta enquanto os quadros são processados.

A Alibaba está lançando três versões para que as equipes possam adequar os recursos aos casos de uso. Cada versão se baseia em uma estrutura de 30 bilhões de parâmetros, que ativa seletivamente especialistas durante a inferência para aumentar a eficiência. A linha inclui:

• Instruct, o modelo interativo completo, que processa entradas de áudio, vídeo e texto e gera texto e fala.
• Thinking, o modelo focado em raciocínio para respostas com cadeias de pensamento longas. Ele aceita as mesmas entradas, mas gera apenas texto.
• Captioner, uma variante ajustada para gerar descrições detalhadas de áudio, com o objetivo de minimizar alucinações ao descrever fontes sonoras e eventos.

Desenvolvedores podem baixar os pesos no GitHub e no Hugging Face, ou acessar um endpoint gerenciado pela API da Alibaba, que também oferece uma variante Flash mais rápida para usos sensíveis à latência.

Por dentro da arquitetura Thinker e Talker

O sistema segue uma arquitetura de dois componentes que a Alibaba chama de Thinker e Talker. O Thinker é responsável pelo raciocínio entre modalidades. Ele combina informações de texto, codificadores visuais e um codificador de áudio e, em seguida, planeja e produz tokens de texto que representam a resposta ou ação pretendida. O Talker converte esse plano em fala natural, mantendo o ritmo e a entonação alinhados ao contexto visual e de áudio.

Ambos os componentes usam uma abordagem de Mixture of Experts. Apenas um subconjunto dos parâmetros é ativado a cada etapa, distribuindo a carga de trabalho entre especialistas e aumentando a capacidade de processamento quando chegam muitas solicitações ao mesmo tempo. Esse projeto ajuda o modelo a manter baixa latência ao atender vários usuários simultaneamente.

O Talker não depende da representação interna de texto do Thinker. Ele pode se condicionar diretamente a recursos de áudio e visuais. Isso torna a fala mais natural durante traduções ou assistência ao vivo, pois o sistema pode preservar a prosódia e o timbre adequados à cena. Essa separação também traz vantagens operacionais. Módulos externos, como sistemas de recuperação de informações ou filtros de segurança, podem inspecionar e ajustar o texto proposto pelo Thinker antes que o Talker o converta em fala.

Para produzir fala rápida e clara, o Talker prevê uma sequência de múltiplos codebooks de forma autorregressiva e usa uma rede Code2Wav leve para sintetizar quadros de áudio em tempo real. Essa abordagem reduz o atraso sem sacrificar os detalhes da qualidade da voz.

Velocidade, escala e idiomas

A latência é importante em interações por voz e vídeo. O Qwen3 Omni informa uma latência do primeiro pacote de aproximadamente 234 milissegundos para áudio e cerca de 547 milissegundos para vídeo. A capacidade de resposta de ponta a ponta permanece dentro de um fator de tempo real mesmo ao atender várias solicitações, o que mantém a conversa fluida.

A cobertura de idiomas é ampla. O modelo oferece suporte a 119 idiomas em texto. Compreende entradas faladas em 19 idiomas e consegue falar em 10. A cobertura inclui os principais idiomas do mundo e dialetos como o cantonês. Isso dá às equipes de produto um caminho para criar assistentes para públicos globais sem trocar de modelo conforme a região.

As janelas de contexto foram projetadas para sessões longas. O modo Thinking oferece 65.536 tokens; o modo Non Thinking oferece 49.152 tokens. Os limites máximos de entrada e saída são de 16.384 tokens cada, e a cadeia de raciocínio mais longa compatível chega a 32.768 tokens. O modelo pode analisar e resumir clipes longos de áudio, de até cerca de 30 minutos.

Como a Alibaba treinou o modelo

A compreensão de áudio se baseia em um Transformer de áudio personalizado chamado AuT. A Alibaba treinou o AuT do zero com cerca de 20 milhões de horas de áudio rotulado. A maior parte desse conjunto se concentra no reconhecimento automático de fala em chinês e inglês, com uma parcela menor dedicada a outros idiomas e tarefas voltadas à compreensão de áudio mais ampla. O AuT tem cerca de 600 milhões de parâmetros e foi ajustado para uso tanto com cache em streaming quanto em tarefas offline.

O pré-treinamento ocorreu em três etapas. Na fase de alinhamento dos codificadores, a equipe treinou codificadores visuais e de áudio mantendo congelada a estrutura de linguagem, o que ajuda a preservar a qualidade da percepção. Em seguida, houve o treinamento geral com um conjunto de dados de cerca de dois trilhões de tokens, abrangendo texto, áudio e imagens, além de parcelas menores de vídeo e dados audiovisuais. Na última fase, dedicada a contextos longos, o comprimento das sequências foi ampliado de 8.192 para 32.768 tokens, e foram incluídos áudios e vídeos mais longos para garantir que o modelo consiga acompanhar sequências extensas.

O pós-treinamento acrescentou o seguimento de instruções e o alinhamento de segurança. Para o Thinker, a equipe aplicou ajuste fino supervisionado, destilação de modelos fortes para fracos e otimização GSPO, usando uma combinação de regras e feedback de LLM como juiz. O Talker passou por quatro etapas que combinaram centenas de milhões de amostras de fala multimodal com pré-treinamento contínuo em dados selecionados. O objetivo foi reduzir alucinações e, ao mesmo tempo, melhorar a clareza e a expressividade da fala.

Benchmarks, pontos fortes e limitações

Em 36 benchmarks públicos que abrangem texto, fala, visão e vídeo, a Alibaba informa que o Qwen3 Omni ocupa o primeiro lugar em 22 e lidera entre os modelos abertos em 32. Os resultados apontam para um desempenho forte em tarefas com grande uso de áudio e resultados competitivos em texto e visão.

Raciocínio e escrita: no AIME25, o modelo marca 65,0, uma ampla vantagem sobre o resultado de 26,7 do GPT-4o da geração de 2024. No ZebraLogic, alcança 76,0, à frente dos 57,9 do Gemini 2.5 Flash. No WritingBench, obtém 82,6, acima dos 75,5 do GPT-4o.

Fala e áudio: no conjunto Wenetspeech, as taxas de erro de palavras informadas são 4,69 e 5,89, muito abaixo dos 15,30 e 32,27 do GPT-4o. No LibriSpeech other, o erro cai para 2,48. O modelo também se destaca na classificação musical, com 93,0 no GTZAN e 52,0 no RUL MuchoMusic, ambos acima do GPT-4o.

Visão e vídeo: o resultado é 59,7 no HallusionBench, 57,0 no MMMU pro e 56,3 no MathVision full, todos acima dos resultados do GPT-4o no mesmo conjunto de avaliações. No teste de compreensão de vídeo MLVU, o Qwen3 Omni marca 75,2, à frente dos 71,0 do Gemini 2.0 Flash e dos 64,6 do GPT-4o.

São números expressivos, mas as equipes devem interpretá-los no contexto. A Alibaba ajustou o sistema para manter a qualidade de texto e visão, ao mesmo tempo que se destaca em fala e interação multimodal. Observadores iniciais apontam que um modelo apenas de texto da mesma família ainda pode liderar em algumas tarefas puramente linguísticas, uma compensação normal ao passar do treinamento em uma única modalidade para uma estrutura multimodal ampla. O verdadeiro teste será o desempenho cotidiano nos fluxos de trabalho em produção.

Licença aberta, acesso e preços

O Qwen3 Omni é lançado sob a licença Apache 2.0. Ela permite uso comercial, modificação e redistribuição, além de incluir uma concessão de patente. Empresas podem incorporar o modelo a produtos, implementá-lo em seu próprio hardware ou em nuvens confiáveis e lançar produtos fechados sem revelar alterações proprietárias. A licença elimina os obstáculos jurídicos mais comuns que impedem equipes de usar modelos avançados em ambientes regulamentados.

A família de modelos está disponível para download no GitHub e no Hugging Face. Equipes que preferem uma solução gerenciada podem usar a API da Alibaba, que também oferece uma opção Flash para respostas mais rápidas. A Alibaba oferece uma cota gratuita de um milhão de tokens em todas as modalidades por 90 dias após a ativação, para que as equipes avaliem os recursos antes de pagar.

Como funciona a cobrança por tokens

A cobrança é feita a cada mil tokens. Um token é uma pequena unidade de texto ou uma representação segmentada de outras mídias, e funciona como medida comum do custo computacional entre modalidades. A Alibaba informa os mesmos preços por token para os modos Thinking e Non Thinking, com uma exceção: a saída de áudio está disponível apenas no modo Non Thinking.

Custos de entrada: a entrada de texto custa 0,00025 dólar por mil tokens, cerca de 25 centavos de dólar por milhão de tokens. A entrada de áudio custa 0,00221 dólar por mil tokens, cerca de 2,21 dólares por milhão de tokens. A entrada de imagens e vídeos custa 0,00046 dólar por mil tokens, cerca de 46 centavos de dólar por milhão de tokens.

Custos de saída: a saída de texto custa 0,00096 dólar por mil tokens quando o prompt contém apenas texto. Se a entrada incluir imagem ou áudio, a saída de texto custa 0,00178 dólar por mil tokens. Quando se solicita a saída tanto em texto quanto em áudio, a parte de áudio custa 0,00876 dólar por mil tokens. Nesse caso, a parte de texto é gratuita.

Casos de uso prontos para hoje

Aplicações centradas em áudio e vídeo podem se beneficiar. Transcrição e tradução multilíngues para atendimento ao cliente e localização de mídia podem usar um único modelo que ouve, compreende o contexto e responde por voz. A variante Captioner se concentra na descrição de áudio, útil para marcação de mídia, monitoramento de transmissões e recuperação de informações musicais.

Tarefas visuais como reconhecimento óptico de caracteres, identificação da localização de objetos e respostas a perguntas sobre imagens ou vídeos também são adequadas. Um agente de suporte poderia acompanhar a transmissão ao vivo da câmera de um celular apontada para um notebook, descrever qual cabo deve ser verificado e narrar as etapas em velocidade natural. A Alibaba demonstrou a tradução em tempo real de um cardápio de restaurante por meio de um dispositivo vestível. Esses cenários mostram por que a latência de transmissão e a qualidade da fala são importantes.

O Qwen3 Omni também oferece suporte a diálogos audiovisuais. Ele pode conduzir uma conversa que faça referência tanto ao que ouve quanto ao que vê, acompanhar o contexto ao longo de uma sessão extensa e apresentar conhecimento externo relevante quando conectado a ferramentas. Desenvolvedores podem definir o tom e o comportamento com prompts de sistema, criar assistentes especializados em determinados setores e encaminhar as saídas do Thinker por filtros de segurança personalizados antes da geração de qualquer fala.

Como se compara ao GPT-4o, Gemini 2.5 e Gemma 3n

O Qwen3 Omni se junta a uma categoria de modelos omni que buscam processar muitos tipos de dados em um único mecanismo. O GPT-4o, da OpenAI, aceita entradas de texto, imagem e áudio e é oferecido como um serviço fechado. O Gemini 2.5 Pro, do Google, também analisa vídeos e é fechado. O Gemma 3n, também do Google, tem licença aberta e aceita texto, imagem, áudio e vídeo como entradas, mas gera apenas texto. O modelo da Alibaba aceita as mesmas quatro entradas e acrescenta saída de fala, algo importante para assistentes e tradução ao vivo.

A abertura faz diferença na prática. Os pesos do Qwen3 Omni estão disponíveis sob a licença Apache 2.0, permitindo que empresas executem o modelo localmente, o adaptem às regulamentações do setor e controlem os fluxos de dados. Modelos fechados ainda dominam algumas tarefas de ponta, mas as condições de licenciamento e residência de dados podem limitar sua implementação em setores sensíveis. Muitas organizações optarão por uma estrutura híbrida, combinando modelos abertos para reduzir custos e manter o controle com serviços pagos quando for difícil superar seu desempenho.

Outra diferença está na estratégia de produção. A Alibaba construiu uma ampla família Qwen, com centenas de variantes, e informa que ela é amplamente adotada por desenvolvedores. Se a interação por fala e vídeo ao vivo do Qwen3 Omni acompanhar os benchmarks no uso diário, ele oferece às equipes uma alternativa confiável quando precisam de um assistente multilíngue, de baixa latência e que possam hospedar por conta própria.

Adoção e sinais do mercado

O engajamento de desenvolvedores é visível. O Qwen3 Omni chegou ao topo das listas de tendências do Hugging Face, e outros modelos da Alibaba agora ocupam várias das primeiras posições. Esse impulso reflete uma mudança mais ampla, na qual modelos abertos de laboratórios chineses ganham espaço na comunidade global.

A Alibaba Cloud afirma que a família Qwen foi baixada mais de 400 milhões de vezes no mundo todo e que a empresa lançou mais de 300 modelos desde o início da linha. A reação dos investidores tem sido favorável. As ações da Alibaba em Hong Kong subiram pouco mais de 4% no dia em que o Qwen3 Omni chegou ao topo dos rankings da comunidade, sinal de que o mercado acompanha o avanço da empresa em IA.

Também há debate sobre o significado de “aberto”. Os modelos são distribuídos sob a licença Apache 2.0 e seus pesos estão disponíveis, mas a receita completa para reproduzir o treinamento a partir de dados brutos não é pública. Puristas chamariam isso de pesos abertos. Para a maioria das empresas, o que importa são os termos da licença, que permitem lançar produtos sem pagar taxas por usuário ou por licença individual.

O que observar em segurança e governança

Empresas vão querer saber se os ganhos informados nos benchmarks se traduzem em um comportamento previsível e seguro sob carga. Sistemas de fala trazem riscos específicos, desde comandos mal interpretados até a síntese de voz convincente. As equipes devem estabelecer medidas de proteção para verificação de identidade, filtragem de conteúdo e retenção de dados. A separação entre Thinker e Talker ajuda a implementar esses controles, pois uma camada de segurança pode interceptar o texto antes da geração de fala.

A prontidão operacional também será analisada. Organizações que adotam modelos abertos em grande escala costumam investir em MLOps, pipelines de ajuste fino e avaliação. O Qwen3 Omni reduz a necessidade de administrar vários modelos ao lidar com texto, áudio, imagem e vídeo em um só lugar. Isso pode simplificar a infraestrutura e acelerar os ciclos de desenvolvimento de produtos, especialmente em implantações locais ou em nuvens soberanas que precisam cumprir regras regionais.

A Alibaba delineou próximos passos, incluindo melhor reconhecimento de vários falantes, reconhecimento de texto em vídeo, aprendizado mais robusto com a combinação de áudio e vídeo e agentes autônomos mais capazes. Essas metas correspondem às áreas em que os clientes devem testar primeiro o modelo ao levar projetos-piloto para produção.

Principais pontos

• O Qwen3 Omni é um único modelo que aceita texto, imagem, áudio e vídeo e gera texto e fala com transmissão em tempo real.
• A Alibaba lança os pesos sob a licença Apache 2.0, que permite uso comercial, modificação e redistribuição, além de incluir uma concessão de patente.
• Três variantes estão sendo lançadas: Instruct, para interação completa; Thinking, para raciocínio longo com saída em texto; e Captioner, para descrição de áudio com menos alucinações.
• Thinker e Talker separam o raciocínio da geração de fala e usam Mixture of Experts para manter a latência baixa sob carga simultânea.
• A latência informada do primeiro pacote é de cerca de 234 milissegundos para áudio e 547 milissegundos para vídeo, dentro de um fator de tempo real.
• O modelo oferece suporte a 119 idiomas em texto, compreende fala em 19 e consegue falar em 10, incluindo dialetos como o cantonês.
• O AuT, um codificador de áudio de 600 milhões de parâmetros treinado com cerca de 20 milhões de horas de áudio, é a base da compreensão de fala.
• Os benchmarks mostram liderança em 22 dos 36 testes e liderança entre modelos abertos em 32, com resultados fortes em fala, música, visão e vídeo.
• Os preços da API começam em 0,00025 dólar por mil tokens de entrada de texto e 0,00096 dólar por mil tokens de saída de texto, com um teste gratuito de 1 milhão de tokens por 90 dias.
• A adoção no Hugging Face é rápida, e a Alibaba informa centenas de milhões de downloads do Qwen enquanto empresas avaliam modelos abertos para uso em produção.