Alibaba apresenta o modelo multimodal de IA de código aberto Qwen3 Omni

Um novo concorrente de código aberto em IA multimodal

A Alibaba apresentou o Qwen3 Omni, um amplo modelo multimodal capaz de ler textos, analisar imagens, ouvir áudios e assistir a vídeos. Ele responde por escrito e com fala natural. A empresa o descreve como um modelo omni nativo de ponta a ponta. Isso significa que ele foi projetado desde o início para lidar com todos esses tipos de entrada em conjunto, em vez de tratar fala ou visão como recursos adicionais. O lançamento ocorre enquanto muitas organizações avaliam os custos e as concessões de controle entre modelos de código aberto e sistemas proprietários, como GPT 4o e Gemini 2.5 Pro. A principal diferença está no acesso. O Qwen3 Omni é lançado sob a licença Apache 2.0, um modelo permissivo que permite uso comercial gratuito, modificação e redistribuição. Isso reduz as barreiras para equipes que querem hospedar o modelo por conta própria ou lançar produtos sem tarifas por usuário ou dependência de fornecedor.

O Qwen3 Omni também vai além da tríade habitual de texto, imagem e áudio. Ele também pode analisar vídeos, recurso até então limitado principalmente a plataformas fechadas. O modelo oferece suporte a 119 idiomas para texto, 19 para entrada de fala e 10 para saída de fala, incluindo idiomas importantes e alguns dialetos, como o cantonês. Os materiais iniciais destacam uma resposta em streaming que soa mais conversacional do que orientada a lotes, com o primeiro pacote de áudio em cerca de um quarto de segundo e o de vídeo em aproximadamente meio segundo. Esse é um patamar importante para assistentes que interrompem, esclarecem e transferem tarefas rapidamente em situações de tempo real, como chamadas de suporte ou guias para dispositivos móveis.

O lançamento inclui três variantes ajustadas para diferentes tarefas. A Instruct é o modelo conversacional completo; a Thinking se concentra em raciocínio complexo e longas cadeias de pensamento, com respostas em texto; e a Captioner é especializada em legendagem de áudio, situação em que baixas taxas de alucinação são importantes. Desenvolvedores podem acessar os pesos em plataformas populares de modelos, usar uma API com uma opção Flash mais rápida ou fazer ajuste fino para controlar o domínio e o estilo. Os benchmarks divulgados pela empresa apontam resultados expressivos em tarefas de fala, áudio e vídeo, mantendo o desempenho em texto e visão competitivo com o de sistemas líderes.

O que diferencia o Qwen3 Omni

Algumas escolhas técnicas diferenciam o Qwen3 Omni. Primeiro, seu processo de treinamento combina dados unimodais e intermodais desde o início e continua ampliando a escala durante o pré-treinamento e o pós-treinamento. Segundo, o modelo usa uma arquitetura de Mistura de Especialistas, que ativa um pequeno subconjunto de parâmetros para cada token. Isso pode aumentar a capacidade de processamento e reduzir os custos de inferência, algo importante para aplicações em tempo real e implantações com restrições de hardware. Terceiro, o sistema separa raciocínio e fala em dois componentes coordenados, chamados Thinker e Talker. O Thinker realiza o trabalho pesado de compreensão e raciocínio multimodal. O Talker converte representações de alto nível em fala, preservando o ritmo e a personalidade.

Três variantes para necessidades distintas

A Alibaba Cloud lançou três opções da família Qwen3 Omni 30B A3B para que as equipes escolham a mais adequada:

• Instruct, que combina Thinker e Talker para receber texto, imagens, áudio e vídeo e produzir respostas em texto e fala.
• Thinking, que se concentra em raciocínio profundo e longas cadeias de pensamento, aceita as mesmas entradas multimodais e produz apenas texto.
• Captioner, voltada à legendagem e à descrição de áudio com baixa incidência de alucinações, útil para análise de mídia, acessibilidade e moderação de conteúdo.

A API também oferece uma variante Flash, voltada a menor latência e maior concorrência. Isso pode fazer diferença na criação de um assistente para central de atendimento ou de um guia de compras que precise lidar com picos de tráfego sem atrasar as respostas.

Por dentro da arquitetura Thinker e Talker

O Qwen3 Omni divide as responsabilidades para manter a fala natural sem limitar a flexibilidade do raciocínio. O Thinker é o núcleo do modelo multimodal. Ele alinha e combina recursos de texto, imagem, áudio e vídeo e, em seguida, produz representações no nível dos tokens que orientam a resposta. O Talker é um gerador de fala dedicado. Em vez de consumir a saída do Thinker como texto, ele se condiciona diretamente aos recursos de áudio e visuais. Esse projeto ajuda o Talker a alinhar prosódia e timbre com o que vê e ouve, aprimorando aspectos da tradução e da interpretação vocal, como ritmo, ênfase e tom emocional.

Para reduzir a latência da fala, o Talker usa um esquema autorregressivo de múltiplos codebooks, que prevê tokens acústicos discretos. Em seguida, uma rede convolucional leve chamada Code2Wav transforma esses tokens em formas de onda. Como o Talker é desacoplado do texto do Thinker, módulos externos podem influenciar ou filtrar as saídas do Thinker antes da síntese de fala. Isso torna os fluxos de trabalho de segurança mais práticos, pois verificações de políticas e etapas de recuperação de informações podem ocorrer entre o raciocínio e a fala. O desempenho em streaming é fundamental. Segundo os números da empresa, o primeiro pacote de áudio chega em cerca de 234 milissegundos e o primeiro pacote de vídeo, em cerca de 547 milissegundos. O sistema permanece abaixo de um fator de tempo real, ou seja, pode gerar áudio mais rápido do que a duração da reprodução, mesmo ao processar várias solicitações.

A arquitetura usa Mistura de Especialistas tanto no Thinker quanto no Talker. Nesse modelo, há várias pequenas redes especialistas e uma rede de seleção direciona cada token para algumas delas. Apenas uma pequena parcela dos parâmetros é executada por token, o que permite alta concorrência e ajuda a manter a inferência ágil. Para desenvolvedores, isso pode ser a diferença entre um assistente que interrompe e interage e um bot que espera a vez de falar.

Como foi desenvolvido e o que oferece

O desempenho em áudio começa pelo codificador. O Qwen3 Omni apresenta um Transformer de Áudio, desenvolvido do zero e treinado com cerca de 20 milhões de horas de dados supervisionados. A combinação de dados é composta principalmente por dados de reconhecimento automático de fala em chinês e inglês, além de dados de outros idiomas e tarefas voltadas à compreensão de áudio. O codificador tem cerca de 600 milhões de parâmetros, oferece suporte a caches de streaming para baixa latência e pode operar offline em tarefas de análise, como gravações longas. Esse codificador alimenta o núcleo multimodal por meio de etapas de alinhamento, permitindo que o modelo raciocine entre diferentes formatos.

O pré-treinamento foi realizado em três etapas. No alinhamento dos codificadores, os codificadores de visão e áudio foram treinados e alinhados enquanto o modelo de linguagem permaneceu congelado. No treinamento geral, a equipe ampliou a escala para cerca de 2 trilhões de tokens, incluindo texto, áudio, imagens e alguns pares de vídeo e áudio e vídeo. No treinamento de contexto longo, o comprimento máximo de tokens passou de 8.192 para 32.768, com a inclusão de mais sequências longas de áudio e vídeo. O pós-treinamento incluiu ajuste fino supervisionado, destilação de modelos professores mais fortes e otimização de políticas com base em regras e avaliações de modelos para o Thinker. O Talker passou por um processo em quatro etapas, com centenas de milhões de amostras multimodais de fala combinadas a pré-treinamento contínuo, para reduzir alucinações e melhorar a qualidade da voz.

Para uma família de modelos com 30 bilhões de parâmetros, os recursos e limites são amplos. O Qwen3 Omni oferece suporte a 119 idiomas em texto, 19 para entrada de fala e 10 para saída de fala. O modo Thinking permite uma janela de contexto de 65.536 tokens; o modo Non Thinking oferece suporte a 49.152 tokens; e o modelo aceita até 16.384 tokens de entrada e 16.384 tokens de saída. A cadeia de pensamento mais longa pode chegar a 32.768 tokens. Essa escala ajuda a processar transcrições complexas, reuniões longas ou bases de código e documentos que excederiam os limites de outros modelos sem divisão em partes.

Benchmarks, pontos fortes e como interpretar os resultados

Em um amplo conjunto de 36 benchmarks, a Alibaba informa que o Qwen3 Omni alcança a maior pontuação em 22 deles e lidera entre os modelos de código aberto em 32. Os resultados em texto e raciocínio incluem 65,0 no AIME25, bem acima dos 26,7 divulgados para o GPT 4o, e 76,0 no ZebraLogic, superando os 57,9 publicados para o Gemini 2.5 Flash. No WritingBench, o modelo marca 82,6, ante 75,5 do GPT 4o. Em fala e áudio, as taxas de erro de palavras no Wenetspeech são de 4,69 e 5,89 em duas divisões de teste comuns, muito melhores que os 15,30 e 32,27 registrados para o GPT 4o. No Librispeech other, a taxa de erro de palavras cai para 2,48, uma pontuação baixa entre modelos comparáveis.

Os resultados em imagem e visão incluem 59,7 no HallusionBench, 57,0 no MMMU pro e 56,3 no MathVision full, todos acima dos números do GPT 4o no relatório da empresa. Em compreensão de vídeo, o modelo chega a 75,2 no MLVU, superando os resultados atribuídos ao Gemini 2.0 Flash, com 71,0, e ao GPT 4o, com 64,6. Também há avanços em tarefas musicais, com 93,0 no GTZAN e 52,0 no RUL MuchoMusic. O conjunto desses números é coerente com o foco do projeto: o Qwen3 Omni estabelece um patamar alto para a compreensão de áudio e de conteúdo audiovisual, mantendo habilidades sólidas em texto e imagem.

Os benchmarks são úteis, mas continuam sendo testes controlados. Conjuntos de dados e métodos de pontuação podem favorecer determinadas combinações de treinamento. Em implantações reais, surgem desafios como microfones com ruído, sotaques, câmeras de celular em condições difíceis e mudanças rápidas de contexto. Modelos multimodais também enfrentam uma concessão comum: treinar para abranger várias modalidades pode reduzir ligeiramente o desempenho apenas em texto, em comparação com modelos maiores priorizados para texto. As equipes devem realizar projetos-piloto direcionados com seus próprios dados e, se necessário, optar por uma estratégia com vários modelos. Muitas empresas combinam um modelo multimodal menor, que ouve e observa, com um modelo de texto maior, que redige relatórios ou e-mails. A licença Apache aberta facilita esse tipo de integração sem entraves de contratação.

Comparação com GPT 4o, Gemini 2.5 Pro e Gemma 3n

A OpenAI estabeleceu expectativas com o GPT 4o, que unificou texto, imagem e áudio com forte integração e fala natural. O Qwen3 Omni acrescenta a análise de vídeo à lista de entradas. O Google oferece análise de vídeo no Gemini 2.5 Pro, mas o modelo continua proprietário. A empresa também oferece o Gemma 3n como modelo aberto, que aceita entradas de texto, imagem, áudio e vídeo, mas produz apenas texto. O Qwen3 Omni gera texto e fala, o que amplia as possibilidades de uso interativo, como tradução ao vivo ou transferência de tarefas em centrais de atendimento.

Outro diferencial é o licenciamento. O Qwen3 Omni é publicado sob a licença Apache 2.0, com uma licença de patentes que permite às empresas usar, modificar e lançar produtos sem obrigá-las a divulgar o código-fonte ou pagar tarifas de execução. Modelos fechados exigem acesso pago e restringem o uso à plataforma de um provedor. Há uma ressalva comum nos lançamentos de modelos abertos atuais: os pesos e o código de uso são abertos, mas a receita completa para reconstruir o modelo do zero, incluindo os dados de treinamento selecionados, geralmente não é pública. Para muitos adotantes, o objetivo principal é poder executar o modelo, fazer ajustes finos e integrá-lo à produção, e isso é permitido neste caso.

A latência é competitiva. A Alibaba informa que o primeiro pacote de áudio chega em cerca de 234 milissegundos e o de vídeo, em cerca de 547 milissegundos. Isso coloca o modelo na mesma categoria dos melhores sistemas conversacionais. As empresas devem avaliar objetivos de nível de serviço além do tempo até o primeiro pacote, incluindo o tempo para estabilizar o conteúdo e o tempo total de resposta para respostas longas. O Qwen3 Omni também oferece uma variante Flash da API para respostas ainda mais rápidas, semelhante às opções voltadas à velocidade de outros ecossistemas.

Acesso, preços e cota gratuita

Desenvolvedores podem testar o Qwen3 Omni de várias maneiras. Os pesos estão disponíveis nas principais plataformas de modelos. A API oferece acesso sob demanda, com uma cota gratuita de um milhão de tokens entre as modalidades durante 90 dias após a ativação. Os preços são cobrados por mil tokens. A entrada de texto custa 0,00025 dólar. A entrada de áudio custa 0,00221 dólar. A entrada de imagem e vídeo custa 0,00046 dólar. A saída de texto custa 0,00096 dólar por mil tokens quando as entradas são apenas de texto, ou 0,00178 dólar quando incluem imagem ou áudio. Se você solicitar saída em texto e áudio, a parte de áudio custa 0,00876 dólar por mil tokens e a parte de texto é gratuita.

Esses valores são baixos em comparação com muitas ofertas fechadas, o que permite fazer testes sem contas elevadas. Segundo a empresa, os preços são iguais nos modos Thinking e Non Thinking. A saída de áudio está limitada ao modo Non Thinking. A plataforma também apresenta limites de contexto e opções de modelos no Model Studio, onde as empresas podem selecionar modelos por velocidade, qualidade e custo. Os detalhes oficiais estão disponíveis nas páginas do Alibaba Cloud Model Studio neste link.

Casos de uso, do suporte ao cliente às ferramentas de mídia

O Qwen3 Omni foi desenvolvido para tarefas em que ver, ouvir e falar fazem diferença. Alguns exemplos mostram a variedade de usos:

• Suporte técnico ao vivo. Um assistente pode acompanhar a transmissão da câmera de um celular enquanto ouve o cliente e, em seguida, oferecer orientações passo a passo com voz natural.
• Transcrição e tradução multilíngues. O modelo transcreve reuniões, chamadas ou aulas em vários idiomas e, depois, produz um resumo em inglês ou responde em outro idioma por voz.
• Legendagem de áudio e identificação de músicas. A variante Captioner gera descrições de áudio com baixa incidência de alucinações, incluindo sons ambientes e características musicais, úteis para buscas e gestão de direitos.
• Compreensão de vídeo. O modelo pode responder a perguntas sobre o que aconteceu em um clipe, acompanhar eventos e resumir cenas.
• OCR e processamento de documentos. A combinação de visão e linguagem ajuda a extrair campos de formulários ou recibos e depois validá-los no contexto.
• Assistentes para consumidores. Dispositivos vestíveis ou celulares podem usar o modelo para traduzir cardápios, identificar pontos de referência e oferecer recursos de acessibilidade, como descrever o ambiente ao redor.

Desenvolvedores podem ajustar o estilo de conversa e a personalidade por meio de prompts de sistema. O uso de ferramentas também é compatível, permitindo que o modelo acione serviços externos para buscar informações, fazer cálculos ou consultar bancos de dados. Isso possibilita padrões de agente nos quais o modelo planeja, aciona ferramentas e responde por voz.

Licenciamento e impacto para empresas

A licença Apache 2.0 é uma parte importante do lançamento. Ela permite uso comercial, modificação e redistribuição, além de incluir uma licença de patentes que reduz o risco jurídico ao integrar o modelo a sistemas proprietários. Empresas podem incorporar o Qwen3 Omni a produtos ou fluxos de trabalho internos sem pagar tarifas ao fornecedor e sem precisar abrir o código de suas alterações. Isso é atraente para setores regulados que exigem controle sobre o encaminhamento e o registro de dados. Os pesos abertos também permitem a implantação local ou a hospedagem em uma nuvem confiável.

O lançamento aberto não resolve automaticamente todos os problemas. Os dados de treinamento e o código completo do treinamento geralmente não são incluídos, o que impede a comunidade de reproduzir todo o processo de desenvolvimento. Para muitas empresas, isso é aceitável, pois o foco está em executar e personalizar o modelo e cumprir metas de nível de serviço. O lançamento reforça o argumento a favor de arquiteturas com vários modelos. As equipes podem combinar um modelo multimodal aberto e rápido com um modelo proprietário maior quando fizer sentido, ou manter tudo aberto para evitar restrições de plataforma. De qualquer forma, a disponibilidade de um modelo capaz de compreender vídeo e gerar fala sob uma licença permissiva amplia o que pode ser desenvolvido sem longas negociações.

Riscos, medidas de proteção e próximos pontos de avaliação

Modelos multimodais levantam questões de segurança que vão além do texto. Entradas de áudio e vídeo podem conter informações sensíveis. A fala gerada pode induzir ao erro se não estiver fundamentada ou for filtrada. A Alibaba descreve uma etapa de controle em que módulos externos podem interceptar as saídas do Thinker antes de o Talker gerar a fala. Esse projeto permite verificações de políticas, recuperação de informações ou filtros de red team. Ainda assim, as empresas devem validar a segurança do conteúdo em seus próprios ambientes e regiões, incluindo defesas contra injeção de prompt, controles de privacidade e consentimento para gravação ou análise.

As alegações de desempenho devem ser testadas com dados reais. Sotaques, jargão especializado e ruído de fundo podem prejudicar a qualidade do reconhecimento automático de fala. Pouca iluminação ou desfoque de movimento podem afetar a compreensão visual. O uso de ferramentas e a orquestração de agentes introduzem novas possibilidades de falha, como chamadas incorretas de ferramentas ou ciclos repetitivos. São necessárias políticas de governança para registro de atividades, revisão humana e reversão de mudanças. Por fim, a infraestrutura importa. Executar fala em tempo real em grande escala exige planejamento cuidadoso de capacidade de processamento, memória de GPU e redução de carga. A Mistura de Especialistas ajuda na eficiência, mas as equipes precisam dimensionar os clusters e caches para picos e contextos longos.

Principais pontos

• A Alibaba lançou o Qwen3 Omni como modelo aberto sob a licença Apache 2.0, com saídas em texto e fala e entradas de texto, imagens, áudio e vídeo.
• O sistema usa a arquitetura Thinker e Talker com Mistura de Especialistas para permitir concorrência e fala em streaming com baixa latência.
• As latências informadas até o primeiro pacote são de cerca de 234 milissegundos para áudio e 547 milissegundos para vídeo, abaixo de um fator de tempo real.
• Há três variantes: Instruct, para interação completa; Thinking, para raciocínio profundo com respostas em texto; e Captioner, para legendagem de áudio.
• O treinamento inclui um Transformer de Áudio personalizado, treinado com cerca de 20 milhões de horas, e um corpus multimodal de aproximadamente 2 trilhões de tokens.
• Segundo os benchmarks divulgados pela empresa, o Qwen3 Omni lidera em muitos testes de áudio, vídeo e raciocínio, mantendo a competitividade em texto e visão.
• Os preços por mil tokens são baixos, há uma cota gratuita de um milhão de tokens por 90 dias via API e os pesos estão disponíveis para hospedagem própria.
• A licença Apache 2.0 permite uso comercial, modificação e redistribuição, além de conceder direitos de patentes e reduzir a dependência de fornecedores.
• As empresas devem testar segurança, latência e precisão com dados reais e planejar a governança e a infraestrutura necessárias para cargas de trabalho em tempo real.