Alibaba apresenta o Qwen3-Omni, modelo de IA multimodal de código aberto

Um concorrente multimodal nativo de código aberto

A Alibaba apresentou o Qwen3-Omni, um modelo de inteligência artificial multimodal nativo que recebe textos, imagens, áudio e vídeo como entrada e responde com texto ou fala sintetizada. O modelo está disponível como código aberto sob a licença Apache 2.0, que permite uso comercial, modificação e redistribuição, além de conceder uma licença de patente. Essa combinação de recursos amplos e licenciamento permissivo coloca o Qwen3-Omni em concorrência direta com os principais sistemas fechados dos Estados Unidos, ao mesmo tempo que reduz as barreiras para startups, pesquisadores e grandes empresas adotarem a tecnologia.

O Qwen3-Omni acompanha a mudança do setor em direção aos modelos omni, uma classe de sistemas projetados para compreender e atuar em diferentes modalidades em tempo real. Ao contrário de soluções que acrescentam recursos de fala ou visão a um modelo de texto, a Alibaba afirma que o Qwen3-Omni foi desenvolvido como um sistema multimodal de ponta a ponta. Ele processa áudio e vídeo diretamente durante o raciocínio e gera fala por meio de um módulo dedicado, podendo manter o ritmo, o tom e o contexto da conversa sem precisar esperar que arquivos inteiros terminem de ser processados.

O primeiro lançamento é centrado em uma família de 30 bilhões de parâmetros que usa uma arquitetura de Mistura de Especialistas (MoE) para manter a inferência rápida e escalável. A Alibaba informa latências até o primeiro pacote de 234 milissegundos para áudio e 547 milissegundos para vídeo, com fator de tempo real (RTF) inferior a um mesmo sob concorrência. O sistema oferece suporte a 119 idiomas em texto, 19 idiomas para entrada de fala e 10 idiomas para saída de fala, abrindo caminho para assistentes multilíngues, centrais de atendimento e tradução ao vivo.

O lançamento ocorre enquanto a Alibaba posiciona seu negócio de nuvem como fornecedora de IA de ponta a ponta e os modelos abertos chineses ganham força em plataformas para desenvolvedores. Em poucos dias, variantes do Qwen3-Omni chegaram ao topo das listas de tendências do Hugging Face, refletindo o forte interesse da comunidade global. A empresa também está distribuindo uma versão de API mais rápida e disponibilizando os pesos para download direto e implantação local.

O que diferencia o Qwen3-Omni

O Qwen3-Omni foi projetado para raciocinar e falar em paralelo. O componente Thinker cuida do raciocínio multimodal. O componente Talker transforma a saída do Thinker em fala natural, condicionada diretamente por recursos de áudio e imagem. Essa divisão permite que desenvolvedores insiram recuperação de informações, verificações de segurança ou lógica de negócios na etapa do Thinker antes que qualquer palavra seja pronunciada, algo útil em fluxos de trabalho regulamentados.

Thinker e Talker

O Thinker é um grande modelo de linguagem treinado com cerca de 2 trilhões de tokens de texto, fala, imagens e vídeo. Ele usa roteamento de Mistura de Especialistas, de modo que apenas um pequeno subconjunto de parâmetros é ativado para cada token. Isso reduz o custo computacional e aumenta a capacidade de processamento. O Talker é um gerador de fala leve que usa um esquema autorregressivo de múltiplos codebooks para preservar o timbre e a prosódia, além de uma rede compacta Code2Wav para gerar áudio rapidamente.

Transmissão em tempo real e armazenamento em cache

A latência é importante em uma conversa. A Alibaba informa que a transmissão pode fornecer o primeiro token audível em cerca de um quarto de segundo para áudio e meio segundo para contextos de vídeo. A pilha de áudio inclui um novo codificador Audio Transformer, treinado com 20 milhões de horas de áudio supervisionado, composto sobretudo por dados de reconhecimento automático de fala (ASR) em chinês e inglês, com cobertura global de outros idiomas. O codificador oferece suporte tanto ao armazenamento em cache durante chamadas ao vivo quanto à codificação offline para tarefas em lote.

Idiomas e contexto longo

Os desenvolvedores podem enviar prompts e transcrições longos. O Modo de Raciocínio oferece contexto de até 65.536 tokens, com cadeias de raciocínio de até 32.768 tokens. O Modo Sem Raciocínio oferece até 49.152 tokens de contexto. O modelo aceita até 16.384 tokens de entrada e pode gerar até 16.384 tokens de saída em texto. Hoje, o sistema de fala abrange 10 idiomas de saída, uma faixa prática para projetos-piloto globais em suporte ao cliente e serviços em campo.

Modelos, modos e preços

A Alibaba está lançando três variantes da família de 30 bilhões de parâmetros para que as equipes possam ajustá-las a diferentes necessidades. O modelo Instruct combina toda a estrutura Thinker e Talker para receber entradas de áudio, vídeo e texto e produzir texto e fala. O modelo Thinking é voltado ao raciocínio complexo e a cadeias longas de pensamento. Ele usa as mesmas modalidades de entrada, mas gera apenas texto, o que o torna adequado para pesquisa, análise e registros corporativos em conformidade com normas. O modelo Captioner é uma versão especializada, ajustada para criar legendas de áudio. Seu objetivo é produzir descrições precisas de música, fala e áudio misto, com baixas taxas de alucinação.

O Qwen3-Omni está disponível para download em plataformas de modelos, no GitHub, com código e pesos, e como API pela Alibaba Cloud, incluindo uma opção Flash mais rápida para serviços interativos. Novos usuários recebem uma cota gratuita de um milhão de tokens, válida por 90 dias após a ativação. No uso pago, a cobrança é feita por mil tokens. A entrada de texto custa 0,00025 dólar, a entrada de imagem ou vídeo custa 0,00046 dólar e a entrada de áudio custa 0,00221 dólar. Para a saída, o texto custa 0,00096 dólar quando a entrada contém apenas texto e sobe para 0,00178 dólar quando ela inclui imagens ou áudio. Quando os desenvolvedores solicitam saídas de texto e áudio, a parte de áudio custa 0,00876 dólar por mil tokens, e a parte de texto é gratuita.

A saída de áudio está disponível apenas no Modo Sem Raciocínio pela API. Essa escolha simplifica o agendamento da fala transmitida e evita conflitos com raciocínios estruturados de longa duração. As equipes que precisam de cadeias de pensamento detalhadas ainda podem usar o modelo Thinking para planejar ou recuperar informações e, em seguida, encaminhar a resposta final a um renderizador de áudio ou ao modelo Instruct para gerar fala.

Benchmarks e como interpretá-los

A Alibaba informa resultados expressivos em 36 testes públicos, com pontuações de ponta em 22 deles e liderança entre os modelos abertos em 32. Os números apontam para um sistema equilibrado, que mantém a qualidade em texto e visão enquanto avança em fala. Entre os destaques estão tarefas de raciocínio nas quais o Qwen3-Omni alcança 65,0 no AIME25 e 76,0 no ZebraLogic. No WritingBench, obtém 82,6. Em transcrição de áudio, o modelo registra taxas de erro de palavras de 4,69 e 5,89 no Wenetspeech, além de 2,48 no Librispeech other, um resultado muito baixo para esse conjunto de dados. As pontuações em identificação e classificação musical, como 93,0 no GTZAN e 52,0 no RUL-MuchoMusic, indicam boa capacidade para reconhecer gêneros e características de áudio.

Os benchmarks de visão e matemática também mostram bons resultados. O modelo obtém 59,7 no HallusionBench, 57,0 no MMMU_pro e 56,3 no MathVision_full. Em compreensão de vídeo, o Qwen3-Omni registra 75,2 no MLVU. Segundo os números divulgados pela Alibaba, esses resultados o colocam à frente de muitos modelos fechados nesses testes específicos, incluindo o GPT 4o e o Gemini 2.0 Flash.

Os benchmarks não abrangem todas as situações enfrentadas pelos usuários. Conversas reais podem ter mais ruído, sotaques variam, a iluminação muda e tarefas de negócios costumam encadear várias ferramentas. As primeiras avaliações independentes apontam que modelos menores às vezes têm dificuldades fora de testes controlados, mesmo quando se destacam nas classificações. Os desenvolvedores devem fazer provas de conceito com seus próprios dados, especialmente para casos atípicos, como jargão especializado, diagramas técnicos ou falas sobrepostas.

Comparação com GPT 4o, Gemini e Gemma

O Qwen3-Omni entra em um mercado competitivo que inclui o GPT 4o, da OpenAI, e o Gemini 2.5, do Google. Esses sistemas são fortes e já estão integrados a grandes plataformas. São de código fechado. Os usuários pagam por chamada e não podem modificar legalmente os modelos-base nem redistribuí-los. O Qwen3-Omni é lançado sob a licença Apache 2.0, permissiva e que permite uso comercial, alterações no código e nos pesos e redistribuição. Ela também inclui uma licença de patente. Essa combinação reduz os riscos jurídicos para empresas que precisam incorporar IA diretamente a seus produtos ou à própria infraestrutura privada.

Em termos funcionais, o Qwen3-Omni aceita texto, imagens, áudio e vídeo e pode responder com texto ou fala. O GPT 4o aceita texto, imagens e áudio como entrada e responde com texto e fala, mas não recebe clipes de vídeo como entrada em sua configuração principal. O Gemini 2.5 Pro pode analisar vídeos e oferece respostas em texto e fala por meio dos serviços do Google. A Alibaba posiciona o Qwen3-Omni como um sistema multimodal nativo, no qual fala e visão são recursos centrais, em vez de adaptadores adicionados a uma base de texto.

O Google também oferece o Gemma 3n como código aberto sob a licença Apache 2.0. O Gemma 3n aceita vídeo, áudio, texto e imagens, mas gera apenas texto. Para equipes que desejam uma pilha totalmente aberta com saída de fala ao vivo, o Qwen3-Omni pode ser a única opção disponível atualmente com licença permissiva e geração de fala pronta para uso.

Por que a licença Apache 2.0 importa para quem adota o modelo

O licenciamento determina onde um modelo pode ser executado e como pode ser transformado em produto. A Apache 2.0 permite o ajuste fino e a redistribuição fechada sem exigir a divulgação de modelos derivados. Ela inclui uma licença de patente e uma licença de contribuição. Para setores regulamentados que examinam direitos de propriedade intelectual, esses termos reduzem os riscos de integração. As empresas podem implantar o Qwen3-Omni em seus próprios servidores, em uma nuvem de sua escolha ou na borda, mantendo privados seus modelos personalizados.

Casos de uso para empresas e desenvolvedores

O Qwen3-Omni atende a uma ampla variedade de tarefas. A estrutura multilíngue de texto e fala pode viabilizar a transcrição em centrais de atendimento e a tradução ao vivo em 19 idiomas de entrada e 10 idiomas de saída. O Captioner de áudio pode descrever músicas, sons ambientes e clipes de áudio misto para editores, arquivistas e ferramentas de acessibilidade. O sistema de visão lê capturas de tela e fotos para reconhecer texto (OCR) e layouts, ajudando a automatizar fluxos de trabalho administrativos e o cadastro de clientes.

A compreensão de vídeo é um recurso central. Um agente de suporte pode analisar um clipe curto de celular para identificar uma luz de erro ou um cabo conectado incorretamente. Um aplicativo de manutenção pode acompanhar uma transmissão ao vivo para confirmar que uma válvula foi aberta. Como Thinker e Talker funcionam em paralelo, o sistema pode começar a falar enquanto continua processando os quadros recebidos, mantendo um ritmo semelhante ao humano em situações de uso sem as mãos.

A separação explícita entre raciocinar e falar dá controle aos desenvolvedores. Sistemas de recuperação podem consultar documentos da empresa. Filtros de políticas podem examinar o conteúdo. Verificações de segurança podem analisar os rastros de raciocínio antes que o Talker gere áudio. Esse padrão é adequado a assistentes para consumidores que precisam manter a identidade da marca, ferramentas corporativas de resumo que devem evitar vazamentos de dados e ferramentas de campo que exigem orientações passo a passo.

Uso de ferramentas e agentes

O Qwen3-Omni pode ser conectado a ferramentas e serviços externos para tarefas complexas, incluindo buscas, consultas a bancos de dados e acionamento de mecanismos de fluxo de trabalho. A Alibaba também está desenvolvendo estruturas de agentes em sua plataforma de nuvem para que equipes de programação visual ou avançada possam combinar ferramentas, agendar tarefas e implantar soluções em produção. Com janelas de contexto acima de 49.000 tokens no Modo Sem Raciocínio, o modelo pode manter sessões longas com várias etapas e acompanhar ações anteriores.

Adoção, mercados e estratégia

O interesse dos desenvolvedores tem sido rápido. Variantes da família Qwen3 ocupam várias das primeiras posições nas listas de tendências da principal plataforma de modelos, e o Qwen3-Omni-30B-A3B frequentemente aparece em primeiro lugar. Essa visibilidade reflete uma onda mais ampla de modelos abertos chineses que vêm atraindo atenção na pesquisa e na indústria.

Os sinais do mercado apontam na mesma direção. As ações da Alibaba subiram com o aumento da confiança na estratégia de IA e nuvem da empresa, após novas recomendações positivas de analistas e renovado interesse de fundos globais. A empresa está ampliando sua rede de data centers para atender a clientes fora da China, com novas instalações no Brasil, na França e nos Países Baixos, além de capacidade adicional planejada em outras regiões. A Alibaba também vem investindo pesado em infraestrutura de IA, com o compromisso de gastar dezenas de bilhões de dólares nos próximos três anos e a indicação de que o investimento total de capital em IA aumentará.

As parcerias de hardware fazem parte do plano. A Alibaba anunciou uma colaboração de software com a Nvidia para integrar ferramentas de desenvolvimento de IA em áreas como treinamento, simulação e validação. A empresa também apresentou uma versão maior, o Qwen3 Max, com mais de um trilhão de parâmetros, voltada à geração avançada de código e ao comportamento de agentes. Isso mostra como o Qwen3-Omni se encaixa em uma família mais ampla, que vai de assistentes interativos a modelos de pesquisa de grande porte.

Declarações da Alibaba

O diretor-presidente do Alibaba Group, Eddie Wu, deu o tom na conferência anual da empresa em Hangzhou, onde descreveu IA e nuvem como os dois motores da próxima fase de crescimento. Ele também apresentou planos para expandir os data centers internacionais e aprofundar parcerias em treinamento e implantação.

Wu usou seu discurso para explicar por que a empresa está aumentando os investimentos em IA.

IA e nuvem são os motores de crescimento da Alibaba, ao lado do comércio eletrônico. Vamos ampliar os investimentos e a capacidade para atender à demanda global.

Lin Junyang, pesquisador da equipe Qwen, explicou como o projeto aproveitou trabalhos anteriores em fala e visão para montar o novo sistema.

Combinamos projetos fundamentais de áudio e imagem para criar o Qwen3 Omni.

Riscos, limitações e pontos de atenção

Mesmo resultados fortes em benchmarks deixam questões em aberto que só o uso em produção pode responder. Áudios do mundo real podem ter muito ruído de fundo, vozes sobrepostas ou sotaques raros. Vídeos frequentemente têm reflexos, desfoque de movimento ou elementos encobertos. Se o serviço exigir alta taxa de detecção de diagramas especializados ou transcrição em conformidade com normas rigorosas em uma área específica, reserve tempo para curadoria de dados e ajuste fino para o domínio.

A versão atual oferece saída de fala em 10 idiomas, o que já atende a muitos mercados, mas equipes que precisam de idiomas menos comuns terão de recorrer à saída de texto ou a mecanismos de fala de terceiros. A divisão entre Thinker e Talker também envolve escolhas. Algumas organizações podem preferir manter raciocínios longos somente em texto e sintetizar a fala apenas para as respostas finais. Outras podem aceitar respostas mais curtas em troca de respostas faladas mais rápidas. Essas escolhas devem ser testadas de acordo com os objetivos de experiência do usuário.

A licença de código aberto é uma vantagem para quem desenvolve produtos, mas também significa que qualquer pessoa pode adaptar o modelo. As empresas devem usar filtros de conteúdo, detecção de abuso e monitoramento de uso para coibir usos indevidos. Por outro lado, a Apache 2.0 inclui uma licença de patente que reduz os riscos de propriedade intelectual para quem adota o modelo, um fator importante para as equipes corporativas de conformidade.

O que está em jogo é um assistente multimodal capaz de raciocinar com texto, imagens e sons em um ritmo quase humano. Se o Qwen3-Omni continuar demonstrando seu valor fora de avaliações controladas, poderá se tornar uma opção padrão para equipes que buscam controle local, custos previsíveis e uma ampla comunidade de desenvolvedores.

Destaques

• O Qwen3-Omni aceita texto, imagens, áudio e vídeo como entrada e gera texto e fala.
• O modelo é de código aberto sob a licença Apache 2.0, com licença de patente para uso comercial.
• O Thinker cuida do raciocínio e o Talker gera fala; ambos usam Mistura de Especialistas para ganhar velocidade.
• A latência informada até o primeiro pacote é de 234 milissegundos para áudio e 547 milissegundos para vídeo.
• Oferece suporte a 119 idiomas em texto, 19 idiomas para entrada de fala e 10 para saída de fala.
• Há três variantes disponíveis: Instruct, Thinking e Captioner.
• Os preços da API começam em 0,00025 dólar por mil tokens de texto, e há um período de teste gratuito com 1 milhão de tokens.
• Os resultados dos benchmarks mostram liderança em vários testes de fala, vídeo e raciocínio.
• As posições no Hugging Face e o interesse de investidores indicam rápida adoção.
• A Alibaba está ampliando seus data centers e aprofundando a colaboração com a Nvidia, enquanto expande a família Qwen3.