Alibaba Cloud reduz o uso de GPUs da Nvidia com o sistema de compartilhamento Aegaeon

Por dentro do Aegaeon: como a Alibaba Cloud reduziu a necessidade de GPUs para IA

A Alibaba Cloud afirma ter reduzido drasticamente o número de processadores gráficos da Nvidia necessários para atender modelos de linguagem grandes em escala, graças a um novo sistema chamado Aegaeon. Em uma versão beta de produção em seu marketplace de modelos, a empresa relata que o Aegaeon reduziu de 1.192 para 213 o número de GPUs Nvidia H20 necessárias para atender dezenas de modelos, incluindo alguns com até 72 bilhões de parâmetros. Isso representa uma redução de 82% nos aceleradores em operação para o mesmo nível de serviço. Os resultados foram apresentados no Simpósio sobre Princípios de Sistemas Operacionais, em Seul, um dos principais eventos de pesquisa em sistemas computacionais. Para os clientes de serviços em nuvem, a alegação se traduz em possíveis economias de custos e energia, maior disponibilidade de chips escassos e uma experiência mais consistente ao usar diferentes modelos pela mesma plataforma.

A conquista mira um problema cada vez mais comum na era dos marketplaces de modelos. Provedores de nuvem agora atendem milhares de modelos para desenvolvedores simultaneamente. Alguns poucos modelos, como a família Qwen, da Alibaba, e o modelo aberto DeepSeek, concentram a maior parte do tráfego. Muitos outros ficam ociosos por longos períodos e, depois, recebem breves picos de solicitações. As pilhas tradicionais de serving reservam GPUs inteiras ou grandes fatias de GPU para cada instância de modelo. Quando um modelo fica parado, a GPU reservada é subutilizada. Quando chegam solicitações sem réplicas prontas em quantidade suficiente, a plataforma ativa capacidade e arca com o custo de tempos de carregamento maiores e menor vazão. O Aegaeon tenta mudar essa lógica agrupando recursos de GPU entre muitos modelos e, em seguida, escalonando o trabalho em intervalos menores para manter cada acelerador ocupado.

A Alibaba Cloud apresenta o Aegaeon como uma forma de atender cargas de trabalho simultâneas de LLMs sem desperdício. O sistema combina um escalonamento agressivo de vários modelos com mecanismos para manter a memória aquecida e alternar tarefas entre modelos com atraso mínimo. Segundo a equipe de pesquisa da Universidade de Pequim e da Alibaba Cloud, o resultado é maior vazão, menos espera em filas e menos chips ociosos em serviços pouco usados.

Que problema o Aegaeon foi criado para resolver?

As plataformas modernas de IA enfrentam uma longa cauda de demanda. Um pequeno conjunto de modelos populares atrai a maior parte do tráfego de inferência. Os modelos menos populares continuam sendo importantes para os desenvolvedores, mas recebem solicitações esporádicas. A Alibaba Cloud mediu que 17,7% das GPUs de seu marketplace haviam sido alocadas para atender apenas 1,35% das solicitações. Quando os modelos ficam vinculados a aceleradores dedicados, a empresa acaba pagando pelo tempo ocioso e por frequentes inicializações a frio, especialmente quando os padrões de tráfego são irregulares ou imprevisíveis.

Por fora, o serving de inferência parece simples, mas seu funcionamento interno é complexo. Um modelo de linguagem grande mantém pesos e estado de execução na memória da GPU. Durante a geração, o sistema mantém um cache de chave e valor que armazena ativações intermediárias dos tokens já produzidos. Carregar os pesos do modelo a partir do disco ou pela rede é lento. Aquecer o cache de chave e valor leva tempo. Tradicionalmente, alternar uma GPU de um modelo para outro significava descarregar e carregar novamente os dados, a um custo elevado. Esse trabalho adicional desestimulava o compartilhamento frequente e mantinha a maioria dos aceleradores dedicada a, no máximo, um ou dois modelos. O Aegaeon foi projetado para gerenciar essas transições com muito mais eficiência, permitindo que as GPUs alternem entre muitos modelos sem uma penalidade significativa.

Como o sistema funciona

O Aegaeon é uma pilha de serving de vários modelos que trata a GPU como um conjunto compartilhado e decide o que executar com granularidade muito fina. Em vez de escalar no nível da solicitação ou da réplica do modelo, toma decisões por token. O escalonador pode intercalar a geração de tokens de diferentes usuários e modelos na mesma GPU, mantendo na memória as estruturas de dados mais importantes. O objetivo é maximizar o trabalho útil por segundo sem ultrapassar um limite rigoroso de tempo de resposta.

Escalonamento automático no nível do token

A ideia central é escalar a capacidade no nível do token. Isso significa que o Aegaeon pode começar a atender uma solicitação de um modelo e, em seguida, escalonar oportunisticamente tokens de outro modelo quando houver capacidade disponível, tudo dentro dos mesmos lotes e lançamentos de kernels. O artigo relata que o Aegaeon sustentou taxas de chegada de solicitações de 2 a 2,5 vezes maiores ou entregou entre 1,5 e 9 vezes mais vazão efetiva, em comparação com conjuntos alternativos que multiplexam apenas dois ou três modelos por GPU. Ao operar na granularidade do token, o sistema evita as longas pausas associadas à inicialização de novas réplicas e consegue responder rapidamente a picos em qualquer modelo.

Reutilização de memória e coordenação do cache KV

O Aegaeon reduz o trabalho adicional reutilizando componentes, gerenciando a memória explicitamente e sincronizando o cache de chave e valor entre modelos com alta granularidade. Os pesquisadores afirmam que isso reduz em 97% o trabalho adicional do escalonamento automático em comparação com abordagens ingênuas. Com um gerenciamento de memória e tratamento de cache mais inteligentes, a mesma GPU pode manter vários modelos prontos para execução sem recargas constantes. Isso permite que um acelerador dê suporte simultâneo a até sete modelos, em comparação com o limite típico de dois ou três dos sistemas anteriores de vários modelos.

Resultados medidos na versão beta de produção

A Alibaba Cloud afirma ter testado o Aegaeon em versão beta por mais de três meses em seu marketplace de modelos. A implantação atendeu dezenas de modelos, incluindo modelos com até 72 bilhões de parâmetros. Nesse período, a equipe relata que o número de GPUs necessárias para atender à mesma carga de serviço caiu de 1.192 unidades Nvidia H20 para 213, uma economia de recursos de 82%. O sistema também reduziu em 97% a penalidade de latência ao alternar entre modelos, o que ajuda quando as cargas de trabalho alternam, ao longo do dia, entre modelos populares e modelos da longa cauda.

O ambiente do marketplace é uma boa plataforma de testes porque apresenta concorrência real, uma combinação de tamanhos de solicitação e uma ampla variedade de modelos. Nesse cenário, o Aegaeon manteve os aceleradores mais ocupados, reduziu o tempo ocioso em serviços raramente usados e preservou a capacidade de resposta dos modelos de alta demanda ao escalonar o trabalho com maior granularidade. A combinação do escalonamento por token com a reutilização cuidadosa de memória parece ser a chave para obter mais trabalho útil por hora de GPU.

A equipe de pesquisa da Universidade de Pequim e da Alibaba Cloud argumentou que as práticas do setor vinham deixando dinheiro na mesa ao dedicar GPUs a modelos com demanda esporádica. Os pesquisadores apresentaram sua conclusão diretamente no artigo.

O Aegaeon é o primeiro trabalho a revelar os custos excessivos associados ao atendimento simultâneo de cargas de trabalho de LLMs no marketplace.

Essa afirmação está alinhada a padrões observados em marketplaces de modelos. Há muito tempo, os provedores reconhecem que a longa cauda ocupa capacidade e eleva os custos para todos. A abordagem do Aegaeon demonstra que um projeto de escalonamento e gerenciamento de memória voltado ao atendimento de vários modelos pode combater esse desperdício.

O que isso significa para clientes de nuvem e desenvolvedores

Para os clientes, menos GPUs por unidade de vazão podem se traduzir em preços mais baixos, cotas maiores e desempenho mais previsível. Se um serviço de nuvem puder atender ao mesmo tráfego com cerca de um quinto dos aceleradores, poderá liberar capacidade para períodos de pico e reduzir as filas de espera por novas implantações. Desenvolvedores que combinam vários modelos em um aplicativo também podem enfrentar menos gargalos causados por inicializações a frio e pela substituição de réplicas quando o tráfego muda entre endpoints.

Há questões práticas importantes para os compradores. O compartilhamento entre vários modelos precisa preservar o isolamento, para que a carga de trabalho de um cliente não prejudique a experiência de outro nem vaze dados. O escalonador precisa respeitar regras de prioridade e equidade, para que os modelos populares mantenham baixa latência e os mais lentos também continuem avançando. O artigo indica que as decisões do Aegaeon por token são projetadas levando em conta metas de qualidade do serviço. Ainda assim, os serviços de nuvem precisarão de observabilidade robusta e controle de tráfego para manter a latência de cauda sob controle à medida que ampliam o compartilhamento em frotas maiores.

Nvidia, China e o contexto dos chips de IA

O Aegaeon surge em meio à oferta global restrita de aceleradores de ponta e às contínuas restrições de exportação de chips avançados de IA para a China. A Nvidia desenvolveu o H20 para o mercado chinês em conformidade com essas regras, e muitos provedores chineses dependem desse dispositivo para inferência. Ao mesmo tempo, empresas chinesas como Huawei e Cambricon estão investindo em alternativas nacionais. A eficiência de software que permite a cada GPU executar mais trabalho é valiosa em qualquer mercado, mas é especialmente útil onde o acesso aos chips mais avançados é limitado.

A liderança da Nvidia informou que suas projeções financeiras de curto prazo pressupõem receita mínima ou nula com o segmento de chips avançados na China devido às restrições regulatórias. Esse contexto torna os resultados da Alibaba Cloud ainda mais relevantes. Se grandes provedores conseguirem ampliar o uso da base instalada com software, poderão continuar expandindo os serviços mesmo quando a oferta de aceleradores de ponta for limitada.

Como o Aegaeon se compara a outras abordagens

Até pouco tempo atrás, a maioria dos sistemas de serving de vários modelos só conseguia multiplexar com segurança dois ou três modelos em uma GPU antes que os custos adicionais superassem os benefícios. Cada modelo adicional aumentava as trocas de contexto, as falhas de cache e o risco de variações que poderiam comprometer as metas de latência. O projeto do Aegaeon se concentra em reduzir esses custos de troca e manter as principais estruturas de dados residentes entre os modelos, o que explica por que um acelerador agora consegue sustentar até sete modelos nas condições relatadas.

Instâncias dedicadas continuam sendo adequadas para endpoints que exigem a maior vazão ou para cargas de trabalho com requisitos rigorosos de isolamento. No outro extremo, a inferência serverless, que inicializa réplicas completas de modelos sob demanda, pode ser econômica para modelos com pouco tráfego, mas sofre com tempos de inicialização mais longos. O Aegaeon fica no meio-termo: agrupa a capacidade e mantém os modelos prontos, depois escalona o trabalho em pequenos intervalos para aumentar a utilização geral sem uma grande concessão em latência.

Questões técnicas em aberto e próximos passos

A versão beta foi executada no marketplace de modelos da Alibaba Cloud, um ambiente substancial, mas que não representa toda a infraestrutura de serviços da empresa. Levar o Aegaeon a mais regiões e a diferentes linhas de produtos, como clusters dedicados para empresas ou sistemas locais, testaria o projeto sob outras restrições. Outra questão é como o escalonador se comporta à medida que os modelos passam a ter contextos mais longos e os modelos multimodais combinam linguagem com imagens e áudio. Esses cenários vão exigir mais da memória e das políticas de cache de novas maneiras.

Também há espaço para pesquisa sobre o compartilhamento entre aceleradores heterogêneos e entre nós. Se um escalonador puder agrupar não apenas uma GPU, mas um conjunto delas por meio de uma malha de interconexão, poderá liberar ganhos adicionais, desde que os custos da interconexão permaneçam baixos e a alocação de memória continue previsível. As evidências publicadas até agora apontam para grandes ganhos com o compartilhamento de um único dispositivo, o que já representa um avanço prático importante para as cargas de trabalho de inferência atuais.

Fatos rápidos

• O Aegaeon reduziu de 1.192 para 213 o número de GPUs usadas no serviço de marketplace da Alibaba Cloud, uma queda de 82%.
• Durante uma versão beta de mais de três meses, o sistema atendeu dezenas de modelos, incluindo modelos com até 72 bilhões de parâmetros.
• Nos testes relatados, uma única GPU deu suporte a até sete modelos, em comparação com dois ou três nos sistemas anteriores.
• O escalonamento por token, a reutilização de memória e a sincronização do cache de chave e valor reduziram em 97% o trabalho adicional do escalonamento automático.
• Os experimentos demonstraram que foi possível sustentar taxas de chegada de 2 a 2,5 vezes maiores ou obter de 1,5 a 9 vezes mais vazão efetiva, em comparação com as alternativas.
• A abordagem mira o problema da longa cauda nos marketplaces de modelos, onde uma minoria das solicitações ocupa uma grande parcela das GPUs.
• Os resultados surgem em um momento em que as restrições de exportação limitam o acesso a chips avançados de IA na China e os esforços nacionais em GPUs se aceleram.