Samsung busca reduzir o custo dos tokens de IA aproveitando melhor a memória dos servidores

Mais solicitações de IA sem adicionar GPUs

A Samsung Electronics desenvolveu um método para atender a mais solicitações simultâneas em servidores de inteligência artificial, alterando a forma como eles alocam memória e transferem dados entre processadores. Um pedido de patente publicado descreve um software que pondera tempos de espera, custos de transferência e necessidades futuras de memória para decidir quais solicitações um modelo de linguagem grande deve processar primeiro.

O objetivo é reduzir atrasos quando a memória das unidades de processamento gráfico (GPUs) fica cheia, permitindo que os servidores existentes atendam mais pessoas. A Samsung descreve a invenção como uma tecnologia de infraestrutura para inferência de IA, o processo de executar um modelo treinado para responder a perguntas, e não como um recurso de um produto de consumo específico.

Pesquisas relacionadas da Samsung dão uma ideia concreta da economia potencial com uma gestão melhor da memória. Em um experimento separado de armazenamento, com oito GPUs NVIDIA H100 NVL e dez unidades de estado sólido da Samsung, a empresa manteve o tempo de espera pelo primeiro token de saída abaixo de um segundo, com até 240 usuários simultâneos. Sem descarregar dados para o armazenamento, esse tempo começou a aumentar acima de 140 usuários.

A patente, o experimento de armazenamento e outro projeto da Samsung SDS abordam partes diferentes do mesmo problema: processadores caros de IA podem passar tempo demais transferindo ou reconstruindo informações. Para os operadores, reduzir esse trabalho pode significar mais respostas com os equipamentos existentes e menor custo por token, as pequenas unidades de texto que os modelos de linguagem processam e geram.

Por que a memória pode atrasar uma resposta

Uma GPU realiza muitos cálculos ao mesmo tempo, o que a torna útil para gerar respostas de IA. Sua memória local rápida, porém, tem capacidade limitada. Várias conversas disputam esse espaço, especialmente quando os usuários enviam documentos longos ou fazem perguntas que exigem respostas extensas.

Os modelos de linguagem mantêm registros temporários de cálculos anteriores em uma estrutura chamada cache de chave e valor, geralmente abreviada como cache KV. Pense nela como anotações de trabalho: mantê-las permite que o modelo continue uma resposta sem recalcular repetidamente tudo o que já processou.

O experimento de armazenamento da Samsung exigiu cerca de 3 GB de cache KV por sessão. Em 240 sessões, isso representa aproximadamente 720 GB de dados de cache em toda a carga de trabalho. Esse número ajuda a explicar por que atender muitas pessoas pode se tornar um problema de memória, mesmo quando há grande capacidade computacional instalada.

Quando falta memória rápida na GPU, um servidor pode transferir alguns dados para a memória associada à unidade central de processamento (CPU) e trazê-los de volta quando necessário. Essas transferências levam tempo. Reconstruir cálculos descartados também consome recursos. A patente da Samsung se concentra em gerenciar essa disputa com mais cuidado.

Como funciona o método patenteado de agendamento

O pedido da Samsung, intitulado Método e servidor para processar múltiplas solicitações de usuários de um modelo de linguagem grande, descreve um agendador que considera o custo de atender cada solicitação. Entre os dados considerados estão o tempo de espera do usuário, o tempo necessário para transferir dados e a quantidade de memória exigida pela solicitação.

O servidor usa esses cálculos para escolher a ordem de processamento. Isso importa porque uma solicitação que parece pronta para ser executada pode exigir uma transferência significativa antes, enquanto outra pode usar dados que já estão próximos. Coordenar essas escolhas pode reduzir o tempo gasto reorganizando a memória.

O método também verifica se as informações transferidas anteriormente para a memória da CPU ainda estão lá. Se houver uma cópia utilizável, o servidor pode transferir apenas as partes necessárias, em vez de copiar tudo novamente. Também pode transferir dados para um usuário enquanto a GPU gera a resposta de outro, permitindo que o trabalho útil e a preparação ocorram em paralelo.

A Samsung também descreve o uso de memória parcialmente disponível. Se uma nova solicitação precisar de cinco unidades de espaço, mas só houver três livres, o sistema pode iniciar a parte que cabe, em vez de esperar pelas cinco. O objetivo prático é manter os recursos limitados em uso durante períodos de pico. Detalhes da implantação comercial e melhorias medidas no tempo de resposta e na capacidade de processamento desse método patenteado não foram divulgados.

O que a Samsung mediu com o descarregamento de dados para armazenamento

O documento técnico da Samsung Electronics sobre cache KV analisa uma abordagem diferente: manter dados de cache reutilizáveis em unidades de estado sólido NVMe. NVMe é uma tecnologia que permite que dispositivos de armazenamento se comuniquem rapidamente com um computador por meio de conexões PCIe.

O teste usou oito GPUs NVIDIA H100 NVL, oito serviços paralelos de inferência do LLaMA-3.1 8B, o software de atendimento vLLM e o LMCache, uma camada de código aberto que gerencia dados reutilizáveis de cache KV. Dez unidades Samsung PM1753 foram combinadas em uma matriz RAID-0, que distribui os dados entre as unidades para aumentar o desempenho de transferência.

A Samsung mediu cargas de usuários em incrementos de 20, chegando a 280 usuários simultâneos. Cada usuário enviou uma consulta a cada 20 segundos, gerando uma carga de trabalho de uma a 14 consultas por segundo. Portanto, o experimento testou um padrão definido de solicitações repetidas e movimentação de cache.

A abordagem de armazenamento é útil quando uma sessão muda de GPU. A GPU de destino pode carregar cálculos salvos, em vez de repetir o processamento inicial de um comando longo. Em uma mesma máquina, o cache externo pode ficar na memória da CPU ou no armazenamento. Entre máquinas, explica a Samsung, o cache precisa de um recurso compartilhado acessível aos servidores envolvidos.

Início mais rápido e mais texto gerado

A Samsung mediu dois aspectos do desempenho do serviço: o tempo até o primeiro token e a quantidade de tokens por segundo. O primeiro mede quanto tempo a pessoa espera até a resposta começar a aparecer. O segundo mede quanto texto o sistema produz ao longo do tempo.

Com o descarregamento para armazenamento ativado, o teste manteve o tempo até o primeiro token abaixo de um segundo para até 240 usuários simultâneos, em comparação com o aumento da latência acima de 140 usuários sem esse recurso. A Samsung descreve o resultado como suporte a 1,7 vez mais usuários com latência comparável. Na faixa de 20 a 140 usuários, a configuração com descarregamento manteve a espera inicial em cerca de meio segundo.

Com 240 usuários, o sistema com descarregamento gerou aproximadamente 1,5 vez mais tokens de saída. A configuração sem descarregamento começou a saturar em torno de 160 usuários, enquanto o sistema que reutilizava o cache salvo continuou aumentando a produção conforme a demanda crescia.

A Samsung atribui o ganho à redução do processamento repetido dos comandos. Primeiro, o modelo de linguagem processa a entrada, etapa conhecida como prefill; em seguida, gera a resposta token por token, na etapa chamada decode. Reutilizar cálculos salvos deixa mais capacidade da GPU disponível para produzir respostas.

Quando o armazenamento extra compensa

A análise de custos da Samsung mostra que o hardware adicional tem um preço, mesmo quando melhora a eficiência sob demanda elevada. Na faixa de zero a 160 usuários simultâneos, as duas configurações ofereceram uma capacidade de processamento de tokens semelhante, enquanto a configuração com descarregamento custou cerca de 4% a mais por causa dos componentes NVMe adicionais.

Acima de 180 usuários, o maior volume de saída compensou o custo extra de armazenamento. Com 240 usuários, a Samsung calculou uma eficiência de custo aproximadamente 1,5 vez maior, medida em tokens por segundo por dólar ao longo de um período operacional de três anos.

De outra forma, uma melhora de 1,5 vez na produção por dólar corresponde a um custo cerca de um terço menor por unidade produzida, segundo esse cálculo. A comparação se refere aos equipamentos e à carga de trabalho testados pela Samsung. A economia real de um serviço também depende do modelo, da duração das conversas, do tráfego e dos custos dos equipamentos.

Para um operador de nuvem, portanto, a decisão depende bastante da demanda. O armazenamento extra pode aumentar o custo inicial quando a capacidade de GPU existente já atende confortavelmente à carga de trabalho. Em períodos prolongados de congestionamento, reutilizar o cache pode permitir que a mesma instalação de GPUs atenda a mais atividades antes de ser necessário outro servidor.

Economia de energia também se estende às ventoinhas de resfriamento

A Samsung também mediu menor consumo de eletricidade em seu experimento de armazenamento. Com 240 usuários, o desempenho por watt melhorou cerca de 2,9 vezes. O consumo total do sistema caiu para aproximadamente 53% do registrado na configuração sem descarregamento, uma redução de cerca de 47%.

Segundo o documento técnico, as unidades NVMe adicionais aumentaram o consumo de energia em cerca de 6%. A redução na demanda das GPUs e do sistema de resfriamento compensou esse aumento com folga. A Samsung registrou utilização de GPU de aproximadamente 49% à medida que a carga de trabalho passou a exigir menos repetição de cálculos intensivos de prefill.

As ventoinhas de resfriamento também refletiram essa mudança. Sem o descarregamento, todas as ventoinhas do sistema operavam na velocidade máxima prevista, de 15.000 rotações por minuto. Com o descarregamento, as ventoinhas da CPU, da memória e do armazenamento funcionavam a cerca de 7.800 rotações por minuto, enquanto as do lado da GPU operavam a aproximadamente 9.800.

O resultado ilustra por que um componente pode aumentar localmente a demanda por eletricidade e, ao mesmo tempo, reduzir o consumo do servidor como um todo. Nesse experimento, gastar energia para recuperar cálculos salvos reduziu o gasto maior de repetir os cálculos e dissipar o calor gerado.

O armazenamento precisa dar conta dos picos

As medições da Samsung também mostram por que essa abordagem exige mais do que espaço livre nas unidades. A taxa agregada média de transferência do armazenamento chegou a 37 GB por segundo, e solicitações simultâneas das GPUs podiam elevar a demanda de pico a quase o dobro da média.

O número de operações de armazenamento em andamento costumava ficar em torno de 160, mas podia chegar a 800. A Samsung recomenda uma largura de banda de armazenamento de pelo menos o dobro da necessidade média para absorver esses picos sem comprometer a capacidade de resposta.

A especificação da PM1753 indica uma taxa de transferência sequencial de até 14,5 GB por segundo e 3,3 milhões de operações aleatórias de leitura por segundo. Na carga de trabalho testada, as leituras representaram aproximadamente 92% da atividade de armazenamento, e as gravações, 8%. O LMCache movimentou grandes blocos de cache, com cerca de 33 MB.

Vários serviços lendo grandes blocos ao mesmo tempo podem criar um fluxo intercalado de solicitações. Por isso, um subsistema de armazenamento precisa manter o desempenho de transferência quando muitos usuários ficam ativos simultaneamente. Capacidade de cache, velocidade de transferência e agendamento contribuem para determinar se as informações salvas chegam à GPU com rapidez suficiente para serem úteis.

Samsung SDS leva os cálculos para a memória

A Samsung SDS está enfrentando a movimentação de dados por outro caminho. Seu artigo de pesquisa sobre o PAISE descreve o PIM-Accelerated Inference Scheduling Engine, apresentado na IEEE HPCA 2025. O PAISE usa processamento na memória (PIM), que coloca unidades de processamento dentro dos chips de memória para que alguns cálculos possam ocorrer onde os dados estão armazenados.

A Samsung SDS implementou e validou o sistema no hardware PIM Aquabolt-XL da Samsung, avaliando os modelos GPT-2, OPT e Llama2. A empresa relata uma melhora de até 48,3% na velocidade de inferência e uma redução de aproximadamente 11,5% no consumo de energia.

O PAISE decide quais operações devem ser executadas na memória e organiza os dados de acordo com o hardware. Também agrupa pequenos cálculos de atenção para que possam ser executados em paralelo com mais eficiência. A Samsung SDS relata atualizações mais rápidas do cache KV e ganhos maiores com lotes mais amplos, ou seja, grupos de solicitações processados em conjunto.

Os três projetos atuam em diferentes pontos do servidor. A patente agenda solicitações e transferências entre a memória da GPU e a da CPU. O experimento de armazenamento preserva o cache em unidades para reutilizá-lo depois. O PAISE transfere cálculos selecionados para o hardware de memória. Em conjunto, eles mostram que a Samsung busca várias maneiras de reduzir o tempo e a energia gastos para mover ou reconstruir as informações por trás das respostas de IA.

Principais pontos

• O pedido de patente publicado pela Samsung agenda solicitações de IA usando tempos de espera, custos de transferência e necessidades previstas de memória.
• O método patenteado busca atender mais usuários com as GPUs existentes; os números de desempenho comercial não foram divulgados.
• Um teste separado de armazenamento da Samsung atendeu 240 usuários simultâneos com espera inferior a um segundo até a resposta inicial, em comparação com o aumento da latência acima de 140 usuários sem descarregamento.
• Com 240 usuários, o descarregamento para armazenamento ofereceu aproximadamente 1,5 vez mais tokens de saída e eficiência de custo, além de 2,9 vezes mais desempenho por watt.
• O armazenamento adicional aumentou os custos em cerca de 4% com cargas mais leves, o que torna a demanda um fator importante no cálculo econômico.
• A Samsung SDS relata que seu sistema PAISE, um projeto separado, melhorou a velocidade de inferência em até 48,3% usando cálculos dentro da memória.