AWS apresenta solução para reduzir latência em workloads de múltiplas interações

A Amazon Web Services (AWS) revelou uma nova técnica para melhorar a eficiência de workloads de múltiplas interações, que são comuns em assistentes conversacionais. A abordagem utiliza a transferência bi-direcional de cache de chave-valor (KV), permitindo que contextos previamente computados sejam reutilizados em vez de serem recalculados a cada nova interação. Isso pode reduzir o tempo para o primeiro token (TTFT) em até 1,6 vezes para o modelo Qwen3-32B e 3,3 vezes para o GLM-5-FP8 em instâncias EC2 P5en com EFA.

Tradicionalmente, a transferência de cache KV ocorre em uma única direção, do nó de pré-preenchimento para o nó de decodificação. Essa limitação resulta em ineficiências, pois o nó de decodificação retém entradas de cache KV que não podem ser acessadas pelo nó de pré-preenchimento nas interações subsequentes. Como consequência, o nó de pré-preenchimento precisa recalcular as projeções de KV para tokens de respostas anteriores, aumentando a latência e o consumo de capacidade do acelerador.

A nova abordagem da AWS permite que o nó de pré-preenchimento acesse entradas de cache KV do nó de decodificação, evitando o retrabalho e melhorando a eficiência do processamento em conversas longas. Isso é especialmente relevante para aplicações que exigem interações contínuas, onde o histórico de conversação tende a crescer rapidamente.

Essa inovação pode impactar significativamente o desenvolvimento de assistentes conversacionais e aplicações que dependem de interações dinâmicas, oferecendo uma experiência mais fluida e eficiente. A transferência bi-direcional de cache KV tende a se tornar uma prática comum em soluções de IA que lidam com contextos complexos e prolongados.