AWS apresenta arquitetura para escalar aprendizado por reforço com Mixture-of-Experts

A Amazon Web Services (AWS) anunciou uma nova arquitetura que permite escalar o aprendizado por reforço utilizando Mixture-of-Experts (MoE) em sua plataforma Amazon Elastic Kubernetes Service (EKS). Essa solução combina o Elastic Fabric Adapter (EFA) e o DeepEP, resultando em um aumento de 40% na eficiência do throughput durante o treinamento de modelos de linguagem em larga escala.

O uso de MoE tem se tornado uma prática comum para lidar com modelos de linguagem que possuem centenas de bilhões ou até trilhões de parâmetros. Essa abordagem permite manter uma inferência eficiente através da esparsidade, mas também apresenta desafios significativos em termos de infraestrutura durante o treinamento. A arquitetura proposta pela AWS busca resolver problemas como a coordenação de computação heterogênea, a comunicação de alta largura de banda entre aceleradores e a orquestração dinâmica dos subsistemas.

Durante o treinamento em larga escala, especialmente com Reinforcement Learning from Human Feedback (RLHF) e Group Relative Policy Optimization (GRPO), a infraestrutura enfrenta demandas incomuns. A combinação de trabalho de inferência elástica com o treinamento de modelos requer uma comunicação robusta, e a pressão adicional de modelos de recompensa e atualizações de verificação aumenta a complexidade. A nova solução da AWS visa otimizar essa multi-carga de trabalho, evitando gargalos e utilizando os recursos de forma mais eficaz.

Essa inovação pode ter um impacto significativo para empresas que utilizam aprendizado de máquina e inteligência artificial, especialmente aquelas que trabalham com grandes volumes de dados e modelos complexos. A capacidade de aumentar a eficiência do treinamento pode resultar em economias de custo e tempo, além de permitir o desenvolvimento de modelos mais avançados e precisos.