AWS e NVIDIA lançam solução para treinamento distribuído tolerante a falhas

A Amazon Web Services (AWS) e a NVIDIA anunciaram uma nova solução que integra a NVIDIA Resiliency Extension (NVRx) ao treinamento distribuído usando PyTorch Fully Sharded Data Parallel (FSDP) no Amazon Elastic Kubernetes Service (EKS). Essa integração visa resolver problemas comuns de interrupções durante treinamentos em larga escala, que podem durar horas ou dias e envolver múltiplos nós.

Durante esses longos períodos de treinamento, interrupções como falhas de rede ou erros de memória são praticamente inevitáveis. Quando uma GPU falha, isso pode desencadear uma série de problemas, como timeouts na NVIDIA Collective Communication Library (NCCL) e reinicializações desincronizadas de pods, resultando em perda de tempo e recursos. A nova solução utiliza o checkpointing assíncrono, que permite sobrepor a entrada e saída (I/O) com o treinamento, além de reinicializações em processo que recuperam falhas em segundos, sem afetar o ciclo de vida do container.

Os benchmarks realizados com GPUs H100 em escalas de 2 a 8 nós mostraram uma eficiência de treinamento superior a 99%, com recuperação em questão de segundos. A combinação do NVRx com a infraestrutura do EKS, que oferece agendamento de GPUs, rede de alta largura de banda e armazenamento compartilhado, proporciona um ambiente robusto para cargas de trabalho de GPU em múltiplos nós.

Essa inovação pode ter um impacto significativo para empresas que dependem de treinamentos de IA em larga escala, pois reduz o tempo de inatividade e melhora a eficiência geral do processo. A solução está disponível para implementação, com todo o código necessário para reprodução dos testes.