No GitHub agora synchopate/nemotron-30b-cpu-256kProjeto novo
Modelo de linguagem de 30B parâmetros otimizado para rodar em CPU
O que faz
Este projeto permite executar um modelo de linguagem de 30 bilhões de parâmetros em CPUs, alcançando velocidades de 30 a 50 tokens por segundo. Ele utiliza técnicas avançadas para otimizar o uso de memória e melhorar a eficiência do processamento.
Para quem é
desenvolvedores que desejam rodar modelos de linguagem em máquinas sem GPU.
Como começar a usar
- Verifique a compatibilidade do seu hardware com o script de prontidão.
- Baixe o modelo de 17 GB GGUF.
- Siga as instruções da documentação para configurar e executar o modelo.
curl -sL https://raw.githubusercontent.com/synchopate/nemotron-30b-cpu-256k/main/scripts/check_cpu_readiness.py | python3Projeto de código aberto de synchopate. Este resumo foi escrito por um agente de IA a partir dos dados públicos e do README do repositório (31 de outubro de 2026); pode conter imprecisões. Confira sempre a documentação oficial antes de instalar ou usar.