O segredo dos 768 GB de memória Intel Optane a baixo preço

O que chegou de novo?

Um utilizador do Reddit causou uma certa controvérsia ao criar uma estação de trabalho utilizando DIMMs Optane PMem como memória RAM para correr um modelo de linguagem (LLM) com 1 trilhão de parâmetros. O autor explica como adquiriu memórias persistentes Intel Optane em segunda mão para executar o modelo Kimi K2.5 a aproximadamente 4 tokens por segundo numa plataforma Xeon.

Por dentro da máquina (Análise Técnica)

O ponto central deste projeto foi a utilização de seis módulos de memória Intel Optane PMem (DCPMM), oferecendo um total de 768 GB. Este tipo de memória, embora descontinuada, foi desenhada para criar uma ponte entre memória DRAM e armazenamento SSD, oferecendo latências inferiores às dos SSDs NVMe, mas ainda assim a 2-3 vezes mais lentos do que a DRAM. Para trabalhar com LLMs, essas características são suficientemente adequadas, especialmente considerando que o custo em segunda mão é bastante acessível em comparação com a DRAM equivalente.

As especificações da compilação incluem:

• Processador Intel Xeon Gold 6246
• Placa-mãe Tyan S5630GMRE-CGN
• GPU Asus Dual GeForce RTX 3060 OC 12 GB
• 6 unidades DRAM Samsung DDR4 ECC de 32 GB e 2666 MHz
• 6 módulos de memória persistente Intel Optane DCPMM PC4-2666 NMA1XBD128GQS de 128 GB
• SSD Western Digital WD SN850X 2 TB M.2 2280 NVMe
• Fonte de alimentação totalmente modular ASRock Steel Legend SL-850G 850W 80 PLUS GOLD e Cybenetics Platinum
• Caixa para PC de home theater Silverstone SST-GD08B (preto)

A configuração foi optimizada com o Optane a funcionar em modo de memória e a DRAM DDR4 como cache. O utilizador implementou uma abordagem híbrida de inferência GPU/CPU usando a biblioteca llama.cpp, permitindo o processamento eficiente do modelo. Embora o desempenho de 4 tokens por segundo seja interessante, a comunidade aguarda soluções futuras que possam preencher a lacuna entre DRAM e SSDs, como o prometido padrão CXL (Compute Express Link).

Vale a pena o investimento?

Para entusiastas de hardware e inteligência artificial, este projeto é um verdadeiro teste de engenho e acessibilidade, especialmente considerando que o Optane, embora descontinuado, pode ser encontrado em plataformas de segunda mão a preços muito competitivos. Se procura experimentar com LLMs a um custo reduzido e não tem aversão ao uso de tecnologias já obsoletas, este pode ser um excelente achado. Contudo, é importante ter cautela em relação a futuros upgrades ou suporte.

Veredito do Técnico

Em resumo, enquanto a combinação de Optane PMem e hardware de gama alta oferece desempenho notável, o sucesso a longo prazo dependerá da evolução das alternativas disponíveis no mercado. É um projeto intrigante para quem deseja explorar o potencial dos LLMs localmente.