Intel lança Gaudi 3 otimizado para IA generativa em larga escala #ÚltimasNotícias #tecnologia

Junto com os Xeon 6, equipados com núcleos de performance, a Intel também lançou o novo acelerador de IA Gaudi 3. Otimizado para IA generativa em larga escala, o hardware conta com 64 núcleos de processador Tensor (TPCs) e oito mecanismos de multiplicação de matrizes (MMEs).

A nova geração de acelerador de IA da Intel oferece também 128 GB de memória HBMe2 para treinamento e inferência, além de 24 portas Ethernet de 200 Gb para rede escalável. Além disso, ele tem pico de performance (FP8) de 1.835 TFLOPS e TDP de 600W.

Em relação ao NVIDIA H100, a Intel garante cerca de 1,09x mais performance em LLamA 3 8B, entregando 1,8x mais performance por dólar. Se considerar inferências LLaMA 2 70B, onde o Gaudi 3 é 1,19x melhor, a relação sobe para cerca de duas vezes em vantagem para a solução da Intel.

“A demanda por IA está levando a uma transformação massiva no data center, e a indústria está pedindo escolha em hardware, software e ferramentas de desenvolvedor”, destacou Justin Hotard, vice-presidente executivo da Intel e gerente geral do Data Center and Artificial Intelligence Group.

Intel garante rápida disponibilidade de Gaudi 3

Além disso, há compatibilidade com estrutura PyTorch e modelos avançados de transformador e difusor Hugging Face. Recentemente, a Intel anunciou uma colaboração com a IBM para implementar aceleradores Gaudi 3 como um serviço na IBM Cloud.

Em comparação direta com o principal concorrente, o NVIDIA H100, a Intel acredita que oferece algumas vantagens. A primeira delas é a disponibilidade: os prazos de entrega do H100 giram em torno de 54 semanas, enquanto a Intel consegue atender as empresas em um prazo muito mais reduzido.

A Dell está atualmente coprojetando soluções baseadas em RAG, aproveitando o Gaudi 3 e o Xeon 6. Essas soluções, construídas na plataforma Open Platform Enterprise AI (OPEA), integram microsserviços baseados em OPEA em um sistema RAG escalável, otimizado para sistemas Xeon e IA Gaudi, projetados para permitir que os clientes integrem facilmente aplicativos do Kubernetes e do Red Hat OpenShift.