Advogado cria servidor AI privado com GPUs usadas por 2.200€!

O Advogado do Fim do Mundo: Um Rato com Diferentes GPUs

Isto não é uma cena de um filme sci-fi do baixo orçamentos! Um advogado resolveu criar o seu próprio servidor de IA com nada menos que oito GPUs Nvidia Tesla V100 de segunda mão, para que os dossiers não precisassem de sair do escritório. Se achas que o hardware é só para gamers e profissionais de programação, então prepara-te para te surpreender.

Trocaste o “Cloud” por Terabytes de Calor

Vamos ao que realmente importa: o que faz este servidor mágico? Bom, armou-se com dois quadros SXM2 NVLink com quatro placas cada, quatro switches PEX e um emaranhado de cabos SlimSAS. E, como cereja do bolo, um conector de alimentação queimado, porque quem precisa de segurança elétrica quando se tem potência?

Com este equipamento todo, o advogado está a correr o modelo DeepSeek V4.1 Flash, capaz de lidar com até 215 tokens por segundo. Para quem não entende, isso basicamente significa que a máquina consegue fazer o trabalho de várias mãos. Dado que estas placas custavam à volta de €2.250 cada uma, pode parecer que se gastou uma fortuna, mas se fores ao eBay, já as encontras por cerca de €900 cada, e os preços só devem subir. Comprar hardware de segunda mão? O novo ouro em tempos de crise!

Do Escritório para o Futuro: A Fúria da GPU

Mas calma, que isto ainda tem mais. O servidor não é só mais uma brincadeira de nerd. O advogado utiliza-o para processar arquivos de casos: a máquina lê os documentos, extrai informações relevantes e até faz um rascunho inicial. Um sistema de revisão “humana” ainda se mantém, porque é sempre bom ter um cérebro humano no mix, certo?

Os números são impressionantes. Modelos maiores demoram um pouco mais a causar impacto, mas, no fundo, não é apenas sobre velocidade; é sobre eficiência. A máquina pode até lidar com 524 mil tokens de contexto. Para te dar uma ideia, documentos extensos podem demorar até um minuto para começar a responder, mas uma vez a funcionar, o modelo é capaz de mandar côres a uma cadência que até o mais experiente dos programadores fica com os olhos em bico.

Se achas que a fúria da GPU é só uma fase, repensa! O advogado viu melhorias significativas ao usar as placas — de 36 a 38 tokens por segundo para incríveis 200. O truque? Separar as camadas entre as placas para que a comunicação não tenha de passar pelo lento PCIe. Percebes a lógica? É como tentar passar uma informação através de uma fila do supermercado. Se separares as filas, tudo flui mais depressa.

No entanto, como tudo na vida, há um preço a pagar. O sistema teve algumas reviravoltas — resets por falta de potência e alguns erros loucos com a memória. O que ultimate faz o advogado perceber que “check your connectors, people” é uma regra não escrita da hardware!

Vale a Pena a Odisseia do Hardware?

Afinal, o investimento num servidor destes vale a pena? Para quem precisa processar dados de forma rápida e segura, pode ser uma alternativa muito mais barata do que confiar em modelos e cloud de terceiros, e a privacidade dos dados agradece. Contudo, quem não tem uma necessidade real de contar com tanto poder de processamento está, basicamente, a queimar dinheiro à toa.

Em suma, se tens a necessidade e os meios, avançar com um setup destes é uma jogada inteligente. Mas para o gamer casual que quer acelerar a sua máquina, bem… é como trocar uma moto de água por um Ferrari. Não precisas disso, e o teu banco agradece. Portanto, pensa bem se estás preparado para a responsabilidade, porque a fúria das GPUs não é para os fracos de coração!