Como a startup chinesa de IA DeepSeek criou um modelo que rivaliza com o OpenAI #ÚltimasNotícias

Hoje, a DeepSeek é uma das únicas empresas líderes de IA na China que não depende de financiamento de gigantes da tecnologia como Baidu, Alibaba ou ByteDance.

Um jovem grupo de gênios ansiosos por provar seu valor

De acordo com Liang, quando montou a equipe de pesquisa da DeepSeek, ele não estava procurando engenheiros experientes para construir um produto voltado para o consumidor. Em vez disso, concentrou-se em estudantes de doutoramento das melhores universidades da China, incluindo a Universidade de Pequim e a Universidade de Tsinghua, que estavam ansiosos por provar o seu valor. Muitos foram publicados em revistas importantes e ganharam prêmios em conferências acadêmicas internacionais, mas não tinham experiência no setor, de acordo com a publicação de tecnologia chinesa QBitAI.

“Nossos cargos técnicos principais são preenchidos principalmente por pessoas que se formaram este ano ou nos últimos um ou dois anos”, disse Liang à 36Kr em 2023. A estratégia de contratação ajudou a criar uma cultura empresarial colaborativa, onde as pessoas eram livres para usar amplos recursos de computação para prosseguir. projetos de pesquisa pouco ortodoxos. É uma forma totalmente diferente de operar das empresas de Internet estabelecidas na China, onde as equipes frequentemente competem por recursos. (Um exemplo recente: a ByteDance acusou um ex-estagiário – nada menos que um prestigiado vencedor de um prêmio acadêmico – de sabotar o trabalho de seus colegas a fim de acumular mais recursos computacionais para sua equipe.)

Liang disse que os estudantes podem ser mais adequados para pesquisas de alto investimento e baixo lucro. “A maioria das pessoas, quando jovens, podem dedicar-se completamente a uma missão sem considerações utilitárias”, explicou. Sua proposta para possíveis contratações é que o DeepSeek foi criado para “resolver as questões mais difíceis do mundo”.

O facto de estes jovens investigadores serem quase inteiramente educados na China aumenta a sua motivação, dizem os especialistas. “Esta geração mais jovem também incorpora um sentimento de patriotismo, especialmente à medida que navegam nas restrições e pontos de estrangulamento dos EUA em tecnologias críticas de hardware e software”, explica Zhang. “A sua determinação em superar estas barreiras reflecte não apenas a ambição pessoal, mas também um compromisso mais amplo para promover a posição da China como líder global em inovação.”

Inovação nascida de uma crise

Em outubro de 2022, o governo dos EUA começou a estabelecer controles de exportação que restringiam severamente o acesso das empresas chinesas de IA a chips de última geração, como o H100 da Nvidia. A mudança apresentou um problema para DeepSeek. A empresa começou com um estoque de 10.000 H100, mas precisava de mais para competir com empresas como OpenAI e Meta. “O problema que enfrentamos nunca foi o financiamento, mas o controle de exportação de chips avançados”, disse Liang ao 36Kr em uma segunda entrevista em 2024.

A DeepSeek teve que criar métodos mais eficientes para treinar seus modelos. “Eles otimizaram a arquitetura de seu modelo usando uma série de truques de engenharia – esquemas de comunicação personalizados entre chips, redução do tamanho dos campos para economizar memória e uso inovador da abordagem de combinação de modelos”, diz Wendy Chang, engenheira de software que virou política analista do Instituto Mercator de Estudos da China. “Muitas dessas abordagens não são ideias novas, mas combiná-las com sucesso para produzir um modelo de ponta é um feito notável.”

DeepSeek também fez progressos significativos em Multi-head Latent Attention (MLA) e Mixture-of-Experts, dois projetos técnicos que tornam os modelos DeepSeek mais econômicos, exigindo menos recursos de computação para treinar. Na verdade, o modelo mais recente do DeepSeek é tão eficiente que exigiu um décimo do poder de computação do modelo Llama 3.1 comparável do Meta para treinar, de acordo com a instituição de pesquisa Epoch AI.

A disposição da DeepSeek em compartilhar essas inovações com o público rendeu-lhe considerável boa vontade dentro da comunidade global de pesquisa em IA. Para muitas empresas chinesas de IA, o desenvolvimento de modelos de código aberto é a única forma de alcançar os seus homólogos ocidentais, porque atrai mais utilizadores e colaboradores, o que, por sua vez, ajuda os modelos a crescer. “Eles agora demonstraram que modelos de ponta podem ser construídos usando menos, embora ainda muito dinheiro, e que as normas atuais de construção de modelos deixam muito espaço para otimização”, diz Chang. “Temos certeza de que veremos muito mais tentativas nessa direção daqui para frente.”

A notícia pode significar problemas para os actuais controlos de exportação dos EUA, que se concentram na criação de estrangulamentos de recursos informáticos. “As estimativas existentes sobre quanto poder de computação de IA a China possui e o que eles podem alcançar com isso podem ser derrubadas”, diz Chang.