O novo chatbot de Deepseek possui uma introdução impressionante: "Oi, fui criado para que você possa perguntar qualquer coisa e obter uma resposta que possa até surpreendê -lo". Essa IA, um produto da startup chinesa Deepseek, tornou -se rapidamente um dos principais players de mercado, contribuindo para uma queda significativa no preço das ações da Nvidia. Seu sucesso decorre de uma metodologia única de arquitetura e treinamento, incorporando várias tecnologias inovadoras.
Previsão com vários toques (MTP): Ao contrário da previsão tradicional de palavra por palavra, o MTP prevê várias palavras simultaneamente, analisando várias peças de frase para maior precisão e eficiência.
Mistura de especialistas (MOE): Esta arquitetura utiliza várias redes neurais para processar dados de entrada, acelerando o treinamento de IA e melhorando o desempenho. A Deepseek V3 emprega 256 redes neurais, ativando oito para cada tarefa de processamento de token.
Atenção latente de várias cabeças (MLA): O MLA se concentra nos elementos cruciais da frase, extraindo repetidamente os principais detalhes dos fragmentos de texto para minimizar a perda de informações e capturar nuances sutis.
A Deepseek reivindicou inicialmente um custo de treinamento notavelmente baixo de US $ 6 milhões para seu poderoso modelo Deepseek V3, usando apenas 2048 GPUs. No entanto, a semiânica revelou uma infraestrutura muito mais substancial: aproximadamente 50.000 GPUs NVIDIA Hopper (incluindo 10.000 H800, 10.000 H100 e GPUs H20 adicionais) distribuídas em vários data centers. Isso se traduz em um investimento em servidor de aproximadamente US $ 1,6 bilhão e despesas operacionais estimadas em US $ 944 milhões.
A Deepseek, uma subsidiária do fundo de hedge chinês High-Flyer, possui seus data centers, ao contrário de muitas startups que dependem de serviços em nuvem. Isso fornece maior controle sobre otimização e implementação mais rápida da inovação. A natureza autofinanciada da empresa aumenta a flexibilidade e a velocidade de tomada de decisão. Além disso, a Deepseek atrai os melhores talentos, com alguns pesquisadores ganhando mais de US $ 1,3 milhão anualmente, recrutando principalmente das principais universidades chinesas.
O valor inicial de US $ 6 milhões, esclarece a Deepseek, reflete apenas os custos de GPU pré-treinamento, excluindo pesquisas, refinamento, processamento de dados e infraestrutura geral. O investimento total da empresa no desenvolvimento da IA excede US $ 500 milhões. Apesar desse investimento substancial, a estrutura simplificada da Deepseek permite uma implementação eficiente da inovação.
O sucesso da Deepseek destaca o potencial competitivo de uma empresa de IA independente bem financiada. Embora a reivindicação do "orçamento revolucionário" seja sem dúvida exagerada, as realizações da empresa são inegáveis, resultantes de investimentos significativos, avanços tecnológicos e uma equipe forte. O contraste é forte ao comparar os custos de treinamento: o R1 da Deepseek custa US $ 5 milhões, enquanto o ChatGPT4 custou US $ 100 milhões-demonstrando o custo-efetividade relativa da Deepseek, mesmo com seu investimento geral substancial.
