DeepSeek的負擔能力是一個神話：革命性的AI實際上花費了16億美元

DeepSeek的新聊天機器人擁有令人印象深刻的介紹：“嗨，我被創建了，您可以問任何東西，並得到一個甚至可能讓您感到驚訝的答案。”這種AI是中國初創公司DeepSeek的產物，已迅速成為主要市場參與者，甚至導致NVIDIA的股價大幅下降。它的成功源於一種獨特的建築和培訓方法，並結合了幾種創新技術。

多語預測（MTP）：與傳統的單詞預測不同，MTP同時預測多個單詞，分析各種句子以提高準確性和效率。

專家的混合（MOE）：該體系結構利用多個神經網絡來處理輸入數據，加速AI訓練並提高性能。 DeepSeek V3使用256個神經網絡，為每個令牌處理任務激活8個。

多頭潛在註意力（MLA）： MLA專注於關鍵的句子元素，反復從文本片段中提取關鍵細節，以最大程度地減少信息丟失並捕獲細微的細微差別。

DeepSeek最初僅使用2048 GPU，其強大的DeepSeek V3車型的培訓成本非常低600萬美元。然而，半分析顯示出更大的基礎設施：在多個數據中心分佈了大約50,000個NVIDIA HOPPER GPU（包括10,000 H800、10,000 H100和其他H20 GPU）。這意味著服務器投資約為16億美元，運營費用估計為9.44億美元。

與許多依賴雲服務的初創公司不同，中國對沖基金的子公司DeepSeek擁有其數據中心。這為優化和更快的創新實施提供了更大的控制。該公司的自我資助性質提高了靈活性和決策速度。此外，DeepSeek吸引了頂尖人才，一些研究人員每年收入超過130萬美元，主要是從中國領先的大學招募。

最初的600萬美元數字（DeepSeek）澄清了，僅反映了培訓前的GPU成本，不包括研究，改進，數據處理和整體基礎架構。該公司對AI開發的總投資超過5億美元。儘管進行了大量投資，但DeepSeek的簡化結構允許有效的創新實施。

DeepSeek的成功突出了一家資金充足的獨立AI公司的競爭潛力。儘管“革命預算”主張可以說是誇大的，但該公司的成就是不可否認的，這是由於巨大的投資，技術突破和強大的團隊。在比較培訓成本時，對比很明顯：DeepSeek的R1耗資500萬美元，而ChatGpt4的成本為1億美元，即使DeepSeek的相對成本效益也證明了其大量的整體投資。

DeepSeek測試 DeepSeek V3