Deepseeks neuer Chatbot bietet eine beeindruckende Einführung: "Hallo, ich wurde erstellt, damit Sie alles fragen und eine Antwort erhalten können, die Sie sogar überraschen könnte." Diese KI, ein Produkt des chinesischen Startups Deepseek, ist schnell zu einem wichtigen Marktspieler geworden und hat sogar zu einem erheblichen Rückgang des NVIDIA -Aktienkurses beigetragen. Der Erfolg beruht auf einer einzigartigen Architektur- und Trainingsmethodik mit mehreren innovativen Technologien.
Multi-Token-Vorhersage (MTP): Im Gegensatz zur herkömmlichen Wort für Wortvorhersage prognostiziert MTP mehrere Wörter gleichzeitig und analysiert verschiedene Satzteile auf verbesserte Genauigkeit und Effizienz.
Mischung von Experten (MOE): Diese Architektur verwendet mehrere neuronale Netze, um Eingabedaten zu verarbeiten, das KI -Training zu beschleunigen und die Leistung zu verbessern. Deepseek V3 verwendet 256 neuronale Netze und aktiviert acht für jede Token -Verarbeitungsaufgabe.
Multi-Head Latent Achtung (MLA): MLA konzentriert sich auf wichtige Satzelemente und extrahiert wiederholt Schlüsseldetails aus Textfragmenten, um den Informationsverlust zu minimieren und subtile Nuancen zu erfassen.
Deepseek behauptete zunächst eine bemerkenswert niedrige Ausbildungskosten von 6 Millionen US -Dollar für sein mächtiges Deepseek V3 -Modell mit nur 2048 GPUs. Die semiianalyse ergab jedoch eine weitaus wesentlichere Infrastruktur: ungefähr 50.000 NVIDIA Hopper -GPUs (einschließlich 10.000 H800, 10.000 H100 und zusätzliche H20 -GPUs), die über mehrere Datenzentren verteilt wurden. Dies führt zu einer Serverinvestition von rund 1,6 Milliarden US -Dollar und Betriebskosten, die auf 944 Mio. USD geschätzt werden.
Deepseek, eine Tochtergesellschaft des chinesischen Hedgefonds-High-Flyer, besitzt im Gegensatz zu vielen Startups, die sich auf Cloud-Dienste verlassen. Dies bietet eine bessere Kontrolle über die Optimierung und eine schnellere Implementierung von Innovationen. Die selbstfinanzierte Natur des Unternehmens verbessert die Flexibilität und die Entscheidungsgeschwindigkeit. Darüber hinaus zieht Deepseek Top -Talente an, wobei einige Forscher jährlich über 1,3 Millionen US -Dollar verdienen und hauptsächlich von führenden chinesischen Universitäten rekrutieren.
Die anfängliche Zahl von 6 Millionen US-Dollar, Deepseek, verdeutlicht und spiegelt nur die GPU-Kosten vor der Training wider, ohne Forschung, Verfeinerung, Datenverarbeitung und Gesamtinfrastruktur. Die Gesamtinvestition des Unternehmens in die KI -Entwicklung beträgt 500 Millionen US -Dollar. Trotz dieser erheblichen Investition ermöglicht die optimierte Struktur von Deepseek eine effiziente Implementierung innovation.
Der Erfolg von Deepseek unterstreicht das Wettbewerbspotential eines gut finanzierten unabhängigen KI-Unternehmens. Während die Behauptung des "revolutionären Budgets" wohl übertrieben ist, sind die Leistungen des Unternehmens unbestreitbar, was auf erhebliche Investitionen, technologische Durchbrüche und ein starkes Team zurückzuführen ist. Der Kontrast ist im Vergleich der Schulungskosten stark: Deepseeks R1 kostete 5 Millionen US-Dollar, während ChatGPT4 100 Millionen US-Dollar gekostet hat und Deepseeks relative Kosteneffizienz auch mit seiner erheblichen Gesamtinvestition entwickelt hat.
