दीपसेक की सामर्थ्य एक मिथक है: क्रांतिकारी एआई वास्तव में विकसित करने के लिए $ 1.6 बिलियन का खर्च आता है

दीपसेक के नए चैटबोट में एक प्रभावशाली परिचय है: "हाय, मैं बनाया गया था ताकि आप कुछ भी पूछ सकें और एक जवाब प्राप्त कर सकें जो आपको आश्चर्यचकित भी कर सके।" यह एआई, चीनी स्टार्टअप दीपसेक का एक उत्पाद, जल्दी से एक प्रमुख बाजार खिलाड़ी बन गया है, यहां तक ​​कि एनवीडिया के स्टॉक मूल्य में एक महत्वपूर्ण गिरावट में भी योगदान देता है। इसकी सफलता एक अद्वितीय वास्तुकला और प्रशिक्षण पद्धति से उपजी है, जिसमें कई नवीन तकनीकों को शामिल किया गया है।

मल्टी-टोकन भविष्यवाणी (एमटीपी): पारंपरिक शब्द-दर-शब्द भविष्यवाणी के विपरीत, एमटीपी एक साथ कई शब्दों का अनुमान लगाता है, बढ़ाया सटीकता और दक्षता के लिए विभिन्न वाक्य भागों का विश्लेषण करता है।

विशेषज्ञों का मिश्रण (एमओई): यह आर्किटेक्चर इनपुट डेटा को संसाधित करने, एआई प्रशिक्षण में तेजी लाने और प्रदर्शन में सुधार करने के लिए कई तंत्रिका नेटवर्क का उपयोग करता है। दीपसेक वी 3 256 तंत्रिका नेटवर्क को नियुक्त करता है, प्रत्येक टोकन प्रसंस्करण कार्य के लिए आठ को सक्रिय करता है।

मल्टी-हेड लेटेंट ध्यान (एमएलए): एमएलए महत्वपूर्ण वाक्य तत्वों पर ध्यान केंद्रित करता है, बार-बार पाठ के टुकड़ों से महत्वपूर्ण विवरण निकालता है ताकि सूचना हानि को कम किया जा सके और सूक्ष्म बारीकियों को कैप्चर किया जा सके।

दीपसेक ने शुरू में केवल 2048 जीपीयू का उपयोग करते हुए अपने शक्तिशाली डीपसेक वी 3 मॉडल के लिए $ 6 मिलियन की उल्लेखनीय रूप से कम प्रशिक्षण लागत का दावा किया था। हालांकि, सेमियालिसिस ने एक अधिक पर्याप्त बुनियादी ढांचे का खुलासा किया: लगभग 50,000 एनवीडिया हॉपर जीपीयू (10,000 एच 800, 10,000 एच 100 और अतिरिक्त एच 20 जीपीयू सहित) कई डेटा केंद्रों में वितरित किए गए। यह लगभग $ 1.6 बिलियन के सर्वर निवेश में अनुवाद करता है और $ 944 मिलियन में अनुमानित परिचालन व्यय है।

चाइनीज हेज फंड हाई-फ्लायर की सहायक कंपनी दीपसेक, क्लाउड सेवाओं पर भरोसा करने वाले कई स्टार्टअप्स के विपरीत, अपने डेटा सेंटर का मालिक है। यह अनुकूलन और तेजी से नवाचार कार्यान्वयन पर अधिक नियंत्रण प्रदान करता है। कंपनी की स्व-वित्त पोषित प्रकृति लचीलापन और निर्णय लेने की गति को बढ़ाती है। इसके अलावा, दीपसेक शीर्ष प्रतिभा को आकर्षित करता है, कुछ शोधकर्ताओं ने सालाना 1.3 मिलियन डॉलर से अधिक की कमाई की, मुख्य रूप से प्रमुख चीनी विश्वविद्यालयों से भर्ती किया।

प्रारंभिक $ 6 मिलियन का आंकड़ा, दीपसेक स्पष्ट करता है, केवल अनुसंधान, शोधन, डेटा प्रसंस्करण और समग्र बुनियादी ढांचे को छोड़कर, पूर्व-प्रशिक्षण जीपीयू लागत को दर्शाता है। एआई विकास में कंपनी का कुल निवेश $ 500 मिलियन से अधिक है। इस पर्याप्त निवेश के बावजूद, डीपसेक की सुव्यवस्थित संरचना कुशल नवाचार कार्यान्वयन के लिए अनुमति देती है।

दीपसेक की सफलता एक अच्छी तरह से वित्त पोषित स्वतंत्र एआई कंपनी की प्रतिस्पर्धी क्षमता पर प्रकाश डालती है। जबकि "क्रांतिकारी बजट" का दावा यकीनन अतिरंजित है, कंपनी की उपलब्धियां निर्विवाद हैं, जिसके परिणामस्वरूप महत्वपूर्ण निवेश, तकनीकी सफलता और एक मजबूत टीम है। प्रशिक्षण लागतों की तुलना करते समय इसके विपरीत है: डीपसेक की आर 1 की लागत $ 5 मिलियन है, जबकि CHATGPT4 की लागत $ 100 मिलियन की रिपोर्ट की गई है-डीपसेक की सापेक्ष लागत-प्रभावशीलता को दर्शाता है, यहां तक ​​कि इसके पर्याप्त समग्र निवेश के साथ भी।