Deepseek, een prominente Chinese startup, heeft belangrijke golven in de AI -industrie gemaakt met zijn nieuwste chatbot, die een unieke introductie heeft: "Hallo, ik ben gemaakt zodat je alles kunt vragen en een antwoord kunt krijgen dat je misschien zelfs verrassen." Deze gedurfde verklaring weerspiegelt de innovatieve technologieën achter de AI -modellen van Deepseek, die hebben bijgedragen aan een van de grootste aandelenkoersdalingen van Nvidia vanwege hun concurrentievoordeel in de markt.

De opvallende kenmerken van Deepseek's AI zijn onder meer:

• Multi-token voorspelling (MTP) : in tegenstelling tot traditionele modellen die één woord tegelijk voorspellen, voorspelt het model van Deepseek meerdere woorden tegelijkertijd, waardoor zowel nauwkeurigheid als efficiëntie wordt verbeterd door verschillende delen van een zin te analyseren.
• Mix van experts (MOE) : deze architectuur maakt gebruik van 256 neurale netwerken, met acht geactiveerd voor elke tokenverwerkingstaak, het versnellen van AI -training en het verbeteren van de prestaties.
• Multi-head latente aandacht (MLA) : dit mechanisme richt zich op cruciale delen van een zin en extraheert herhaaldelijk belangrijke details om de kans op het missen van belangrijke informatie te minimaliseren, waardoor genuanceerde gegevens effectief worden vastgelegd.

Deepseek beweert zijn krachtige neurale netwerk, Deepseek V3, te hebben getraind voor slechts $ 6 miljoen met behulp van slechts 2048 grafische processors. Een dieper onderzoek door Semianalysis onthulde echter een uitgebreidere infrastructuur, waaronder ongeveer 50.000 Nvidia Hopper GPU's in verschillende datacenters. Dit omvat 10.000 H800 -eenheden, 10.000 H100's en extra H20 GPU's, niet alleen gebruikt voor AI -training, maar ook voor onderzoek en financiële modellering. De totale investering van het bedrijf in servers bereikt ongeveer $ 1,6 miljard, met operationele kosten geschat op $ 944 miljoen.

Als dochteronderneming van het Chinese hedgefonds high-flyer, werkt Deepseek onafhankelijk en bezit zijn datacenters. Deze autonomie zorgt voor snellere innovatie en implementatie, omdat het bedrijf zelf gefinancierd is en niet verzand is door externe bureaucratische processen. Deepseek trekt ook toptalent van toonaangevende Chinese universiteiten, waarbij sommige onderzoekers jaarlijks meer dan $ 1,3 miljoen verdienen.

Ondanks de claim van een trainingskosten van $ 6 miljoen, dekt dit cijfer alleen GPU-gebruik tijdens pre-training en omvat geen bredere kosten zoals onderzoek, modelverfijning, gegevensverwerking of infrastructuurkosten. Sinds de oprichting heeft Deepseek meer dan $ 500 miljoen geïnvesteerd in AI -ontwikkeling, waardoor zijn compacte structuur wordt gebruikt om effectieve AI -innovaties te stimuleren.

De reis van Deepseek benadrukt hoe een goed gefinancierd, onafhankelijk AI-bedrijf industriële reuzen kan uitdagen. Het succes van het bedrijf wordt echter toegeschreven aan substantiële investeringen, technische doorbraken en een sterk team, in plaats van een 'revolutionair budget'. Hoewel de kosten van concurrenten opmerkelijk hoger zijn - Deepseek besteedde $ 5 miljoen aan R1 in vergelijking met Chatgpt4o's $ 100 miljoen - blijft Deepseek een formidabele speler in het AI -landschap.

Afbeelding: ensigame.com

Afbeelding: ensigame.com

Afbeelding: ensigame.com

Afbeelding: ensigame.com