Deepseek, wybitny chiński startup, dokonał znacznych fal w branży AI dzięki najnowszemu chatbotowi, który oferuje wyjątkowe wprowadzenie: „Cześć, zostałem stworzony, abyś mógł zapytać o wszystko i uzyskać odpowiedź, która może cię nawet zaskoczyć”. To odważne stwierdzenie odzwierciedla innowacyjne technologie modeli AI Deepseek, które przyczyniły się do jednego z największych spadków cen akcji NVIDIA ze względu na ich przewagę konkurencyjną na rynku.

Wyróżniające się funkcje AI Deepseek obejmują:

• Prognozowanie wielofunkcyjne (MTP) : W przeciwieństwie do tradycyjnych modeli, które przewidują jedno słowo na raz, model Deepseek prognozuje wiele słów jednocześnie, zwiększając zarówno dokładność, jak i wydajność poprzez analizę różnych części zdania.
• Mieszanka ekspertów (MOE) : Architektura ta wykorzystuje 256 sieci neuronowych, z ośmioma aktywowanymi dla każdego zadania przetwarzania tokena, przyspieszając szkolenie AI i poprawę wydajności.
• Wielowłótnie utajone uwaga (MLA) : Ten mechanizm koncentruje się na kluczowych częściach zdania, wielokrotnie wydobywając kluczowe szczegóły, aby zminimalizować szansę na brak ważnych informacji, w ten sposób skutecznie przechwytując dopracowane dane.

Deepseek twierdzi, że przeszkolił swoją potężną sieć neuronową, Deepseek V3, za zaledwie 6 milionów dolarów przy użyciu zaledwie 2048 procesorów graficznych. Jednak głębsze badanie semianalizy ujawniło bardziej obszerną infrastrukturę, w tym około 50 000 GPU Nvidia Hopper w kilku centrach danych. Obejmuje to 10 000 jednostek H800, 10 000 H100 i dodatkowe GPU H20, wykorzystywane nie tylko do szkolenia AI, ale także do badań i modelowania finansowego. Całkowita inwestycja spółki w serwerach osiąga około 1,6 miliarda dolarów, a wydatki operacyjne szacują na 944 mln USD.

Jako spółka zależna chińskiego funduszu hedgingowego High-Flyer, Deepseek działa niezależnie, posiadając swoje centra danych. Ta autonomia pozwala na szybsze innowacje i wdrożenie, ponieważ firma jest finansowana i nie uległa zagięciu zewnętrznym procesami biurokratycznymi. Deepseek przyciąga również najlepsze talenty wiodących chińskich uniwersytetów, a niektórzy badacze zarabiają ponad 1,3 miliona dolarów rocznie.

Pomimo roszczenia o koszty szkolenia w wysokości 6 milionów dolarów, liczba ta obejmuje jedynie zużycie GPU podczas wstępnego treningu i nie obejmuje szerszych wydatków, takich jak badania, udoskonalanie modelu, przetwarzanie danych lub koszty infrastruktury. Od samego początku Deepseek zainwestował ponad 500 milionów dolarów w rozwój AI, wykorzystując swoją kompaktową strukturę w celu zwiększenia skutecznych innowacji AI.

Podróż Deepseek podkreśla, w jaki sposób dobrze finansowana, niezależna firma AI może rzucić wyzwanie gigantom branżowym. Sukces firmy przypisuje się jednak znacznym inwestycjom, przełom technicznym i silnym zespołem, a nie „budżetem rewolucyjnym”. Podczas gdy koszty konkurentów są znacznie wyższe - DEEPSEEK wydał 5 milionów dolarów na R1 w porównaniu z 100 milionami dolarów Chatgpt4o - DEEPSEEK pozostaje potężnym graczem w krajobrazie AI.

Zdjęcie: engame.com

Zdjęcie: engame.com

Zdjęcie: engame.com

Zdjęcie: engame.com