DeepSeek, китайска компания за изкуствен интелект (AI), представи новия си езиков модел DeepSeek-V3 – отворен софтуер с внушителните 671 милиарда параметри. Този модел значително надминава Meta Llama 3.1, който разполага с 405 милиарда параметри. Въпреки големината си, DeepSeek-V3 е разработен с акцент върху ефективността, използвайки архитектурата MoE (mixture-of-expert), която активира само релевантните параметри за дадена задача. Важно е да се отбележи, че моделът е текстово базиран и няма мултимодални възможности.

Основни характеристики на DeepSeek-V3

Моделът е достъпен в Hugging Face под лиценз MIT, което позволява както лична, така и комерсиална употреба. Създаден е с цел по-ефективно обучение и бърза обработка, като използва Multi-head Latent Attention (MLA) и DeepSeekMoE архитектури.

DeepSeek-V3 е обучен върху 14,8 трилиона токена, използвайки супервизирано фино настройване и обучение с подсилване за генериране на висококачествени резултати. Технологията за балансиране на натоварването минимизира производителните загуби, запазвайки производителността дори при интензивна употреба.

Сравнение с конкуренцията

Вътрешните тестове показват, че DeepSeek-V3 изпреварва конкурентни модели като Meta Llama 3.1 и Qwen 2.5 в редица ключови показатели, включително Big-Bench High-Performance (BBH) и Massive Multitask Language Understanding (MMLU). Въпреки това, тези резултати все още не са потвърдени от независими изследователи.

Макар да съществуват по-големи AI модели, като Gemini 1.5 Pro с 1 трилион параметри, DeepSeek-V3 е изключителен в сферата на отворения код. Предишният рекорд за най-голям модел в тази категория принадлежеше на Meta Llama 3.1.

Достъп и приложения

Потребителите могат да изтеглят кода на DeepSeek-V3 от Hugging Face или да го тестват чрез онлайн чатбот платформата на компанията. За разработчици е наличен API за интеграция в техни проекти.

DeepSeek-V3 е доказателство за напредъка в отворените AI технологии, предоставяйки мощен инструмент както за научна, така и за комерсиална употреба.