Начало здесь
В апреле 2024 года DeepSeek выпустил Deepseek Math, небольшую модель, которая по математическим способностям сравнялась с гораздо более крупной моделью GPT-4. Одним из ключевых факторов успеха стала методика обучения Group Relative Policy Optimization (GRPO), которая позже была использована в DeepSeek R1. GRPO представляла собой более эффективный подход к обучению с подкреплением, отказавшись от ресурсоемких моделей-критиков.
К маю 2024 года была выпущена Deepseek V2 с еще одной инновацией в области эффективности - Multi-head Latent Attention, которая позволяла модели достигать сопоставимого уровня производительности с меньшим количеством параметров за счет совместного использования весов.
⚪️ Стремление к инновациям и преодоление ограничений
Лян Вэньфэн стремился к тому, чтобы Китай стал не просто имитатором западных технологий, а настоящим новатором. Он публично критиковал подход, основанный на ожидании улучшения аппаратного и программного обеспечения по закону Мура. Лян хотел, чтобы DeepSeek стал пионером, открыто делящимся своими исследованиями.
В конце 2024 года DeepSeek выпустил Deepseek V3, объединив и масштабировав все предыдущие инновации, включая оптимизацию на уровне кода GPU. Дэрио Амодей, генеральный директор Anthropic, назвал V3 "настоящей инновацией".
⚪️ Прорыв DeepSeek R1 и реакция мирового сообщества
Используя инновацию OpenAI в области обучения с подкреплением на цепочках рассуждений, DeepSeek разработал Deep Seek R1 Zero, а после доработок - Deep Seek R1, который привлек внимание всего мира в начале 2025 года. R1 по многим техническим бенчмаркам незначительно превзошел оригинальную модель 01 от OpenAI.
Открытость DeepSeek в отношении своих исследований показала миру, как языковые модели могут самокорректироваться под давлением оптимизации для достижения правильных ответов.
Одним из ключевых аспектов DeepSeek R1 была возможность видеть процесс мышления модели, что сделало ее особенно привлекательной. (На момент ее выхода другие производители ИИ прятали ход рассуждений своих моделей.) Кроме того, модель была значительно дешевле конкурентов.
Западные AI-лаборатории выдвигали контрнарративы, включая обвинения в том, что DeepSeek мог неправомерно использовать цепочки рассуждений модели 01 от OpenAI. Однако эти заявления не получили широкой поддержки. В том числе, потому, что к самой OpenAI в США есть масса претензий и исков о неправомерном использовании различных данных для обучения их моделей.
OpenAI даже выразила опасения, что DeepSeek, будучи потенциально подконтрольной Коммунистической партии Китая, может быть использована для нанесения вреда, а ее бесплатная доступность угрожает конфиденциальности и безопасности пользователей. (Чего только американцы не придумают, чтобы ограничить конкуренцию в технологиях других стран 🙄) Несмотря на это, DeepSeek готовился к выпуску Deepseek R2 в апреле или мае 2025 года.
⚪️ Будущее DeepSeek и стремление к AGI
При разработке DeepSeek Лян Вэньфэн столкнулся с проблемой доступа к передовым чипам из-за ограничений, введенных правительством США. Несмотря на это, DeepSeek продолжал развиваться благодаря собственным инновациям в области эффективности вычислений.
Сейчас сообщается, что Лян рассматривает возможность привлечения внешних инвестиций для дальнейшего масштабирования и достижения AGI.
В заключение хочу сказать, что история DeepSeek и Ляна Вэньфэна - это история не только о желании Китая стать лидером в области AI и о неожиданном прорыве, который бросил вызов доминированию западных AI-лабораторий. В том числе, а, возможно, "прежде всего", это история о конкретном человеке и его стремлении к исследованию и инновациям.
#ИИистория
Будущее наступает🚀 Начало здесь https://t.me/aiworkfuture/368 #ИИистория ?q=%23%D0%98%D0%98%D0%B8%D1%81%D1%82%D0%BE%D1%80%D0%B8%D1%8F Будущее наступает https://t.me/aiworkfuture