Энтузиасту удалось запустить китайскую модель Kimi K3 с 2,8 триллиона параметров на сервере, используя обычный процессор Intel Xeon и память Intel Optane — без GPU.
В системе использовались:
-
Процессор Intel Xeon Scalable третьего поколения, 40 ядер.
-
Модули Intel Optane PMem 200.
-
Специальное охлаждение модулей памяти.
-
Никакой видеокарты для вычислений.
Особенность заключается в том, что вычисления выполнялись на CPU, а огромный объём параметров модели размещался в энергонезависимой памяти Optane.
2.Главный вопрос насколько быстро работает?
Результат оказался впечатляющим с инженерной точки зрения, но не с точки зрения скорости.
Скорость генерации
0,85
токена в секунду
Параметры модели
2,8 трлн
всего параметров
Сжатие
1 бит
квантование модели
Видеокарты
0
для вычислений
Для понимания: генерация одного токена занимала примерно 1,18 секунды. Это очень медленно для обычного общения с чат-ботом.
Не на обычном домашнем компьютере.
Даже наиболее сжатые версии Kimi K3 требуют порядка 610 ГБ оперативной памяти. В данном эксперименте использовалась специализированная серверная платформа с дорогой и необычной памятью.
Дополнительная проблема — нагрев Optane. Автор эксперимента применил два мощных вентилятора для активного охлаждения модулей.
Есть три интересных последствия:
-
Меньше зависимости от GPU. Большие модели можно экспериментально запускать на CPU.
-
Новые способы экономии. Квантование позволяет уменьшать требования к памяти.
-
Демократизация ИИ. В перспективе мощные модели смогут работать на более доступном оборудовании.
Но есть принципиальная разница: возможность запустить модель ещё не означает возможность комфортно ею пользоваться.
В ближайшие годы мы увидим больше экспериментов с локальным запуском больших ИИ-моделей. Главным ограничением станет уже не столько вычислительная мощность, сколько объём и пропускная способность памяти.
Оригинальная публикация: Tom's Hardware — запуск Kimi K3 на CPU и Intel Optane
Обсуждение
Пока никто не оставил комментарий