Lemonade SDK 10.3 от AMD стал в 10 раз меньше

Вышло крупное обновление Lemonade — локального сервера искусственного интеллекта с открытым исходным кодом, работающего на оборудовании от AMD в Windows и Linux.

В этом выпуске:

• OmniRouter объединяет лучшие серверные движки для создания мультимодальный чат с большими языковыми моделями. Есть возможность работы с изображениями, генерации речь и т.д.
• Настольное приложение теперь основано на Tauri, а не на Electron, поэтому его размер уменьшился в 10 раз;
• Легко обновляйте приложение до определенных версий llama.cpp или включите автоматическое обновление;
• Поддерживаются стабильная версия ROCm 7.2, предварительная версия 7.12 и ночные сборки TheRock. Предварительная версия теперь используется по умолчанию.

Tauri — это альтернативная кроссплатформенная среда с открытым исходным кодом для создания настольных и мобильных приложений с использованием веб-технологий и языка программирования Rust. Готовые сборки Lemonade 10.3 занимают занимают 7–9 МБ, а более ранних версий — около 100 МБ.

Кроме того сообществом вокруг проекта было создано более 50 мелких исправлений, направленных на более стабильную и удобную работу с языковыми моделями.

Источник