Llama Windows упрощает запуск ИИ на ПК
Hugging Face и команда llama.cpp представили Llama Windows — бесплатное приложение для запуска локальных ИИ-моделей в Windows 11. Оно позволяет выбирать и скачивать модели из Hugging Face Hub без терминала, а затем общаться с ними на собственном компьютере.
Приложение работает через значок в системном трее. Нажатие открывает компактную панель управления, а сочетание Alt + Space вызывает быстрый чат с уже загруженной моделью поверх других окон. Интерфейс построен на WinUI 3; движком для выполнения моделей служит llama.cpp.
В разделе Recommended Models собраны готовые квантованные модели — сборки с уменьшенной точностью представления весов, которые занимают меньше места. Перед скачиванием видны размер файла, число параметров и поддержка обработки изображений. При этом название приложения не ограничивает выбор семейством Meta Llama.
Один клик запускает именно скачивание. Когда оно завершится, модель нужно загрузить в память, после чего можно открыть веб-интерфейс чата. Из той же панели её можно выгрузить, освободив ресурсы компьютера.
Настройку движка утилита тоже берёт на себя. При запуске она подключается к уже работающему серверу llama.cpp либо запускает управляемый экземпляр. Если нужного компонента нет, приложение устанавливает его без прав администратора. Файлы моделей сохраняются в общем кеше Hugging Face, поэтому совместимым инструментам не обязательно держать отдельные копии.
Загруженную модель можно использовать и за пределами встроенного чата. Локальный сервер доступен по адресу http://localhost:9931, а совместимые с OpenAI API программы подключаются через http://localhost:9931/v1. Так к модели могут обращаться редакторы, скрипты и агенты, если они поддерживают нужные методы этого API.
Для Windows 11 доступны сборки x64 и ARM64. В анонсе от 13 октября разработчики также заявили поддержку NVIDIA RTX Spark, подготовленную совместно с NVIDIA. Исходный код приложения опубликован в репозитории ggml-org/Llama-Windows под лицензией MIT.
Генерация ответов выполняется локально, но для первоначального скачивания приложения, движка и моделей нужен интернет. Утилита также проверяет обновления; локальный запуск не означает полного отсутствия сетевых соединений.
Удобная оболочка не отменяет требований выбранной модели к памяти и вычислительной мощности. Как мы уже объясняли в материале о локальном запуске MAI-Code, размер скачанного файла и расход памяти при работе — разные показатели. Llama Windows упрощает подготовку к запуску, а подходящую модель всё равно нужно выбирать под свой ПК.
