Apple и Meta

Apple и Meta объединились, чтобы запустить модель Muse AI на компьютерах Mac

ИИ

Apple и Meta совместно адаптировали Muse Spark Open для локальной работы на Mac Studio с M5 Ultra. Модель на 816 млрд параметров запускают на связке из двух–четырёх компьютеров, без облачного сервера для самих вычислений. Для компаний, годами споривших о конфиденциальности и правилах цифровых платформ, это заметный поворот.

Meta опубликовала Muse Spark Open 15 октября. Это мультимодальная модель для программирования, работы с изображениями и видео, а также агентных задач — когда ИИ планирует действия и использует инструменты. Apple подготовила обновление MLX, своего открытого фреймворка для машинного обучения на Apple Silicon, чтобы распределять выполнение большой модели между несколькими Mac.

ХарактеристикаMuse Spark Open
РазработчикMeta
АрхитектураMixture-of-Experts, MoE
Всего параметров816 млрд
Активных параметров42 млрд при обработке токена
Контекстное окноДо 1 млн токенов
Вариант для тестов Apple4-битный NVFP4, выполнение через MLX
РаспространениеОткрытые веса под Muse Model License

MoE помогает сократить объём вычислений: для очередного токена работает выбранная часть модели. Однако хранить её веса всё равно нужно. В техническом разборе Apple указано, что в исходном формате BF16 только параметры Muse Spark Open потребовали бы более 1,6 ТБ памяти. После перевода в NVFP4 модель занимает около 493 ГБ, к которым добавляется память для вычислений. Поэтому показанный запуск требует нескольких машин.

Ключевую роль играет объединённая память Apple Silicon, доступная встроенному GPU. В примере Meta два Mac Studio оснащены 512 ГБ каждый. Apple также протестировала связки из двух и четырёх систем, соединённых через Thunderbolt с RDMA — механизмом быстрого обмена данными между компьютерами.

В собственном тесте Apple четыре Mac Studio с M5 Ultra обеспечили 36,73 токена в секунду при контексте 8192 токена. Использовалась модель NVFP4, а скорость измеряли на генерации 128 токенов. Результат относится к этой конфигурации и методике; независимой проверки в данном материале нет.

Такой локальный ИИ требует серьёзного бюджета. CNBC приводит цену от $10 799 за один Mac Studio с M5 Ultra и 256 ГБ памяти на рынке США. Издание описывает систему из двух–четырёх компьютеров и сообщает, что более дорогая версия с 512 ГБ появится позднее в октябре. В показанной Meta связке используются именно более ёмкие конфигурации — по 512 ГБ на каждом компьютере.

Сама Apple заявляет для Mac Studio с M5 Ultra до 36 ядер CPU, до 80 ядер GPU, до 512 ГБ объединённой памяти и пропускную способность памяти 1,2 ТБ/с. Но подходящую систему определяет вся конфигурация: одного названия процессора недостаточно.

Веса модели уже доступны в официальной коллекции Meta на Hugging Face. MLX может загружать их оттуда для локального выполнения. Meta также сообщает об испытаниях агентных сценариев: внесении изменений в iOS-приложение Ice Cubes и работе с видеоматериалами в DaVinci Resolve. Это демонстрации разработчика, а не результаты стороннего обзора.

Коммерческое применение разрешено на условиях Muse Model License. В частности, требуется сохранять предусмотренные лицензией уведомления и указывать использование Muse Spark Open. Для бизнеса Model as a Service действует отдельное условие: если совокупная валовая выручка лицензиата и аффилированных компаний превышает $20 млн за любые последовательные 12 месяцев, перед предложением модели или её производных в таком сервисе нужно уведомить Meta и заключить отдельное соглашение.

Сотрудничество примечательно и историей отношений. После введённых Apple в 2021 году ограничений рекламного отслеживания Meta публично критиковала её политику. Теперь компании нашли общий интерес: Apple показывает возможности своей аппаратной платформы, а Meta расширяет аудиторию модели, которую разработчики могут запускать на собственном оборудовании. По словам главы ИИ-направления Meta Александра Вана, работа над совместимостью шла несколько месяцев. О более широком партнёрстве компании пока не объявляли.

Локальное выполнение даёт владельцу инфраструктуры больше контроля над обработкой данных. При построении агентов поверх модели отдельно важны разрешения на доступ к данным Mac и настройки подключённых инструментов. Экономию по сравнению с облачным API тоже придётся считать для конкретной нагрузки: опубликованные тесты скорости ещё не показывают полную стоимость владения кластером.

0 0 голоса
Рейтинг статьи
Подписаться
Уведомить о
guest
0 комментариев
Старые
Новые Популярные
0
Оставьте комментарий! Напишите, что думаете по поводу статьи.x