Во многих компаниях мощные компьютеры Mac простаивают, в то время как доступ к вычислительным ресурсам для задач искусственного интеллекта обходится дорого. Разработанная Apple внутренняя система Minions распределяет такие задачи между подключёнными компьютерами и объединяет их в виртуальный пул GPU-ресурсов.
Система пока недоступна за пределами Apple. Она может помочь компаниям использовать уже имеющиеся компьютеры для инференса и анализировать данные внутри организации, не отправляя их во внешние сервисы.
Как устроена Minions
Система состоит из трёх компонентов: сервера Minion, исполнителя задач и Watchdog. Сервер разбивает задания на части и помещает их в очередь. Исполнитель распределяет работу между доступными Mac. Watchdog следит за выполняемыми задачами и обнаруживает сбои: например, компьютер может выключиться или перейти в режим сна. Если узел становится недоступен, Watchdog возвращает его часть задания в очередь, чтобы её выполнило другое устройство.
Сейчас Minions поддерживает два типа графических вычислений на Mac: создание эмбеддингов и выполнение запросов к большим языковым моделям. Для этого используются открытые модели-трансформеры из Hugging Face и Ollama соответственно. Ollama устанавливают и запускают на участвующих устройствах, поэтому инференс выполняется локально, без обращений к удалённым API.
Команда Apple намерена в дальнейшем добавить поддержку распределённого обучения моделей. Это позволит разработчикам корпоративных ИИ-систем задействовать доступные Mac для создания новых моделей.
«Платформа особенно полезна там, где централизованных ресурсов GPU не хватает: она позволяет командам задействовать значительные вычислительные мощности без дополнительных затрат на оборудование, используя уже имеющиеся устройства», — отмечают исследователи.
Использование простаивающих компьютеров
Minions позволяет компаниям использовать незанятые вычислительные ресурсы Mac вместо того, чтобы покупать дополнительную мощность для инференса. При этом остаются расходы на электроэнергию, необходимую для работы компьютеров. Для организаций, у которых уже есть подходящие устройства, такой подход может снизить зависимость от внешних сервисов и упростить обработку данных внутри компании.
Спрос на вычислительные мощности для ИИ высок. Minions показывает, как имеющиеся у компании Mac можно использовать для задач машинного обучения и искусственного интеллекта. Однако система не превращает компьютеры в универсальную замену специализированной инфраструктуре.
Задачи могут начинаться за минуты, а не часы
В сочетании с Mac, объединёнными в RDMA-кластер для выполнения задач ИИ, Minions помогает сделать графические вычисления доступнее для команд. По словам исследователей, до внедрения системы из-за нехватки централизованных ресурсов GPU ожидание некоторых задач инференса превышало десять часов. С Minions выполнение часто начинается в течение нескольких минут благодаря использованию простаивающих устройств под управлением macOS.
Возможное расширение системы
Исследователи считают, что Minions может стать основой для более широкого объединения простаивающих устройств macOS. Если их удастся безопасно связать между организациями — или даже на глобальном уровне, — они смогут образовать общий пул GPU-ресурсов для исследовательского сообщества и других участников экосистемы.
Пока Apple не объявляла о планах сделать Minions доступной за пределами компании. Поэтому возможности системы для других организаций остаются перспективой, а не доступным сейчас решением.
