Microsoft відкрила розробникам доступ до локальної версії LLM-моделі MAI-Code-1.1-Flash. Тепер агентів для програмування можна запускати на власному комп'ютері без звернень до хмари та навіть без інтернету. Втім, є суттєве обмеження: потрібен обсяг пам'яті, якого не має більшість звичайних машин.
Раніше MAI-Code-1.1-Flash працювала лише на серверах Microsoft. Тепер її можна завантажити й запустити на власному обладнанні. Щоб зменшити апетити моделі до пам'яті, компанія стиснула її за допомогою 3-бітного квантування. При цьому вікно контексту залишилося повним і становить 256 тис. токенів. За твердженням Microsoft, квантована версія майже не поступається повній за якістю кодингу. Це підтверджують тести SWE-Bench Verified і Terminal-Bench 2.1, де результати двох варіантів, за даними компанії, порівнянні.
Головна проблема — апаратні вимоги. Модель доволі велика навіть після стискання, тож для комфортної роботи Microsoft радить понад 120 ГБ оперативної пам'яті. На типовому домашньому чи офісному ПК, де зазвичай 16–32 ГБ, такий запуск просто неможливий. Тому локальна модель стане доступною насамперед для тих, хто має робочу станцію або спеціально зібрану машину.
Є й «зручний» виняток. Того ж дня Microsoft представила ноутбук Surface Laptop Ultra, флагманська конфігурація якого має 128 ГБ уніфікованої пам'яті. Це вже вище за рекомендований поріг для MAI-Code-1.1-Flash. Виходить, що разом із новим пристроєм компанія одразу показала, чим його можна навантажити. Збіг явно не випадковий.
Локальний запуск дозволяє GitHub Copilot виконувати сумісні завдання з кодингу прямо на пристрої. Під час презентації Microsoft навіть увімкнула на ноутбуці режим польоту, щоб показати: моделі не потрібне активне підключення до мережі. Для складніших завдань розробники, як і раніше, зможуть підключати хмарні моделі.
Модель можна завантажити вже зараз. Експериментальну підтримку в GitHub Copilot обіцяють додати до кінця місяця. Вона з'явиться в застосунку GitHub Copilot, в GitHub Copilot CLI та у Visual Studio Code.
За даними Microsoft, MAI-Code-1.1-Flash уже працює в GitHub Copilot у продакшені й ефективніша за модель, яку компанія показала на Build. Порівняно з MAI-Code-1.0 токени генеруються на 25% швидше, а для виконання завдання потрібно на 25% менше токенів.
Отже, тепер запускати кодового ШІ-агента локально можна, але лише за наявності 128 ГБ пам'яті. Тож доведеться або вже мати таку машину, або витратити близько $5899 на топову версію Surface Laptop Ultra.
Для українських команд це поки що радше сигнал, ніж готовий робочий сценарій. Локальний кодовий агент без залежності від хмари цікавий передусім тим, хто працює з чутливим кодом або має нестабільний інтернет. Але ціна входу — робоча станція з 128 ГБ пам'яті — робить такий сценарій доцільним хіба що для великих продуктових команд або агенцій із власним залізом. Решті поки що дешевше користуватися хмарними моделями.
3
