Microsoft опублікувала на GitHub інструмент Scope, який дозволяє системно перевіряти, як ШІ-агенти для кодингу виконують одне й те саме завдання. Код відкритий за ліцензією MIT, тобто користуватися ним можна безкоштовно. Проєкт належить до напряму Developer Agent Experience (DevAx) — «досвіду розробки очима агента».
Потреба в такому інструменті зростає, бо агенти дедалі частіше самі обирають, який SDK підключити і які інструменти викликати. Те, що розробнику здається очевидним, для агента може стати глухим кутом. Тому командам, які підтримують документацію, SDK чи MCP-сервери, варто перевіряти не лише зручність для людини, а й те, чи впорається агент.
Scope не створює нових агентів — він тестує наявні. Користувач задає три речі: завдання, стартову кодову базу (за потреби) і конфігурацію агента. Далі Scope запускає агентів, зокрема GitHub Copilot і Claude Code, і проводить їх через це завдання. Критерії успіху утворюють граф залежностей, тож одна перевірка може «відкривати» іншу. Простий приклад: агента просять написати сервер на Node.js, а потім перевіряють, чи є маршрут GET /health, який повертає JSON.
Оцінює виконання LLM-сервіс Judge. Він теж може помилятися, тому в Microsoft радять перевіряти важливі висновки вручну. Кожен запуск залишає після себе живі логи, згенеровані файли, знімки робочого простору та історію викликів інструментів. Якщо критерій не пройдено, причину можна простежити крок за кроком.
Налаштування зберігаються у версійованих профілях: агент, модель, навички (skills), MCP-сервери й розширення. Це дає змогу замінити один компонент, перезапустити те саме завдання й порівняти результати. Вони різняться від спроби до спроби, тому повтори допомагають відрізнити системну проблему від випадкового збою. Окремо є налаштовувані персони, які задають точку зору й тон змодельованого користувача. Результати можна дивитися у вебпорталі або передавати у скрипти й пайплайни через CLI та REST API.
Кому це знадобиться: командам документації — видно, яку інструкцію агенти ігнорують раз по раз, тож можна виправити сторінку, повторити сценарій і перевірити ефект. Мейнтейнерам SDK — можна дізнатися, чи обирає агент їхній SDK взагалі, і чи змінюють це нові приклади коду або skill. Авторам CLI та MCP-серверів — за трасами видно, де агент застряг. Причиною може бути розмитий опис інструмента або повідомлення про помилку, після якого агенту лишається вгадувати.
У чому підступ: скористатися сервісом «з порога» не вийде, хостингової версії немає. Розгортати Scope доведеться самостійно. Для локального запуску потрібні Docker із Compose v2, Node 22, pnpm, mkcert і GitHub CLI. Покроковий опис є в посібнику з локальної розробки. Є й додаткові умови: типовому воркеру потрібна активна підписка GitHub Copilot, а для Judge — облікові дані провайдера моделі. Командам, яким потрібне спільне середовище, пропонують розгортання в Kubernetes через Helm-чарт.
Код проєкту лежить на GitHub, а сторінка Scope містить документацію. Щоб долучитися до розробки, найімовірніше, доведеться погодити Microsoft Contributor License Agreement. Для українських продуктових і агенційних команд це привід завести власний бенчмарк: перевіряти, як агенти працюють із вашою документацією, SDK чи внутрішніми інструментами, і фіксувати регресії до того, як вони дійдуть до продакшену.
6
