Нещодавній проект Андрія Карпаті, колишнього директора ШІ в Tesla та засновника OpenAI, тихо визначив критичний, але все ще невизначений рівень у сучасному програмному забезпеченні: проміжне програмне забезпечення оркестровки між корпоративними додатками та моделями ШІ, що швидко розвиваються. Експеримент, названий LLM Council, демонструє, що маршрутизація та агрегування моделей штучного інтелекту є напрочуд простими, але справжня складність полягає в тому, щоб перетворити їх на корпоративне рішення.
Підйом AI Orchestration
Для технічних керівників проект Karpathy — це не просто веселощі, а план того, як компанії підходять до інвестицій в інфраструктуру ШІ у 2026 році. Основна ідея проста: замість того, щоб покладатися на одне власне рішення ШІ, компанії можуть інтегрувати кілька моделей — GPT-5.1, Gemini 3.0 Pro, Claude Sonnet 4.5, Grok 4 — у систему, яка оцінює, критикує та синтезує відповіді. Такий підхід забезпечує гнучкість і дозволяє уникнути прив’язки до постачальника.
Як працює LLM Council: AI судді AI
Рада LLM працює в три етапи:
- Паралельна генерація: Запит користувача надсилається до кількох моделей штучного інтелекту одночасно.
- Колегіальна оцінка: кожна модель критикує відповіді своїх колег, забезпечуючи рівень контролю якості, який рідко зустрічається у стандартних чат-ботах.
- Узагальнення: Призначений «Кафедра LLM» (наразі Gemini 3) поєднує відповіді та оцінки в остаточну, авторитетну відповідь.
Карпаті виявив, що моделі часто віддають перевагу відповідям одна одної своїм, що вказує на потенційну упередженість до багатослівності та певних риторичних стилів. У зв’язку з цим виникає ключове питання: чи може штучний інтелект надійно оцінювати штучний інтелект без шкоди для людських потреб у стислості та точності?
Технічна архітектура: мінімалістична, але ефективна
LLM Council побудовано на «тонкому» стеку: FastAPI (фреймворк Python), React/Vite (інтерфейс) і файли JSON для зберігання даних. Ключовим елементом є OpenRouter, агрегатор API, який нормалізує запити між постачальниками моделі. Це дозволяє системі замінювати моделі, редагуючи лише один рядок коду, захищаючи його від блокування постачальника.
Цей підхід свідчить про зростаючу тенденцію розглядати передові моделі як взаємозамінні компоненти, а не як монолітні залежності. Якщо наступного тижня Meta або Mistral випустять кращу модель, її можна буде інтегрувати за лічені секунди.
Відсутні елементи: безпека, відповідність і надійність
Хоча основна логіка є елегантною, LLM Council не має важливих корпоративних функцій: автентифікації, видалення ідентифікаційної інформації (PII), моніторингу відповідності та надійної обробки помилок. Ці недоліки визначають ціннісну пропозицію комерційних постачальників інфраструктури ШІ, таких як LangChain і AWS Bedrock. Вони продають «зміцнення» навколо основної логіки — заходів безпеки, спостережливості та відповідності — які перетворюють необроблений сценарій на життєздатну платформу.
Код Karpathy демонструє, що технічна проблема полягає не в маршрутизації запитів, а в управлінні даними та забезпеченні надійності на рівні підприємства.
Майбутнє коду: ефемерний і створений ШІ
Провокаційна заява Карпат про те, що «код тепер ефемерний, а бібліотеки застаріли», свідчить про радикальні зміни. Замість того, щоб підтримувати жорсткі внутрішні інструменти, інженери можуть створювати власні одноразові рішення за допомогою ШІ. Це ставить стратегічне питання: чи варто компаніям купувати дорогі пакети програмного забезпечення чи надавати інженерам можливість створювати спеціальні інструменти за нижчою ціною?
Проблема відповідності: судження машини проти людини
Експеримент LLM Council висвітлює критичний ризик: розбіжність між машинним і людським судженням. Якщо оцінювачі штучного інтелекту винагороджуватимуть довгострокові, розгорнуті відповіді, коли клієнтам потрібні стислі рішення, показники покажуть успіх, але задоволеність клієнтів різко впаде. Повністю покладатися на штучний інтелект для оцінки штучного інтелекту – це стратегія, пов’язана з прихованими проблемами узгодження.
На завершення, вихідний хак Karpati демонтує оркестровку AI, доводячи, що базова функціональність доступна. Справжньою проблемою є створення рівня керування — безпеки, відповідності та надійності, які перетворюють необроблений сценарій на корпоративну платформу. Питання для технологічних лідерів полягає не в тому, чи інтегрувати штучний інтелект, а в тому, як використовувати його дикий потенціал шляхом відповідального розвитку.
