Французький стартап lighton успішно інтегрував один зі своїх оптичних блоків обробки даних (optical processing unit, opu) в найпродуктивніший академічний суперкомп’ютер країни jean zay. Робота виконана в рамках пілотної програми національного агентства з високопродуктивних обчислень (genci) спільно з інститутом розвитку і ресурсів в області інтенсивних наукових обчислень (idris).
Працюючи в тандемі зі стандартними серверними cpu і прискорювачами nvidia a100, оптичний співпроцесор повинен значно підвищити швидкість виконання і знизити енергоспоживання ресурсомістких завдань в області машинного навчання (мо) і ші. Вибрані користувачі jean zay зможуть протестувати opu вже в найближчі місяці.
Суперкомп’ютер jean zay (фото: cyril fresillon/idris/cnrs photothèque)
За словами розробників, переваги opu обумовлені застосуванням фотоніки для прискорення виконання імовірнісних алгоритмів на завданнях надвеликого масштабу. Такий підхід просто необхідний, коли точні обчислення надзвичайно складні і витратні. Наприклад, для навчання моделі gpt-3 потрібно близько 3 млн gpu-годин на прискорювачах nvidia v100. Імовірнісні методи (randnla) дозволяють отримувати наближені, але достатні для практичного застосування результати за менший час шляхом різних матричних перетворень.
Імовірнісні проекції з невеликим лінійним коефіцієнтом попередньої і постобробки, ілюстрація lighton
Однак робота з масивами великих розмірностей, а саме такі і потрібні сучасним ші-моделям, вимагає значних обчислювальних ресурсів у випадку «класичних» cpu або gpu, а також величезних масивів пам’яті. Пристрої lighton обходять це “вузьке” місце за рахунок використання просторових модуляторів світла і пзс-матриць. Вони вже можуть працювати з масивами на трильйон елементів.
Обчислення за допомогою фотоніки, ілюстрація: igor carron, lighton
При частотах оновлення матриці порядку кілогерц еквівалентна продуктивність досягає рівня 1,5 квадрильйона операцій в секунду (1,5 петаопс), а споживана потужність при цьому становить всього 30 вт. Opu виконує необхідні перетворення в пасивному режимі за рахунок фізичних особливостей самого пристрою, розвантажуючи тим самим основні ресурси суперкомп’ютера (перед – і постобробка даних все одно виконується cpu/gpu) і підвищуючи загальну енергоефективність системи.
Перша ітерація з використанням фізики, ілюстрація: igor carron, lighton
Перші комерційно доступні opu aurora2 в 2u-шасі компанія пропонує в оренду з весни цього року. Jean zay стане першою машиною з top500, в якій будуть встановлені ці співпроцесори. У компанії очікують підвищення ші-продуктивності системи в 8-40 разів у порівнянні з обчисленнями тільки на gpu. За словами генерального директора lighton, ігоря каррона (igor carron), така інтеграція ші-прискорювачів в hpc-системи зміцнить впевненість дослідників в тому, що наступною віхою цифрової еволюції після екзафлопсних суперкомп’ютерів стануть гібридні рішення.
Якщо ви помітили помилку — виділіть її мишею і натисніть ctrl+enter. / можете написати краще? ми завжди раді авторам.
