Новаторский метод фотонных вычислений, который может значительно улучшить процессы обучения оптических нейронных сетей, представили ученые из Университета Цинхуа в Китае, сообщает 10 августа издание China Daily.

Это достижение, в сочетании с выпуском светового чипа Taichi-II, может предложить более энергоэффективную и быструю альтернативу для обучения больших языковых моделей. Китайские исследователи Лу Фанг и Дай Цюнхай вместе со своей командой опубликовали свои результаты в статье под названием «Fully Forward Mode (FFM) Training for Optical Neural Networks» в журнале Nature. Статья, опубликованная в среду, подчеркивает потенциал для развития прикладных и теоретических областей, включая глубокие нейронные сети, сверхчувствительное восприятие и топологическую фотонику.

Текущий стандарт обучения моделей искусственного интеллекта в значительной степени опирается на эмуляцию цифрового компьютера, которая ограничена высокими требованиями к энергии и зависимостью от аппаратного обеспечения (GPU). Метод обучения FFM, разработанный в Цинхуа, позволяет проводить эти трудоемкие процессы обучения непосредственно на физической системе, что значительно снижает ограничения численного моделирования, сообщает исследовательская группа.

Хотя фотонные вычисления обеспечивают высокую вычислительную мощность при меньшем потреблении энергии по сравнению с традиционными методами, они были ограничены предварительными вычислениями. Точные и сложные вычисления, необходимые для продвинутого обучения ИИ, по-прежнему в значительной степени зависят от графических процессоров, пояснил Лю Ган, главный экономист Китайского института стратегий развития ИИ нового поколения.

Новая технология, разработанная командой Цинхуа, обещает преодолеть эти ограничения, потенциально устраняя необходимость широкого использования GPU и приводя к более эффективному и точному обучению моделей ИИ, добавил Лю.

Чип Taichi первого поколения, также разработанный Университетом Цинхуа и выпущенный в апреле, был описан в журнале Nature. В этом чипе используются фотонные интегральные схемы, которые обрабатывают данные с помощью света, а не электрических сигналов, что обеспечивает сверхбыструю передачу данных и значительно снижает потребление энергии.

По сравнению со своим предшественником, чип Taichi-II был специально разработан для обучения крупномасштабных нейронных сетей на месте с помощью света, заполняя критический пробел в фотонных вычислениях. Ожидается, что эта инновация ускорит обучение моделей ИИ и позволит добиться успехов в таких областях, как высокопроизводительная интеллектуальная визуализация и эффективный анализ топологических фотонных систем.

Потребление энергии в индустрии ИИ остается серьезной проблемой. По данным норвежского исследовательского института Rystad Energy, совокупное расширение традиционных и ИИ-центров обработки данных, а также производств чипов в США, по прогнозам, увеличит спрос на энергию на 177 тераватт-часов (ТВтч) с 2023 по 2030 год, достигнув в общей сложности 307 ТВтч. Для сравнения, по данным Управления энергетической информации США, в 2023 году в США на объектах коммунального хозяйства было выработано 4 178 ТВт-ч электроэнергии.