Китайские исследователи разработали 2D-чип LightTok, который способен преобразовывать свет сразу в токены для моделей искусственного интеллекта. Такой подход позволяет сократить число промежуточных операций и снизить энергозатраты при обработке изображений.
Обычно свет сначала превращается в пиксели, затем данные сохраняются и передаются на отдельный процессор, где изображение разбивается на части и преобразуется в токены. LightTok объединяет эти этапы непосредственно на сенсоре. В каждом пикселе одновременно считываются данные, сохраняется информация и выполняются вычисления.
Основой чипа стал фототранзистор с плавающим затвором из дисульфида молибдена. Этот двумерный материал хорошо реагирует на свет и позволяет создавать очень тонкие сенсорные элементы. За счёт обработки данных непосредственно в месте их получения чипу не приходится постоянно передавать большие объёмы информации между отдельными компонентами.
Во время испытаний LightTok показал точность распознавания изображений 87,3 % и оказался примерно в 10 раз энергоэффективнее традиционной схемы при преобразовании света в токены. Исследователи считают, что такая технология может быть полезна для дронов и другой автономной техники, где расход энергии напрямую влияет на продолжительность работы.
Главным ограничением пока остаётся разрешение. Рабочий прототип имеет всего 32 на 32 фоточувствительных пикселя, поэтому до уровня современных камер смартфонов ему далеко. Учёные рассчитывают масштабировать технологию с использованием стандартного процесса производства CMOS-чипов.
По словам профессора физики Нанкинского университета Лян Ши-Цзюня, LightTok устраняет передачу данных, которая является одним из основных источников энергопотерь. «Свет поступает, токены выходят», — отметил исследователь.
При успешном масштабировании такой подход может найти применение в системах дистанционного зондирования. Например, дроны смогут дольше работать без подзарядки, если значительная часть обработки изображений будет выполняться непосредственно на сенсоре.
