Кто экспериментировал с установкой нейросетей на локальный компьютер, тот убедился на собственном опыте, насколько требовательны к ресурсам могут быть эти программы. Понимают это и производители железа, которые уже полным ходом работают над отдельной веткой процессоров нового поколения – Neural Processing Unit, или сокращенно NPU. И это уже не концепт, а реальность.

Например, микросхемы со встроенным NPU используются в современных моделях смартфонов Samsung Galaxy S22, S23 и S24.

Что такое NPU

Neural Processing Unit – это компонент центрального процессора, оптимизированный для вычислений в нейронных сетях. В отличие от традиционных CPU, занимающихся общими вычислениями, микросхемы NPU имеют специализированную архитектуру и особый набор инструкций. Будучи ориентированы на лежащие в основе машинного обучения матричные операции, нейронные процессоры выполняют свои задачи в сотни, а то и в тысячи раз быстрее, чем обычные CPU и GPU.

Разумеется, такая высокая производительность доступна только при выполнении определенного спектра задач, NPU не является альтернативой центральному или графическому процессору. С другой стороны, нейронные процессы могут брать на себя часть задач центральных и особенно графических процессоров, поскольку они также поддерживают параллельные вычисления, будучи особенно эффективны при обработке больших объемов мультимедийных данных,

Принципом работы NPU во многом схожи с интегральными схемами специального назначения, но это не одно и то же. Нейропроцессоры, хотя и заточены под выполнение определенных задач, все же более универсальны, тогда как ASIC служат только какой-то одной цели, например, исключительно майнинга, кодирования и декодирования видео, сетевых коммуникаций в роутерах и так далее. Ресурсы ASIC не могут быть перенаправлены на выполнение других задач.

NPU и TPU

Существует несколько различных типов NPU, отличающихся главным образом областью применения и архитектурой. Нейропроцессоры могут быть нейроморфными, то есть моделирующими структуру и функцию живого мозга, и на базе модели фон Неймана, использующими традиционную архитектуру универсальной вычислительной машины, то есть компьютера. Интерес также представляет Tensor Processing Unit, сокращенно TPU – нейронный процессор, разработанный компанией Google.

Как и другие NPU, он оптимизирован для машинного обучения, но при этом основан на принципиально иной архитектуре. Тогда как большинство NPU используют классическую разделяющую память и процессоры архитектуру фон Неймана, в основу TPU положена  уникальная конструкция, известная как систолический массив, в котором блоки обработки и памяти объединяются в одном чипе. Благодаря этому TPU выполняют параллельные вычисления быстрее и эффективнее.

Как узнать, есть ли на моем компьютере NPU

Элементарно, самый простой способ – открыть Диспетчер задач, переключиться на вкладку «Производительность» и посмотреть, имеется ли там модуль «NPU 0» или «Neural Processor». Если да, можно с уверенностью сказать, что ваш ПК поддерживает эту технологию.

Убедиться в наличии или в отсутствии NPU можно и в Диспетчере устройств, зайдя в раздел «Процессоры». На поддержку технологии нейронных вычислений укажет наличие пункта Intel(R) AI Boost для интеловских и AMD IPU Device → Windows Studio Effect Driver для устройств на базе AMD.