Блок тензорной обработки - Tensor Processing Unit

Блок тензорной обработки

Блок тензорной обработки 3.0
Дизайнер	Google
Введено	Май 2016
Тип	Машинное обучение нейронной сети

Tensor Processing Unit ( TPU ) - это специализированная интегральная схема (ASIC) AI-ускорителя, разработанная Google специально для машинного обучения нейронных сетей , в частности, с использованием собственного программного обеспечения TensorFlow от Google . Google начал использовать TPU внутри компании в 2015 году, а в 2018 сделал их доступными для использования третьими сторонами, как в рамках своей облачной инфраструктуры, так и предлагая меньшую версию чипа для продажи.

Обзор

О модуле обработки тензора было объявлено в мае 2016 года на Google I / O , когда компания заявила, что TPU уже использовался в их центрах обработки данных более года. Чип был специально разработан для платформы Google TensorFlow , символьной математической библиотеки, которая используется для приложений машинного обучения, таких как нейронные сети . Однако по состоянию на 2017 год Google по-прежнему использовал процессоры и графические процессоры для других типов машинного обучения . Другие конструкции ускорителей искусственного интеллекта также появляются от других поставщиков и нацелены на рынки встраиваемых систем и робототехники .

TPU от Google являются проприетарными. Некоторые модели коммерчески доступны, и 12 февраля 2018 года The New York Times сообщила, что Google «позволит другим компаниям покупать доступ к этим чипам через свою службу облачных вычислений». Google заявил, что они использовались в серии игр человеко-машинного Го AlphaGo против Ли Седола , а также в системе AlphaZero , которая производила игровые программы в шахматы , сёги и го только на основе правил игры и продолжала побеждать ведущих игроков. программы в этих играх. Google также использовал TPU для обработки текста Google Street View и смог найти весь текст в базе данных Street View менее чем за пять дней. В Google Фото отдельный TPU может обрабатывать более 100 миллионов фотографий в день. Он также используется в RankBrain, который Google использует для предоставления результатов поиска.

По сравнению с графическим процессором , он разработан для большого объема вычислений с низкой точностью (например, с точностью до 8 бит ) с большим количеством операций ввода / вывода на джоуль и не имеет аппаратного обеспечения для растеризации / отображения текстуры . По словам Нормана Джуппи, ASIC TPU смонтированы в радиаторе, который может поместиться в слот для жесткого диска в стойке центра обработки данных . Различные типы процессоров подходят для разных типов моделей машинного обучения, TPU хорошо подходят для CNN, в то время как графические процессоры имеют преимущества для некоторых полносвязных нейронных сетей, а процессоры могут иметь преимущества для RNN .

Google предоставляет третьим сторонам доступ к TPU через свой сервис Cloud TPU как часть облачной платформы Google, а также через свои сервисы для ноутбуков Kaggle и Colaboratory .

Товары

ТПУ первого поколения

TPU первого поколения - это механизм 8-битного матричного умножения , управляемый инструкциями CISC главным процессором по шине PCIe 3.0 . Он изготавливается по техпроцессу 28 нм с размером матрицы ≤ 331  мм ² . Тактовая частота составляет 700  МГц , и она имеет тепловую расчетную мощность в 28-40  Вт . Он имеет 28  MiB из памяти на чипе и 4  MiB из 32-битных аккумуляторов , принимающих результаты 256 × 256 систолического массива 8-битовых множителей . В рамках пакета ТПА 8  ГиБли из двухканальных 2133 МГц DDR3 SDRAM предлагает 34 Гб / с пропускной способностью. Команды передают данные на хост или от него, выполняют матричное умножение или свертку и применяют функции активации .

ТПУ второго поколения

TPU второго поколения был анонсирован в мае 2017 года. Google заявил, что конструкция TPU первого поколения ограничена пропускной способностью памяти, а использование 16 ГБ памяти с высокой пропускной способностью в конструкции второго поколения увеличило пропускную способность до 600 ГБ / с и производительность до 45 тера. ФЛОПЫ . Затем TPU объединяются в четырехчиповые модули с производительностью 180 терафлопс. Затем 64 из этих модулей собираются в блоки с 256 микросхемами с производительностью 11,5 петафлопс. Примечательно, что в то время как TPU первого поколения были ограничены целыми числами, TPU второго поколения также могут вычислять с плавающей запятой . Это делает TPU второго поколения полезными как для обучения, так и для вывода моделей машинного обучения. Google заявила, что эти TPU второго поколения будут доступны в Google Compute Engine для использования в приложениях TensorFlow.

ТПУ третьего поколения

TPU третьего поколения было объявлено 8 мая 2018 года. Google объявила, что сами процессоры вдвое мощнее TPU второго поколения и будут развертываться в модулях с в четыре раза большим количеством микросхем, чем в предыдущем поколении. Это приводит к 8-кратному увеличению производительности на модуль (до 1024 микросхем на модуль) по сравнению с развертыванием TPU второго поколения.

ТПУ четвертого поколения

18 мая 2021 года генеральный директор Google Сундар Пичаи рассказал о модулях тензорной обработки TPU v4 во время своего выступления на виртуальной конференции Google I / O. TPU v4 улучшил производительность более чем в 2 раза по сравнению с чипами TPU v3. Пичаи сказал: «Один модуль v4 содержит 4096 чипов v4, и каждый модуль имеет в 10 раз большую пропускную способность межсоединения на чип в масштабе по сравнению с любой другой сетевой технологией».

Edge TPU

В июле 2018 года Google анонсировал Edge TPU. Edge TPU - это специальный чип ASIC Google, предназначенный для запуска моделей машинного обучения (ML) для периферийных вычислений , что означает, что он намного меньше и потребляет гораздо меньше энергии по сравнению с TPU, размещенными в центрах обработки данных Google (также известных как Cloud TPU). В январе 2019 года Google сделал Edge TPU доступным для разработчиков с линейкой продуктов под брендом Coral . Edge TPU способен выполнять 4 триллиона операций в секунду при использовании 2 Вт.

Предлагаемые продукты включают одноплатный компьютер (SBC), систему на модуле (SoM), USB- аксессуар, карту mini PCI-e и карту M.2 . SBC Dev Board Coral и Coral SoM как запустить Мендель Linux OS - производное Debian . Продукты USB, PCI-e и M.2 функционируют как надстройки к существующим компьютерным системам и поддерживают системы Linux на базе Debian на хостах x86-64 и ARM64 (включая Raspberry Pi ).

Среда выполнения машинного обучения, используемая для выполнения моделей на Edge TPU, основана на TensorFlow Lite . Edge TPU способен только ускорять операции прямого прохода, что означает, что он в первую очередь полезен для выполнения выводов (хотя на Edge TPU можно выполнять упрощенное обучение передачи). Edge TPU также поддерживает только 8-битную математику, а это означает, что для обеспечения совместимости сети с Edge TPU ее необходимо либо обучить с использованием метода обучения с учетом квантования TensorFlow, либо с конца 2019 года также можно использовать пост- обучение квантованию.

12 ноября 2019 года Asus анонсировала пару одноплатных компьютеров (SBC) с Edge TPU. Плата Asus Tinker Edge T и Tinker Edge R Board предназначена для Интернета вещей и периферийного ИИ . SBC официально поддерживают операционные системы Android и Debian . ASUS также продемонстрировала мини-ПК под названием Asus PN60T с Edge TPU.

2 января 2020 года Google анонсировал модуль Coral Accelerator и Coral Dev Board Mini, которые будут продемонстрированы на выставке CES 2020 в конце того же месяца. Модуль Coral Accelerator - это многокристальный модуль с интерфейсами Edge TPU, PCIe и USB для упрощения интеграции. Coral Dev Board Mini - это меньший SBC с модулем Coral Accelerator и SoC MediaTek 8167s .

Пиксельное нейронное ядро

15 октября 2019 года Google анонсировал смартфон Pixel 4 , который содержит Edge TPU под названием Pixel Neural Core .

Смотрите также

• Блок обработки изображений - аналогичное устройство, специализирующееся на обработке изображений.
• TrueNorth - аналогичное устройство, имитирующее пиковые нейроны вместо тензоров низкой точности.
• Блок нейронной обработки
• Когнитивный компьютер
• Tensor Core , аналогичная архитектура, предложенная Nvidia

использованная литература

внешние ссылки

• Блоки обработки тензорных облачных вычислений (TPU) (документация из Google Cloud)
• Фотография микросхемы и платы TPU от Google
• Фотография платы Google TPU v2
• Фотография платы Google TPU v3
• Фотография модуля Google TPU v2