CUDA — неграфические вычисления на графическом процессоре

CUD A (Compute Unified Device Architecture) [12−14] представляет собой совокупность аппаратного (графический процессор или GPU) и программного обеспечения, предоставляющего возможность подготовки и исполнения программ с очень высокой степенью параллелизма.

Архитектура CUDA

GPU есть специализированное вычислительное устройство, которое является сопроцессором к основному процессору компьютера (CPU), обладает собственной памятью и возможностью параллельного выполнения огромного количества (тысячи и десятки тысяч) отдельных нитей (потоков управления) обработки данных согласно модели ОКМД. Логическая структура связанных двухъядерного центрального и графического процессоров показана на рис. 4.1.

Рис. 4.1. Двухъядерный CPU и подключенный к нему GPU.

Технология ОрепМР, рассмотренная в разделе 3, и технология CUDA вполне совместимы и могут использоваться в одной параллельной программе для достижения максимально возможного ускорения.

Между потоками, выполняемыми на CPU, и потоками, выполняемыми графическим процессором, есть принципиальные различия:

• • нити, выполняемые на GPU, обладают крайне низкой «стоимостью» — их создание и управление ими требует минимальных ресурсов (в отличие от потоков CPU);
• • для эффективной утилизации возможностей GPU нужно использовать многие тысячи отдельных нитей (для CPU обычно бывает трудно организовывать более чем 10…20 потоков).

Приложения, использующие возможности CUDA для параллельной обработки данных, взаимодействуют с GPU через программные интерфейсы (рис. 4.2), называемые CUDA-runtime или CUDA-driver (обычно интерфейсы CUDA-runtime и CUDA-driver одновременно не используются, хотя это в принципе возможно).

Рис. 4.2. Состав программного обеспечения CUDA.

Программы для CUDA пишутся на «расширенном» языке С, при этом их параллельная часть (так называемые «ядра») выполняется на GPU, а обычная последовательная часть — на CPU. Компоненты архитектуры CUDA, принимающие участие в подготовке и исполнении приложения, автоматически осуществляют разделение частей и управление их запуском.

С точки зрения разработчика программы для CUDA, графический процессор представляет собой одно устройство управления и огромное количество арифметико-логических устройств (АЛУ), каждое из которых обладает собственной регистровой памятью (распределением регистров между АЛУ управляет программное обеспечение CUDA) и имеет доступ к нескольким уровням памяти различного объема и быстродействия. Все арифметико-логические устройства в любой данный момент времени исполняют одну команду, выбранную и декодированную устройством управления. Реально устройств управления несколько (их количество зависит от модели графического процессора). Совокупность из одного устройства управления связанных с ним арифметико-логических устройств, регистров, быстрой разделяемой памяти, доступной из каждого АЛУ, и более медленной локальной памяти каждого АЛУ, образуют так называемый мультипроцессор. Все мультипроцессоры имеют доступ к еще более медленным: кэшу текстур, кэшу констант и глобальной памяти устройства, через которую осуществляется взаимодействие с основной памятью компьютера. Внутренние элементы памяти мультипроцессора недоступны из CPU. Структура памяти графического процессора и возможность доступа к памяти разного уровня из программы центрального процессора показаны на рис. 4.3.

Отображение одной или нескольких параллельных областей программы на совокупность мультипроцессоров осуществляет программное обеспечение CUDA, которое является «прозрачным» для программиста. Ему нужно знать только о том, что с логической точки зрения параллельная область программы («ядро» в терминологии CUDA) представляет собой сетку (grid) блоков (block) потоков (thread). Блок потоков — это набор потоков, выполняемых одним мультипроцессором. Потоки одного блока могут взаимодействовать через разделяемую память и синхронизироваться между собой. Сетка и (независимо от нее) каждый из блоков представляют собой одно-, двуили трехмерную структуру блоков и потоков соответственно. Количество размерностей и размеры каждой из них задает программист. Каждый поток после запуска имеет доступ к переменным (структурам), хранящим его собственные координаты внутри блока и координаты охватывающего блока внутри сетки.

Архитектура CUDA предусматривает широкий набор возможностей и поддерживается в видеокартах нескольких линеек (GEforce, Quadro, NVS, Tesla, ION). Разные модели графических процессоров, функционирующих в таких видеокартах, имеют каждая собственный набор параметров (например, количество регистров, объем разделяемой памяти мультипроцессора) и поддерживают разные наборы возможностей, сгруппированные в версии архитектуры от 1.0 до 5.5 (по состоянию на 2014 год).

Рис. 4.3. Структура памяти графического процессора.

Для каждого устройства производитель указывает поддерживаемую им версию CUDA, по номеру версии можно определить значения параметров и доступные возможности. Соответствие поддерживаемых возможностей версии CUDA показано в табл. 4.1.

В табл. 4.2 приведено соответствие технических характеристик, на которые нужно ориентироваться при разработке параллельных программ, версии CUDA, реализованной в конкретной видеокарте. Для того чтобы узнать, какую версию поддерживает подключенная к компьютеру видеокарта, нужно воспользоваться функцией.

cuda GetDeviceProperties (…);

Формат ее аргументов и возвращаемых результатов можно найти в руководстве по программированию для CUDA [15].