Параллельные вычислительные системы: Учебное пособие

Description

Рассмотрены архитектуры параллельных вычислительных систем, общие вопросы их применения и проблемы программирования, особенности организации вычислительных процессов и инструментальные средства разработки прикладного параллельного программного обеспечения для мультипроцессорных и мультикомпьютерных параллельных вычислительных систем. Пособие также включает курс практических работ, позволяющих освоить средства параллельного программирования. Предназначено для бакалавров по направлению подготовки 09.03.01 «Информатика и вычислительная техника» при изучении дисциплины «Параллельные вычислительные системы». Может использоваться в качестве основной и дополнительной литературы при изучении дисциплин «Параллельное программирование», «Современные вычислительные системы» и пр. Параллельные вычислительные системы: учебное пособие / Н. Ю. Сиротинина, О. В. Непомнящий, К. В. Коршун, В. С. Васильев ОГЛАВЛЕНИЕ Введение 1. Понятие параллелизма. Архитектуры параллельных вычислительных систем 1.1. Классификация Флинна для параллельных вычислительных систем 1.2. Производительность вычислительных систем 1.3. Суперкомпьютеры Контрольные вопросы и задания 2. Общие вопросы организации вычислительных процессов и программирования параллельных вычислительных систем 2.1. Общие проблемы разработки прикладного параллельного программного обеспечения 2.1.1. Психологическая проблема 2.1.2. Проблема верификации и отладки ППО 2.1.3. Проблемы наращиваемости и переносимости 2.2. Закон Амдала 2.3. Параллелизм по данным и функциональный параллелизм 2.4. Подходы к созданию параллельного прикладного программного обеспечения 2.4.1. Автоматическое распараллеливание 2.4.2. Явное описание параллелизма 2.4.3. Сочетание автоматического распараллеливания и явного описания параллелизма Контрольные вопросы и задания 3. Мультипроцессорные вычислительные системы: организация и программирование 3.1. Представление программы в OpenMP 3.2. Функции OpenMP 3.2.1. Переменные окружения OpenMP и функции работы с ними 3.2.2. Функции работы с переменными времени 3.3. Директивы OpenMP 3.3.1. Создание параллельной секции – директива parallel 3.3.2. Реализация функционального параллелизма в OpenMP – директива parallel sections 3.4. Параллельное исполнение цикла – директива for 3.4.1. Статическое планирование исполнения цикла 3.4.2. Динамическое планирование исполнения цикла 3.4.3. Управляемое планирование исполнения цикла 3.4.4. Планирование исполнения цикла во время работы программы 3.5. Разделяемые и локальные переменные OpenMP 3.6. Работа с разделяемыми ресурсами в OpenMP 3.6.1. Организация критической секции – директива critical 3.6.2. Организация взаимного исключения при выполнении элементарной операции – директива atomic 3.6.3. Однократное выполнение блока кода – директива single 3.6.4. Выполнение блока кода мастер-процессом – директива master 3.7. Неявная и явная синхронизация потоков в OpenMP – директива barrier 3.8. Рекомендации: когда следует использовать OpenMP Контрольные вопросы и задания 4. Кластерные системы и системы с массовым параллелизмом: организация и программирование 4.1. Общие сведения о стандарте MPI 4.2. Основные функции библиотеки MPI 4.2.1. Инициализация и завершение параллельной части приложения 4.2.2. Определение общего числа параллельных процессов и номера процесса в группе 4.2.3. Работа с таймером 4.3. Функции передачи и приема сообщений между процессами 4.3.1. Блокирующие функции обмена точка-точка 4.3.2. Буферизованная передача 4.3.3. Неблокирующие (асинхронные) функции обмена MPI 4.4. Коллективные функции 4.4.1. Точки синхронизации (барьеры) 4.4.2. Функции коллективного обмена данными 4.4.3. Коллективные операции свертки (редукции) 4.5. Функции для работы с группами процессов и коммуникаторами 4.6. Функции для работы со структурами данных 4.7. Функции формирования топологии процессов 4.8. Рекомендации: когда следует использовать MPI? Контрольные вопросы и задания Практические работы Тематические практические работы к разделу OpenMP Тематические практические работы к разделу MPI Сквозной мини-проект Пример выполнения работы Заключение Список литературы