Практическое введение в технологию MPI на кластере HybriLIT

Description

Данное учебное пособие предназначено для практического овладения основами параллельного программирования на базе технологии Message Passing Interface (MPI) с использованием ресурсов гетерогенной вычислительной платформы HybriLIT Многофункционального информационно-вычислительного центра Лаборатории информационных технологий ОИЯИ. Пособие ориентировано главным образом на студентов государственного университета «Дубна», изучающих курс «Архитектура вычислительных систем» (бакалавриат), и может быть полезно лицам, самостоятельно либо в рамках других дисциплин изучающих технологию MPI. Глава 1. Краткая инструкция по работе на учебно-тестовом полигоне HybriLIT. Компиляция и запуск MPI-приложений 1.1. Общая характеристика учебно-тестового полигона HybriLIT 1.2. Работа с MPI-приложениями 1.2.1. Компиляция 1.2.2. Запуск в batch-режиме Глава 2. MPI: общие принципы, базовые функции 2.1. Логическое представление MPI-программы 2.2. MPI-функции общего назначения 2.2.1. Объявление и закрытие параллельной области 2.2.2. Понятия о группе и коммуникаторе 2.2.3. Примеры практических заданий 2.3. Пример распределения вычислений между параллельными MPI-процессами 2.4. Обмены между отдельными MPI-процессами 2.4.1. Блокирующая передача сообщений 2.4.2. Неблокирующая передача сообщений 2.4.3. Двунаправленный обмен 2.4.4. Примеры практических заданий Глава 3. MPI-процедуры для коллективного взаимодействия процессов 3.1. Характерные особенности процедур коллективного взаимодействия процессов 3.2. Барьерная синхронизация всех процессов 3.3. Коллективные коммуникационные операции 3.3.1. Рассылка информации от одного процесса всем остальным членам группы 3.3.2. Рассылка фрагментов массива данных всем процессам группы 3.3.3. Сборка распределенных по процессам данных в один массив 3.3.4. Глобальные вычислительные операции над данными, расположенными в адресных пространствах различных процессов 3.4. Примеры практических заданий Глава 4. Эффективность параллельных вычислений 4.1. Анализ эффективности применения некоторых MPI-функций 4.1.1. Пример 1. Рассылка данных всем процессам 4.1.2. Пример 2. Поэлементное перемножение векторов 4.1.3. Примеры самостоятельных заданий 4.2. Оценка эффективности параллельной реализации алгоритмов и программ на основе закона Амдала 4.2.1 Формула Амдала для асимптотической оценки ускорения вычислений при параллельной реализации 4.2.2. Примеры самостоятельных заданий Список рекомендованной литературы Приложение 1. Основные команды Linux, редакторы vim и nano Приложение 2. Основные команды: Module и SLURM Приложение 3. Пять основных шагов запуска MPI-приложений на кластере HybriLIT