Глубокое обучение с точки зрения практика

Description

Looking for one central source where you can learn key findings on machine learning? Deep Learning: The Definitive Guide provides developers and data scientists with the most practical information available on the subject, including deep learning theory, best practices, and use cases. Authors Adam Gibson and Josh Patterson present the latest relevant papers and techniques in a non­academic manner, and implement the core mathematics in their DL4J library. If you work in the embedded, desktop, and big data/Hadoop spaces and really want to understand deep learning, this is your book. Интерес к машинному обучению зашкаливает, но завышенные ожидания нередко губят проекты еще на ранней стадии. Как машинное обучение — и особенно глубокие нейронные сети — может изменить вашу организацию? Эта книга не только содержит практически полезную информацию о предмете, но и поможет приступить к созданию эффективных сетей глубокого обучения. Авторы сначала раскрывают фундаментальные вопросы глубокого обучения — на- стройка, распараллеливание, векторизация, конвейеры операций, а затем переходят к библиотеке Deeplearning4j (DL4J), предназначенной для разработки технологических процессов профессионального уровня. На реальных примерах читатель познакомится с методами и стратегиями обучения глубоких сетей с различной архитектурой и их распараллеливания в кластерах Hadoop и Spark. Издание предназначено для специалистов по анализу данных, находящихся в поисках более широкого и практического понимания принципов глубокого обучения. Предисловие Обзор машинного обучения Обучающиеся машины Как машины могут обучаться? Биологические корни Что такое глубокое обучение? Вниз по кроличьей норе Формулировка вопросов Математические основания машинного обучения: линейная алгебра Скаляры Векторы Матрицы Тензоры Гиперплоскости Математические операции Преобразование данных в векторы Решение систем уравнений Математические основания машинного обучения: статистика Вероятность Условные вероятности Апостериорная вероятность Распределения вероятности Выборка и генеральная совокупность Методы с перевыборкой Смещение выборки Правдоподобие Как работает машинное обучение? Регрессия Классификация Кластеризация Недообучение и переобучение Оптимизация Выпуклая оптимизация Градиентный спуск Стохастический градиентный спуск Квазиньютоновские методы оптимизации Порождающие и дискриминантные модели Логистическая регрессия Логистическая функция Интерпретация результата логистической регрессии Оценивание модели Матрица неточностей Итоги Основы нейронных сетей и глубокого обучения Нейронные сети Биологический нейрон Перцептрон Многослойные сети прямого распространения Обучение нейронных сетей Обучение методом обратного распространения Функции активации Линейная функция Сигмоида Функция tanh Функция hardtanh Функция softmax Линейная ректификация Функции потерь Применяемые обозначения Функции потерь для регрессии Функции потерь для классификации Функции потерь для реконструкции Гиперпараметры Скорость обучения Регуляризация Импульс Разреженность Основания глубоких сетей Определение глубокого обучения Что такое глубокое обучение? Как организована эта глава Общие архитектурные принципы глубоких сетей Параметры Слои Функции активации Функции потерь Алгоритмы оптимизации Гиперпараметры Итоги Строительные блоки глубоких сетей Ограниченные машины Больцмана Автокодировщики Вариационные автокодировщики Основные архитектуры глубоких сетей Сети, предобученные без учителя Глубокие сети доверия Порождающие состязательные сети Сверточные нейронные сети (СНС) Биологические корни Интуитивное описание Общий взгляд на архитектуру СНС Входной слой Пулинговые слои Полносвязные слои Другие применения СНС Самые известные СНС Итоги Рекуррентные нейронные сети Моделирование времени Трехмерный вход Почему не марковские модели? Общая архитектура рекуррентной нейронной сети LSTM-сети Предметно-ориентированные приложения и гибридные сети Рекурсивные нейронные сети Архитектура сети Разновидности рекурсивных нейронных сетей Применение рекурсивных нейронных сетей Итоги и обсуждение Приведет ли глубокое обучение к отмиранию всех прочих алгоритмов? Оптимальный метод зависит от задачи Когда мне может понадобиться глубокое обучение? Построение глубоких сетей Выбор глубокой сети для решения задачи Табличные данные и многослойные перцептроны Изображения и сверточные нейронные сети Последовательности, временные ряды и рекуррентные нейронные сети Применение гибридных сетей Инструментарий DL4J Векторизация и DataVec Среды выполнения и ND4J Основные концепции DL4J API Загрузка и сохранение моделей Получение входных данных для модели Задание архитектуры модели Обучение и оценивание Моделирование CSV-данных с помощью многослойных перцептронов Подготовка входных данных Задание архитектуры сети Обучение модели Оценивание модели Моделирование рукописных цифр с помощью СНС Реализация СНС LeNet на Java Загрузка и векторизация входных изображений Архитектура сети LeNet в DL4J Обучение СНС Моделирование последовательных данных с помощью рекуррентной нейронной сети Порождение текста в стиле Шекспира с помощью LSTM-сети Классификация временных рядов, содержащих показания датчика, с помощью LSTM-сети Применение автокодировщиков для обнаружения аномалий Java-программа автокодировщика Подготовка входных данных Архитектура и обучение сети автокодировщика Оценивание модели Использование вариационных автокодировщиков для реконструкции цифр из набора MNIST Программа реконструкции цифр для набора MNIST Изучение модели VAE Применение глубокого обучения в обработке естественного языка Обучение погружениям слов с помощью Word2Vec Распределенные представления предложений с помощью векторов абзацев Применение векторов абзацев для классификации документов Настройка глубоких сетей Основные концепции настройки глубоких сетей Интуитивное описание построения глубоких сетей Преобразование интуитивных представлений в пошаговую процедуру Подбор сетевой архитектуры, соответствующей входным данным Итоги Соотнесение назначения модели с выходным слоем Выходной слой регрессионной модели Выходной слой модели классификации Количество слоев, количество параметров и объем памяти Многослойные нейронные сети прямого распространения Управление количеством слоев и параметров Оценка требований к объему памяти Стратегии инициализации весов Ортогональная инициализация весов в РНС Выбор функции активации Сводная таблица функций активации Применение функций потерь Скорость обучения Использование отношения обновлений к параметрам Конкретные рекомендации по заданию скорости обучения Как разреженность влияет на обучение Применение методов оптимизации Рекомендации по применению СГС Применение распараллеливания и GPU для ускорения обучения Онлайновое обучение и параллельные итеративные алгоритмы Распараллеливание СГС в DL4J Графические процессоры Управление периодами и размером мини-пакета Компромиссы при определении размера мини-пакета О применении регуляризации Априорная функция как регуляризатор Регуляризация по максимальной норме Прореживание Другие вопросы, связанные с регуляризацией Дисбаланс классов Методы выборки из классов Взвешенные функции потерь Борьба с переобучением Использование статистики сети из интерфейса настройки Обнаружение неудачной инициализации весов Обнаружение неперемешанных данных Обнаружение проблем, относящихся к регуляризации Настройка глубоких сетей с конкретной архитектурой Сверточные нейронные сети (СНС) Общие архитектурные паттерны сверточных сетей Конфигурирование сверточных слоев Конфигурирование пулинговых слоев Перенос обучения Рекуррентные нейронные сети Входные данные и входной слой сети Выходные слои и RnnOutputLayer Обучение сети Отладка типичных проблем в LSTM Дополнение и маскирование Применение маскирования для оценивания и скоринга Варианты архитектуры рекуррентных сетей Ограниченные машины Больцмана Скрытые блоки и моделирование доступной информации Типы блоков Регуляризация в ОМБ Глубокие сети доверия Применение импульса Применение регуляризации Задание числа скрытых блоков Векторизация Введение в векторизацию в машинном обучении Зачем нужно векторизовать данные? Стратегии обработки табличных исходных данных Конструирование признаков и методы нормировки Применение библиотеки DataVec для ETL и векторизации Векторизация изображений Представление изображений в DL4J Нормировка данных изображения с помощью DataVec Векторизация последовательных данных Основные виды источников последовательных данных Векторизация последовательных данных с помощью DataVec Векторизация текста Мешок слов TF-IDF Сравнение Word2Vec и векторной модели Работа с графами Глубокое обучение и DL4J на платформе Spark Введение в использование DL4J совместно с Spark и Hadoop Запуск Spark из командной строки Конфигурирование и настройка Spark Выполнение Spark в кластере Mesos Выполнение Spark поверх YARN Общее руководство по настройке Spark Настройка задач DL4J для Spark Подготовка проекта Maven для Spark и DL4J Шаблон секции зависимостей в файле pom.xml Настройка POM-файла для CDH 5.X Настройка POM-файла для HDP 2.4 Отладка Spark и Hadoop Типичные проблемы при работе с ND4J Параллельное выполнение DL4J на платформе Spark Минимальный пример обучения на платформе Spark Рекомендации по использованию DL4J API для Spark Пример многослойного перцептрона на платформе Spark Конфигурирование архитектуры МСП для Spark Распределенное обучение и оценивание модели Создание и выполнение задачи Spark Порождение текстов в стиле Шекспира с помощью Spark и LSTM-сети Конфигурирование архитектуры LSTM-сети Обучение, наблюдение за ходом работы и интерпретация результатов Моделирование набора MNIST с помощью сверточной нейронной сети в кластере Spark Конфигурирование задачи Spark и загрузка набора данных MNIST Конфигурирование и обучение СНС LeNet Что такое искусственный интеллект? Положение на данный момент Определение глубокого обучения Определение искусственного интеллекта Зима не за горами RL4J и обучение с подкреплением Введение Марковский процесс принятия решений Терминология Различные варианты Безмодельное обучение Наблюдаемое состояние Однопользовательские и состязательные игры Q-обучение От политики к нейронным сетям Перебор политик Исследование и использование Уравнение Беллмана Выборка начальных состояний Реализация Q-обучения Моделирование Q(s,a) Воспроизведение опыта Сверточные слои и предварительная обработка изображений Обработка истории Двойное Q-обучение Ограничение Масштабирование вознаграждений Приоритетное воспроизведение График, визуализация и среднее значение Q RL4J Заключение Числа, которые должен знать каждый Нейронные сети и обратное распространение: математическое описание Введение Обратное распространение в многослойном перцептроне ND4J API Дизайн и основы использования Что такое NDArray? Общий синтаксис ND4J Основы работы с массивами NDArray Класс Dataset Создание входных векторов Основы создания векторов Класс MLLibUtil Преобразование INDArray в вектор MLLib Преобразование вектора MLLib в INDArray Получение предсказаний от модели в DL4J Совместное использование DL4J и ND4J Библиотека DataVec Загрузка данных для машинного обучения Загрузка CSV-данных для многослойного перцептрона Загрузка изображений для сверточной нейронной сети Загрузка последовательных данных для рекуррентных нейронных сетей Подготовка данных средствами DataVec Преобразования DataVec: основные понятия Преобразования DataVec: пример Работа с DL4J на уровне исходного кода Проверка, установлен ли Git Клонирование основных проектов, связанных с DL4J Скачивание исходного кода в виде zip-файла Сборка библиотеки из исходного кода с помощью Maven Подготовка проектов на базе DL4J Создание нового проекта на базе DL4J Java Работа с Maven Интегрированные среды разработки (IDE) Настройка других POM-файлов Maven ND4J и Maven Подготовка проектов на базе DL4J к работе с GPU Переключение библиотек в режим работы с GPU Выбор GPU Обучение на системе с несколькими GPU CUDA на разных платформах Мониторинг производительности GPU Отладка проблем с установкой DL4J Предыдущая установка Ошибки нехватки памяти при сборке из исходного кода Старые версии Maven Maven и переменная среды PATH Недопустимые версии JDK C++ и другие средства разработки Windows и путь к включаемым файлам Мониторинг GPU Использование JVisualVM Работа с Clojure Поддержка чисел с плавающей точкой в OS X Ошибка разветвления-соединения в Java 7 Предостережения Клонирование других репозиториев Проверьте зависимости Maven Переустановка зависимостей Если ничего не помогает Различные платформы OS X Windows Linux Предметный указатель Об авторах Об иллюстрации на обложке