Глубокое обучение на R:

Description

Предисловие Благодарности Об этой книге Об авторах Об иллюстрации на обложке Часть I. Основы глубокого обучения Глава 1. Что такое глубокое обучение? 1.1. Искусственный интеллект, машинное и глубокое обучение 1.1.1. Искусственный интеллект 1.1.2. Машинное обучение 1.1.3. Обучение представлению данных 1.1.4. «Глубина» глубокого обучения 1.1.5. Принцип действия глубокого обучения в трех картинках 1.1.6. Какой ступени развития достигло глубокое обучение 1.1.7. Не верьте рекламе 1.1.8. Перспективы ИИ 1.2. Что было до глубокого обучения: краткая история машинного обучения 1.2.1. Вероятностное моделирование 1.2.2. Первые нейронные сети 1.2.3. Ядерные методы 1.2.4. Деревья решений, случайные леса и градиентный бустинг 1.2.5. Назад к нейронным сетям 1.2.6. Отличительные черты глубокого обучения 1.2.7. Современный ландшафт машинного обучения 1.3. Почему глубокое обучение? Почему сейчас? 1.3.1. Оборудование 1.3.2. Данные 1.3.3. Алгоритмы 1.3.4. Новая волна инвестиций 1.3.5. Демократизация глубокого обучения 1.3.6. Ждать ли продолжения этой тенденции? Глава 2. Прежде чем начать: математические основы нейронных сетей 2.1. Первое знакомство с нейронной сетью 2.2. Представление данных для нейронных сетей 2.2.1. Скаляры (тензоры нулевого ранга) 2.2.2. Векторы (тензоры первого ранга) 2.2.3. Матрицы (тензоры второго ранга) 2.2.4. Тензоры третьего и высшего рангов 2.2.5. Ключевые атрибуты 2.2.6. Манипулирование тензорами в R 2.2.7. Пакеты данных 2.2.8. Практические примеры тензоров с данными 2.2.9. Векторные данные 2.2.10. Временные ряды, или последовательности 2.2.11. Изображения 2.2.12. Видео 2.3. Шестеренки нейронных сетей: операции с тензорами 2.3.1. Поэлементные операции 2.3.2. Операции с тензорами, имеющими разные размерности 2.3.3. Скалярное произведение тензоров 2.3.4. Изменение формы тензора 2.3.5. Геометрическая интерпретация операций с тензорами 2.3.6. Геометрическая интерпретация глубокого обучения 2.4. Механизм нейронных сетей: оптимизация на основе градиента 2.4.1. Что такое производная? 2.4.2. Производная операций с тензорами: градиент 2.4.3. Стохастический градиентный спуск 2.4.4. Объединение производных: алгоритм обратного распространения ошибки 2.5. Взгляд назад на первый пример Краткие итоги главы Глава 3. Начало работы с нейронными сетями 3.1. Анатомия нейронной сети 3.1.1. Слои: строительные блоки глубокого обучения 3.1.2. Модели: сети слоев 3.1.3. Функции потерь и оптимизаторы: ключи к настройке процесса обучения 3.2. Введение в Keras 3.2.1. Keras, TensorFlow, Theano и CNTK 3.2.2. Установка Keras 3.2.3. Разработка с использованием Keras: краткий обзор 3.3. Настройка рабочей станции для глубокого обучения 3.3.1. Подготовка Keras: два варианта 3.3.2. Запуск заданий глубокого обучения в облаке: за и против 3.3.3. Выбор GPU для глубокого обучения 3.4. Классификация отзывов к фильмам: пример бинарной классификации 3.4.1. Набор данных IMDB 3.4.2. Подготовка данных 3.4.3. Конструирование сети 3.4.4. Проверка решения 3.4.5. Использование обученной сети для предсказаний на новых данных 3.4.6. Дальнейшие эксперименты 3.4.7. Итоги 3.5. Классификация новостных лент: пример классификации в несколько классов 3.5.1. Набор данных Reuters 3.5.2. Подготовка данных 3.5.3. Конструирование сети 3.5.4. Проверка решения 3.5.5. Предсказания на новых данных 3.5.6. Другой способ обработки меток и потерь 3.5.7. Важность использования достаточно больших промежуточных уровней 3.5.8. Дальнейшие эксперименты 3.5.9. Итоги 3.6. Предсказание цен на дома: пример регрессии 3.6.1. Набор данных с ценами на жилье в Бостоне 3.6.2. Подготовка данных 3.6.3. Конструирование сети 3.6.4. Оценка решения методом перекрестной проверки по K блокам 3.6.5. Подведение итогов Краткие итоги главы Глава 4. Основы машинного обучения 4.1. Четыре раздела машинного обучения 4.1.1. Контролируемое обучение 4.1.2. Неконтролируемое обучение 4.1.3. Самоконтролируемое обучение 4.1.4. Обучение с подкреплением 4.2. Оценка моделей машинного обучения 4.2.1. Тренировочные, проверочные и контрольные наборы данных 4.2.2. Что важно помнить 4.3. Обработка данных, конструирование признаков и обучение признаков 4.3.1. Предварительная обработка данных для нейронных сетей 4.3.2. Конструирование признаков 4.4. Переобучение и недообучение 4.4.1. Уменьшение размера сети 4.4.2. Добавление регуляризации весов 4.4.3. Добавление прореживания 4.5. Обобщенный процесс решения задач машинного обучения 4.5.1. Определение задачи и создание набора данных 4.5.2. Выбор меры успеха 4.5.3. Выбор протокола оценки 4.5.4. Предварительная подготовка данных 4.5.5. Разработка модели более совершенной, чем базовый случай 4.5.6. Масштабирование по вертикали: разработка модели с переобучением 4.5.7. Регуляризация модели и настройка гиперпараметров Краткие итоги главы Часть II. Глубокое обучение на практике Глава 5. Глубокое обучение для распознавания образов 5.1. Введение в сверточные нейронные сети 5.1.1. Операция свертывания 5.1.2. Выбор максимального значения из соседних (max-pooling) 5.2. Обучение сверточной нейронной сети с нуля на небольшом наборе данных 5.2.1. Целесообразность глубокого обучения для решения задач с небольшими наборами данных 5.2.2. Загрузка данных 5.2.3. Конструирование сети 5.2.4. Предварительная обработка данных 5.2.5. Расширение данных 5.3. Использование предварительно обученной сверточной нейронной сети 5.3.1. Выделение признаков 5.3.2. Дообучение 5.3.3. Итоги 5.4. Визуализация знаний, заключенных в сверточной нейронной сети 5.4.1. Визуализация промежуточных активаций 5.4.2. Визуализация фильтров сверточных нейронных сетей 5.4.3. Визуализация тепловых карт активации класса Краткие итоги главы Глава 6. Глубокое обучение для текста и последовательностей 6.1. Работа с текстовыми данными 6.1.1. Прямое кодирование слов и символов 6.1.2. Использование векторного представления слов 6.1.3. Объединение всего вместе: от исходного текста к векторному представлению слов 6.1.4. Итоги 6.2. Рекуррентные нейронные сети 6.2.1. Рекуррентный уровень в Keras 6.2.2. Слои LSTM и GRU 6.2.3. Пример использования слоя LSTM из Keras 6.2.4. Подведение итогов 6.3. Улучшенные методы использования рекуррентных нейронных сетей 6.3.1. Задача прогнозирования температуры 6.3.2. Подготовка данных 6.3.3. Базовое решение без привлечения машинного обучения 6.3.4. Базовое решение c привлечением машинного обучения 6.3.5. Первое базовое рекуррентное решение 6.3.6. Использование рекуррентного прореживания для борьбы с переобучением 6.3.7. Наложение нескольких рекуррентных уровней друг на друга 6.3.8. Использование двунаправленных рекуррентных нейронных сетей 6.3.9. Что дальше 6.3.10. Подведение итогов 6.4. Обработка последовательностей с помощью сверточных нейронных сетей 6.4.1. Обработка последовательных данных с помощью одномерной сверточной нейронной сети 6.4.2. Выбор соседних значений в одномерной последовательности данных 6.4.3. Реализация одномерной сверточной сети 6.4.4. Объединение сверточных и рекуррентных сетей для обработки длинных последовательностей 6.4.5. Подведение итогов Краткие итоги главы Глава 7. Лучшие практики глубокого обучения продвинутого уровня 7.1. За рамками последовательной модели: функциональный API фреймворка Keras 7.1.1. Введение в функциональный API 7.1.2. Модели с несколькими входами 7.1.3. Модели с несколькими выходами 7.1.4. Ориентированные ациклические графы уровней 7.1.5. Повторное использование экземпляров слоев 7.1.6. Модели как слои 7.1.7. Подведение итогов 7.2. Исследование и мониторинг моделей глубокого обучения с использованием обратных вызовов Keras и TensorBoard 7.2.1. Применение обратных вызовов для воздействия на модель в ходе обучения 7.2.2. Введение в TensorBoard: фреймворк визуализации TensorFlow 7.2.3. Подведение итогов 7.3. Извлечение максимальной пользы из моделей 7.3.1. Шаблоны улучшенных архитектур 7.3.2. Оптимизация гиперпараметров 7.3.3. Ансамблирование моделей 7.3.4. Подведение итогов Краткие итоги главы Глава 8. Генеративное глубокое обучение 8.1. Генерирование текста с помощью LSTM 8.1.1. Краткая история генеративных рекуррентных сетей 8.1.2. Как генерируются последовательности данных? 8.1.3. Важность стратегии выбора 8.1.4. Реализация посимвольной генерации текста на основе LSTM 8.1.5. Подведение итогов 8.2. DeepDream 8.2.1. Реализация DeepDream в Keras 8.2.2. Подведение итогов 8.3. Нейронная передача стиля 8.3.1. Функция потерь содержимого 8.3.2. Функция потерь стиля 8.3.3. Нейронная передача стиля в Keras 8.3.4. Подведение итогов 8.4. Генерирование изображений с вариационными автокодировщиками 8.4.1. Выбор шаблонов из скрытых пространств изображений 8.4.2. Концептуальные векторы для редактирования изображений 8.4.3. Вариационные автокодировщики 8.4.4. Подведение итогов 8.5. Введение в генеративно-состязательные сети 8.5.1. Реализация простейшей генеративно-состязательной сети 8.5.2. Набор хитростей 8.5.3. Генератор 8.5.4. Дискриминатор 8.5.5. Состязательная сеть 8.5.6. Как обучить сеть DCGAN 8.5.7. Подведение итогов Краткие итоги главы Глава 9. Заключение 9.1. Краткий обзор ключевых понятий 9.1.1. Разные подходы к ИИ 9.1.2. Что делает глубокое обучение особенным среди других подходов к машинному обучению 9.1.3. Как правильно воспринимать глубокое обучение 9.1.4. Ключевые технологии 9.1.5. Обобщенный процесс машинного обучения 9.1.6. Основные архитектуры сетей 9.1.7. Пространство возможностей 9.2. Ограничения глубокого обучения 9.2.1. Риск очеловечивания моделей глубокого обучения 9.2.2. Локальное и экстремальное обобщение 9.2.3. Итоги 9.3. Будущее глубокого обучения 9.3.1. Модели как программы 9.3.2. За границами алгоритма обратного распространения ошибки и дифференцируемых уровней 9.3.3. Автоматизированное машинное обучение 9.3.4. Непрерывное обучение и повторное использование модульных подпрограмм 9.3.5. Долгосрочная перспектива 9.4. Как не отстать от прогресса в быстро развивающейся области 9.4.1. Практические решения реальных задач на сайте Kaggle 9.4.2. Знакомство с последними разработками на сайте arXiv 9.4.3. Исследование экосистемы Keras 9.5. Заключительное слово Приложение А. Установка Keras и его зависимостей в Ubuntu A.1. Обзор процесса установки A.2. Установка системных библиотек A.3. Настройка поддержки GPU A.3.1. Установка CUDA A.3.2. Установка cuDNN A.3.3. Настройка окружения для CUDA A.4. Установка Keras и TensorFlow Приложение B. Запуск RStudio Server на экземпляре EC2 GPU B.1. Зачем использовать AWS для глубокого обучения? B.2. Когда нежелательно использовать AWS для глубокого обучения? B.3. Настройка экземпляра AWS GPU B.3.1. Установка R и RStudio Server B.3.2. Настройка CUDA B.3.3. Подготовка библиотек для Keras B.4. Настройка доступа к RStudio Server B.5. Установка Keras