Основы глубокого обучения: создание алгоритмов для искусственного интеллекта следующего поколения

Description

Предисловие Требования и цели УСЛОВНЫЕ ОБОЗНАЧЕНИЯ ОБРАЗЦЫ КОДА ГЛАВА 1. Нейросеть Создание умных машин Ограничения традиционных компьютерных программ Механика машинного обучения Нейрон Выражение линейных персептронов в виде нейронов Нейросети с прямым распространением сигнала Линейные нейроны и их ограничения Нейроны с сигмоидой, гиперболическим тангенсом и усеченные линейные Выходные слои с функцией мягкого максимума Резюме ГЛАВА 2. Обучение нейросетей с прямым распространением сигнала Проблема фастфуда Градиентный спуск Дельта-правило и темп обучения Градиентный спуск с сигмоидными нейронами Алгоритм обратного распространения ошибок Стохастический и мини-пакетный градиентный спуск Переобучение и наборы данных для тестирования и проверки Борьба с переобучением в глубоких нейросетях Резюме ГЛАВА 3. Нейросети в TensorFlow Что такое TensorFlow? Сравнение TensorFlow с альтернативами Установка TensorFlow Создание переменных TensorFlow и работа с ними Операции в TensorFlow Тензоры-заполнители Сессии в TensorFlow Области видимости переменной и совместное использование переменных Управление моделями на CPU и GPU Создание модели логистической регрессии в TensorFlow Журналирование и обучение модели логистической регрессии Применение TensorBoard для визуализации вычислительного графа и обучения Создание многослойной модели для MNIST в TensorFlow Резюме ГЛАВА 4. Не только градиентный спуск Проблемы с градиентным спуском Локальные минимумы на поверхности ошибок глубоких сетей Определимость модели Насколько неприятны сомнительные локальные минимумы в нейросетях? Плоские области на поверхности ошибок Когда градиент указывает в неверном направлении Импульсная оптимизация Краткий обзор методов второго порядка Адаптация темпа обучения ADAGRAD — СУММИРОВАНИЕ ИСТОРИЧЕСКИХ ГРАДИЕНТОВ RMSPROP — ЭКСПОНЕНЦИАЛЬНО ВЗВЕШЕННОЕ СКОЛЬЗЯЩЕЕ СРЕДНЕЕ ГРАДИЕНТОВ ADAM — СОЧЕТАНИЕ ИМПУЛЬСНОГО МЕТОДА С RMSPROP Философия при выборе метода оптимизации Резюме ГЛАВА 5. Сверточные нейросети Нейроны и зрение человека Недостатки выбора признаков Обычные глубокие нейросети не масштабируются Фильтры и карты признаков Полное описание сверточного слоя Max Pooling (операция подвыборки) Полное архитектурное описание сверточных нейросетей Работа с MNIST с помощью сверточных сетей Предварительная обработка изображений улучшает работу моделей Ускорение обучения с помощью пакетной нормализации Создание сверточной сети для CIFAR-10 Визуализация обучения в сверточных сетях Применение сверточных фильтров для воссоздания художественных стилей Обучаем сверточные фильтры в других областях Резюме ГЛАВА 6. Плотные векторные представления и обучение представлений Обучение представлений в пространстве низкой размерности Метод главных компонент Мотивация для архитектуры автокодера Реализация автокодера в TensorFlow Шумопонижение для повышения эффективности плотных векторных представлений Разреженность в автокодерах Когда контекст информативнее, чем входной вектор данных Технология Word2Vec Реализация архитектуры Skip-Gram Резюме ГЛАВА 7. Модели анализа последовательностей Анализ данных переменной длины seq2seq и нейронные N-граммные модели Реализация разметки частей речи Определение зависимостей и SyntaxNet Лучевой поиск и глобальная нормализация Когда нужна модель глубокого обучения с сохранением состояния Рекуррентные нейронные сети Проблема исчезающего градиента Нейроны долгой краткосрочной памяти (long short-term memory, LSTM) Примитивы TensorFlow для моделей РНС Реализация модели анализа эмоциональной окраски Решение задач класса seq2seq при помощи рекуррентных нейронных сетей Дополнение рекуррентных сетей вниманием Разбор нейронной сети для перевода Резюме ГЛАВА 8. Нейронные сети с дополнительной памятью Нейронные машины Тьюринга Доступ к памяти на основе внимания Механизмы адресации памяти в NTM Дифференцируемый нейронный компьютер Запись без помех в DNC Повторное использование памяти в DNC Временное связывание записей DNC Понимание головки чтения DNC Сеть контроллера DNC Визуализация работы DNC Реализация DNC в TensorFlow Обучение DNC чтению и пониманию Резюме ГЛАВА 9. Глубокое обучение с подкреплением Глубокое обучение с подкреплением и игры Atari Что такое обучение с подкреплением? Марковские процессы принятия решений (MDP) СТРАТЕГИЯ БУДУЩАЯ ВЫГОДА ДИСКОНТИРОВАНИЕ БУДУЩИХ ВЫГОД Исследование и использование ϵ-ЖАДНОСТЬ НОРМАЛИЗОВАННЫЙ АЛГОРИТМ ϵ-ЖАДНОСТИ Изучение стратегии и ценности ИЗУЧЕНИЕ СТРАТЕГИИ ПРИ ПОМОЩИ ГРАДИЕНТА ПО СТРАТЕГИЯМ Тележка с шестом и градиенты по стратегиям OPENAI GYM СОЗДАНИЕ АГЕНТА СОЗДАНИЕ МОДЕЛИ И ОПТИМИЗАТОРА СЕМПЛИРОВАНИЕ ДЕЙСТВИЙ ФИКСАЦИЯ ИСТОРИИ ОСНОВНАЯ ФУНКЦИЯ ГРАДИЕНТА ПО СТРАТЕГИЯМ РАБОТА PGAGENT В ПРИМЕРЕ С ТЕЛЕЖКОЙ С ШЕСТОМ Q-обучение и глубокие Q-сети УРАВНЕНИЕ БЕЛЛМАНА ПРОБЛЕМЫ ИТЕРАЦИИ ПО ЦЕННОСТЯМ АППРОКСИМАЦИЯ Q-ФУНКЦИИ ГЛУБОКАЯ Q-СЕТЬ (DQN) ОБУЧЕНИЕ DQN СТАБИЛЬНОСТЬ ОБУЧЕНИЯ ЦЕЛЕВАЯ Q-СЕТЬ ПОВТОРЕНИЕ ОПЫТА ОТ Q-ФУНКЦИИ К СТРАТЕГИИ DQN И МАРКОВСКОЕ ПРЕДПОЛОЖЕНИЕ РЕШЕНИЕ ПРОБЛЕМЫ МАРКОВСКОГО ПРЕДПОЛОЖЕНИЯ В DQN ИГРА В BREAKOUT ПРИ ПОМОЩИ DQN СОЗДАНИЕ АРХИТЕКТУРЫ ЗАНЕСЕНИЕ КАДРОВ В СТЕК ЗАДАНИЕ ОБУЧАЮЩИХ ОПЕРАЦИЙ ОБНОВЛЕНИЕ ЦЕЛЕВОЙ Q-СЕТИ РЕАЛИЗАЦИЯ ПОВТОРЕНИЯ ОПЫТА ОСНОВНОЙ ЦИКЛ DQN РЕЗУЛЬТАТЫ DQNAGENT В BREAKOUT Улучшение и выход за пределы DQN ГЛУБОКИЕ РЕКУРРЕНТНЫЕ Q-СЕТИ (DRQN) ПРОДВИНУТЫЙ АСИНХРОННЫЙ АГЕНТ-КРИТИК (A3C) ПОДКРЕПЛЕНИЕ БЕЗ УЧИТЕЛЯ И ВСПОМОГАТЕЛЬНОЕ ОБУЧЕНИЕ (UNSUPERVISED REINFORCEMENT AND AUXILIARY LEARNING, UNREAL) Резюме Примечания Благодарности Несколько слов об обложке Об авторе