Современные технологии интеллектуального анализа данных: учебное пособие для СПО

Description

В учебном пособии излагаются материалы дисциплин, непосредственно связанных с технологиями анализа данных, например «Компьютерный анализ», «Большие данные», «Слияние данных» и т. п., профессионального учебного цикла по специальностям среднего профессионального образования «Прикладная математика и информатика», «Информационные системы» и «Организация и технология защиты информации». В представленном пособии рассмотрены основные приемы интеллектуального анализа данных, ориентированные на обретение профессиональных компетенций в виде лабораторного практикума. В качестве инструментальной среды разработки используется интегрированный пакет MatLab версий 6.5 и выше. Материалы пособия также могут быть использованы студентами, магистрантами и аспирантами других инженерно-технических специальностей, желающими самостоятельно изучить вопросы анализа экспериментальных данных. ВВЕДЕНИЕ 1. ИНФОРМАЦИЯ И ДАННЫЕ 1.1. Три уровня анализа информации. Информация и данные 1.2. Информатика и информационные системы 1.3. Интеллектуальный анализ данных (ИАД) 1.4. Data Mining 1.5. Подсистемы Data Mining 2. СИСТЕМЫ И МОДЕЛИ 2.1. Аналитические модели 2.2. Имитационные модели 2.3. Большие системы 2.4. Модели вместо законов 2.5. Многозначность понятий 2.6. Человек и машина 2.7. Теорема Гёделя 2.8. Генератор случая 2.9. Живое и неживое 2.10. Социо-кибер-физические системы 3. МЕТОДЫ МАТРИЧНОГО АНАЛИЗА 3.1. Системы нелинейных уравнений и матрица Якоби 3.2. Определение типа экстремума и матрица Гесса 3.3. Функции матричного аргумента 3.4. Системы дифференциальных уравнений 3.5. Скалярные функции матричного аргумента 4. МОДЕЛИРОВАНИЕ МНОГОМЕРНЫХ ДАННЫХ 4.1. Многомерный нормальный закон 4.2. Оценки параметров многомерного нормального закона 4.3. Моделирование многомерных случайных данных 5. МНОЖЕСТВЕННЫЙ РЕГРЕССИОННЫЙ АНАЛИЗ 5.1. Оптимальный среднеквадратический линейный прогноз 5.2. Множественная регрессия 5.3. Восстановление пропусков в данных 6. МЕТОД НАИМЕНЬШИХ КВАДРАТОВ (МНК) 6.1. Точечное оценивание параметров 6.2. Проверка гипотез и доверительное оценивание 7. ЦЕЛЕНАПРАВЛЕННОЕ ПРОЕКТИРОВАНИЕ И РЕДУКЦИЯ РАЗМЕРНОСТИ 7.1. Главные компоненты и факторный анализ 7.2. Нелинейные главные компоненты (проектирование с контрастированием) 7.3. Линейный дискриминантный анализ 8. ПРОВЕРКА СТАТИСТИЧЕСКИХ ГИПОТЕЗ И ИНФОРМАЦИОННЫЕ РАССТОЯНИЯ 8.1. Критерии значимости. Задача о выборе из двух гипотез 8.2. Основные критерии нормальной теории 8.3. Аппроксимация распределений статистик критериев (техника Монте-Карло) 9. КЛАССИФИКАЦИЯ МНОГОМЕРНЫХ ИЗМЕРЕНИЙ 9.1. Дискриминантные информанты и классификация 9.2. Оценка вероятностей ошибочной классификации 9.3. Классификация на линейных дискриминантных формах 10. КЛАСТЕРНЫЙ АНАЛИЗ 10.1. Кластеризация. Выбор метрики 10.2. Метод k средних и ЕМ-алгоритм 10.3. Иерархическая кластеризация на основе дендрограммы 10.4. Оценка качества разделения 11. РЕКУРРЕНТНЫЕ АЛГОРИТМЫ 11.1. Рекуррентное вычисление среднего 11.2. Одномерный линейный фильтр Калмана — Бьюси 11.3. m-мерный линейный фильтр Калмана 11.4. Варианты определения исходных данных 12. ГЕНЕТИЧЕСКИЕ АЛГОРИТМЫ И АЛГОРИТМЫ ПРЯМОГО ПОИСКА 12.1. Назначение и возможности пакета 12.2. Краткие сведения о генетических алгоритмах 12.2.1. Естественный отбор в природе 12.2.2. Что такое генетический алгоритм 12.2.3. Особенности генетических алгоритмов 12.2.4. Структура генетического алгоритма пакета 12.3. Графический интерфейс генетического алгоритма 12.3.1. Общие правила работы с интерфейсом 12.4. Графические возможности интерфейса 12.4.1. Опции алгоритма 12.4.2. Экспорт и импорт результатов 12.5. Использование генетического алгоритма в режиме CLI 12.5.1. Использование алгоритма с опциями по умолчанию 12.6. Описание алгоритма поиска по образцу 12.7. Графический интерфейс алгоритма поиска по образцу 12.7.1. Общие правила работы с интерфейсом 12.7.2. Экспорт и импорт результатов 12.8. Использование алгоритма поиска по образцу в CLI 12.8.1. Использование алгоритма с опциями по умолчанию 12.8.2. Установка требуемых опций 13. НЕПАРАМЕТРИЧЕСКАЯ СТАТИСТИКА 13.1. Сглаживание данных 13.2. Локально-полиномиальное сглаживание 13.2.1. Экспоненциальный фильтр 14. НЕЧЕТКИЕ ВЫЧИСЛЕНИЯ 14.1. Нечеткая информация и выводы 14.2. Нечеткая аппроксимация 14.3. Нечеткая кластеризация 15. ПРИКЛАДНОЙ АНАЛИЗ ВРЕМЕННЫХ РЯДОВ 15.1. Построение динамических стохастических моделей 15.2. Разложение Юла 15.3. Тренд и сезонные составляющие 15.4. Корреляционный и спектральный анализ 15.4.1. Преобразование Фурье 15.5. Анализ случайных процессов 15.5.1. Процессы в линейных системах 15.6. Частота Найквиста и теорема Котельникова 15.7. Быстрое преобразование Фурье (БПФ) 15.8. Дискретные модели стационарных временных рядов 15.9. Авторегрессия: процессы Маркова и Юла 15.10. Уравнения Юла — Уокера 15.11. Оценивание коэффициентов параметрических моделей 15.11.1. Оценивание порядка модели 15.12. Прогнозирование 16. ФУНКЦИИ КОМПЛЕКСНОГО ПЕРЕМЕННОГО (ФКП) 16.1. Элементы теории функций комплексного переменного 16.1.1. Свойства функций комплексного переменного 16.1.2. Основные трансцендентные функции 16.2. Производная функций комплексного переменного 16.2.1. Условия Коши — Римана 16.2.2. Интегрирование функций комплексной переменной 16.2.3. Интегральная формула Коши 16.3. Ряды Тейлора и Лорана 16.4. Теорема о вычетах 17. РЯДЫ ФУРЬЕ 17.1. Основные понятия 17.1.1. Тригонометрический ряд 17.2. Достаточные признаки разложимости в ряд Фурье 17.2.1. Разложение в ряд Фурье непериодической функции 17.2.2. Ряд Фурье для четных и нечетных функций 17.2.3. Ряды Фурье для функций любого периода 17.3. Ряд Фурье по ортогональной системе функций 17.4. Интеграл Фурье 17.4.1. Преобразование Фурье 18. ОПЕРАЦИОННОЕ ИСЧИСЛЕНИЕ 18.1. Преобразование Лапласа 18.1.1. Свойства изображений 18.1.2. Таблица изображений некоторых функций 18.2. Теоремы свертки и запаздывания ЗАКЛЮЧЕНИЕ СПИСОК ЛИТЕРАТУРЫ