Масштабируемые данные. Лучшие шаблоны высоконагруженных архитектур

Description

Методы управления данными и их интеграции быстро развиваются, хранение данных в одном месте становится все сложнее и сложнее масштабировать. Пора разобраться с тем, как перевести сложный и тесно переплетенный ландшафт данных вашего предприятия на более гибкую архитектуру, готовую к современным задачам. Архитекторы и аналитики данных, специалисты по соблюдению требований и управлению узнают, как работать с масштабируемой архитектурой и внедрять ее без больших предварительных затрат. Питхейн Стренгхольт поделится с вами идеями, принципами, наблюдениями, передовым опытом и шаблонами. Предисловие Введение Для кого предназначена эта книга Что я узнаю? Структура издания Условные обозначения Благодарности От издательства Глава 1. Проблемы при управлении данными Управление данными Аналитика фрагментирует ландшафт данных Скорость доставки программного обеспечения меняется Сети становятся быстрее Приоритет — вопросы конфиденциальности и безопасности Необходимо интегрировать операционные системы и системы обработки транзакций Для монетизации данных требуется архитектура «от экосистемы к экосистеме» Предприятия обременены устаревшими архитектурами данных Корпоративное хранилище данных и бизнес-аналитика Озеро данных Централизованное представление Итоги главы Масштабируемая архитектура Глава 2. Введение в масштабируемую архитектуру: организация данных в масштабе Общепризнанные отправные точки У каждого приложения есть база данных Приложения специфичны и обладают уникальным контекстом Золотой источник Дилеммы интеграции данных не избежать Приложения играют роли поставщиков и потребителей данных Основные теоретические соображения Принципы объектно-ориентированного программирования Предметно-ориентированное проектирование Бизнес-архитектура Шаблоны связи и интеграции Двухточечная связь Разрозненные хранилища Лучевая модель Масштабируемая архитектура Золотые источники и хранилища данных предметной области Контракты на поставку данных и соглашения о совместном их использовании Устранение разрозненного подхода Предметно-ориентированное проектирование в масштабе предприятия Оптимизация данных для чтения Уровень данных как целостная картина Метаданные и целевая операционная модель Итоги главы Глава 3. Управление крупными объемами данных: архитектура хранилищ данных только для чтения Знакомство с архитектурой RDS Разделение ответственности за команды и запросы Что такое CQRS CQRS в масштабе Службы и компоненты хранилища данных только для чтения Метаданные Качество данных Уровни RDS Получение данных Интеграция готовых коммерческих решений Извлечение данных из внешних API и SaaS Служба ретроспективных данных Измерения только для добавления Варианты проектирования Репликация данных Уровень доступа Служба обработки файлов Служба уведомлений о доставке Служба удаления персональной информации Распределенная оркестрация Интеллектуальные службы потребления Заполнение RDS по запросу Рекомендации по использованию RDS Итоги главы Глава 4. Управление сервисами и API: архитектура API Знакомство с архитектурой API Что такое сервисно-ориентированная архитектура Интеграция корпоративных приложений Оркестрация сервиса Хореография сервиса Публичные и частные сервисы Модели сервисов и канонические модели данных Сходства между SOA и архитектурой корпоративного хранилища данных Современный взгляд на SOA Новая роль ESB Контракты на обслуживание Обнаружение сервисов Микросервисы Роль API-шлюза в микросервисах Функции Сервисная сетка Границы микросервисов Микросервисы в эталонной архитектуре API Коммуникация между экосистемами Каналы связи на основе API GraphQL Метаданные Использование RDS для чтения в реальном времени и активного чтения Итоги главы Глава 5. Управление событиями и ответами: потоковая архитектура Знакомство с потоковой архитектурой Асинхронная модель событий имеет значение Как выглядят событийно-ориентированные архитектуры Топология посредника Топология брокера Стили обработки событий Мягкое введение в Apache Kafka Распределенные данные о событиях Возможности Apache Kafka Потоковая архитектура Производители событий Потребители событий Платформа событий Источники событий и команд Модель управления Бизнес-потоки Шаблоны потребления потоковой передачи Перенос состояния при событии Роли RDS Использование потоковой передачи для заполнения RDS Элементы управления и политики для управления доменами Потоковая передача как операционный конвейер Гарантии и согласованность Уровень согласованности Обработка «Хотя бы один раз, ровно один раз и не больше одного раза» Порядок сообщений Очередь недоставленных сообщений Потоковое взаимодействие Метаданные для моделей управления и самообслуживания Итоги главы Глава 6. Соединение точек Кратко об архитектурах Архитектура RDS Архитектура API Архитектура потоковой передачи Усиливающие шаблоны Стандарты корпоративной совместимости Конечные точки устойчивых данных Контракты на доставку данных Доступные и адресуемые данные Принципы пересечения сетей Стандарты корпоративных данных Принципы оптимизации потребления Возможность обнаружения метаданных Семантическая согласованность Предоставление соответствующих метаданных Создание и перемещение данных Эталонная архитектура Итоги главы Глава 7. Управление данными и их безопасность Управление данными Организация: роли в управлении данными Процессы: деятельность по управлению данными Люди: доверительные и этические, социальные и экономические соображения Технологии: золотой источник, владение приложениями и их администрирование Данные: золотые источники, золотые наборы данных и классификации Безопасность данных Текущий разрозненный подход Единая защита данных для архитектур Поставщики удостоверений Эталонная архитектура безопасности и подход к контексту данных Процесс безопасности Практическое руководство Архитектура RDS Архитектура API Потоковая архитектура Интеллектуальный механизм обучения Итоги главы Глава 8. Превращение данных в ценность Модели потребления Прямое использование хранилищ данных только для чтения Хранилища данных домена Целевая операционная модель Специалисты по данным как целевая группа пользователей Бизнес-требования Нефункциональные требования Построение конвейера данных и модели данных Распространение интегрированных данных Возможности бизнес-аналитики Возможности самообслуживания Возможности аналитики Стандартная инфраструктура для автоматизированного развертывания Модели без сохранения состояния Предварительно настроенные рабочие места Стандартизация шаблонов интеграции моделей Автоматизация Метаданные модели Эталонная архитектура продвинутой аналитики Итоги главы Глава 9. Управление основными корпоративными данными Демистификация управления мастер-данными Стили управления основными данными Эталонная архитектура MDM Разработка решения для управления основными данными Распространение MDM Основные идентифицирующие номера Справочные и основные данные Определение области видимости корпоративных данных MDM и качество данных как услуга Курируемые данные Обмен метаданными Интегрированные представления Повторно используемые компоненты и логика интеграции Повторная публикация данных Связь с управлением данными Итоги главы Глава 10. Демократизация данных с помощью метаданных Управление метаданными Модель метаданных предприятия Граф корпоративных знаний Архитектурные подходы к управлению метаданными Совместимость метаданных Хранилища метаданных Площадка для обеспечения быстрого доступа к авторизованным данным Итоги главы Глава 11. Заключение Модель доставки Полностью децентрализованный подход Частично децентрализованный подход Структурирование команд Стратегия InnerSource Культура Выбор технологий Упадок традиционной архитектуры предприятия Чертежи и схемы Современные навыки Контроль и управление Глоссарий Об авторе Об обложке