Введение в компьютерную лингвистику

Description

Рассматриваются основные принципы компьютерного анализа текстов на естественном языке. Приведены примеры анализа на трех уровнях — морфологическом, синтаксическом и семантическом с использованием соответствующего инструментария: словарей и корпусов текстов. Обсуждены возможные применения результатов анализа, в том числе в области классификации текстов и извлечения из них информации. Для студентов специальности 036000 «Интеллектуальные системы в гуманитарной сфере». Министерство образования и науки Российской Федерации 1 Предмет компьютерной лингвистики 1.1 Что такое компьютерная лингвистика? 1.2 Основные направления компьютерной лингвистики 1.3 Компьютерный анализ текста Графематический анализ Морфологический анализ Синтаксический анализ Семантический анализ 1.4 Задачи лингвистических информационных технологий 2 Инструментарий компьютерной лингвистики 2.1 Словари Орфографический словарь Толковый словарь Этимологический словарь Словарь синонимов Обратный словарь Таблица 2.1. Фрагмент обратного словаря Идеографический словарь Таблица 2.2. Фрагмент идеографического словаря Частотный словарь Таблица 2.3. Частотные слова русского языка по НКРЯ Таблица 2.4. Два типа частотного словаря Способы сравнения слов Таблица 2.5. Размер основы слова 2.2 Корпуса текстов Таблица 2.6. Отличия компьютерных корпусов текстов Классификация корпусов текстов 2.3 Национальный корпус русского языка (НКРЯ) (http://ruscorpora.ru) Разметка Структура морфологической информации в НКРЯ Семантическая разметка в Национальном корпусе русского языка Другие корпуса 3 Автоматический анализ текста 3.1 Морфологический уровень Представление морфологической информации Словарь Зализняка Омонимия в русском языке Таблица 3.1. Наиболее распространенные типы частеречной омонимии 3.2 Синтаксический уровень Деревья составляющих Деревья подчинения Рис. 3.1. Проективность связей: а) полная проективность, б) слабая непроективность, в) непроективность Рис. 3.2. Размеченное дерево зависимостей Синтаксическая омонимия 3.3 Анафора и кореферентность 4 Классификация и кластеризация 4.1 Закон Ципфа Рис. 4.1. Закон Ципфа для русской Википедии Рис. 4.2. Закон Ципфа для разных языков Рис. 4.3. Выбор ключевых слов Закон Хипса Рис. 4.4. Закон Хипса: по оси абсцисс – количество слов в тексте, по оси ординат – объем словаря 4.2 Модель TF*IDF 4.3 Классификация документов Таблица 4.1. Условные веса слов для выявления спама 4.4 Классификация с обучением. Наивный байесовский классификатор Рис. 4.5. Несмещённая и смещенная и оценка вероятности 4.5 Классификация с обучением. Другие алгоритмы Алгоритм Роккио Рис. 4.6. Иллюстрация работы алгоритма Роккио Алгоритм k-ближайших соседей Рис. 4.6. Иллюстрация работы алгоритма k-ближайших соседей 4.6 Оценка результатов классификации. F-мера. Таблица 4.2. Таблица категорий Рис. 4.8. Матрица неточностей Рис. 4.9. F(-меры: сбалансированная ( = 1 (а), с приоритетом точности (2 = 1/4 (б), с приоритетом полноты (2 = 4 (в) 4.7 Кластеризация Восходящая кластеризация Таблица 4.3. Документы, подлежащие кластеризации Таблица 4.4. Нормированные вектора документов в пространстве терминов Таблица 4.5. Матрица расстояний Рис. 4.10. Результат агломеративной кластеризации с одиночной связью (а) и с полной связью (б) Неиерархическая кластеризация Рис. 4.11. Алгоритм k- means Начальный выбор центров (а), первое приближение и новые центры (б), второе приближение (в) 4.8 Контент-анализ Рис. 4.11. Представление классификатора в виде дерева Рис. 4.12. Распределение фраз по возрасту 5 Литература