Авторские права на сайт принадлежат Данилу и Евгению Гилядовым
Обработка естественного языка (Natural Language Processing, NLP) — это область искусственного интеллекта, которая изучает проблемы компьютерного анализа и синтеза естественных (человеческих) языков.
Основные задачи NLP:
- Морфологический и синтаксический анализ предложений. Выделение частей речи, синтаксических групп, деревьев разбора и т.д.
- Семантический анализ. Извлечение смысла из текста, определение значений слов и фраз.
- Прагматический анализ. Определение коммуникативных целей и интенций говорящего.
- Машинный перевод. Автоматизированный перевод текстов с одного языка на другой.
- Распознавание и синтез речи. Преобразование устной речи в текст и обратно.
- Извлечение информации из текста. Например, именованных сущностей или ключевых фактов.
- Реферирование текста. Генерация краткого смыслового резюме длинного текста.
- Диалоговые системы и чат-боты. Ведение диалога человек-машина на естественном языке.
Основными подходами в NLP являются лингвистический (с использованием знаний о языке) и статистический (на основе машинного обучения). Современные системы, как правило, сочетают оба подхода. Успехи в области глубокого обучения в последние годы значительно улучшили качество обработки естественного языка.