чем занимается компьютерная лингвистика
Компьютерный лингвист
разрабатывает программы для обработки естественного языка, создает инструменты распознавания текста и речи, системы перевода, голосовых ассистентов, персональных помощников, «умных» чат-ботов
Человека окружает большое количество языковой информации, представленной в разных форматах: аудио-, видео-, текстовом. Используя алгоритмы обработки текста, лингвист имеет возможность собрать информацию о необходимых объектах: например, нравится ли зрителям определенный фильм или за кого будут голосовать пользователи твиттера на выборах.
Компьютерные лингвисты разрабатывают программы, которые воспроизводят когнитивную языковую деятельность человека — умение читать, понимать на слух, говорить, участвовать в диалоге, переводить с одного языка на другой. В их задачи входит создание инструментов, которые помогают извлекать лингвистическую информацию из текстов, размечать лингвистические признаки в текстах, создавать ресурсы для хранения лингвистических единиц, например, для хранения слов, их значений, их семантических и морфологических свойств.
Компьютерные лингвисты востребованы крупными IT-компаниями, чья деятельность связана с обработкой больших объемов текстовых или речевых данных. Они могут работать в науке, СМИ, торговле, финансах, здравоохранении — везде, где требуется применение современных информационных технологий к лингвистическим данным.
Оценки рынка
16,1%
составит ожидаемый среднегодовой рост рынка обработки естественного языка в мире в период с 2016 по 2021 год (с 7,63 до 16,07 миллиардов долларов)
Чем занимается компьютерная лингвистика
Термин «компьютерная лингвистика» в различных терминологических системах.
Подходы к определению компьютерной лингвистики через объект исследования, предмет, методы, инструментарий. Компьютерная лингвистика как наука и область исследовательских и конструкторских разработок.
Компьютерная лингвистика в ряду других лингвистических дисциплин, ее цели и задачи.
Предмет и объект компьютерной лингвистики.
Компьютерная лингвистика как учебный предмет для филологических и математических специальностей.
Основные центры изучения компьютерной лингвистики.
Образовательные ресурсы по компьютерной лингвистике.
З ачем лингвисту компьютер
Светлана Тимошенко из Лаборатории компьютерной лингвистики ИППИ РАН.
Термин «компьютерная лингвистика»
Компьютерная лингвистика ( КЛ ) имеет множество различных дефиниций и определений.
направление в лингвистике, связанное с получением новой информации о тексте, речи и языке в целом с использованием компьютеров, математических методов и методов информационного моделирования
о бласть знаний, решающая проблемы общения человека и компьютера на естественном языке
набор задач, которые мы можем решить, обрабатывая языки, тексты, созданные на определенном языке, при помощи компьютера
область Искусственного Интеллекта, занимающаяся компьютерным моделированием владения языком и решением прикладных задач автоматической обработки текстов и звучащей речи
Для эффективной ориентации в этом множестве: необходимо различать термины «определение» и «дефиниция» и знать научное значение лексемы «термин». См. Понятие термина
Многообразие дефиниций и определений концепта «компьютерная лингвистика» объясняется тем, что он рассматривается с позиции разных терминосистем.
Можно выделить три уровня понимания компьютерной лингвистики, как области человеческой деятельности (со своими терминологическими системами):
На научно-математическом уровне компьютерная лингвистика рассматривается как область формализации и математического моделирования феноменов как естественного, так и искусственных (формальных) языков.
На инженерном уровне компьютерная лингвистика рассматривается как область алгоритмизации и автоматизации обработки формально-математических моделей языковых феноменов, воплощения их в информационно-технологические комплексы (программные и аппаратные).
На прикладном уровне компьютерная лингвистика рассматривается как область применения современных информационных сервисов, средств и систем к языковым феноменам (порождение, анализ, обработка устных и письменных текстов).
Теория и практика в компьютерной лингвистике
Владимир Селегей, директор по лингвистическим исследованиям компании ABBYY, заведующий кафедрами компьютерной лингвистики в РГГУ и МФТИ, председатель Оргкомитета ведущей российской конференции по компьютерной лингвистике «Диалог».
Подходы к определению компьютерной лингвистики
Определить компьютерную лингвистику можно попробовать определить на основе различных видов определений:
Реальных (раскрывающих существенные признаки самого предмета, отвечающих на вопрос, что представляет собой тот или иной предмет),
Номинальных (раскрывающих значение термина, вводимого для обозначения предмета; отвечающих на вопрос, что обозначает то или иное слово или выражение),
Явных (в которых выражаются существенные признаки определяемого предмета и имеющие вид Dfd = Dfn:
Генетических (указывают на происхождение предмета, на способ его образования. Неявные определения
Неявных (в котором содержание понятия выводится из отношения к другим понятиям):
Контекстуальных (определяющих через контекст (пространство имен, языковое окружение)).
Остенсивных (путём указания на определяемый предмет).
Аксиоматических (в которых содержание понятий задается системой аксиом, в которых это понятие встречается).
Компьютерная лингвистика, как область деятельности, включает в себя основные структурные компоненты деятельности и может быть определена относительно любого их них:
цели (задач) деятельности
Это отражается в различных дефинициях компьютерной лингвистики:
направление в прикладной лингвистике, ориентированное на использование компьютерных инструментов для моделирования функционирования языка
д еятельность по формализации знаний о естественном языке на разных его уровнях с целью использования в компьютерных технологиях
набор задач, которые мы можем решить, обрабатывая языки, тексты, созданные на определенном языке, при помощи компьютера
междисциплинарная ветвь лингвистики, занимающаяся моделированием языка с использованием компьютеров
направление в лингвистике, связанное с получением новой информации о тексте, речи и языке в целом с использованием компьютеров, математических методов и методов информационного моделирования.
Компьютерная лингвистика как дисциплина
Борис Орехов, Центр цифровых гуманитарных исследований НИУ ВШЭ
КЛ в ряду лингвистических дисциплин
Связь компьютерной лингвистики с другими областями проблематична:
Татевосов Сергей Георгиевич (доктор фил. наук, профессор кафедры теоретической и прикладной лингвистики МГУ имени М.В. Ломоносова) :
Одна из самых болезненных проблем современной лингвистики состоит в том, что статус лингвистики как единой науки в настоящее время весьма проблематичен.
В действительности существует три разных лингвистики – теоретическая, описательная, прикладная.
Большинство тех, кто называет себя лингвистами, трудится в рамках одного из этих направлений и недоуменно взирает на происходящее внутри других.
Т ри лингвистики устроены как три различные науки, с собственной терминологией и даже с собственной теорией. Лингвистика, кажется, единственная наука, устроенная подобным образом.
Разрыв между теорией и практикой не преодолен; напротив, возникновение компьютерной лингвистики разделило лингвистов на тех, кто остался в русле теоретической лингвистики и тех, кто ушел в новую науку.
Вместе с тем, компьютерная лингвистика использует результаты и достижения других лингвистических направлений и сама оказывает влияние как на п рикладную лингвистику, так и на теоретическ ую лингвистик у (и нормативную (предписательную, прескриптивную), и дескриптивную, описывающую).
Предмет и объект КЛ
Объектом компьютерной лингвистики является язык.
Однако, развитие компьютерной лингвистики проблематизировало сам концепт «естественный язык» и включило в проблемное поле все множество искусственных языков (в том числе компьютерных).
Определение границ предметной области такого научного направления как «Компьютерная лингвистика» проблематично в связи с отсутствием стабильного объективного предмета этого определения.
Н азвание «Computational Linguistics» ( в ычислительная лингвистика) утвердилось в 60-70 гг. за областью использовани я статических методов в языкознании.
В СССР в 70-х годах получил распространение родственный термин «Математическая лингвистика». В связи с развитием компьютерных технологий и их активным приложениям в лингвистических задачах, этот термин как название области исследовательской деятельности трансформировался, и она получила более четкое определение «Компьютерная лингвистика».
На официальном сайте Association for Computational Linguistics (ACL) дается общее определение :
С точки зрения западного подхода основным направлением компьютерной лингвистики является Natural Language Processing (Автоматическая обработка естественного языка и речи).
При анализе документов (архивов конференций, содержания базовых сайтов) Ассоциации Компьютерной лингвистики COLING было отмечено, что западные лингвисты включают следующие прикладные направления в область компьютерной лингвистики:
Computational Morphology and Syntax (Компьютерная морфология и синтаксис).
NLP (Автоматическая обработка языка и речи).
Digital Libraries (Электронные библиотеки).
Information Extraction (Извлечение информации).
Information Retrieval (Информационный поиск).
Knowledge Representation and Semantics (Представление знаний и семантика).
Machine Translation (Машинный перевод).
Speech Processing (Распознавание и синтез речи).
Statistical Language Processing (Статистическая обработка языка).
Summarization (Реферирование и аннотирование).
Ю.Н. Марчук определяет компьютерную лингвистику как «лингвистические основы информатики», что собственно предполагает решение задач, связанных с разработкой и использованием искусственных языков, обеспечивающих общение человека с компьютером.
Компьютерная лингвистика как учебный предмет
Компьютерная лингвистика первоначально вводилась как учебный предмет для математических специальностей и рассматривалась с точки зрения инструментария математического моделирвоания и алгоритмизации полученных моделей.
Проблема определения границ предметной области актуализировалась перед разработчиками программ учебных дисциплин в области прикладной и компьютерной лингвистики для гуманитарных специальностей.
Разработчики программы курса МГЛУ (Московского го. лингвистического университета) основное внимание уделяют компьютерному моделированию естественного языка в решении задач искусственного интеллекта, фундаментальным принципам моделирования языка, т.е. направлениям, которые связаны с моделированием общения человека и компьютера.
Разработчики программы курса в МГУ выделяют такие задачи и направления, как проблемы лингвистического обеспечения современных автоматизированных информационных систем, автоматическую обработку естественного языка, создание словарных и текстовых процессоров.
Основными направлениями, рассматриваемыми в курсе компьютерной лингвистики в РГ Г У являются: информационный поиск, машинный перевод, терминология, терминоведение, терминография, компьютерная лексикография, распознавание и синтез речи, проблемы обучения языку с помощью компьютера. Программа этого университета наиболее близка программе Ульяновского государственного технического университета.
Н а практике часто к компьютерной лингвистике относят практически все, что связано с использованием компьютеров в языкознании, в связи с чем и происходит путаница задач с практическими решениями.
Таким образом, при определении границ предметной области компьютерной лингвистики необходимо более четко разграничивать 2 точки зрения:
АВТОМАТИЧЕСКОЙ ОБРАБОТКИ ЯЗЫКА (Language Processing), что будет включать задачи анализа и моделирования языковой структуры, а именно:
графематический/фонематический анализ языка;
морфологический анализ;
лексико-грамматический анализ языка;
синтаксический анализ, или парсинг;
анализ и моделирование семантической структуры;
задача синтеза языковых элементов, в т.ч. генерация текстов;
автоматическая лингвостатистика.
ПРИКЛАДНЫЕ НАПРАВЛЕНИЯ КОМПЬЮТЕРНОЙ ЛИНГВИСТИКИ, а именно:
машинный перевод;
распознавание и синтез речи;
разработка и использование искусственных языков, в том числе языков программирования, языков информационных систем;
компьютерная лексикография и терминография;
лингвистические основы информационного поиска;
автоматическое индексирование, реферирование и классификация текстов;
автоматический контент-анализ и авторизация текстов;
гипертекстовые технологии представления текста;
корпусная лингвистика;
компьютерная лингводидактика.
Центры изучения и образовательные ресурсы по КЛ
Журнал ACL, Компьютерная лингвистика, является основным форумом для исследования в области компьютерной лингвистики и обработки естественного языка. С 1988 журнал был издан для ACL MIT Press.
Кафедра компьютерной лингвистики была открыта в Институте лингвистики РГГУ в 2011 году при участии компании ABBYY и поддержке российского отделения IBM. Кафедра готовит профессиональных лингвистов, способных эффективно работать в области разработки инновационных языковых компьютерных технологий. С 2012 года кафедра будет осуществлять подготовку магистрантов по программе «Компьютерная лингвистика» направления «Фундаментальная и прикладная лингвистика».
NLPub — каталог ресурсов для обработки естественного языка.
Школа лингвистики Высшей школы экономики
ScienceHub #06: Компьютерная лингвистика
Продолжая поездки по лабораториям ученых, мы попали в компанию ABBYY, и побеседовали с Анатолием Старостиным, руководителем группы семантического анализа и преподавателем кафедры «Компьютерная лингвистика» в МФТИ. Он рассказал о работе своей группы, направлениях компьютерной лингвистики в ABBYY и кто такие онтоинженеры.
Для начала нужно определиться с терминологией. Итак, компьютерная лингвистика – это наука, с одной стороне, о языке, а с другой стороны – о том, как работать с языком (не всегда естественным) с помощью компьютерных методов. Это наука, возникшая на стыке лингвистики и computer science. Компьютерная лингвистика под разными углами рассматривает естественный, формальный язык. В центре этой науки понятие языка, которое можно рассматривать с разных сторон. Его можно рассматривать, например, формально. Есть еще такая область, как математическая лингвистика, она возникла раньше компьютерной и представляет собой раздел математики, в котором есть свои теоремы, доказательства, формальные объекты.
В компьютерной лингвистике важно, что всегда в центре стоит практическая конкретная задача, которую нужно решить. Например, синтаксический автоматический анализ, машинный перевод, распознавание речи.
Что такое синтаксический анализ: когда есть стандартная для школьников задача – определить, где в предложении какие члены, какие слова главные, а какие – подчиненные, но сделать это без участия человека, автоматическим способом. Для этого у компьютера на входе есть цепочка символов, которую нужно правильно проинтерпретировать, разбить на слова, связать их между собой и построить синтаксическое дерево. Так как структура предложения естественного языка – древесная, и это понятный факт из обычной, не компьютерной лингвистики.
Омоним как проблема
Основной трудностью в синтаксическом анализе является проблема омонимии, когда два слова одинаково пишутся, но имеют разное значение, в этом случае машина должна понять, что именно имеется в виду.
Анатолий Старостин: «Омонимия возникает и на следующих уровнях. Например, когда мы пытаемся понять, как слова связаны друг с другом, есть типичный пример предложения, который всегда приводят: «Эти типы стали есть на складе». В этом предложении все виды омонимии представлены. С одной стороны, мы слышим, что какие-то люди начали питаться на складе, а с другой стороны, что на складе есть разные типы металла. Это типы стали? Или типы начали? Эта омонимия слышна. И если рисовать синтаксические деревья, то в одном случае сказуемым является слово «стали» (то есть форма глагола «стать»), а в другом случае сказуемым является слово «есть». Соответственно, если нарисовать два дерева, они будут разными. Это пример синтаксической омонимии».
Проблема в том, как автоматическим способом считывать контекст предложения и решать омонимы. Это одно из направлений в компьютерной лингвистике.
История
Компьютерная лингвистика как направление возникла в середине XX века. И первой задачей стразу стало сильно амбициозное по тем временам желание создать программу по автоматического перевода текста. При этом надо помнить, что компьютеры не отличались мощностью. И со временем люди пришли к осознанию того, насколько сложна эта задача.
Одновременно с этим было популярно направление, которое называется искусственный интеллект. Люди хотели, чтобы компьютер решал интеллектуальные задачи. Хотя искусственный интеллект – это более широкая область, чем компьютерная лингвистика, обработка естественного языка рассматривалась как его часть.
А. С. :«В какой-то момент был бум методов машинного обучения. Он случился, когда люди поняли, что с помощью методов математической статистики и специальных алгоритмов можно делать так, чтобы компьютер достаточно точно воспроизводил какое-то интеллектуальное поведение человека. Могу привести пример задачи, которая по сей день очень актуальна. Это задача нахождения в текстах именованных сущностей, когда нужно найти в тексте все упоминания персон или все упоминания организаций. Оказывается, что эту задачу можно решать аналитически (писать правила, сложные алгоритмы). А можно решать эту задачу другим образом, взяв пачку текстов, разметить в ней руками, где персоны, а где организации. После этого дать ее компьютеру, сказать: «Посмотри, в этих текстах персоны здесь, а организации – здесь». И с помощью методов научного обучения компьютер может впитать в себя это знание. И на других текстах, которые он до этого еще не видел, это повторить с довольно высокой точностью. То есть, он возьмет другой текст, которого он еще раньше не читал, и по аналогии с теми текстами угадает, где там упоминание персон, где – организаций. В этот момент он, естественно, воспользуется некоторыми признаками, которые он сам выучил. Эти признаки: большие буквы, какие-то морфологические формы. Есть разные зацепки и крючки, которые в тексте на самом деле есть. Мы читаем, понимаем, что это персона. А на самом деле персона обычно употребляется в таких-то контекстах. Мы даже этого не знаем. А компьютер с помощью метода машинного обучения может в себя впитать эти контексты и воспроизвести. Когда люди это поняли, возникло очень много приложений на базе машинного обучения. Методы машинного обучения сегодня очень существенная часть компьютерной лингвистики применительно к задачам анализа текстов с разных сторон. С помощью машинного обучения решается очень много разных задач».
Профессия «компьютерный лингвист»
Есть несколько основных профессий, использующихся для компьютерной лингвистики. Одна профессия – это программист. Другое дело, что обычно все программисты приходят работать недоученными, и их нужно доучивать. Но нужны и лингвисты, потому что они носители знаний о естественном языке. Лингвисты, попадая в зону компьютерной лингвистики, тоже должны получить новые знания, стать более структурными и формальными для работы в Computer science.
А. С.: «Компьютерная лингвистика предполагает сотрудничество лингвистов и программистов. И они идут друг другу навстречу. Программисты, которые занимаются компьютерной лингвистикой, поскольку они описывают объект, должны в нем разобраться. Любой программист, например, у нас (в ABBYY), понимает, что такое синтаксическое дерево, понимает, как слова связываются друг с другом, много знает о лингвистике, понимает, что такое род, число, падеж. И у нас в ABBYY в чистом виде делают специальные уровни абстракции. То есть, для лингвистов создают какие-то формальные языки, среды, внутри которых они работают, и которые приближены к их взгляду на мир. Они приближены к языку, естественно. И лингвисты варятся в этих средах. Но при этом все равно они хорошо знают, что здесь они сейчас напишут такое-то правило. И это правило будет подхвачено таким-то алгоритмом и так-то использовано. Такие представления у лингвистов есть. Без этого они не смогли бы работать. Подготовка лингвистов с оглядкой на компьютерную лингвистику существенно влияет и на самих лингвистов. Более или менее современные лингвисты сегодня (если говорить о людях, которые занимаются естественным языком, пишут теоретические работы об этом), давно перешли на представления о компьютерных методах».
Онтоинженеры в ABBYY
Базовый лингвистический компонент, который является фундаментом технологии Compreno, разрабатывают в ABBYY последние много лет. Это программа, которая строит семантико-синтаксические деревья.
Используя базовую прослойку, которая любое предложение на естественном языке превращает в семантико-синтаксическое дерево, можно решать более высокоуровневые задачи. В частности извлечение информации. Это разные аббревиатуры, в основном англоязычные, но они все имеют и русские аналоги. Собственно это комплекс задач вокруг анализа информации. Если на входе есть текст, то нужно его определенным образом проинтерпретировать. Этим Анатолий и занимается в своей группе в ABBYY.
А.С.: «Если говорить чуть детальней, что значит определенным образом проинтерпретировать и что-то извлечь? Задачи изучения информации всегда ставятся следующим образом. Первым делом описывается модель предметной области. То есть, мы всегда знаем, какую задачу мы решаем. И формально это фиксируем. Эта модель предметной области еще называется онтологией. Мы заранее рисуем, что нас интересуют, к примеру, персоны: организации, факты работы персон в организациях. Или нас интересуют локации: факты расположения организаций в локациях. То есть, мы рисуем концептуальную схему предметной области. И под призмой этой концептуальной схемы рассматриваем текст. То есть нам нужно из текста извлечь не всю информацию, которая есть в тексте (что было бы абсолютно неопределенно, потому что в любом тексте очень много разной информации). Нам нужно извлечь только ту информацию, которая укладывается в полочки, которые мы себе заранее нарисовали. Так ставятся задачи изучения информации».
Сами онтологии бывают очень разные, обычно они тематические. Это может быть онтология медицины, бизнеса, это может быть онтология спорта. Всегда сначала описывается онтология. Дальше начинается разработка. Это делают специальные люди, которые называются онтоинженерами.
Онтоинженеры — хороший пример симбиоза лингвиста и программиста, обычно, это выпускники математических вузов, потому что они должны хорошо концептуализировать действительность, разбивать задачи на подзадачи, понимать, где какие сущности, как они связаны. С другой стороны, они должны хорошо представлять себе, что такое семантико-синтаксические деревья, то есть иметь лингвистические знания.
А. С.: «Онтоинженеры садятся и на высокоуровневом языке пишут правила. На входе этот язык получает семантико-синтаксические деревья, а на выходе порождает концептуальный граф соответствующей модели предметной области. Простой пример, у вас в компании есть персоны, организация и факты работы. И у вас есть предложение «Вася работает в ABBYY». Программа должна извлечь персону «Вася» (то есть конкретный экземпляр концепта персоны), извлечь организацию ABBYY (конкретный экземпляр концепта организация) и понять, что эти два экземпляра связаны между собой отношением работы. Это типичный пример извлечения информации. Сложность здесь в том, что в естественном языке один и тот же концепт можно выражать очень разными способами. Это всегда огромное многообразие способов сказать одно и то же. Можно сказать: «Вася сотрудник ABBYY». Можно сказать: «Вася работает в ABBYY». Можно сказать: «Вася был уволен из ABBYY», и это все равно будет значит, что он когда-то был сотрудником. Можно сказать: «Вася работает в ABBYY на полставки». Все эти фразы надо понять и свести к общему знаменателю. Вот задача извлечения информации в модельном виде».
Если подытожить, что можно сказать, что компьютерная лингвистика становится инструментом извлечения информации оттуда, откуда раньше ее не могли извлечь.
А.С. :«Если кто-то положил в структурированную базу данных, мы взять можем, потому что они структурированы. Надо только разобраться в формате, то есть в том, как они их выложили. А если это написано текстом, то, казалось бы, это может понять только человек. Оказывается, что с помощью таких методов можно написать программы, которые поймут вместо человека. Это, грубо говоря, конвертеры неструктурированной информации в структурированную. Вот что мы создаем в рамках моей группы в ABBYY».
Все то же самое, но в видео формате можно узнать здесь.