НАУКА и ОБРАЗОВАНИЕ

УДК 004.052

Россия, МГТУ им. Н.Э. Баумана

elizarti@mail.ru

pavlov@bmstu.ru

kasper.sochi@mail.ru

Введение

При проведении автороведческой экспертизы с целью идентификации авторских текстов с помощью частотного анализа требуется достаточно точное знание частот появления тех или иных лексем в текстах автора. Под лексемой понимается слово, рассматриваемое как единица словарного состава языка в совокупности всех его конкретных грамматических форм, а также всех возможных значений [1]. Термин «лексема» в этом смысле употребляется большинством отечественных авторов. Как показывают публикации последнего времени [1-4],  проблема идентификации лексем  остаётся актуальной.

 Определение этих частот является достаточно сложной задачей по причине наличия у каждой лексемы множества словоформ, составляющих так называемую парадигму. С этой точки зрения лексема представляет собой результат абстракции отождествления словоформ, реально встречающихся в речи. Например, у лексемы «он» имеются словоформы «него», «нему», «его», «нем», «им» и другие. Выявить автоматизированным методом тот факт, что эти столь непохожие по написанию словоформы принадлежат одной лексеме, весьма затруднительно.

В предыдущей статье [5] автора предложена комплексная методика автоматизированной идентификации лексемы по различным словоформам, в которой были приведены результаты предварительной оценки точности работы комплексной методики на примере короткого текста с общим объёмом около  350 слов. Под точностью работы методики, понимается процент правильно идентифицированных лексем. Для увеличения достоверности оценки точности работы комплексной методики необходимо иметь тексты,  содержащие гораздо большее количество слов. Однако при этом встает вопрос о контрольном счете, который получить вручную практически невозможно. В этой связи в данной статье предлагается метод создания так называемых «виртуальных текстов». Суть этого метода заключается в следующем: каждая лексема русского языка имеет некоторое количество словоформ, сведения о которых содержатся в морфологических словарях. Сформировав с помощью словарей текст, содержащий определенное количество лексем и соответствующих им словоформ, можно получить для анализа тексты с достаточно большим количеством слов и  имеющие при этом известные количественные характеристики, подлежащие определению с помощью комплексной методики.

Оценка точности работы предлагаемой методики [5] сводится к сравнительному анализу данных, содержащихся в виртуальном тексте, и данных, полученных с помощью автоматизированной процедуры идентификации. Поскольку в русском языке существуют различия в словообразовании различных частей речи, анализ ошибок необходимо проводить, составляя виртуальные тексты, однородные по частям речи, постепенно увеличивая сложность текста, соединяя последние, тем самым получая дифференциальную оценку точности работы комплексной методики идентификации.

Отрывок виртуального текста, составленный из имен существительных, выглядит следующим образом: «…представителем, представители, представитель, представителя, представителям, представителями, участие, участием, участии, участию, участия, картин,  картина, картине, картиной, картину…» и так далее.

 Комплексная методика содержит в своём составе два последовательно работающих блока:

-блок   идентификации лексем по словоформам на основе словарной морфологии;

-блок идентификации лексем    по  словоформам    аналитическим методом.

С целью локализации источника возникновения ошибок идентификации лексем был проведен  анализ точности работы ее отдельных блоков.

Блок  идентификации лексем по словоформам на основе словарной морфологии использует для своей работы словари русского языка Зализняка А.А. [6] и Про-Линг [7].

Для оценки точности работы блока были сформированы виртуальные тексты, составленные из имен существительных, глаголов и имен прилагательных, поскольку данные части речи являются наиболее употребляемыми, как в русской разговорной речи, так и в художественных произведениях, и имеют наибольшее количество словоформ.

Тестовый виртуальный текст, содержал 109 лексем имён существительных с 509 словоформами, принадлежащими этим лексемам.

В таблице 1 приведены результаты работы блока автоматизированной идентификации лексем по словоформам на основе словарной морфологии.

В столбце «Лексемы» представлены лексемы, словоформы которых формируют виртуальный текст, созданный из  именсуществительных. В столбце «Заданное количество» - заданное в виртуальном тексте количество  словоформ данной лексемы. В столбце «Полученное количество» - количество  словоформ данной лексемы, полученное в результате работы блока автоматизированной идентификации лексем на основе словарной морфологии [5].

Таблица 1.

Результаты автоматизированной идентификации лексем имен существительных на основе словарной морфологии.

По результатам работы блока автоматизированной идентификации лексем, основанной на словарной морфологии, выявлены характерные ошибки идентификации (таблица 2).

Таблица 2.

Ошибки автоматизированной идентификации лексем при анализе имен существительных на основе словарной морфологии.

Ошибки идентификации лексем, приведенные в таблице 2, возникают по двум причинам:

1)                Морфологическая омонимия (разные по значению, но одинаковые по написанию единицы языка). В данном случае это относятся к лексеме «политика», «политик», «пол» и «поле», поскольку в их парадигмах встречаются омонимы.

2)                Отсутствие словоформы или лексемы в словарях, на основе которых происходит идентификация. В данном случае это относится к лексеме «регион».

Количество безошибочной идентификации при определении лексем блоком на основе словарной морфологии, подсчитанное по соотношению

                                                     (1)

составляет девяносто восемь процентов. Здесь  – процент безошибочной идентификации лексем, N – количество словоформ в виртуальном тексте, m – количество лексем в виртуальном тексте,  - количество ошибок при идентификации i-ой лексемы:

                                                  (2)

где  – количество словоформ, отнесенное блоком к i-ой лексеме,  – количество словоформ, относящееся к i-ой лексеме в виртуальном тексте.

При проведении расчетов по соотношению (2) словоформы повторно не учитывались. Таким образом, блок идентификации лексем на основе словарной морфологии при анализе виртуального текста, состоящего из имен существительных, допускает не более двух процентов ошибок.

При анализе виртуальных текстов, состоящих из глаголов и имен прилагательных, блоком  идентификации на основе словарной морфологии были выявлены ошибки, представленные в таблицах 3, 4, соответственно.

Таблица 3.

Ошибки автоматизированного анализа лексем глаголов блоком идентификации на основе словарной морфологии.

Таблица 4.

Ошибки автоматизированного анализа лексем имен прилагательных блоком идентификации на основе словарной морфологии.

Ошибки, представленные в таблицах 3 и 4, вызваны теми же причинами, что и ошибки при идентификации лексем имен существительных (омонимия или отсутствие лексемы  в словаре). Количество ошибок при идентификации лексем глаголов составило 8%, а имен прилагательных сохранилось в пределах двух процентов.

Оценка эффективности работы блока идентификации лексемы по словоформам аналитическим способом проводилась на тех же виртуальных текстах, что и блока идентификации на основе словарной морфологии.

  В таблицах 5-7 представлены  ошибки автоматизированной идентификации лексем имен существительных, глаголов и имен  прилагательных соответственно. Анализ  результатов идентификации лексем имен существительных показал, что ошибки составляют шесть процентов, лексем глаголов – тринадцать процентов и лексем имен прилагательных – два процента.

Таблица 5.

Ошибки автоматизированного анализа лексем имен  существительных блоком идентификации на основе аналитического метода.

Таблица 6.

Ошибки автоматизированной идентификации лексем при анализе глаголов на основе аналитического метода.

Таблица 7.

Ошибки автоматизированного анализа лексем имен прилагательных блоком идентификации на основе аналитического метода.

Природа ошибок, допущенных блоком идентификации аналитическим методом, объясняется наличием  идентичности  псевдооснов  анализируемых лексем. Данный эффект объясняется тем, что часть речи при анализе не определяется, поэтому с помощью аналитического алгоритма последовательно происходит идентификация в словоформе морфем различных частей речи с последующим их отсечением. Таким образом, словоформы имени существительного  «выход» и глагола «выходить» обладают одинаковыми псевдоосновами. При возникновении подобной ситуации блок ориентирован на выбор в пользу чаще встречающейся в русском языке лексемы. В данном примере блок  отдал предпочтение лексеме «выходить» на основе частот употребления данных лексем в русском языке согласно частотному словарю русского языка Шарова С.А.: «выход» - 131,48 ipm (ipm - instances per million words – вхождений на миллион слов), «выходить» - 275,27 ipm.[8]

Сравнительный анализ точности работы отдельных блоков комплексной методики по отдельным виртуальным текстам для имен существительных, глаголов и имен прилагательных представлен на рис. 1.

Рис. 1. Барограмма точности работы алгоритмов автоматизированной идентификации лексем на отдельных виртуальных текстах

Для оценки качества совместной работы блоков идентификации лексем по их словоформам, то есть комплексной методики в целом,  был сформирован виртуальный текст, содержащий 2256 словоформ  имен существительных, глаголов и имен прилагательных.. Полученные результаты представлены на рис. 2.

Рис. 2. Барограмма точности работы алгоритмов автоматизированной идентификации лексем

Таким образом, комплексная  методика автоматизированной идентификации лексем, предложенная автором [5] при проведении тестового эксперимента совершила два процента ошибок  двух типов. Первый тип ошибок (морфологическая омонимия) характерен и для человека, если он имеет дело с отдельными словами, вырванными из текста (например, отдельно взятое слово «замок»). При возникновении подобной ситуации, комплексная методика решает эту задачу, обратившись к частотному словарю русского языка, взяв в качестве лексемы наиболее часто употребляемое слово.

Второй тип ошибок совершается в случае отсутствия  лексемы в используемых для анализа словарях.

Выводы

1)      Блок идентификации  лексем на основе морфологического анализа  обеспечивает уровень безошибочной  работы  в 98 процентов  на текстах, содержащих только имена существительные и прилагательные. На текстах, содержащих глаголы, количество  ошибок   возрастает, и процент безошибочной работы снижается  до 92 процентов.

2)      Блок идентификации лексем аналитическим методом обеспечивает уровень безошибочной работы на текстах, содержащих только имена существительные 94 процента, на текстах, содержащих только глаголы – 87 процентов  и на текстах, содержащих только имена прилагательные –  97 процентов.

3)      Комплексная методика идентификации лексем по их словоформам в тестовых текстах, состоящих  из  имен существительных, глаголов и имен прилагательных обеспечивает  уровень безошибочной работы равный 98 процентам.

На основе проведенного анализа можно сформировать следующие рекомендации:

1)      Для уменьшения процента ошибок в случае морфологической омонимии и совпадения псевдооснов следует учитывать предпочтения автора текста, то есть выбор лексемы должен быть основан не только на частоте употребления лексем в русском языке, но и частоте употребления в анализируемом тексте. Таким образом, так же учитывается и тематика текста.

2)      В случае отсутствия лексемы в используемых для анализа словарях необходимо добавить анализ ненайденных словоформ аналитическим методом независимо от словарей.

Список литературы

1.               Большакова Е.И., Клышинский Э.С., Ландэ Д.В., Носков А.А., Пескова О.В., Ягунова Е.В. Автоматическая обработка текстов на естественном языке и компьютерная лингвистика : учеб. пособие. М.: МИЭМ, 2011. 272 с.

2.               Вороной С.М. Егошина А.А.  Обобщенный алгоритм работы со словарем при морфологическом анализе // Искусственный интеллект. 2007. № 3. C. 303-308.

3.               Большакова Е.И., Васильева Н.Э., Морозов С.С. Лексико-синтаксические шаблоны для автоматического анализа научно-технических текстов // Десятая Национальная конференция по искусственному интеллекту с международным участием КИИ-2006 : труды. В 3 т. М.: Физматлит, 2006. Т. 2. С. 506-524.

4.               Крылов С.А. Некоторые уточнения к определениям понятий словоформы и лексемы // Семиотика и информатика : сб. науч. ст. М.: ВИНИТИ, 1982. вып. 19. С. 118-136.

5.               Тихомирова Е.А. Минимизация ошибок идентификации лексем в текстах, написанных на естественном языке// Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение. 2012. Спец. вып. Информатика и системы управления. С. 131-139.

6.               Архив форума «Говорим по-русски». Парадигма // http://speakrus.ru/ . Режим доступа: http://speakrus.ru/dict/#paradigma  (дата обращения 13.04.2012).

7.               Архив форума «Говорим по-русски». Про-Линг // http://speakrus.ru/ . Режим доступа: http://speakrus.ru/dict/#proling  (дата обращения 20.04.2012).

8.               Шаров С.А. Частотный словарь русского языка. Режим доступа: http://www.artint.ru/projects/frqlist.asp (дата обращения 20.04.2012).