УДК 621.391
О. Ф. Кривнова, Л. М. Захаров, Г. С. Строкин

ПОДБОР ТЕКСТОВОГО МАТЕРИАЛА И СТАТИСТИЧЕСКИЙ ИНСТРУМЕНТАРИЙ ДЛЯ СОЗДАНИЯ РЕЧЕВЫХ КОРПУСОВ

Московский государственный университет им. М. В. Ломоносова
Россия, 119899 Москва, Воробьевы горы, I гум. корпус
Тел.: (095) 939-26-01
E-mail: okri@philol.msu.ru, leon@philol.msu.ru

Аннотация
Во многих задачах, связанных с анализом звучащей речи, возникает проблема описания, моделирования и учета акустической вариативности фонемных единиц языка в разнообразных речевых текстах. Несмотря на достаточно большой опыт исследования этой проблемы в русской фонетике, нельзя сказать, что она решена в полном объеме даже для такого относительно простого речевого режима, как чтение связных текстов, нейтральных в экспрессивно-эмоциональном плане. В последнее время масштабное и статистически достоверное исследование акустической вариативности звуковых единиц стало возможным благодаря быстро прогрессирующим компьютерным технологиям и использованию представительных речевых корпусов, снабженных специальной аннотацией. Авторы данного доклада принимали участие в ряде проектов, где создание такого корпуса для русского языка было одним из необходимых этапов работы. В докладе рассматриваются принципы подбора текстового материала для научного и прикладного моделирования акустической вариативности фонемных единиц русского языка, а также обсуждается компьютерный инструментарий, необходимый для создания статистически представительного и фонетически достоверного речевого корпуса, который мог бы стать ядром для получения объемной акустической картины русской звучащей речи.

1. Общие вопросы
Экспериментальный анализ и моделирование акустической вариативности звуковых единиц в естественной речи представляет значительный интерес как для фундаментальной фонетической науки, так и для прикладных разработок в области речевых технологий. Несмотря на достаточно большой опыт исследования этой проблемы в русской фонетике, нельзя сказать, что она решена в полном объеме даже для таких относительно простых речевых режимов, как чтение распространенных фраз и небольших связных текстов. В научной литературе можно найти качественные описания и иллюстративные материалы, которые демонстрируют вариативность акустических параметров фонемных реализаций в различных фонетических контекстах. Фонетический анализ акустической вариативности часто перерастает в задачу построения транскрипционной системы, с помощью которой можно подробно фиксировать воспринимаемые различия в звучании и акустической картине фонемных единиц, создавая тем самым особый, аллофонический уровень представления речевого сообщения. Безусловно, детальные фонетические транскрипции, в создании которых обычно участвуют эксперты-фонетисты, являются очень важным и полезным инструментом, который регистрирует акустические следствия сложных артикуляционных процессов, улавливаемые чутким фонетическим слухом. 
Однако моделирование акустической вариативности звуковых единиц языка в речи не может быть сведено к транскрипционной проблеме по нескольким причинам. Во-первых, в естественной речи позиционно-комбинаторные факторы, которые традиционно, и справедливо, признаются важнейшими источниками варьирования фонем, сложным образом взаимодействуют с множеством других факторов, как лингвистической, так и экстралингвистической природы. Относительный вес всех факторов вариативности и законы их взаимодействия изучены еще недостаточно, однако даже то, что известно, порождает сомнения в возможности охвата наблюдаемых звуковых явлений какой-то единой, непротиворечивой и достаточной транскрипционной системой. Во-вторых, для современной фонетики, в особенности зарубежной, характерно смещение внимания с отношений "фонема-аллофон", рассматриваемых в чисто лингвистическом плане, к изучению механизмов артикуляции при порождении различных речевых сообщений. Исследования такого рода приводят некоторых ученых к отказу от аллофонов как особых единиц звукового кода языка, при сохранении значимости понятия фонемы и /или фонологического признака. 
Расширение эмпирической сферы фонетических исследований и теоретические трудности, возникшие в связи с достижениями в области субстанциальной фонетики и пограничных речевых дисциплин, заставляют ученых искать новые направления и возможности моделирования акустической картины звучащей речи. Этим, по-видимому, можно объяснить и постоянно возрастающий интерес к разработке статистически представительных речевых корпусов, снабженных специальными лингвистическими и сигнальными аннотациями. Как известно, создание корпусов звучащей речи было инициировано в 70-е годы разработками по автоматическому распознаванию речи, где приходится непосредственно сталкиваться с огромной акустической вариативностью единиц языкового кода, которая имеет весьма разнообразные источники. Специалисты [1] считают, что корпусной подход (corpus-based approach) является определяющим и для развития технологий синтеза, особенно при моделировании просодических характеристик речи и особенностей голоса говорящего. Редакторы недавно вышедшего сборника статей, посвященного корпусной проблеме, отмечают [2], что аннотированные речевые корпуса и сопровождающий их компьютерный инструментарий образуют естественные и очень важные связи между речевыми и лингвистическими технологиями и фундаментальными работами в области фонетики и лингвистики в целом. О наличии и плодотворности таких связей свидетельствует, в частности, опыт использования в фонетических исследованиях одного из первых речевых корпусов TIMIT, исходно предназначенного для разработки и оценки систем автоматического распознавания речи (в качестве примера укажем на одну из наиболее интересных, на наш взгляд, работ, связанных с проблемой акустической вариативности [3]).
2. Вопросы проектирования речевых корпусов 
Ввиду значительных финансовых и рабочих затрат, создание речевого корпуса требует предварительного проектирования с учетом задач, для решения которых предполагается использовать речевой корпус ( более подробно о речевых корпусах см. нашу статью [4]) . Несмотря на призывы к разработке многофункциональных и компактных корпусов, пригодных для различных исследований, на практике продолжают разграничивать узкоспециализированные и репрезентативные (эталонные или общие) корпуса. Условно всю совокупность вопросов, возникающих при проектировании корпуса, можно разделить на четыре группы: технические, содержательные, структурные и инструментальные (исполнительские). К техническим относятся вопросы, связанные с акустическими и техническими условиями записи речевого материала. Содержательные вопросы более разнообразны и принципиально существенны. Они касаются выбора дикторов, подбора текстового (речевого) материала, выбора статистической схемы (балансировки) нужных звуковых объектов; распределения текстового материала по дикторам и т. д. Должны быть определены также типы информации, ассоциированной с каждым звуковым файлом (орфографическая запись, фонемная запись/ фонетическая транскрипция реального произнесения, акустико-фонетическая разметка звукового сигнала, прочие типы аннотаций и комментариев). Структурные вопросы касаются организации информации, содержащейся в корпусе, в формат, удобный для размещения, хранения, поиска и использования нужной информации. "Инструментальные" вопросы возникают в связи с автоматизацией и стандартизацией разных этапов создания и использования речевого корпуса. Для репрезентативных или общих корпусов главная проблема связана с разработкой стандартов для транскрипции речевых сигналов на разных уровнях их представления. Специальных программ требует также организация записи и файлирования речевого материала. Как правило, используется так называемый метод суфлера (prompt-method), который позволяет создавать звуковые файлы, соответствующие отдельным объектам речевого корпуса, непосредственно в процессе его записи. 
3. Репрезентативные речевые корпусы для русского языка
Мы принимали участие в ряде проектов, где создание статистически представительного и фонетически достоверного речевого корпуса было одним из необходимых этапов работы [5]. Остановимся кратко на принципах подбора текстового материала в одном из проектов. Инструментарий, который был разработан для обеспечения необходимого типа статистической балансировки звуковых объектов в составе любого речевого корпуса, будет рассмотрен подробно в разделе 4. 
В исследовательском проекте, посвященном моделированию акустической вариативности звуковых единиц, подбор текстового материала базировался на результатах, известных из фонетической литературы, и нашем собственном опыте экспериментально-фонетической работы с русской речью, в частности, в области автоматического синтеза речи [6; 7]. С учетом всех данных был определен минимальный (базовый) набор позиционных и комбинаторных фонетических контекстов, в которых можно прогнозировать не только существенное различие акустических характеристик фонем, но и их перцептивную значимость. При формировании минимального набора контекстов мы руководствовались следующими принципами: 
а) гласные гораздо больше подвержены реализационным (артикуляционным) изменениям, чем согласные, поэтому количество разных контекстов для гласных должно быть существенно больше; 
б) ритмический (градации слоговой выделенности как в пределах слова, так и во фразе) и позиционный факторы оказывают на гласные очень сильное и более выраженное влияние, чем на согласные;
в) в сфере комбинаторного взаимодействия для гласных более важным является левый контекст, а для согласных – правый, т. е. коартикуляция фонем в сочетании СГ существенно больше, чем в сочетании ГС;
г) разные согласные в разной степени подвержены контекстному влиянию, что предполагает разное количество контекстно обусловленных аллофонов.
В совокупности для согласных в базовый набор контекстов было включено 7 левых и 5 правых (сегментных и граничных) контекстов, однако возможность и значимость этих контекстов для разных классов согласных различна. В сумме выделенные контексты порождают 177 различных классов реализаций (обобщенных акустических аллофонов, или трифонов) для 37 согласных фонем русского языка.
Для гласных было выделено 12 левых и 6 правых сегментных контекстов, 2 типа границ (начало и конец синтагмы) и 4 градации ритмической выделенности (ударности/безударности). В результате учета указанных факторов и их возможных комбинаций для гласных предполагается различать от 400 (для /а/ и /у/) до 210-240 для (/о/ и /э/) акустически разных реализаций. В сумме для 6 гласных, с учетом ограничений на дистрибуцию, даже из минимального набора контекстов "порождается" до 1832 разных акустических моделей (предположительно достоверных).
В результате был сформирован полный список обобщенных аллофонов (трифонов), которые мы рассматриваем как предметное "ядро" нашего исследования. Для разработки проекта требовалось также, чтобы исходный речевой материал был разнообразным с точки зрения его общих лингвистических и фонетических характеристик. Поэтому в него были включены следующие текстовые массивы: специально подобранный (фонетически сбалансированный) набор слов и словосочетаний (словник=1600 единиц); фонетически сбалансированный набор коротких (4-5 слов), не связанных друг с другом повествовательных фраз (фразовые таблицы=510 фраз); фонетически сбалансированный связный текст небольшого размера (2,5 стр. машинописного текста); небольшие связные тексты (фрагменты газетных публикаций; 2,5 стр. машинописного текста каждый, =50 фрагментов). Фонетически сбалансированные текстовые массивы подбирались так, чтобы в каждом из них были представлены все или наиболее частотные аллофоны из описанного выше базового списка (по крайней мере один раз). Для обеспечения этого требования использовался разработанный нами автоматический транскриптор русских текстов и специализированная статистическая программа. Базовый список обобщенных аллофонов не покрывает всего разнообразия возможных контекстных употреблений фонем, например, он не учитывает сочетания согласных и гласных. Поэтому для словника и фразовых таблиц были введены дополнительные требования на "покрываемый" ими набор контекстных употреблений фонем. 
4. Задачи, решаемые при помощи статистического инструментария 
Статистический инструментарий (StT), используемый при формировании текстовых массивов для речевого корпуса, должен решать две задачи: подсчет частоты встречаемости единиц (с различением контекстов и без него) и оптимизация текстового массива корпуса (формирование достаточно малого корпуса, удовлетворяющего некоторым заданным статистическим требованиям). Остановимся сначала на второй задаче.
Задача оптимального отбора обычно состоит в том, чтобы создать минимальный текстовый корпус, удовлетворяющий некоторым априорным статистическим требованиям на частоту встречаемости тех или иных единиц исследования (фонем, монофонов, трифонов), например, максимально насыщенный различными подлежащими исследованию единицами, встречающимися в исходном массиве текстов, а в некоторых случаях полностью покрывающий множество таких единиц в этом массиве. Для решения задачи оптимального отбора текстового корпуса StT может использоваться как фильтр-накопитель, который позволяет накапливать текстовый корпус, удовлетворяющий заданным статистическим требованиям.
4.1. Накопительный метод
Так называемый накопительный метод построения текстового корпуса состоит в следующем.
Формируется список единиц (в нашем случае – звуковых), входящих в уже сформированный текстовый корпус. Первоначально этот список пуст. Кроме того, имеется список предложений-кандидатов на включение в формируемый корпус, сопровождаемых транскрипциями (исходный текстовый массив). При последовательном рассмотрении предложений из исходного массива для каждого очередного предложения создается список входящих в него звуковых единиц (с учетом фонетического контекста или без него). Путем сравнения со списком единиц, входящих в корпус уже отобранных предложений, выявляется количество "новых звуков", вносимых рассматриваемым предложением в общий список в случае включения предложения в корпус. Предложение добавляется в корпус, если количество новых звуков не меньше некоторого значения – параметра фильтрации, задаваемого перед началом отбора. На первом этапе это значение может браться достаточно большим (например, равным 10). В случае, если количество предложений в сформированном массиве оказывается сильно меньше желаемого, уровень фильтрации уменьшается и формирование массива продолжается путем рассмотрения списка ранее отброшенных предложений-кандидатов.
Результат применения накопительного метода к исходному массиву предложений сильно зависит от порядка предложений в этом массиве. Однако несовершенство используемого метода не столько в том, что порядок рассмотрения предложений, в идеале несущественный, сильно влияет на то, какие именно предложения войдут в отобранный корпус, сколько в том, что при определенных порядках количество отобранных предложений может быть существенно больше количества, требуемого для покрытия нужного числа звуковых единиц. Для оптимизации процедуры отбора накопление может быть заменено на более совершенный метод, известный под названием greedy algorithm [8]. 
4.2. Поглощающий ("жадный") алгоритм
Рассмотрим проблему создания достаточного небольшого корпуса предложений, в котором каждый звук, представленный в некотором исходном массиве текстов, встречается не менее одного раза. Сначала поставим в соответствие каждому предложению из исходного массива список встречающихся в нем звуковых единиц, удаляя из такого списка повторяющиеся элементы. Затем применим так называемый "жадный" алгоритм для отбора нужных нам предложений. Найдем предложение, которому поставлен в соответствие наиболее длинный список звуковых единиц. После этого удалим из звуковых списков, соответствующих другим предложениям, все элементы, содержащиеся в списке для данного предложения, а само предложение добавим к формируемому корпусу (на первом шаге этот корпус пуст). "Звуковые" списки при оставшихся предложениях содержат теперь только такие единицы, которые отсутствуют в формируемом корпусе. Среди них выберем очередное предложение, которому поставлен в соответствие наиболее длинный "звуковой" список, удалим единицы, входящие в этот список, из списков звуков, соответствующих оставшимся предложениям, а данное добавим к формируемому массиву. Будем повторять процедуру отбора очередного предложения до тех пор, пока все звуковые единицы не будут удалены из списков, соответствующих оставшимся предложениям, т. е. до тех пор, пока все такие списки не окажутся пустыми. Очевидно, что, поскольку в результате применения данного алгоритма отбираются предложения, содержащие возможно большее число звуков, и отбор продолжается до тех пор, пока корпус не будет содержать каждую звуковую единицу, содержащуюся в исходном массиве текстов, корпус отобранных предложений близок к минимальному набору предложений, включающему все звуковые единицы, содержащиеся в исходном текстовом массиве. 
Возможна модификация описанного алгоритма, при которой формирование корпуса предложений завершается до полного "насыщения" нужными звуковыми единицами. Это может понадобиться, например, если стоит задача создания достаточно малого корпуса, содержащего не менее определенного количества таких единиц, или задача формирования корпуса, состоящего из определенного количества предложений и содержащего возможно большее количество нужных звуковых единиц. 
Если при создании текстового корпуса не представляется возможным иметь полное покрытие звуковых единиц из исходного массива текстов из-за того, что такой корпус оказывается слишком большим, может встать задача формирования корпуса определенного размера, который содержит лишь наиболее часто встречающиеся единицы. Для решения этой задачи можно применить взвешенный поглощающий ("жадный") алгоритм. В обычном поглощающем алгоритме принятие решения о выборе очередного предложения основано на вычислении количества входящих в предложение различных единиц, нужных для исследования. Отличие взвешенного алгоритма в том, что каждой звуковой единице приписывается некоторый постоянный весовой коэффициент, а принятие решения о выборе очередного предложения основано на вычислении суммы весовых коэффициентов звуковых единиц, входящих в предложение. Таким образом, обычный поглощающий алгоритм – частный случай взвешенного алгоритма, т. е. случай, при котором весовой коэффициент любого звука равен единице. Для задачи отбора предложений, содержащих наиболее частотные звуки, можно применить взвешенный алгоритм, взяв за весовой коэффициент каждого звука количество его вхождений в исходном массиве текстов. Для задачи формирования достаточно малого корпуса с полным покрытием всех звуков из исходного массива применение взвешенной модификации алгоритма может помочь уменьшить размер корпуса. Для этого каждой звуковой единице следует приписать весовой коэффициент 1/n, где n – количество вхождений единицы в исходном массиве текстов. При таком распределении весов в первую очередь будут отбираться предложения, содержащие наиболее редкие звуки, а в конце будет добавлено достаточно небольшое число предложений, включающих те из более частотных звуков, которые не попали в массив в составе предложений, содержащих, помимо этого, и менее частотные звуки.
Если частотность единицы в языке оценивается путем подсчета вхождения единицы в имеющийся массив текстов, следует задуматься о достоверности такой оценки. Эксперименты показывают, что распределение частот одних и тех же единиц в текстах довольно сильно варьирует в зависимости от жанра текста (газеты, технические описания, телефонные переговоры). Кроме того, даже если сравнивать распределения частот единиц в текстах одинакового жанра, коэффициент корреляции между такими распределениями в некоторых случаях оказывается менее 0,5. 
4.3. Подсчет частоты встречаемости звуковых единиц
Как было сказано выше, StT должен обеспечивать подсчет частоты встречаемости звуковых единиц (с различением контекстов и без него) в различных типах текстов. В этом случае на вход программы подается список предложений с их транскрипциями. Программа может работать в двух режимах – режиме подсчета статистики по всему тексту и режиме подсчета статистики по каждому предложению в отдельности. В обоих случаях результатом являются частотные таблицы фонем, монофонов, трифонов (и любых других звуковых объектов, интересующих исследователей). Например, таблицы монофонов и трифонов выглядят следующим образом: 

Частоты встречаемости монофонов
   ъ					167
   н					163
   т					149
   а					126	Частоты встречаемости трифонов
   ч*-*ь-с				11
   п-р*-*ь				  9
  *и*+-ч*-*ь				  8
   ъ-в-ъ					  8	
При подсчете частоты встречаемости сегментных единиц предусмотрен режим использования обобщенных акустических аллофонов (трифонов). Обобщенные трифоны – это классы трифонов, объединенные одной основной фонемой (или монофоном) и отличающиеся левым и правым контекстом. Обобщенный трифон можно обозначить как {Л1,Л2,...}-М-{П1,П2,...}, где Лn, Пn – возможные левые и правые контексты (соседние монофоны или граничные символы), что соответствует классу (множеству) трифонов < Л1-М-П1, Л1-М-П2, Л2-М-П1, Л2-М-П2, ...-М-..., ...>. При подсчете частоты встречаемости обобщенных трифонов в таблицу заносится не индивидуальный трифон, а обобщенный трифон, соответствующий классу, к которому относится данный трифон. Если такого класса не существует, создается новый класс ?-Л-М-П, состоящий из одного трифона Л-М-П. Обобщенные трифоны из заранее составленного вручную списка, не встретившиеся при обработке, добавляются в конец таблицы с числом вхождений 0. Это позволяет оценить степень покрытия множества существующих обобщенных трифонов анализируемым текстом (или корпусом).
4.4. Опыт создания и применения
Исходя из принципов, изложенных выше, нами была разработана статистическая программа, которая затем использовалась для работы по созданию речевого корпуса совместно с ИСА РАН и нашей самостоятельной работы по созданию речевого корпуса в рамках исследовательского проекта, о которым шла речь выше в п.3. 

Л И Т Е Р А Т У Р А 

1.	Sagisaka Y. Spoken Output Technologies. Overview // Survey of the state of the art in human language technology. Cambridge, 1997.
2.	Bird S., Harrington J. Speech annotation and corpus tools // Speech Communication. V.33, Issue 1-2, 2001. 
3.	Sun D. X., Deng L. Analysis of acoustic-phonetic variations in fluent speech using TIMIT // IEEE,1995. PP. 201-204. 
4.	Кривнова О. Ф., Захаров Л. М., Строкин Г. С. Речевые корпусы (опыт разработки и использование) // Труды международного семинара Диалог'2001 по компьютерной лингвистике и ее приложениям. Аксаково, 2001.
5.	Богданов Д. С., Кривнова О. Ф., Подрабинович А. Я., Фарсобина В. В. База речевых фрагментов русского языка “ISABASE” // Интеллектуальные технологии ввода и вывода информации. М., 1998. 
6.	Кривнова О. Ф. Автоматический синтез русской речи по произвольному тексту (вторая версия с женским голосом) // Труды международного семинара Диалог'98 по компьютерной лингвистике и ее приложениям. Казань, 1998.
7.	Захаров Л. М. Акустическая вариативность звуковых единиц в русской речи // Труды Казанской школы по компьютерной и когнитивной лингвистике TEL-2000. В. 5. Казань, 2000. 
8.	Cormen T., Leiserson Ch., Rivest R. Introduction to Algorithms. Cambridge, 1990.