Компьютерный корпус текстов русских газет конца XX-ого века

 

Разработка и реализация на материале корпуса принципов жанровой классификации газетных текстов (включая типизацию жанров, а также определение характеристических признаков различных типовых жанров) позволила выявить профиль распределения объемов текстов разного жанрового и источникового состава и особенностей употребления в них единиц.

Проведенная автоматическая лемматизация и морфологическая квалификация словоупотреблений Корпуса (с последующими контролирующими процедурами), а также морфемная сегментация словоформ и лексем позволила автоматически получить для него алфавитно-частотные и частотно-распределительные словари словоформ, лемм, корней и морфемных моделей.

В таком объёме и с такой подробной разработкой различных характеристик корпуса текстов на русском материале ещё не строились. Каждый текст газетного корпуса характеризовался (а) датой публикации источника (газеты), (б) названием источника, (в) рубрикой (если есть), (г) автором (если указан), (д) жанром текста и его (е) жанровым типом (на основе классификации, разработанной в Лаборатории общей и компьютерной лексикологии и лексикографии – см. ниже), (ж) объёмом текста.

Каждое словоупотребление во всем корпусе характеризовалось (а) той формой словоизменения, которая ему свойственна, (б) леммой (исходная форма лексемы), (в) некоторыми лексико-грамматическими, лексико-семантическими, морфемными и иными характеристиками.

 

3. Система маркировки газетных текстов маркерами конкретных жанров и жанровых типов.

В целях проведения жанровой квалификации газетных текстов была разработана система жанровых характеристик, которая уточнялась в процессе поэтапного анализа всего корпуса.

Жанр - это устойчивый тип текста, для которого характерен определенный тип содержания, способ его представления и языкового оформления. Определяющую роль играет способ интерпретации содержания автором. Так, одна и та же новостная информация может быть представлена как краткое информационное сообщение в жанре заметки, как сообщение с более подробной проработкой деталей в жанре корреспонденции, может быть проанализирована автором и включена в более широкий событийный контекст в жанре комментария, подвергнута обсуждению в беседе с каким-либо лицом или лицами в жанре интервью и т. д.

Изучение литературы по теме и проведенный анализ текстов позволили выявить круг основных жанрообразующих факторов.

I. Факторы, связанные с типом отражаемой внеязыковой действительности (предмет сообщения).

1. Характер объекта, отображаемого в тексте.

2. Актуальность или неактуальность сообщаемой информации.

3. Социальная значимость или незначимость сообщаемой информации.

4. Наблюдаемость или ненаблюдаемость отображенных в тексте событий автором сообщения.

II. Факторы, связанные с выбором коммуникативной цели сообщения.

1. Информирование как ведущая цель сообщения.

2. Побуждение как ведущая цель сообщения.

3. Желание разъяснить (эксплицировать) информацию в тексте.

4. Ориентация на изобразительность в тексте.

III. Факторы, связанные с выбором композиционно-стилевой формы текста.

1. Выбор формы персонификации информации.

2. Выбор способа изложения.

Признак имеет несколько значений: а) сообщение, б) повествование, в) рассуждение, г) описание, д) предписание, е) перечень.

3. Выбор субъектной формы текста (тип “образа автора”).

4. Выбор способа (открытый или скрытый) выражения оценки в тексте.

Оценочная информация может отсутствовать в тексте (деловые, информационные жанры), может быть открыто представлена в тексте, может составлять его основное содержание.

5. Наличие или отсутствие стандарта в форме изложения.

Признак имеет значения “+” (в деловых и некоторых информационных жанрах) и “-” (в большинстве жанров).

Для каждого жанра характерен свой образ автора, т. е. степень проявления авторского “я”, степень субъективации изложения за счет эмоционального или логико-аналитического компонента. На языковом уровне проявление авторского “я” выражается, например, в присутствии в тексте личных местоимений и глагольных форм 1 и 2 лица, модальных компонентов, эмоционально-оценочной лексики и т. д. Степень выраженности авторского “я” минимальна в информационном жанре заметки, в частности, агентской, в которой авторство не указывается, и максимальна в таких жанрах, как колонка, очерк, эссе. Однако поскольку для современной газеты характерна тенденция к усилению личного начала, стремление автора выразить свое отношение к сообщаемому становится обычным и в таких стандартных жанрах, как заметка. При этом, как показали наблюдения, речь может идти не о разрушении жанра заметки, а о его видоизменении.

Система жанров современной газеты имеет полевую организацию. Ее ядро формируют собственно газетные жанры. Периферию составляют жанры, возникающие при взаимодействии сферы газетной публицистики с другими сферами речевой практики - деловой, научной, художественной, разговорной. Ближе к ядру находятся художественно-публицистические жанры, научно-публицистические жанры (научно-публицистическая статья), рекламные материалы, дальше - жанры, типичные для других сфер общения и не являющиеся специфически газетными, хотя и помещаемые на газетную полосу (тексты официальных документов, художественные произведения, игры, тесты и др.). Их можно рассматривать как “цитаты” из других родов словесности, включение которых в газетный контекст обусловлено потребностью газеты снабжать читателя официальной и развлекательной информацией.

Анализ корпуса показал, что научно-публицистические жанры слабо представлены на страницах современных газет, ориентированных на массового читателя. Состояние науки, ее проблемы, перспективы развития становятся предметом исследования в публикациях, которые появляются в отраслевых изданиях (газета “Поиск”), в специальных приложениях, например, к “Независимой газете” (“НГ-Наука”), на специально отведенных полосах некоторых газет (“Общей газеты”, “Литературной газеты” и др.); в последнем случае для передачи научного содержания чаще всего используются традиционные информационно ориентированные газетные жанры корреспонденции, заметки, репортажа и др. Таким образом, приходится констатировать, что взаимодействие газетной публицистики с научной сферой происходит не на уровне образования новых жанровых типов и разновидностей, а на уровне использования методов научного анализа исследуемых проблем прежде всего в аналитических публикациях (использование статистических данных, данных социологических опросов, научных гипотез и т. д.; выбор объективной формы изложения и аргументированный анализ, которые сближают, в частности, газетную проблемную статью со статьей научной).

Что касается текстов разговорного характера, то в исследованном материале они представлены главным образом в жанре записки. Этот жанр встречается в единственной газете - “Томская неделя” в рубрике “Заборчик”, служащей для организации непосредственного неофициального общения молодежи и являющейся, по-видимому, аналогом “конференций”, “чатов” в Интернете.

Выбор определенной степени обобщения жанровых признаков обусловил наличие у некоторых жанров ряда конкретных разновидностей. Так, например, в зависимости от тематики выделяются разновидности статьи (обобщающая, или общеисследовательская, проблемная, или практико-аналитическая, литературно-критическая, полемическая), очерка (портретный, путевой, проблемный, исторический), обозрения (политическое, литературное, спортивное). Разновидности заметки (агентская, корреспондентская) зависят от типа авторства. Разновидности интервью (беседа, круглый стол, форум, пресс-конференция, горячая линия) связаны с различными формами организации диалога. В то же время анкета и опрос, хотя и связаны с интервью, представлены как самостоятельные жанры, поскольку их диалогичность имеет скрытый характер, личность интервьюера не выявлена.

Следует отметить, что некоторые жанры (биография, заявление, досье, ориентировка, молитва, проповедь, дневник, приметы и нек. др.) представлены единичными текстами. Кроме того, некоторые материалы представляют собой отрывки произведений (помечались как отрывок_книги, отрывок_худ. пр.) или подборку (цитат, писем, худ. произведений).

 

Обобщение жанровых характеристик привело к объединению конкретных жанров в 9 жанровых типов. Они следующие.

1) Собственно информационные жанры, содержанием которых является информация, представленная в максимально объективной форме, лишенной авторской индивидуальности.

2) Информационно-публицистические жанры, в которых объективное изложение информации сопровождается ее субъективной интерпретацией, эмоциональной или интеллектуальной оценкой. Следует отметить, что в эту группу попали и такие неспецифические для газеты жанры, как биография, заявление, приметы.

3) Собственно публицистические жанры, содержанием которых является переработанная автором информация: доказательство какого-либо положения, мнение, выражение чувств и т. д. Объективно новая для читателя информация играет здесь второстепенную роль.

4) Художественно-публицистические жанры, в которых используются различные приемы изобразительности, создания художественного текста.

5) Рекламные жанры, включающие как чисто рекламные тексты, так и рекламные сообщения, облеченные в форму традиционных газетных жанров (заметки, корреспонденции, интервью, очерка).

6) Художественные жанры.

7) Разговорные жанры.

8) Официально-деловые жанры.

9) Остальные, куда включены такие развлекательные жанры, как игра, кроссворд, гороскоп и т. д., жанры религиозного красноречия (проповедь, молитва), а также "другие", т.е. такие, отнесение которых к определенному жанру пока затруднительно.

 

4. Частотно-распределительные (по жанровым типам) словари лексических и иных единиц по всему корпусу.

На основе анализа текстов Корпуса получен полный распределительно-частотный словарь лексем.

Небольшой фрагмент его приводится ниже. Полный текст словаря, содержащий 159 тыс. разных лексем корпуса готовится к печати.

 

Таблица 2.

100 самых частых слов Компьютерного корпуса с показом их частотно-распределительных характеристик (по текстам разных жанровых типов)

 

Кроме того, подготовлены к печати полученные на том же материале:

1. Частотно-распределительный словарь словоформ;
2. Частотно-распределительный словарь корней;
3. Частотно-распределительный словарь аффиксальных моделей слов;
4. Частотно-распределительный словарь новых слов (не зафиксированных в ранее изданных толковых словарях).
5. Частотно-распределительный словарь предлогов.

5. Интернет-вариант корпуса.

Была разработана специализированная оболочка "Система управления корпусами (СУК)" для работы с полнотекстовыми корпусами - их анализа и представления в Интернете. Она работает с данными, получаемыми с помощью АРМ "Dictum-1". Эти данные преобразуются с помощью специальной утилиты в необходимый формат. СУК позволяет интернет-пользователю: - задать запрос на любое слово корпуса и получить всю имеющуюся в корпусе информацию об этом слове; - получить весь набор признаков, используемых в корпусе; - получить все слова, которым приписан выбранный признак.

Важной особенностью использования данной оболочки является возможность выдачи списков слов, обладающих одним признаком. Так, выбрав из списка корней нужных корень, можно получить список всех слов корпуса, имеющих этот корень, и для каждого из них просмотреть контекст. Выбрав признак "одушевленность", можно получить все одушевленные существительные текста и т.п. Такая идеология создает возможность для решения многих обучающих и исследовательских задач.



6. Краткое описание фрагмента Компьютерного корпуса газетных текстов (более 200 тыс. словоупотреблений представлено в Интернете)

Работа оболочки была проверена на 1 млн. газетном корпусе. В настоящее время подготовлен для показа в Интернете фрагмент этого корпуса - Компьютерный микрокорпус газетных текстов, содержащий тексты общим объемом свыше 205000 словоупотреблений. В нем представлены 446 текстов следующих российских газет:

Завтра

ИЗВЕСТИЯ

МК

Московские Новости

Независимая

Новая Газета

Новгородские Ведомости

Томская Неделя

Таблица 3.

Распределение по жанровым типам текстов в во фрагменте Интернет-варианта корпуса:

Жанровый тип	Кол-во текстов	Общий объем тек-стов в к-ве слово-употреблений в них
Информационно-публицистический	164	92620
Остальное	6	2856
Официально-деловой	21	5463
Разговорно-письменный	26	686
Реклама	9	1525
Собственно-информационный	105	9912
Собственно-публицистический	94	79010
Художественное произведение	8	5033
Худохественно-публицистический	13	8414

Для характеризации словоупотреблений фрагмента корпуса сейчас используется 20 разных типов информации:

- Знак препинания справа,

- Исходная форма слова,

- Постоянные признаки,

- Переменные признаки,

- Лексико-грамматический разряд,

- Корень,

- Морфемная модель,

- Жанровый тип,

- Жанр,

- Номер документа,

- Источник,

- Именные синтаксемы,

- Синоним. группы лексем со стил. пометами,

- Омонимия,

- Семантический класс,

- Доминанты членов синон. групп лексем,

- Особенности употребления,

- Частотно-ранговые характеристики,

- Части текста,

- Предложение,

Для осуществления поисковых операций в базе Корпуса надо перейти в раздел «Поисковая система по корпусу».

7. Замечания и предложения.

Работа над Интернет-вариантом корпуса только начинается. Мы будем благодарны за все отклики, замечания и предложения, шлите их, пожалуйста, сюда

 

 

Настоящее исследование и интернет-разработка корпуса выполнены при финансовой поддержке Российского фонда фундаментальных исследований - РФФИ (гранты РФФИ01-07-90386 и02-06-80435 ).