Опыт стемминга русской поэзии

Финалист конкурса «Пристальное прочтение поэзии» Виктор Осминин выделил ключевые образы и темы русской поэзии, не прочитав ни одного стихотворения.

Осминин Виктор

Опыт стемминга русской поэзии

Идея


Писать обычное эссе скучно. Поэтому я действовал по-новому: вместо качественного анализа текстов я выявил ключевые темы и образы русской поэзии с помощью примитивного компьютерного алгоритма и простейшей статистики. Красота такого исследования состоит в том, что не потребуется интерпретировать поэтические тексты, что-то читать и выискивать смыслы произведений.

Под образом я подразумеваю конкретное творчески переосмысленное автором явление действительности, зафиксированное соответствующим словесным маркером. Чем разнообразнее используется образ, тем он актуальнее и востребованней.

Мне пришлось принять дискомфортное для себя решение и провести знак равенства между образом и словом, его обозначающим. Конечно, условный образ поэта раскрывается тысячью различных способов. Я предполагаю, что наиболее простой вариант – называть поэта именно поэтом – будет превалирующим. Поэтому поиск важнейших образов по ключевому слову – идея, имеющая право на жизнь.

Тема создается из типичных для нее образов и слов: обширная тема природы использует такие слова как «ночь», «река», «гора». Определив наиболее частые для русской поэзии слова, я разбил их на тематические кластеры и сравнил между собой: чем больше слов, тем важнее тема.

Безусловно, вы легко можете не согласиться с моим пониманием темы и образа в искусстве и привести соответствующую аргументацию. Но эти и другие гуманитарные термины каждый понимает как хочет. Интерпретации выбирают из практических соображений.

Чтобы никого не смущать, тема и образ в дальнейшем получили кавычки.

Селекция


Первой моей задачей стал выбор произведений для анализа. Для этого я решил использовать список 100 лучших стихотворений, в котором рейтинг поэтических произведений зависит от интернет-голосования.

Первой проблемой оказалось то, что количество произведений определенных авторов, таких как Есенин или Пушкин, значительно превалирует над другими. Поэтому я «ограничил» каждого поэта максимум пятью произведениями. Также я заметил, что в списке оказалось очень много произведений прошлого столетия, что нечестно по отношению к поэтам Золотого века: пришлось выделить им специальную квоту в 30 произведений.

Поэты Серебряного века, шестидесятники, фронтовики и остальные честно боролись за попадание в исследование.

Следующей проблемой оказалось то, что некоторые произведения («Евгений Онегин», «Кому на Руси жить хорошо», «Про Федота-удальца, удалого молодца») в десятки раз больше других. Они сильно исказили бы созданный метанарратив и конечный результат. Поэтому я заменил такие тексты следующим по списку небольшим произведением того же автора из рейтинга.

Из-за этого Леонид Филатов попал в список с малоизвестным «Июлем 80-го». Решение не сработало с Твардовским: замены «Василию Тёркину» в рейтинге не нашлось. Поэтому я его оставил, выделив два фрагмента: части «На привале» и «О награде». Выбор был сделан из-за фраз, ставших народными: «Нет, ребята, я не гордый, я согласен на медаль» и «Не гляди, что на груди, а гляди, что впереди».

С пятью произведениями в списке оказались Блок, Есенин, Евтушенко, Лермонтов, Маяковский, Некрасов, Пастернак, Пушкин, Фет и Цветаева. Четыре или три стихотворения – у Асадова, Ахматовой, Рождественского, Тарковского и Чуковского. Со списком можно ознакомиться в конце.

Подсчет


Я нашел все произведения из списка и составил из них большой текстовый файл: получилось 135 страниц, чуть более 20 000 слов. Неплохо. Но как их посчитать? Для этого я воспользовался стеммером Портера – алгоритмом, который определяет основу слова и подсчитывает частоту употребления найденных основ. Потом результаты редактировались вручную: русский язык слишком сложен для алгоритма. Код не понимает, что слово «друг» и «дружный» родственны, при этом считает таковыми слова «любить» и «любой» .

Однокоренные слова без изменения значения («любовь/любить/любимые»; «жизнь/жить/живой») я объединил и считал вместе. Я опустил местоимения, междометия, союзы и слова с широким спектром употребления, такие как «сила», «вставать» или «белый»: их принадлежность к тематике зависит от контекста.

В анализе я использовал слова с частотой использования 8 и более раз – таких слов нашлось менее 150. При этом я не забывал, что есть синонимы, редко употребляемые слова, аллегории и т. д. Я предполагал, что для статистического анализа тем их отсутствие равнозначно: у темы природы редкими словами окажутся «бобер» или «ива», а для темы человека и телесности – «лодыжка» или «затылок».

Русский язык богат для описания чего угодно.

Образ


Я решил не просто выделить ключевой образ, а составить Топ-10. Согласно подсчетам стеммера Портера, важнейшими «образами» русской поэзии являются:

10 место: «Шум» с 31 употреблением;

9 место: «Сердце» с 34 употреблениями;

8 место: «Душа» с 35 употреблениями;

7 место: «Свет» с 38 употреблениями;

6 место: «Рука» с 39 употреблениями;

5 место: «Земля» с 47 употреблениями;

4 место: «Любовь» с 49 употреблениями.

Вот и первые открытия. Удивительно, что «шум» для русских поэтов значительно важнее, чем «родина» или «свобода» (у них нет даже и 10 употреблений) и даже чем предлог «до» (29 употреблений), а «земля» почти настолько же существенна, как и «любовь».

3 место: «Дружба» с 53 употреблениями.

Очень мило со стороны русских поэтов. Как говорится, «пацан круче чики». Но стоит учитывать, что друзья бывают и любовные.

2 место: «Ночь» с 63 употреблениями.

Неожиданный фаворит. Хотя с другой стороны, часто ночью происходит столько всего замечательного... Например, бессонница. А чем еще заниматься, кроме как сочинением стихов? По своему опыту скажу, что написание стихов в послеобеденное время – ситуация крайне редкая. «Сон», кстати, встречался 28 раз.

1 место: «Жизнь» с 73 употреблениями.


Я превратил 100 значительных произведений русской поэзии в мегастих и заставил робота его прочитать. Я его спросил: «О чем произведение?». И робот ответил: «О жизни».

Если бы я проделал это с человеком, скорее всего, он ответил бы то же самое. Кстати, «жизнь» гораздо важнее «смерти»: у красавицы с косой всего 18 употреблений.

Немного «интересностей»:

• «Снег» важен русским поэтам так же, как «звезды»: оба получили 22 упоминания. А «волны» встретились 21 раз;

• «Бог» значительнее «царя»: 29 против 22;

• В Топ-10 почти вошли «глаз», «поле» и «дом» – у всех по 29 употреблений;

• «Грудь» почти так же важна, как и «лицо»: 17 и 18 употреблений соответственно;

• «Русская тоска»? Знаем, но немного. «Тоска» и «Русский» встретились по 12 раз;

• «Конь» = «Счастье»: по 15 употреблений.

Темы


Выделив слова, я понял, что их можно разбить на 6 тем: «Природа», «Человек», «Духовность», «Родина», «Чувства» и «Война». Похоже на правду, не так ли?

Некоторые слова считались в нескольких темах: например, слово «огонь» может использоваться в любой из выделенных тем, но оно ближе изображению природного явления или военных действий, чем описанию тела человека.

Результаты получились следующие:


Осминин.jpg


В таблице видны приоритеты русских поэтов, которые оказались не самыми духовными ребятами в мире. Фрост должен быть в восторге: тема природы и природные образы доминируют в русской поэзии.

Итог


Собирательный образ русского поэта – малодуховный любитель природы и друзей, страдающий бессонницей.

Я отнесся к своему эксперименту как к игре, однако считаю, что, используя более продвинутые методы, более качественную и солидную выборку, можно сделать впечатляющие открытия. Но вот бы кто согласился профинансировать такое исследование... Если это вы, дайте знать.

Спасибо за прочтение.


Список произведений:

1) Владимир Агатов, «Тёмная ночь»
2) Эдуард Асадов, «Падает снег»
3) Эдуард Асадов, «Стихи о рыжей дворняге»
4) Эдуард Асадов, «Трусиха»
5) Эдуард Асадов, «Я могу тебя очень ждать…»
6) Белла Ахмадулина, «По улице моей который год...»
7) Анна Ахматова, «А ты думал – я тоже такая...»
8) Анна Ахматова, «Другие уводят любимых... (Подражание Кафке)»
9) Анна Ахматова, «Сжала руки под темной вуалью...»
10) Анна Ахматова, «Я научилась просто, мудро жить...»
11) Александр Блок, «Девушка пела в церковном хоре...»
12) Александр Блок, «На поле Куликовом»
13) Александр Блок, «Ночь, улица, фонарь, аптека...»
14) Александр Блок, «О доблестях, о подвигах, о славе...»
15) Александр Блок, «Равенна»
16) Николай Верёвкин, «Под ракитою зеленой...»
17) Расул Гамзатов, «Журавли»
18) Максим Горький, «Песня о Буревестнике»
19) Семён Гудзенко, «Перед атакой»
20) Денис Давыдов, «Песня (Я люблю кровавый бой!..)»
21) Андрей Дементьев, «Лебединая верность»
22) Андрей Дементьев, «Никогда ни о чем не жалейте вдогонку...»
23) Гавриил Державин, «Река времен в своем стремленьи...»
24) Евгений Долматовский, «Лизавета»
25) Евгений Евтушенко, «Дай бог»
26) Евгений Евтушенко, «Не возгордись»
27) Евгений Евтушенко, «Со мною вот что происходит...»
28) Евгений Евтушенко, «Уходят матери»
29) Евгений Евтушенко, «Хотят ли русские войны?..»
30) Сергей Есенин, «Анна Снегина»
31) Сергей Есенин, «Мне осталась одна забава...»
32) Сергей Есенин, «Не жалею, не зову, не плачу...»
33) Сергей Есенин, «Письмо матери»
34) Сергей Есенин, «Чёрный человек»
35) Василий Жуковский, «Песня (Мой друг, хранитель-ангел мой...)»
36) Василий Жуковский, «Спящая царевна»
37) Николай Заболоцкий, «Некрасивая девочка»
38) Михаил Исаковский, «Враги сожгли родную хату...»
39) Василий Лебедев-Кумач, «Священная война»
40) Василий Лебедев-Кумач, «Широка страна моя родная...»
41) Михаил Лермонтов, «Парус»
42) Михаил Лермонтов, «Бородино»
43) Михаил Лермонтов, «Выхожу один я на дорогу...»
44) Михаил Лермонтов, «Из Гёте»
45) Михаил Лермонтов, «Смерть поэта»
46) Владимир Маяковский, «Ешь ананасы, рябчиков жуй...»
47) Владимир Маяковский, «Стихи о советском паспорте»
48) Владимир Маяковский, «Товарищу Нетте, пароходу и человеку»
49) Владимир Маяковский, «Что такое хорошо и что такое плохо»
50) Владимир Маяковский, «Эта книжечка моя про моря и про маяк»
51) Сергей Михалков, «Заяц во хмелю»
52) Николай Некрасов, «Дедушка Мазай и зайцы»
53) Николай Некрасов, «Зеленый шум»
54) Николай Некрасов, «Крестьянские дети»
55) Николай Некрасов, «Пророк»
56) Николай Некрасов, «Размышления у парадного подъезда»
57) Борис Пастернак, «Гефсиманский сад»
58) Борис Пастернак, «Зимняя ночь»
59) Борис Пастернак, «Никого не будет в доме...»
60) Борис Пастернак, «Осень»
61) Борис Пастернак, «Рождественская звезда»
62) Александр Пушкин, «Зимняя дорога»
63) Александр Пушкин, «Зимнее утро»
64) Александр Пушкин, «К *** (Я помню чудное мгновенье...)»
65) Александр Пушкин, «Пророк»
66) Александр Пушкин, «Я вас любил: любовь еще, быть может...»
67) Роберт Рождественский, «Мгновения»
68) Роберт Рождественский, «На Земле безжалостно маленькой...»
69) Роберт Рождественский, «Эхо любви»
70) Лариса Рубальская, «Напрасные слова»
71) Николай Рубцов, «Зимняя песня»
72) Кондратий Рылеев, «Ревела буря, дождь шумел...»
73) Михаил Светлов, «Гренада»
74) Константин Симонов, «Жди меня, и я вернусь...»
75) Иван Суриков, «Детство»
76) Иван Суриков, «Что шумишь, качаясь...»
77) Арсений Тарковский, «Вот и лето прошло...»
78) Арсений Тарковский, «Ночной дождь»
79) Арсений Тарковский, «Первые свидания»
80) Арсений Тарковский, «Эвридика»
81) Александр Твардовский, «Василий Тёркин»
82) Александр Твардовский, «Я убит подо Ржевом...»
83) Валерий Тихонов, «Осенняя рапсодия»
84) Фёдор Тютчев, «Умом Россию не понять...»
85) Фёдор Тютчев, «Чародейкою Зимою…»
86) Алексей Фатьянов, «В городском саду играет...»
87) Афанасий Фет, «На заре ты ее не буди...»
88) Афанасий Фет, «Не тем, Господь, могуч, непостижим...»
89) Афанасий Фет, «Чудная картина...»
90) Афанасий Фет, «Шепот, робкое дыханье...»
91) Афанасий Фет, «Я пришел к тебе с приветом...»
92) Леонид Филатов, «Июль 80-го»
93) Марина Цветаева, «Вот опять окно...»
94) Марина Цветаева, «Вчера еще в глаза глядел...»
95) Марина Цветаева, «Имя твое — птица в руке...»
96) Марина Цветаева, «Мне нравится, что вы больны не мной...»
97) Марина Цветаева, «Уж сколько их упало в эту бездну...»
98) Владимир Чуевский, «Гори, гори, моя звезда...»
99) Корней Чуковский, «Айболит»
100) Корней Чуковский, «Муха-Цокотуха»

Prosodia.ru — некоммерческий просветительский проект. Если вам нравится то, что мы делаем, поддержите нас пожертвованием. Все собранные средства идут на создание интересного и актуального контента о поэзии.

Поддержите нас

Читать по теме:

#Современная поэзия #Литературные сообщества
Неопочвенники, или Кукушата гнезда Кузнецова

Ядро неопочвеннического религиозного направления в условно молодой поэзии сегодня - московская поэтическая группа «Разговор», основанная в 2006 году в Москве. В нее вошли поэты Григорий Шувалов, Александр Дьячков, Николай Дегтерёв, Александр Иванов. Поэт и критик Анна Аликевич попыталась разобраться в наследии и трансформациях этой группы.

#Лучшее #Поэтическая пушкиниана #Пушкин
Леонид Аронзон: Пушкин скачет на коне

85 лет назад, 24 марта 1939 года, Родился Леонид Аронзон. Очередной материал «Русской поэтической пушкинианы» посвящен стихотворению Леонида Аронзона, в котором Пушкин оказывается творцом вселенной.