ТОП-200 самых значимых людей по упоминаниям в новостях в Республики Башкортостан. Исследование новостных сайтов

Для определения ТОП-200, а точнее ТОП-231, самых значимых людей для республики было исследовано пять основных новостных изданий республики Башкортостан: «Башинформ», «Уфа1», «Пруфы», «Комсомольская правда — Башкортостан» и «АиФ».

Сбор данных

Новости были собраны за период с января 2023 по сентябрь 2024 года. Для сбора данных написал на языке python автоматический парсер, который извлекал текст, заголовок, дату, автора и скрупулезно заносил каждую единицу в отдельную ячейку базы данных. Всего около 110 000 новостей было скачано.

Анализ упоминаний о людях

Для анализа упоминаний о людях использовались методы обработки естественного языка, а именно специально обученная нейросеть.

Я решил оставить только людей, которые имеют отношение к Башкирии, федеральных я исключил.

Как и ожидалось, первые строчки заняли высшие чиновник — это различные министры и главы ведомств, ну и естественно глава республики Радий Хабиров. По упоминаниям он ушел в пятикратный отрыв от ближайшего преследователя. Если брать не государственных деятелей, назовем их гражданскими лицами, то тут тройка выглядит так: Фаиль Алсынов, Элвин Грей и Карине Хабирова. В таблице в скобках указаны места гражданского ТОПа, то есть без учёта людей, которые находятся на государственной службе. Государственные деятели упоминаются в новостях в среднем в 3,9 раза чаще, чем гражданские, но по количеству их примерно равное количество, то есть в топ 231 вошли 112 политических деятелей и 119 гражданских, из них 43 спортсмена.

Анализ негатива

Мне всегда казалось, что большинство новостей имеет негативный контекст. Вооружившись ещё одной нейросетью, которая обучена определять негативный, положительный и нейтральный оттенок текста, и семью часами, было классифицировано около 110 000 новостей. Оказалось, что нейтральных новостей подавляющее большинство 60%, а вот негативных и позитивных оказалось примерно поровну… ну, негативных чуть больше 21,9% против 18,1%

Кластеризация новостей

Для кластеризации новостей были использованы третья нейросеть и алгоритм машинного обучения k-means, который разделил новости на 63 кластера. 

Кластеризация показала, что самой популярной темой новостей в республике Башкортостан был спорт, кстати, это перекликается с ТОП-231, где 43 человека были спортсмены, это практически каждый пятый. Вызвали удивление некоторые кластеры-лидеры, например, новости про животных (дикие, домашние, бродячие), таких новостей оказалось аж 2066. Вот некоторые случайные заголовки этого кластера:

1)“В Уфе мама с маленькими детьми встретила медведя”.

2)“Жителей Башкирии напугал тарантул с детенышами на спине”.

3)«Очередная яжемать». В Башкирии осудили женщину, обеспокоенную дикими собаками.

4)«Из-за мусора приходят животные»: под Уфой лисенок вышел к людям.

5)“Жителей Башкирии напугал след медведя около известной горы”.

6)«Этот год не обошелся без потрав»: в Татарстане массово гибнут пчелы.

7)«Свой Умка»: в Башкирии был замечен медвежонок-альбинос.

8)“Под Уфой злоумышленники подстрелили краснокнижных орлов”.