Разработка технологии сбора и обработки данных для ESG-карты компаний СЗФО (Дарья Мясникова)

На семинаре 3 апреля 2026 г. Дарья Мясников представила технологию автоматизированного сбора и обработки первичных данных о компаниях Северо-Западного федерального округа для последующего формирования ESG-карты региональных компаний. В докладе была показана многоэтапная методика, объединяющая генеративный поиск с помощью GPT и последующую верификацию данных через различные официальные реестры.

На семинаре 3 апреля 2026 г. Дарья Мясников представила технологию автоматизированного сбора и обработки первичных данных о компаниях Северо-Западного федерального округа для последующего формирования ESG-карты региональных компаний. В докладе была показана многоэтапная методика, объединяющая генеративный поиск с помощью GPT и последующую верификацию данных через официальные реестры Dadata: на первом этапе для подотраслей формируются запросы на поиск реальных компаний СЗФО, затем найденные организации проверяются по ИНН, статусу, адресу, координатам и ОКВЭД, после чего данные проходят очистку, дедупликацию и нормализацию. В результате был создан базовый датасет из 213 компаний СЗФО с подтвержденным активным статусом, адресами и координатами, охватывающий 19 подотраслей и служащий основой для дальнейшего масштабирования на все 105 подотраслей. Отдельное внимание было уделено ограничениям текущего набора данных, включая неполную заполненность сведений о численности сотрудников, выручке и описаниях компаний, а также возможностям их устранения за счет интеграции со СПАРК, которая позволит дополнить базу финансовыми, кадровыми и скоринговыми показателями, включая ЭКГ-рейтинг. Также был представлен прототип интерактивной ESG-карты, реализованный в Budibase, с фильтрацией по региону, сектору и ESG-уровню, возможностью сравнения компаний и перспективой подключения к внешней базе PostgreSQL для автоматического обновления данных. В качестве дальнейших шагов обозначены завершение сбора данных по оставшимся подотраслям, расширение системы на другие федеральные округа, обогащение данных через СПАРК и подготовка карты к встраиванию на внешние сайты как полноценного аналитического инструмента для оценки и визуализации ESG-профиля региональных компаний.

Мясникова - Разработка технологии сбора первичных данных о компаниях СЗФО (PDF, 718 Кб)