Направления деятельности лаборатории

Горбунов Василий Геннадьевич

1. Я являюсь руководителем группы, состоящей из моих студентов и из моих молодых коллег. Мы изучаем геометрические, топологические и алгебраические аспекты теории электрических сетей, современного направления теории сложных сетей, основы которого заложил ещё Густав Кирхгоф в середине позапрошлого века. В наших работах обнаружена связь теории электрических сетей с симплектической геометрией, статистической физикой и теорией алгебр и групп Ли.
2. Выяснилось, что естественным приложением наших теоретических исследований является топологический анализ данных и машинное обучении. А именно, оказалось, что основной объект изучения в теории электрических сетей, так называемая матрица отклика, активно используется в топологическом анализе данных под именем персистентный Лапласиан и является в настоящий момент популярным инструментом топологического анализа данных, который обобщает персистентные гомологии.
3. Собственные значения персистентного Лапласиана используются в качестве векторов признаков (фич) для задач машинного обучения. В некоторых задачах такой выбор дает лучшие результаты, чем ранее известные векторы признаков, полученные на основе устойчивых гомологий. К таким задачам относятся распознавание рукописных цифр или предсказание химических свойств молекул.
4. Используя результаты наших академических работ мы предложили новый метод векторизации данных, полученных из персистентного Лапласиана, а именно, мы предложили использовать миноры персистентного Лапласиана для построения векторов признаков. Такие векторы имеют размерности больше, чем те, которые получены из собственных значений персистентного Лапласиана, но их можно вычислить быстрее O(n²) по сравнению с O(n⁴). Мы тестировали наш метод на задаче с молекулами, и он превзошел метод собственных значений почти вдвое, уменьшив среднюю ошибку для архитектуры случайного леса. Метод собственных значений набрал приблизительно 69 mae, а мы — приблизительно 40. Направления дальнейшего исследования включают другие поднаборы набора данных о молекулах (QM7), а также другие популярные задачи машинного обучения, такие как компьютерное зрение.
5. Поведение миноров персистентного Лапласиана по отношению к фильтрации симплициального комплекса подкомплексами в случае 0 мерного Лапласиана описывается в терминах остовных деревьев в симплициальном комплексе с системой корней меняющихся вместе с фильтрацией. Этот результат восходит к работам Киркгоффа и был существенно уточнен в серии недавних работ Кертиса, Кеньена и Вильсона. Получение такого описания в старших размерностях — интересная комбинаторная и топологическая задача.

Александров Артём Александрович

1. Мне интересны свойства динамических систем, степени свободы которых локализованы в вершинах сетей, а именно влияние структуры сети на динамические процессы в ней. Про универсальность структурных свойств сетей известно очень много, а про универсальность динамики не так много. Наиболее яркими примерами подобных систем являются модели биохимической динамики, модели birth-death процессов, динамика регуляторных сетей и модели распространения эпидемий. Среди подобных моделей мне больше всего интересны модель Курамото и Гамильтонова модель среднего поля.
2. Также мне интересны способы описания сетей с очень большим числом вершин. Чтобы изучать такие сети, надо рассматривать последовательности графов с растущим числом вершин и корректно определять пределы таких последовательностей, причем сходимость последовательностей графов может быть сформулирована по разному. В зависимости от свойств графов, предельные объекты могут быть устроены совсем по разному и, более того, предельные объекты не являются графами. Среди таких объектов обычно различают графоны (измеримые функции, определенные на единичном квадрате), графинги (сингулярные меры на единичном квадрате), а также L_p-графоны. По-видимому, исследование пределов больших графов важно для теории случайных матриц.
3. Последний в списке, но первый по приоритету интерес — это критические явления в сетях. Под критическими явлениями понимают обычно такие, когда поведение системы радикально меняется при изменении параметров системы (например, взаимодействие между степенями свободы, температура или внешний шум). Наиболее простой пример критического явления — это фазовый переход. В сетях меня больше всего интересуют критические явления, связанные с синхронизацией и возникновением упорядоченных фаз.

Самойленко Иван Александрович

1. Теоретико-игровые модели образования сложных сетей и динамики на них. Для графов полученных из реальных данных известно множество свойств и паттернов повторяющихся в сетях различной природы: малый диаметр, кластеризация, степенной закон распределения степеней и некоторых других центральностей, наличие плотного ядра, ассортативность и т.д. Для описания этих феноменов существуют достаточно сложные составные модели случайных графов, однако случайные модели не объясняют специфику существования или несуществования конкретных элементов системы. Решить эту проблему интерпретируемости могут хорошие теоретико-игровые модели, однако эта область имеет ещё много пустых мест. Так, у меня получилось придумать модель, описывающую почему в сетях выполняется правило 6 рукопожатий (диаметр не малый, но растущий а сверхмалый — строго ограничен константой), но даже в рамках этой модели есть несколько открытых вопросов, таких как:
   • верно ли предположение о том, что в реальных сетях нет стабильных 2-независимых множеств (все участники не знают друг друга и не имеют общих друзей)
   • существуют ли практические применения описанному в статье механизму
   • можно ли расширить эту модель для описания более конкретных процессов? ввести гетерогенность для агентов?

   Однако вышеупомянутой моделью открытые вопросы в области теоретико-игровых моделей сложных сетей не ограничиваются. В частности, кратко перечисляя вопросы, про которые я думал и/или имею некоторые результаты:

   • Какие равновесия в моделях будут получаться, если агентам необходимо оптимизировать что-то вроде «несоединения»?
   • Какие разумные модели можно построить для гетерогенной популяции агентов живущих на некоторой геометрической структуре? (чуть более сложной чем отрезок в известной модели Хотеллинга)
   • Какие существуют разумные гиперграфовые (см пункт b) модели образования и динамики на сетях?
   • Каким образом топология сети знакомств будет влиять на количество образованных стабильных пар на «рынке знакомств»?
   • Какие свойства есть у экономических сетевых моделей (таких как модель взаимного кредитования, модель coopetition и другие)
2. Гиперграфовые модели (модели взаимодействий высоких порядков). Многим наверняка известно что такое граф. Гиперграфы отличаются тем, что учитывают возможность не только попарных, но и групповых взаимодействий (классический пример когда это важно — если три человека написали совместную статью это не то же самое, что три человека попарно писали статьи друг с другом, но не писали ничего втроем). При банальном переводе графов в гиперграфы часть важных свойств системы теряется. В ряде недавних исследований было показано, что использование структуры гиперграфа может быть полезно в том числе и для практических задач (улучшение прогностической силы регрессионных моделей). Сейчас гиперграфы и методы работы с ними — активно развивающаяся и перспективная область теории графов. Например, даже такой вопрос: «что такое расстояние на гиперграфе?» не является очевидным (у моей группы вышла статья по этому поводу:https://www.mdpi.com/1099-4300/25/6/923 использующая следующую простую идею, что коммуникацию проще проводить через небольшие сообщества чем через большие «сарафанное радио работает лучше, чем менее таргетированная реклама». Введенный способ работы с гиперсетями порождает ряд открытых вопросов, таких например как эффективно считать эти расстояния и метрики связанные с ними). В целом в гиперграфах количество открытых задач ограничено только вашей фантазией: можно пытаться улучшить гиперграфовую модель «вечериночного» образования сетей https://arxiv.org/abs/1008.1516, можно улучшать методы анализа данных или обобщать графовые структуры (от центральностей до путевых голомогий) и т.д.
3. Анализ топологических свойств сетевых структур, получающихся в процессе машинного обучения. Несмотря на то, что сейчас очень популярны нейросети для решения примерно любых задач (особенно хайповая тема, конечно LLM) почему и как они работают люди знают плохо. В частности, хотя обученные нейросети являются матрицами с весами (т.е. графами) их топологические свойства не очень хорошо изучены и есть лишь отдельные попытки подступиться к этой задаче. Есть ли общие паттерны в топологии обученных сетей? Можно ли ускорить обучение за счёт использования этих знаний (например, есть гипотеза, что из весов LLM можно выкинуть большую часть рёбер с лишь незначительным падение скоров по необходимым метрикам)? Интересующие меня задачи — описание структуры обученных нейросетей, графы ассоциаций различных LLM (можно ли по графам ассоциаций LLM сказать какая из них лучше решает определенные задачи или имеет больший ELO в ChatBot arena?). В эту же секцию я запишу задачу анализа текстов при помощи гиперграфов: ряд исследований показывает что можно неплохо обучить LLM на небольшом количестве "хороших«(научных) текстов. Можно ли по структурам гиперграфов, получающихся из текстов понять какие из них хорошие, а какие нет?
4. Метаэвристические алгоритмы и сложные сети, дискретная оптимизация. Наконец, графовый фреймворк естественным образом возникает во множестве задач оптимизации: задача коммивояжера, её расширения такие как CVRP, задачи сетевой маршрутизации и т.д.. Для решения этого класса задач может быть полезно топологическое знание об изначальной сети (сейчас область изучена очень мало, но в моём понимании у неё есть перспектива). Более широко, для решения любых невыпуклых задач часто применяются поисковые метаэвристики, в которых введение сетевых структур естественно (например метод роя частиц) однако а) практически нет исследований говорящих почему такие методы работают б) нет хороших исследований показывающих как введение сетевой структуры в роевой интеллект может помочь ему справляться с задачами. Например, есть статья в которой утверждается что сетевая модификация PSO https://link.springer.com/article/10.1007/s11042-018-6324-7 может быть полезна в рекомендательных системах. Однако авторы статьи оставили в сетевой части статьи некоторые пробелы (например, их результат повторяем на более широком классе сетей, нежели чем они задекларировали). И в целом про то как структура сетей влияет на оптимизацию известно мало (например, есть результаты о том, как спектральный зазор графа влияет на скорость распространения информации по нему). В общем, аккуратный анализ топологии (как в теории, так и правильно поставленные численные эксперименты) может быть ключом в продвижении в некоторых задачах дискретной оптимизации и распределенных вычислений.

Вальба Ольга Владимировна

1. Cтруктурно-сетевой анализ имеющихся данных по коннектому и транскриптому человека, в том числе разработка новых методов анализа, основанных на спектральных характеристиках; Мы работаем с данными из открытого доступа ( Open Connectome Project) и данными, полученными нашими коллегами. Данные можно представить в виде направленного/ненаправленного взвешенного графа, что позволяет применять к анализу данных весь набор сетевых методов и алгоритмов. В частности, мы исследуем кластерную и кликовые структуры данных, предполагая, что их изменения связаны с возрастными особенностями, заболеваниями и т.д.. Отдельный вопрос заключается в разработке моделей, воспроизводящих те или иные структурные/спектральные особенности данных.
2. Структурные и спектральные свойства нейросетевых моделей. Нейросетевые модели в настоящее время успешно используются в разных областях для решения задач классификации, кластеризации, регрессии и других. Однако, использование нейросетевых моделей как «черного ящика» стало уже обычным явлением. Понимание поведения искусственных нейронных сетей — одна из основных тем в области искусственного интеллекта. Работа связана с исследованием структурных и спектральных особенностей полносвязных нейросетевых моделей в задачах классификации изображений (используем базу данных ImageNet). В частности, предполагается, что структурные/спектральные свойства графа, полученного в процессе обучения, отражают «сложность» задачи (число классов в задаче классификации, зашумленность данных).
3. Фазовые переходы и критические явления в экспоненциальных и геометрических графах, применение моделей к описанию данных. Ранее, мы обнаружили фазовые переходы и критическую структуру в экспоненциальных и геометрических случайных графах с дополнительными ограничениями на распределение степеней/ кластеризацию/длину связей. Такие ограничения позволяют смоделировать некоторые наблюдаемые особенности в данных по коннектому, семантическим сетям.
4. Различные динамические модели и алгоритмы на сетях, их применение к моделированию процессов. В частности, интересует задача формирования неконсенсусного мнения в сложной сети и влияние параметров модели и структуры сети на устойчивость таких неконсенсусных кластеров.