Семинар лаборатории топологии и сложных сетей: 2 доклада

1)  Д. А. Яроцкий (Сколковский институт науки и технологий, МИАН):

Решения градиентных потоков с помощью диаграммных разложений

Аннотация: Градиентный спуск является основным алгоритмом машинного обучения, и динамика градиентных потоков в больших задачах представляет значительный интерес. Мы пытаемся развить новый метод ее исследования, основанный на разложении функции потерь в степенной ряд по времени. При стандартной гауссовой инициализации модели коэффициенты такого разложения можно описать с помощью теоремы Вика в виде некоторых диаграмм, аналогичных диаграммам Фейнмана. Далее, переходя к пределу большого размера модели, можно найти различные формальные пределы этого разложения в зависимости от взаимного масштабирования параметров задачи. Эти пределы можно связать с различными качественными режимами обучения - например, свободной эволюцией или т.н. режимом NTK. Кроме того, получаемые предельные разложения в некоторых случаях допускают формальное суммирование, дающее явную аналитическую формулу динамики. Для этого мы записываем рекуррентные соотношения между коэффициентами в виде УрЧП, и если оно имеет первый порядок, решаем его с помощью метода характеристик. В задаче факторизации тензора порядка 4 такое интегрирование дает явную аналитическую функцию, определенную для отрицательных времен, т.е. для "градиентного подъема". Решение показывает, что есть два разных режима подъема, сходящийся и расходящийся, и дает конкретный количественный критерий их разделения. В целом, теория в текущем виде вызывает много математических вопросов, но получаемые результаты хорошо согласуются с численными экспериментами. Работа выполнена совместно с Е. Голиковым и Я. Гусевым.

Препринт:  https://arxiv.org/abs/2602.04548

2)  Михаил Батанин

Little n-disks operad and (globular) n-operads

Globular n-operads, in general, describe n-category like structures (weak n-categories in particular). Unlike classical operads whose arities of operations are natural numbers the arities of spaces of operations of globular operads are certain basic globular pasting diagrams. There is a closed connection between classical symmetric operads and n-operads given by a pair of functors : desymmetrisation and its left adjoint called symmetrisation. In my talk I will define n-operads (more precisely certain important subcategory of n-operads sufficient for many spplications) and this adjoint pair of functors.

Then I will show that there exists a particular nice cofibrant, contractible (!) topological n-operad GJ^n with the property that its symmetrisation is isomorphic to the celebrated Fulton-Macpherson operad fm^n obtained as a compactification of moduli space of configurations of points in R^n. This result shows that homotopically the little n-disks operad is the value of the left derived functor of symmetrisation on the terminal n-operad. This should be considered as a derived version of classical Eckman-Hilton argument or as a coherence theorem for E_n-algebras. Moreover, it implies that any weak (in appropriate sense) n-category which has only one object, one arrow, one 2-cells, ..., one (n-1)-cell is exactly the same as an algebra of the little n-disks operad. Among many consequences of this theorem is a short proof of the Deligne conjecture on Hochschild cochains which I will provide if there is time.

Ждём вас в аудитории 108 в следующий вторник!

Добавить в календарь