Занятие 1
📄 Материалы • 📝 Записи • ▶️ Youtube • 💿 Скачать
Вспоминаем базовые факты из линейной алгебры. Векторы, матрицы, нормы, скалярные произведения
Занятие 2.1
📄 Материалы • 📝 Записи • ▶️ Youtube • 💿 Скачать
Спектр матрицы. SVD. Skeleton. Градиент. Гессиан. Матрично-векторное дифференцирование.
Занятие 2.2
📄 Материалы • 📝 Записи • ▶️ Youtube • 💿 Скачать
Автоматическое дифференцирование. Forward\Reverse Mode. Вычислительный граф.
Занятие 3
📄 Материалы • 📝 Записи • ▶️ Youtube • 💿 Скачать
Выпуклость. Выпуклые, афинные множества. Выпуклые конусы. Сумма Минковского
Занятие 4.1
📄 Материалы • 📝 Записи • ▶️ Youtube • 💿 Скачать
Выпуклые функции. Неравенство Йенсена. Сильно выпулые функции. Условие Поляка - Лоясиевича
Занятие 4.2
📄 Материалы • 📝 Записи • ▶️ Youtube • 💿 Скачать
Сопряженные множества. Сопряженные конусы. Многогранники
Занятие 5
📄 Материалы • 📝 Записи • ▶️ Youtube • 💿 Скачать
Сопряженные функции. Преобразование Лежандра. Сопряженная норма
Занятие 6
📄 Материалы • 📝 Записи • ▶️ Youtube • 💿 Скачать
Субградиент. Субдифференциал. Теоремы Моро-Рокафеллара, Дубовицкого-Милютина
Занятие 7
📄 Материалы • 📝 Записи • ▶️ Youtube • 💿 Скачать
Условия оптимальности. Функция Лагранжа. Множители Лагранжа. Теорема Каруша - Куна - Таккера
Занятие 8
📄 Материалы • 📝 Записи • ▶️ Youtube • 💿 Скачать
Двойственность. Введение в двойственность. Двойственная задача. Two-way partitioning problem. Проекция точки на вероятностный симплекс
Занятие 9
📄 Материалы • 📝 Записи • ▶️ Youtube • 💿 Скачать
Двойственность. Анализ чувствительности. Теневые цены. Матричные игры со смешанными стратегиями.
Занятие 10
📄 Материалы • 📝 Записи • ▶️ Youtube • 💿 Скачать
Линейное программирование. Транспортная задача и другие формулировки прикладных задач как ЛП. Симплекс метод для решения ЛП.
Занятие 11.1
📄 Материалы • 📝 Записи • ▶️ Youtube • 💿 Скачать
Классификация и обозначения в задачах оптимизации. Скорость сходимости.
Занятие 11.2
📄 Материалы • 📝 Записи • ▶️ Youtube • 💿 Скачать
Линейный поиск. Неточная одномерная оптимизация. Правила Армихо - Гольдштейна. Условие Вульфа.
Занятие 12
📄 Материалы • 📝 Записи • ▶️ Youtube • 💿 Скачать
Методы нулевого порядка. Безградиентные методы. Оптимизация гиперпараметров модели машинного обучения. Генетический алгоритм. Эволюционные алгоритмы.
Занятие 13
📄 Материалы • 📝 Записи • ▶️ Youtube • 💿 Скачать
Градиентный спуск. Введение и интуиция. Наискорейший спуск
Занятие 14
📄 Материалы • 📝 Записи • ▶️ Youtube • 💿 Скачать
Сходимость градиентного спуска для квадратичной задачи. Выбор оптимального шага. Теоремы сходимости в гладком PL-случае, гладком выпуклом случае.
Занятие 15
📄 Материалы • 📝 Записи • ▶️ Youtube • 💿 Скачать
Субградиентный спуск. Теоремы сходимости в негладком случае (выпуклый случай). Особенности работы градиентного метода в практических негладких задачах. Задача наименьших квадратов с $l_1$ регуляризацией.
Занятие 16
📄 Материалы • 📝 Записи • ▶️ Youtube • 💿 Скачать
Ускоряем метод градиентного спуска - NAG, Momentum.
Занятие 17
📄 Материалы • 📝 Записи • ▶️ Youtube • 💿 Скачать
Метод проекции субградиента. Метод условного градиента (метод Франк - Вульфа).
Занятие 18
📄 Материалы • 📝 Записи • ▶️ Youtube • 💿 Скачать
Метод сопряженных направлений. Ортогонализация Грамма - Шмидта. Понятие $A$-ортогональных векторов. Метод сопряженных градиентов.
Занятие 19
📄 Материалы • 📝 Записи • ▶️ Youtube • 💿 Скачать
Концепция методов адаптивной метрики. Метод Ньютона. Квазиньютоновские методы.
Занятие 20
📄 Материалы • 📝 Записи • ▶️ Youtube • 💿 Скачать
Проксимальный градиентный метод.
Занятие 21
📄 Материалы • 📝 Записи • ▶️ Youtube • 💿 Скачать
Введение в стохастические градиентные методы. Батч, эпоха. Сходимость SGD.
Занятие 22
📄 Материалы • 📝 Записи • ▶️ Youtube • 💿 Скачать
Продвинутые стохастические градиентные методы. Методы редукции дисперсии.
Занятие 23
📄 Материалы • 📝 Записи • ▶️ Youtube • 💿 Скачать
Удивительные сюжеты из мира обучения больших нейросетей с точки зрения методов оптимизации. Проекция функции потерь нейронной сети на прямую, плоскость. Инициализация. Grokking, Double Descent, Large batch training, Activations checkpointintg.
Занятие 24
Методы оптимизации в непрерывном времени. Gradient Flow. Accelerated Gradient Flow. Stochastic gradient flow.
Занятие 25
Немного о диффузии и генеративных моделях.
Занятие 26
ADMM и идея штрафных/барьерных методов.