Домашнее задание №4

Обзор последних исследовательских статей

В этом домашнем задании вам предлагается написать отзыв на одну из статей из списка ниже. Мы осознаем, что вашей квалификации, возможно, недостаточно для написания полноценного отзыва, однако любая попытка будет оцениваться.

В отзыве обычно присутствуют следующие разделы:

• Заголовок, включающий полное название статьи и пояснение, что это отзыв на эту статью.
• Автор отзыва указывается в зависимости от применяемой издательством процедуры рецензирования. Бывает т.н. открытое рецензирование - где указывается автор отзыва. В процедуре слепого рецензирования автор отзыва не указывается. В рамках процедуры двойного слепого рецензирования ни автор отзыва не знает авторов статьи, ни авторы статьи не знают, чей отзыв предлагается им на рассмотрение. В предлагаемом ДЗ предлагается применять сценарий открытого рецензирования.
• Аннотация статьи своими словами. Этот раздел может быть воспринят как аналог аннотации (раздел Abstract), предложенной автором рецензии. В этой аннотации рецензент кратко излагает свое понимание статьи и основных ее положений.
• Содержательная часть: достижения работы, описанной в статье, и недостатки, замеченные в исследовании или описании исследования. В этом разделе может обсуждаться все, что касается сути исследования. Достоинства и недостатки предложенных методов. Положительные и отрицательные стороны полученных результатов. Особенности интерпретации результатов с точки зрения авторов статьи и с точки зрения рецензента. Следует понимать, что точка зрения авторов может быть сильно отличной от точки зрения рецензента. В задачу рецензента входит попытка войти в положение авторов, оценить их вклад с этой точки зрения, но также и оценить достижения продемонстрированной работы с других точек зрения.
• Обычно в академических рецензиях пишут вывод: (а) либо статья достойна публикации в представленном виде, (б) либо материалу требуются незначительные правки, (в) либо статья не готова к публикации и, по мнению рецензента, требует существенной доработки (исправления методов, исправления дизайна экспериментов и т.д.), (г) либо исследование не имеет шанса на опубликование вследствие обилия ошибок и неточностей. Поскольку все эти статьи уже опубликованы, этот раздел можно опустить. Но вам все же предлагается сформулировать вывод, в котором можно оценить вклад исследования, продемонстрированного в статье, в академическое знание об особенностях искусственных нейронных сетей на фоне текущего состояния науки.

Примеры отзывов можно посмотреть, например, здесь

ВНИМАНИЕ!

Чтобы не получилось так, что несколько студентов пишут обзор одной и той же статьи, каждому студенту следует заявить о себе: в любой форме дать знать, на какую статью он будет писать обзор. Для этого можно писать преподавателям курса в Telegram (например, в группе курса ) или на портале Технотрека (личным сообщением через систему сообщений).

Предлагаемые к обзору статьи

Ссылка на статью	Рецензент
(Akrout et al., 2019) "Deep Learning without Weight Transport"	Игорь Щукин
(Bernstein and Sheldon, 2019) "Differentially Private Bayesian Linear Regression"	Кирилл Власенков
(Defazio, 2019) "On the Curved Geometry of Accelerated Optimization"	Владислав Рябых
(Defazio and Bottou, 2019) "On the Ineffectiveness of Variance Reduced Optimization for Deep Learning"	Валерия Щербакова
(Dong and Yang, 2019) "Network Pruning via Transformable Architecture Search"	Семён Матренок
(Gower et al., 2019) "RSN: Randomized Subspace Newton"	Артем Товкес
(Hanin and Rolnick, 2019) "Deep ReLU Networks Have Surprisingly Few Activation Patterns"	Ильдар Хабутдинов
(He et al., 2019) "Control Batch Size and Learning Rate to Generalize Well: Theoretical and Empirical Evidence"	Евгения Корельская
(Huang et al., 2019) "GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism"	Герман Грицай
(Ioannou et al., 2019) "SySCD: A System-Aware Parallel Coordinate Descent Algorithm"	Сергей Кошелев
(Kusumoto et al., 2019) "A Graph Theoretic Framework of Recomputation Algorithms for Memory-Efficient Backpropagation"	Роман Бутримов
(Lamy et al., 2019) "Noise-tolerant fair classification"	Павел Рачицкий
(Li et al., 2019) "Positional Normalization"	Антон Орловский
(Li, 2019) "SSRGD: Simple Stochastic Recursive Gradient Descent for Escaping Saddle Points"	Илья Исыпов
(Neverova et al., 2019) "Correlated Uncertainty for Learning Dense Correspondences from Noisy Labels"	Андрей Шушко
(Nguyen et al., 2019) "First Exit Time Analysis of Stochastic Gradient Descent Under Heavy-Tailed Gradient Noise"	Борис Никитюк
(Vladymyrov, 2019) "No Pressure! Addressing the Problem of Local Minima in Manifold Learning Algorithms"	Максим Патрацкий
(Wu et al., 2019) "Stochastic Shared Embeddings: Data-driven Regularization of Embedding Layers"	Денис Потапов
(Aaron Defazio and Samy Jelassi, 2021) "Adaptivity without Compromise: A Momentumized, Adaptive, Dual Averaged Gradient Method for Stochastic Optimization"	Булат Шелхонов
(Zhuang et al., 2020) "AdaBelief Optimizer: Adapting Stepsizes by the Belief in Observed Gradients"	Роман Глушенков
(Dariush Bahrami and Sadegh Pouriyan Zadeh, 2021) "Gravity Optimizer: a Kinematic Approach on Optimization in Deep Learning"	Никита Корнилов