Generalizations of Gumbel-Softmax Trick [in Russian]

5 Просмотры
Издатель
Slides: https://github.com/bayesgroup/bayesgroup.github.io/blob/master/bmml_sem/2020/Struminsky_Generalizations%20of%20Gumbel%20Softmax%20Trick.pdf
Gumbel Softmax Trick предложил эффективный и простой в реализации метод обучения глубоких моделей с категориальными скрытыми переменными. Однако его время работы линейно по размеру носителя скрытой переменной. Поэтому, если скрытая переменная соответствует дереву разбора входного предложения или перестановке элементов входной последовательности, Gumbel Softmax Trick оказывается неприменим на практике. В докладе речь пойдет о ряде недавно предложенных подходов для обобщения метода на случай структурных скрытых переменных.
Категория
Видеоуроки по боксу
Комментариев нет.