JetBrains Research — наука, меняющая мир

ERASER: A Benchmark to Evaluate Rationalized NLP Models

Современные модели обработки естественного языка преимещественно основаны на глубоких нейронных сетях, которые работают по принципу "черного ящика". Поэтому в последнее время вырос интерес к интерпретируемым NLP системам, которые могут раскрыть, как и почему они пришли к тем или иным результатам. В связи с этим возникла проблема оценивания и сравнения таких моделей, отслеживание прогресса в данном направлении.

На семинаре мы рассмотрим ERASER benchmark -- инструмент, который позволяет оценивать качество интерпертируемых NLP моделей. Обсудим его структуру,

наборы данных и метрики, которые лежат в основе данного инструмента, а также результаты работы некоторых современных моделей.

Докладчик: Денис Сушенцев.

Язык доклада: русский.

Дата и время: 10-е декабря, 18:30-20:00.

Видео с предыдущих семинаров доступно по ссылке: http://bit.ly/MLJBSeminars

Для получения рассылки о семинаре (с ссылкой на Zoom) - пишите Алексею Шпильману на alexey@shpilman.com.