Супер прикладная лингвистика

Отлично написано про самые новые методы того, как научить систему «понимать» значение слов!

​«Смотря в каком контексте»: от word2vec к BERT

Специалист по дистрибутивной семантике, основатель сайта RusVectōrēs, докторант и сотрудник группы языковых технологий в университете Осло Андрей Кутузов рассказал на школе #fall4digital о том, почему мир переходит на контекстуализированные векторно-семантические модели (ELMo, BERT), а классический word2vec уже не в моде. Вот пересказ для тех, кто пропустил:

Дистрибутивные семантические модели — фундамент современных прикладных компьютерно-лингвистических систем. Старая идея о том, что значение слова может быть выражено через обобщение контекстов его употребления (это говорил еще Витгенштейн, а из лингвистов — Зеллиг Харрис и Джон Фирс), получила успешную реализацию в алгоритмах вроде word2vec — и в некотором смысле сделала лексическую семантику доступной машине. Когда исследователи научились получать контекстные вектора слова на достаточно больших корпусах, это подстегнуло и машинный перевод, и информационный поиск, и вопросно-ответные системы. Возможность взять семантические векторы и вычислить, что слово помидор близко к слову томат, но далеко от слова поминать, улучшило качество алгоритмов обработки и понимания естественного языка.

Однако даже самая идеальная дистрибутивная модель обладает врожденной проблемой. Обучившись раз, она сохраняет один статичный вектор каждого слова — и в процессе использования уже не может опираться на контекст. Эта проблема легко заметна в случае с многозначными словами (лук, рок, бот...). Попытки «расщепить» векторы многозначных слов в модели на несколько (например, AdaGram) оказались половинчатым решением...

И тут на сцену выходят контекстуализированные векторно-семантические модели — ELMo, а затем BERT. Такие модели обучаются строить вектор каждого слова с учетом контекста. Т.е. в них нет четко заданного вектора слова лук — он порождается в тот момент, когда на вход системе приходит предложение с этим словом. То, каким будет вектор лука, и как он будет относиться к словам чеснок или колчан, зависит от контекста: для предложения Выпустил стрелу из лука вектор будет совсем не таким, как для Зеленый лук растет на грядке.

Сегодня ELMo и BERT (особенно BERT) — это «новый черный» мира Natural Language Processing. Замена статической векторной модели на контекстуализированную приводит к повышению качества работы очень многих систем автоматической обработки языка.

#dhvoronovo

У меня прошла первая неделя школы по компьютерной лингвистике в университете Штутгарта! И я в полном восторге! Программа школы идеально составлена, так как и теоретические, и прикладные, и компьютерные лингвисты узнают что-то новое! На первой неделе до обеда шел курс Eva-Maria Vecchi, на котором мы узнали всё от самых простых векторов до супер новых форм embeddings BERT, которые изменили не только область NLP, но и вообще о них все только и говорят!

А на курсе Nils Reiter после обеда мы узнали о механизмах machine learning для анализа текста, и даже попробовали сами улучшить модель decision trees. Мне было очень интересно всё это попробовать, и моя модель победила по accuracy. Я еще не умею программировать, и большую часть времени я потратила не на то, чтобы улучшить модель, а на то, чтобы зайти на сервер для того, чтобы модель могла обучиться на большом корпусе, и для того, чтобы отправить результаты моей лабораторной! Компьютерные лингвисты пробовали изменить код, тестировали разные опции, а я просто убрала features, которые мне показались не релевантными для обучения модели. Но вывод еще можно сделать, что machine learning очень непредсказуемая тема.

Если кого-то не интересует компьютерная лингвистика, то не обращайте внимание на это сообщение, но просто знайте, что компьютерные лингвисты без работы не останутся:) Для участников школы даже была организована встреча с представителями Bosch, Sony и IBM, где есть места для оплачиваемой практики и написания магистерских, бакалаврских работы, или даже три года можно там PhD писать. А для тех, кто интересуется компьютерной лингвистикой, советую зайти на сайт школы, перейти по ссылке на материалы курсов и посмотреть слайды лекций:) https://dgfs-clschool19.github.io/progra#embd-course

Ребята, ну понятно, что блогер я не очень, но это ведь не главное! Как только у меня на учебе и работе сверх-активная деятельность, на канал я никак не могу найти время написать! Потом мне кто-нибудь из подписчиков или подписчиц напишет, что вот канал такой хороший, и я сразу чувствую себя такой нужной обществу! Я решила исправляться, и в сентябре нас с вами ждёт встреча по созданию Alexa Skill для ответов на вопросы по грамматике немецкого языка, двухнедельная школа по Natural language processing на факультете компьютерной лингвистики в Уни Штутгарт, конференция Dialog Expectations в Берлине и подготовка моего первого (надеюсь, не последнего) семинара в Уни Мюнстер на тему «Психолингвистические и прагматические аспекты диалога». На русском звучит коряво... как и на немецком, в принципе! Я очень рада, что буду преподавать, но до сих пор неожиданно, что на немецком. Уже приснился сон, как я захожу в аудиторию в своих новых туфлях, которые для преподавания купила, и вдруг забыла все немецкие слова:( Ещё в сентябре дедлайн подачи заявки на грант немецкого министерства образования, куда тоже мы с научными руководителями посылаем заявку на финансирование проекта. Совершенно не знаю, как это всё успеть! Ещё перед школой nlp хотела успеть дочитать учебник один и доделать один курс онлайн, чтобы не совсем сильно отставать, но видимо уже буду ориентироваться по обстановке! В середине школы нас ждёт поездка на винные виноградники, прогулка и обед! Уже скорее хочу вот эту прогулку и обед! Я желаю всем вам, мои подписчики, очень хорошего настроения, вдохновения и радости:) АняК

Список литературы к подкасту, который можно прослушать здесь:)

https://soundcloud.com/user-885341914/protsess-sblizheniya-lyudey-vo-vremya-obshcheniya

https://anchor.fm/--457/episodes/ep-e436eu/podcast-afm6v2

Barr, D. J., & Keysar, B. (2002). Anchoring comprehension in linguistic precedents. Journal of Memory and Language, 46, 391–418.

Branigan, H. P., Pickering, M. J., & Cleland, A. A. (2000). Syntactic coordination in dialogue. Cognition, 75, B13–B25.

Brennan, S. E., Chen, X., Dickinson, C. A., Neider, M. B., & Zelinsky, G. J. (2007). Coordinating cognition: The costs and benefits of shared gaze during collaborative search. Cognition, 106, 1465–1477.

Brennan, S. E., & Clark, H. H. (1996). Conceptual pacts and lexical choice in conversation. Journal of Experimental Psychology: Learning, Memory, and Cognition, 6, 1482–1493.

Clark, H. H., & Brennan, S. E. (1991). Grounding in communication. In L. B. Resnick, J. Levine, & S. D. Teasley (Eds.), Perspectives on socially shared cognition (pp. 127–149). Washington, DC: APA Reprinted in R. M. Baecker (Ed.), Groupware and computer- supported cooperative work: Assisting human–human collaboration (pp. 222–233). San Mateo, CA: Morgan Kaufman Publishers.

Clark, H. H., & Wilkes-Gibbs, D. (1986). Referring as a collaborative process. Cognition, 22, 1–39.

Grice, H. P. (1975). Logic and conversation (from the William James lectures, Harvard University, 1967). In P. Cole & J. Morgan (Eds.), Syntax and semantics 3: Speech acts (pp. 41–58). New York, NY: Academic Press.

Keysar, B., Barr, D. J., Balin, J. A., & Paek, T. S. (1998). Definite reference and mutual knowledge: Process models of common ground in comprehension. Journal of Memory and Language, 39, 1–20.

Lewis, David. 1969. Convention: a philosophical study. Cambridge, MA: Harvard University Press.

Pickering, M. J., & Garrod, S. (2004). Toward a mechanistic psychology of dialogue. Behavioral and Brain Sciences, 27, 167–226.

Schoot, L., Heyselaar, E., Hagoort, P., & Segaert, K. (2016). Does Syntactic Alignment Effectively Influence How Speakers Are Perceived by Their Conversation Partner?, 1–22.

Аттенш!

Друзья, я вам не сказал, а вы и не заметили, что посты на канале стали реже. Всё из-за диплома. Но у меня есть приятная новость для аудиалов и не только.

Мы связались с Аней с канала Супер Прикладная Лингвистика и решили сделать коллабу. Эта мысль переткела в идею записи подкаста-лекции. И вот спустя какое-то время, мы готовы отдать его вам на прослушивание.

Тема подкаста:* процесс сближения людей во время общения. Спикер — Аня. Она в научно-популярной форме расскажет о том, как происходит взаимопонимание между людьми, как мы создаём условия общения с каждым человеком, а также поведает об интересных исследованиях.

Аня — закончила Боннский университет в Германии. Сейчас проживает в Мюнстере, работает в Мюнстерсском университете и пишет диссертацию в рамках программы "эмпирическая и прикладная лингвистика". На своём канале она делится научными знаниями и исследованиями в мире лингвистики. Нечастые, но полезные информативные посты — вот что отличает канал Ани. Если вам нужны источники, использованные в подкасте, их вы найдёте у Ани.

Где слушать подкаст?*
Soundcloud — https://soundcloud.com/user-885341914/protsess-sblizheniya-lyudey-vo-vremya-obshcheniya
Anchor — https://anchor.fm/--457/episodes/ep-e436eu/podcast-afm6v2

Ещё мы загрузили в itunes, но работники эпла видимо ещё не отошли от майских праздников. Так что, возможно, в будующем запись появится на айфонах.

Приятного прослушивания! Ждём ваших отзывов :)