Программирование Трансформеры в NLP и приложениях - Stepik (2024)

[Zero]

Трансформеры в NLP и приложениях

Stepik

О чём курс:

Курс Stepik «Трансформеры в NLP и приложениях» (2024) посвящён трансформерам как архитектуре нейронных сетей для задач NLP и смежных приложений. В материале разбираются устройство механизма внимания, теория и практика трансформеров, работа с PyTorch и библиотекой Huggingface, а также решение различных NLP-задач. Предусмотрен проект: обучение трансформера и оформление решения в виде веб-приложения на streamlit.

Описание:

Курс посвящен трансформерам - самой востребованной архитектуре нейронных сетей для решения задач в области NLP и приложениях. На курсе подробно разобрано теоретическое устройство трансформеров, много практики на Python, а также проектное задание: сервис, реализующий применение трансформера для решения NLP-задачи.

Чему вы научитесь

Разберетесь в теоретическом устройстве механизма внимания

Узнаете как работают трансформеры

Научитесь обучать трансформеры на PyTorch самостоятельно

Познакомитесь с библиотекой huggingface

Создадите приложение при помощи streamlit

В курсе подробно разобрана схема работы механизма внимания и различные архитектуры трансформеров. Кроме теории в курсе много практических заданий, требующих использования библиотеки PyTorch. На протяжении курса слушатели будут работать над проектом - обучат трансформер для решения NLP-задачи и представят решение в виде готового веб-приложения.

Также в курсе разобраны различные задачи из области NLP, для успешного решения которых необходимы трансформерные архитектуры.

Для кого этот курс

Курс подойдет слушателям, увлеченным областью NLP и Deep Learning в целом. Мы ожидаем, что слушатели знакомы с классическими ML- и DL-моделями, а также имеют хороший опыт обучения моделей в Python.

Начальные требования

Для успешного прохождения курса от участников ожидается знание классических алгоритмов машинного обучения и базовых DL-архитектур, а также умение обучать ML- и DL-модели в Python.

Рекомендуются к прохождению первые два курс из линейки: "Основы нейронных сетей и NLP" и "Рекуррентные сети в NLP и приложениях".

Программа курса

О курсе

NLP: recap

Введение в PyTorch

Attention

Трансформеры: теория

Трансформеры: практика

Библиотека Huggingface для решения задач NLP

Решение различных задач NLP

Проект по курсу

Ваш преподаватель: Елена Кантонистова

Кандидат физико-математических наук, выпускница школы анализа данных Яндекса (ШАД)

Продажник:

Скачать:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.