Программирование Как оценивать ИИ-системы: курс для инженеров и PM-ов - maven (2025)

[Zero]

Автор: maven

Название: Как оценивать ИИ-системы: курс для инженеров и PM-ов

AI Evals For Engineers & PMs

maven

О чём курс:

Материал посвящён оценке и тестированию LLM- и AI-приложений. В программе рассматриваются жизненный цикл оценки, систематический анализ ошибок, построение метрик и пайплайнов автоматизированной оценки, согласование критериев, тестирование для RAG, пайплайнов и мультимодальных систем, мониторинг в продакшене, human-in-the-loop ревью, а также оптимизация затрат и маршрутизация запросов. Это практический курс для инженеров и технических продакт-менеджеров; занятия идут с упражнениями, кодом, данными и записью для асинхронного просмотра.

Научитесь проверенным методикам быстрого улучшения AI-приложений. Стройте системы искусственного интеллекта, которые работают лучше конкурентов - вне зависимости от конкретного сценария использования.

Если при работе с AI у вас возникают вопросы вроде:

1. Как тестировать приложения, где результаты вероятностные и требуют субъективной оценки?
   
2. Если я меняю промпт, как убедиться, что ничего другого не сломал?
   
3. На что направить инженерные усилия? Нужно ли тестировать всё?
   
4. Что делать, если нет данных или пользователей - с чего начать?
   
5. Какие метрики отслеживать? Какие инструменты использовать? Какие модели выбрать?
   
6. Можно ли автоматизировать тестирование и оценку? И если да - как этому доверять?
   

- значит, этот курс для вас.

Это практический курс для инженеров и технических продакт-менеджеров. Идеален для тех, кто умеет программировать или «любит кодинг на ощущениях».

Чего ожидать

Вас ждёт интенсивная практика: упражнения, работа с кодом и данными. Мы встречаемся дважды в неделю в течение четырёх недель + выделяем щедрые office hours. Все занятия записываются и будут доступны в асинхронном формате.

Содержание курса

1. Основы и жизненный цикл оценки LLM-приложений
   
2. Систематический анализ ошибок
   
3. Построение эффективных метрик и пайплайнов автоматизированной оценки
   
4. Коллаборативные практики и согласование критериев оценки
   
5. Стратегии тестирования для разных архитектур (RAG, пайплайны, мультимодальные системы и др.)
   
6. Мониторинг в продакшене и непрерывная оценка качества
   
7. Организация эффективного процесса human-in-the-loop ревью
   
8. Оптимизация затрат и маршрутизация запросов
   

Результаты обучения

1. Освоите лучшие инструменты для поиска, диагностики и приоритизации ошибок в AI.
   
2. Узнаете, как использовать синтетические данные до появления пользователей и как максимально эффективно задействовать реальные данные.
   
3. Построите «data flywheel», который гарантирует улучшение вашего AI со временем.
   
4. Научитесь автоматизировать часть процессов оценки и доверять им.
   
5. Сможете настроить AI под ваши предпочтения и требования.
   
6. Избежите распространённых ошибок, накопленных на опыте более 35 AI-проектов.
   
7. Получите практику через end-to-end упражнения, код и разбор реальных кейсов.
   

Продажник:

Скачать:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.