Программирование [Stepik, Иван Александров] AI Security — практикум по безопасности ИИ приложений (2026)

[Gatsby]

Автор: Stepik, Иван Александров
Название: AI Security — практикум по безопасности ИИ приложений (2026)

Описание:

Курс- СTF-чемпионат - по защите ИИ-приложений. Короткая теория -> Атака -> Разбор -> Защита Чтобы понять как и от чего защищать, надо сначала попытаться сломать ИИ приложение, чему и будет посвящена основная часть курса. Независимо от того где и как вы создаёте свое приложение: без кода - с n8n, вайбкодингом или пишите весь код руками - курс подойдёт для любой аудитории.

Что внутри?

• Prompt Injection - instruction override, system prompt extraction, delimiter attacks, output manipulation.
• Jailbreaks - role-play, hypothetical framing, encoding, payload splitting, multi-turn атаки (Crescendo).
• Indirect Prompt Injection — скрытые инструкции в документах, веб-страницах, email. Атака не на модель напрямую, а через контент, который она обрабатывает.
• Атаки на агентов и RAG - tool abuse, knowledge base poisoning, memory attacks, multi-agent injection.
• Автоматизированные атаки - PAIR, TAP, GCG - как автоматизация меняет ландшафт угроз. Без кода, но с пониманием attack loop.
• Защита - есть defense-блок: от hardening промптов до проектирования guardrails.

Для кого этот курс:

• — Специалисты по информационной безопасности, которые хотят понять новый класс угроз, связанных с LLM.
• — Продакт-менеджеры и разработчики AI-продуктов, которые хотят делать свои системы устойчивее к атакам.
• — QA и тестировщики, которые хотят добавить adversarial testing в свой арсенал.
• — Все, кто активно пользуется ChatGPT, Claude и другими LLM и хочет понимать, как они ломаются.
• — Студенты и исследователи в области AI safety и alignment, которые хотят быстро погрузиться в новую область.

Начальные требования:

• Базовое понимание, что такое LLM (большая языковая модель) - на уровне «знаю, что это нейросеть, которая генерирует текст».
• Опыт использования любой LLM (ChatGPT, Claude, Gemini и т.п.) - нужно понимать, что такое промпт и как устроен диалог с моделью
• Код писать не нужно. Вообще. Все задания решаются через чат, формы и загрузку файлов.
• Знание английского на уровне чтения технических терминов или использования онлайн-переводчика - часть атак и техник используют англоязычные промпты.

Что вы получаете:

• Практические навыки red teaming LLM-приложений - востребованная специализация в AI Security.
• Понимание таксономии атак на LLM - prompt injection, jailbreaks, indirect injection, agent attacks.
• Опыт проектирования защиты: hardening промптов, guardrails, input/output фильтрация.
• Умение оценивать безопасность AI-продуктов - как своих, так и сторонних.
• Насмотренность и интуиция в области безопасности ИИ-приложений.

Программа:

1. ВВедение - Зачем ломать ИИ

• Всё что нужно для старта!
• Из чего состоит ИИ-приложение
• CTF-0: Первый взлом — Hello, Injection!

2. Prompt Injection.

• Твоя цель - соглашаться со всем что скажет клиент
• CTF-1: Бодрый Флибустьер
• Четыре класса Prompt Injection
• CTF-marathon
• Защита от Prompt Injection

3. Jailbreak

• Что такое Jailbreak — зачем и как ломают модели
• Социальные jailbreak-и
• CTF: социальные jailbreak-и
• Технические jailbreak-и
• CTF: технические jailbreak-и

4. Агенты и непрямые PI

• Инъекция вышла из чата
• Payload везде: векторы косвенной инъекции
• CTF: Косвенная инъекция — IN_AGENT
• Агенты: LLM, который начал действовать
• CTF: первые взломы InAgent Support

5. Мультиагенты и финиш.

• CTF: Операция «Сорок восьмой»
• А если агентов много?

В курс входят:

• 20 уроков
• 105 тестов

Подробнее:

Скачать:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.