[Владимир Кириевский] [Stepik] Асинхронные микросервисы с Apache Kafka на Python (2025)

Асинхронные микросервисы с Apache Kafka на Python

Если вы до сих пор не имели дела в своих проектах с брокерами сообщений, то вы несомненно сделаете правильный выбор, начав свой путь в мир событийно-управляемой архитектуры с изучения Apache Kafka. В рамках этого курса вы научитесь применять наиболее популярные библиотеки для работы с Kafka, создавать масштабируемые системы микросервисов, коммуницирующих посредством Kafka.

О курсе

Если вы до сих пор не имели дела в своих проектах с брокерами сообщений, то, будьте уверены, вы сделаете правильный выбор, начав свой путь в мир событийно-управляемой архитектуры с изучения Apache Kafka. На сегодняшний день это наиболее популярный брокер сообщений, позволяющий строить быстрые, хорошо поддерживаемые и масштабируемые приложения на большинстве современных языков программирования.
Этот курс не сделает вас сразу гуру Kafka, но позволит упростить порог вхождения в тему, даст идеи для дальнейшего развития как разработчика в этой области.

Чему вы научитесь

• Применять наиболее популярные библиотеки, позволяющие работать с Kafka на python: confluent_kafka, aiokafka и faststream.
• Понимать логику работы Kafka, создавать блокирующие и асинхронные приложения, имеющие в своем составе продюсеры и консьюмеры.
• Использовать Kafka в составе приложений, построенных на базе современных веб-фреймворков, в частности, FastAPI.

Для кого этот курс

Начинающие разработчики, уже имеющие некоторый опыт с python, желающие научиться работать с брокерами сообщений, повысить свою ценность для работодателя
Как проходит обучение
Перед началом обучения вам будет необходимо установить необходимый софт и скачать репозиторий с учебными примерами.
Небольшие и предельно простые примеры кода из каждого урока являются самодостаточными и чаще всего не требуют возвращения к предыдущим урокам, чтобы в них разобраться.
Одновременно с просмотром видео или сразу после окончания просмотра необходимо самостоятельно выполнить учебные примеры в своей IDE, подумать как их можно усовершенствовать, применить в своих проектах.
Рекомендуется также ознакомиться с документаций к используемым библиотекам для получения углубленных знаний.

Программа

Перед тем как приступить к работе

1. Системные требования
2. Как загрузить репозиторий с уроками
3. Как настроить IDE и загрузить необходимые библиотеки
4. Как установить Kafka
5. Как установить Offset Explorer
6. Для самых ленивых: готовый образ VirtualBox со всем необходимым

Основы Apache Kafka

1. Основные понятия Kafka

Основы работы с Kafka на python

1. Создаем продюсер и консюмер
2. Один продюсер, два консьюмера
3. Один продюсер, три консьюмера, две группы
4. Два продюсера, два топика, один консьюмер
5. "Осиротевшая партиция" и ребалансировка
6. Распределение по партициям сообщений с разными ключами
7. Работа без автоматического коммита: транзакции

Сериализация данных

1. Сериализация данных в json
2. Применение pydantic
3. Практический пример: приложение сбора данных

Асинхронная работа

1. Что почитать про asyncio
2. Создаем продюсер и консьюмер с использование aiokafka
3. Интегрируем Kafka с веб-приложением на FastApi

Потоковая обработка данных с фреймворком FastStream

1. Основы работы с FastStream

Послесловие

1. Заключение

В курс входят

• 22 урока
• 3 часа 29 минут видео
• 47 тестов