Практический fast-track по data engineering: за 4–6 недель собираем рабочий конвейер Kafka → Spark → Lakehouse под управлением Airflow. Разберём batch и streaming, окна и watermark, схемы и контракты. Мини‑проекты, Docker Compose, шаблоны DAG и пайплайнов. Курс подойдёт инженерам, аналитикам и...
Программа курса Администрирование кластера Kafka
1. Введение в Kafka
Что такое Apache Kafka?
Сценарии использования Kafka
Компоненты Kafka и Kafka экосистемы
Архитектура Kafka
Кластер Zookeeper (Установка кластера Kafka без использования Zookeeper KIP-500)
2. Основные концепции Kafka
Как...
О чем этот курс?
Построение распределенных event-driven систем. Автор делает акцент на аспектах, которые сложно заметить при изучении теоретического материала, делится знаниями, которые он получил применяя event-driven идеологию на практике.
Event-sourcing. Этот подход является особенно...
Вы научитесь работать с потоковой обработкой данных, познакомитесь с Kafka и Spark Structured Streaming, освоите NoSQL поверх больших данных, подружите Spark с Cassandra.
Подробнее о каждом модуле и полезных навыках, которые вы освоите в модуле, мы рассказали ниже.
В этом модуле вы изучите:
▶...
Пишем сервис на Go
От А до Я разберём написание сервисов в Go на примере чата поддержки банка
Глобальная задача курса:
Написать с нуля бекенд для чата поддержки банка со всеми вытекающими. После прохождения курса не должно остаться непонятных моментов в том, как могут быть разработаны и...
Что даст вам этот курс
Kafka — это сервис, позволяющий в реальном времени и с высокой пропускной способностью передавать сообщения между различными системами. Его используют для различных целей — передача данных в хранилище, потоковая аналитика, взаимодействие между сервисами и т. д.
Если вы...
Микросервисная архитектура позволяет разбить монолитное приложение на независимые компоненты, или сервисы. Такие программы легко тестировать и дополнять новыми бизнес-функциями — изменения в одной части кода не влияют на другую.
Микросервисы интегрируют с базами данных и упаковывают в...
НАУЧИСЬ СОЗДАВАТЬ СИСТЕМУ ОБМЕНА СООБЩЕНИЯМИ ДЛЯ 1С НА APACHE KAFKA ЗА 5 ЧАСОВ
Использование открытой платформой для распределенной потоковой передачи событий с возможностью создания высокопроизводительных конвейеров обработки данных для целей аналитики данных или их интеграции в бизнес-целях...
Каждое корпоративное приложение создает данные, независимо от того, состоят ли они из сообщений журнала, метрик, активности пользователя или исходящих сообщений. Перемещение всех этих данных так же важно, как и сами данные. В этом обновленном выпуске архитекторы приложений, разработчики и...
В процессе обучения вы познакомитесь с возможностями ПО Apache Kafka для интеграции приложений, рассмотрите практические примеры по созданию распределенных приложений.
Apache Kafka – открытый распределенный высокопроизводительный программный брокер сообщений. Apache Kafka обеспечивает...