Airflow. Kurs video. Zaawansowane operatory przetwarzania danych

Nowość

Promocja

Piotr Chudzik

Podstawowe informacje:

Czas trwania: 03:27:32

Poziom: zaawansowany

Autor: Piotr Chudzik

Liczba lekcji: 27

Dla firm

Rozwiń umiejętności swoich pracowników dzięki kursom video

Dowiedz się więcej

Monitorowanie postępów pracowników. Przejrzyste raporty i imienne certyfikaty ukończenia kursów
Atrakcyjne rabaty dla zespołów. Im więcej pracowników liczy zespół, tym większy uzyskasz rabat
Doradztwo w wyborze tematyki szkoleń. Mamy setki kursów, dostosujemy program nauczania pod Twój zespół

Indywidualnie

143,65 zł ~~169,00 zł~~ (-15%)

169,00 zł najniższa cena z 30 dni Dodaj do koszyka

Do przechowalni

Korzyści:

Certyfikat ukończenia
Materiały dodatkowe do kursu
Test online
Dożywotni dostęp
Dostęp w aplikacji (także offline)

Czego się nauczysz?

Konfiguracji środowiska pracy w wersji standalone i HA
Kolejkowania zadań
Korzystania z zewnętrznych rozszerzeń (dostawców)
Przetwarzania danych w czasie rzeczywistym
Dbania o jakość danych podczas pracy z relacyjnymi bazami danych
Pracy z zasobami typu S3 i SFTP

Spis lekcji

1. Wprowadzenie 00:20:27

1.1. Wstęp

00:05:31

1.2. Przygotowanie środowiska (lokalne)

00:14:56

2. Operatory Pythona 00:22:53

2.1. ExternalPythonOperator

00:07:02

2.2. PythonVirtualenvOperator

OGLĄDAJ » 00:07:16

2.3. BranchPythonVirtualenvOperator/BranchExternalPythonOperator

00:08:35

3. Operatory SQL 00:57:30

3.1. SQLColumnCheckOperator

00:11:21

3.2. SQLTableCheckOperator

00:08:21

3.3. SQLCheckOperator

00:04:53

3.4. SQLValueCheckOperator

00:05:51

3.5. SQLIntervalCheckOperator

00:07:41

3.6. SQLThresholdCheckOperator

00:04:11

3.7. SQLInsertRowsOperator

00:08:58

3.8. BranchSQLOperator

OGLĄDAJ » 00:06:14

4. Zewnętrzne operatory - Docker/Storage 00:41:07

4.1. DockerOperator

00:10:57

4.2. Operatory S3

00:08:46

4.3. Sensor S3

00:03:39

4.4. sftpGO (przygotowanie)

00:06:43

4.5. Operatory SFTP

00:07:38

4.6. SFTP Sensor

00:03:24

5. Zewnętrzne operatory - Kafka/Spark 00:40:09

5.1. Konfiguracja Apache Kafka

00:05:35

5.2. ProduceToTopicOperator

00:08:00

5.3. ConsumeFromTopicOperator (Pojedynczo)

00:09:33

5.4. ConsumeFromTopicOperator (Batch)

00:07:36

5.5. SparkSubmitOperator

00:09:25

6. Zarządzanie klastrem 00:25:26

6.1. Przygotowanie środowiska (klaster)

00:11:40

6.2. Poole

00:06:45

6.3. Kolejka

00:07:01

Obierz kurs na... lepsze zarządzanie i przetwarzanie danych

Jeśli pracujesz z danymi, dobrze wiesz, jakie znaczenie mają dla biznesu, na którego rzecz działasz. Dane są współczesnym złotem – kto je posiada, potrafi odpowiednio posortować, przetworzyć i wyciągnąć z nich korzystne dla siebie wnioski, ten zyskuje ogromną przewagę konkurencyjną. Danych można użyć także do „nakarmienia” sztucznej inteligencji. Trenowana na właściwie dobranych informacjach, będzie w stanie szybko i precyzyjnie wykonać zadania, które ludziom zajęłyby znacznie więcej czasu. Zdając sobie sprawę z wagi tematu, firmy poszukują data engineerów i chętnie inwestują w oprogramowanie, które ułatwia im pracę.

Jednym z takich narzędzi – i to działającym na zasadzie open source – jest Apache Airflow. Platforma ta została stworzona po to, by usprawnić zarządzanie przepływami danych. Stanowi jeden z najpopularniejszych orkiestratorów zadań – każda z dostępnych chmur ma implementację Airflow jako moduł. Dodatkową zaletą platformy jest to, że środowisko pracy można uruchomić w systemie Kubernetes/Docker. Jeśli chcesz bliżej poznać możliwości tego narzędzia, uczestnictwo w naszym kursie video będzie ku temu świetną okazją – za jego sprawą rozwiniesz wiedzę na temat Apache Airflow o nowe operatory bazujące na Pythonie lub na relacyjnych bazach danych. Dodatkowo podczas szkolenia poruszone zostaną tematy pozwalające na rozszerzenie funkcjonalności o nowe komponenty (praca z S3, SFTP/FTP czy serwisem Apache Kafka). W jego trakcie zapoznasz się również ze środowiskiem pracy w wersji HA.

Airflow. Kurs video. Zaawansowane operatory przetwarzania danych kończy się na poziomie średnio zaawansowanym. Aby móc w pełni skorzystać z wiedzy przekazywanej w trakcie szkolenia, dobrze mieć opanowane podstawy Pythona, Airflow i Dockera. Informacje zdobyte podczas kursu pozwolą jego uczestnikowi na budowanie zaawansowanych DAG-ów (czyli grafów acyklicznych).

O autorze kursu video

Piotr Chudzik - absolwent Politechniki Łódzkiej, jego specjalizacja zawodowa to technologie big data oraz administracja nowoczesnymi środowiskami IT (wykorzystującymi między innymi cloud computing, konteneryzację czy IaC - infrastructure as code). Pracuje jako wykładowca na Uniwersytecie Łódzkim, gdzie przekazuje studentom wiedzę na temat Linuksa, baz danych i programowania w języku Python. Jest również trenerem w Software Development Academy. Na co dzień zatrudniony jako menadżer techniczny w dużym zagranicznym banku, odpowiada za prawidłowe i nieprzerwane działanie aplikacji opartych na Google Cloud Platform. Zawsze otwarty na nowe doświadczenia oraz wiedzę, którą w przyszłości mógłby się podzielić z innymi. Interesuje się grami komputerowymi, światem nowych technologii i fantastyką. Jest fanem serii Wiedźmin i uniwersum Warhammera.