ODBIERZ TWÓJ BONUS :: »

PySpark. Kurs video. Optymalizacja i procesowanie danych

Podstawowe informacje:
Czas trwania: 05:02:35
Poziom: średnio zaawansowany
Autor: Piotr Chudzik
Liczba lekcji: 34
Dla firm
Rozwiń umiejętności swoich pracowników dzięki kursom video
Dowiedz się więcej
  • Monitorowanie postępów pracowników. Przejrzyste raporty i imienne certyfikaty ukończenia kursów
  • Atrakcyjne rabaty dla zespołów. Im więcej pracowników liczy zespół, tym większy uzyskasz rabat
  • Doradztwo w wyborze tematyki szkoleń. Mamy setki kursów, dostosujemy program nauczania pod Twój zespół
Indywidualnie
126,65 zł 149,00 zł (-15%)
149,00 zł najniższa cena z 30 dni Dodaj do koszyka Za zakup otrzymasz 126 punktów
Korzyści:
  • Certyfikat ukończenia
  • Materiały dodatkowe do kursu
  • Test online
  • Dożywotni dostęp
  • Dostęp w aplikacji (także offline)
  • Napisy w języku polskim
Ścieżki rozwoju w helion.pl

Czego się nauczysz?

  • Przygotowywać środowisko pracy (klaster)
  • Konfigurować sesję PySpark
  • Agregować dane
  • Korzystać z pamięci podręcznej
  • Używać funkcji okna
  • Pracować z kolekcjami danych
  • Działać na danych z różnych źródeł
  • Przetwarzać dane w czasie rzeczywistym
  • Pracować z formatem Delta

Spis lekcji

1. Wprowadzenie 00:26:49
1.1. Wstęp
00:04:07
1.2. Omówienie środowiska pracy
00:10:34
1.3. Wprowadzenie do SparkSession
00:12:08
2. Spark Config 00:44:06
2.1. SparkSession (python)
00:11:34
2.2. SparkSession (spark submit)
00:10:47
2.3. Spark Config
00:10:26
2.4. Instalacja bibliotek/pakietów
00:11:19
3. Praca z źródłami statycznymi 01:09:04
3.1. Format JSON
00:07:26
3.2. Format XML
00:06:09
3.3. Przygotowanie bazy danych SQL
OGLĄDAJ » 00:07:20
3.4. Odczytywanie danych z bazy SQL
00:12:07
3.5. Zapis DataFrame do bazy SQL
00:10:56
3.6. Format Parquet
00:08:08
3.7. Czytanie danych z S3
00:12:12
3.8. Czytanie zbiorów
00:04:46
4. Agregacja i Kolekcje 01:10:05
4.1. Listy (Array)
00:05:21
4.2. Funkcje listy
00:08:36
4.3. Słowniki (Map)
00:04:02
4.4. Funkcje mapy
00:07:15
4.5. Grupowanie danych i agregacja cz. 1
OGLĄDAJ » 00:05:51
4.6. Grupowanie danych i agregacja cz. 2
00:08:16
4.7. Pivot kolekcji danych
00:06:26
4.8. Funkcje okna cz. 1
00:10:34
4.9. Funkcje okna cz. 2
00:13:44
5. Optymalizacja pracy 00:42:15
5.1. Polecenie explain
00:09:04
5.2. Cache & Persist
00:09:44
5.3. Partycjonowanie DataFrame
00:12:01
5.4. Polecenie PartitionBy
00:11:26
6. Wprowadzenie do formatu delta 00:39:58
6.1. Sesja z Delta Table
00:07:46
6.2. Funkcje UPDATE, DELETE, MERGE
00:21:10
6.3. TimeTravel & Restore
00:11:02
7. Wprowadzenie do Spark Streaming 00:18:34
7.1. Obsługa Kafki
00:04:00
7.2. ReadStream
00:06:36
7.3. WriteStream
00:07:58

Obierz kurs na... optymalizację pracy z danymi

We współczesnej gospodarce rynkowej dane stały się nowym złotem. Kto nimi dysponuje, potrafi je w odpowiedni sposób przetworzyć i wyciągnąć z nich właściwe wnioski, zyskuje sporą przewagę konkurencyjną. Stąd na rynku pracy rosnące zapotrzebowanie na data engineerów – potrzebują ich wszystkie większe firmy i organizacje, których menedżerowie rozumieją wagę informacji w prowadzeniu biznesu, urzędu, instytucji czy dowolnego innego podmiotu. Jeśli interesuje Cię poznanie tajników pracy data engineera albo jeśli masz już doświadczenie w zawodzie i chcesz rozwinąć umiejętności w zakresie świetnego narzędzia służącego sprawniejszej pracy z danymi, to nasz kurs jest dla Ciebie.

Szkolenie, które proponujemy, skupia się na frameworku PySpark (Apache Spark dla Pythona). Jest to najpopularniejszy interfejs programowania aplikacji (API) dla języka Python i zarazem główny element platformy Databricks. Zastosowanie go umożliwia między innymi analizowanie dużych zbiorów danych i przeprowadzanie obliczeń na wielu komputerach równocześnie. Nasz kurs pozwala poznać najważniejsze składowe i funkcjonalności frameworka, rozbudować wiedzę na jego temat o nowe sposoby pobierania danych, pracę z bazami SQL i formatem Delta. W trakcie szkolenia pokazujemy również, jak partycjonować dane, korzystać z pamięci podręcznej (cache) i przetwarzać dane w czasie rzeczywistym (Spark Streaming).

Uwaga! Kurs zawiera informacje, które pojawiają się na rozmowach rekrutacyjnych i podczas certyfikacji.

PySpark. Kurs video. Optymalizacja i procesowanie danych kończy się na poziomie średnio zaawansowanym. Wiedza i umiejętności zdobyte w trakcie szkolenia pozwalają sprawnie korzystać z możliwości frameworka PySpark, rozpocząć pracę z nowymi źródłami danych, a także skuteczniej optymalizować zadania związane z pracą z danymi.

O autorze kursu video

Piotr Chudzik - absolwent Politechniki Łódzkiej, jego specjalizacja zawodowa to technologie big data oraz administracja nowoczesnymi środowiskami IT (wykorzystującymi między innymi cloud computing, konteneryzację czy IaC - infrastructure as code). Pracuje jako wykładowca na Uniwersytecie Łódzkim, gdzie przekazuje studentom wiedzę na temat Linuksa, baz danych i programowania w języku Python. Jest również trenerem w Software Development Academy. Na co dzień zatrudniony jako menadżer techniczny w dużym zagranicznym banku, odpowiada za prawidłowe i nieprzerwane działanie aplikacji opartych na Google Cloud Platform. Zawsze otwarty na nowe doświadczenia oraz wiedzę, którą w przyszłości mógłby się podzielić z innymi. Interesuje się grami komputerowymi, światem nowych technologii i fantastyką. Jest fanem serii Wiedźmin i uniwersum Warhammera.

Sukces wymaga wcześniejszego przygotowania, bez niego z pewnością osiągniemy porażkę.

Konfucjusz

Oceny i opinie klientów: PySpark. Kurs video. Optymalizacja i procesowanie danych Piotr Chudzik (0)

Informacja o opiniach
Weryfikacja opinii następuje na podstawie historii zamowień na koncie Użytkownika umiejszczającego opinię. Użytkownik mógł otrzymać punkty za opublikowanie opinii uprawniającej do uzyskania rabatu w ramach Programu Kadr.

Szczegóły kursu

Dane producenta » Dane producenta:

Helion SA
ul. Kościuszki 1C
41-100 Gliwice
e-mail: gpsr@helion.pl
Format: Online
Data aktualizacji: 2025-11-06
ISBN: 978-83-289-3360-6, 9788328933606
Numer z katalogu: 269665
Kurs video
126,65 zł
Dodaj do koszyka
Zamknij Pobierz aplikację mobilną Helion