MapReduce Design Patterns. Building Effective Algorithms and Analytics for Hadoop and Other Systems

- Autorzy:
- Donald Miner, Adam Shook
- Promocja Przejdź


- Ocena:
- Bądź pierwszym, który oceni tę książkę
- Stron:
- 250
- Dostępne formaty:
-
ePubMobi
Opis książki: MapReduce Design Patterns. Building Effective Algorithms and Analytics for Hadoop and Other Systems
Until now, design patterns for the MapReduce framework have been scattered among various research papers, blogs, and books. This handy guide brings together a unique collection of valuable MapReduce patterns that will save you time and effort regardless of the domain, language, or development framework you’re using.
Each pattern is explained in context, with pitfalls and caveats clearly identified to help you avoid common design mistakes when modeling your big data architecture. This book also provides a complete overview of MapReduce that explains its origins and implementations, and why design patterns are so important. All code examples are written for Hadoop.
- Summarization patterns: get a top-level view by summarizing and grouping data
- Filtering patterns: view data subsets such as records generated from one user
- Data organization patterns: reorganize data to work with other systems, or to make MapReduce analysis easier
- Join patterns: analyze different datasets together to discover interesting relationships
- Metapatterns: piece together several patterns to solve multi-stage problems, or to perform several analytics in the same job
- Input and output patterns: customize the way you use Hadoop to load or store data
"A clear exposition of MapReduce programs for common data processing patterns—this book is indespensible for anyone using Hadoop."
--Tom White, author of Hadoop: The Definitive Guide
Wybrane bestsellery
-
Branża IT kusi licznymi ofertami pracy, atrakcyjnymi zarobkami i ciekawymi ścieżkami rozwoju nie tylko zawodowych programistów, lecz również osoby bez wykształcenia informatycznego czy doświadczenia w tej dziedzinie. Te ostatnie zwykle zaczynają karierę od roli testera aplikacji. Jednym z podstaw...(0,00 zł najniższa cena z 30 dni)
62.30 zł
89.00 zł(-30%) -
Jeśli chcesz po prostu zrozumieć działanie algorytmów, a nie masz ochoty na mozolne przedzieranie się przez setki trudnych stron, to trzymasz w ręku właściwą książkę! Dzięki temu interesującemu, przystępnemu podręcznikowi szybko przyswoisz sobie najważniejsze pojęcia i łatwo zrozumiesz, w jaki sp...(0,00 zł najniższa cena z 30 dni)
46.90 zł
67.00 zł(-30%) -
Dzięki tej książce nauczysz się przekształcać suche dane liczbowe w pełną empatii narrację! Aby spełniły one swoje zadanie, ktoś musi przedstawić zawarte w nich informacje w postaci opowieści. W tej publikacji wyczerpująco i praktycznie opisano przebieg tego procesu. Jej lektura sprawi, że rozwin...
Opowieści ukryte w danych. Wyjaśnij dane i wywołaj działania za pomocą narracji Opowieści ukryte w danych. Wyjaśnij dane i wywołaj działania za pomocą narracji
(0,00 zł najniższa cena z 30 dni)20.90 zł
67.00 zł(-69%) -
Ta książka jest kontynuacją bestsellera Programista samouk. Dzięki niej zrozumiesz najważniejsze koncepcje związane z różnymi algorytmami i strukturami danych, a to z kolei pozwoli Ci na profesjonalne podejście do tworzenia kodu. Przystępnie opisano tu różne algorytmy, w tym wyszukiwania linioweg...
Informatyk samouk. Przewodnik po strukturach danych i algorytmach dla początkujących Informatyk samouk. Przewodnik po strukturach danych i algorytmach dla początkujących
(0,00 zł najniższa cena z 30 dni)41.30 zł
59.00 zł(-30%) -
Metody statystyczne są kluczowym elementem data science, mimo to niewielu specjalistów data science posiada formalne wykształcenie statystyczne. Kursy i podręczniki o podstawach statystyki, rzadko kiedy omawiają temat z perspektywy data science. W drugim wydaniu tego popularnego podręcznika zosta...
Statystyka praktyczna w data science. 50 kluczowych zagadnień w językach R i Python. Wydanie II Statystyka praktyczna w data science. 50 kluczowych zagadnień w językach R i Python. Wydanie II
(0,00 zł najniższa cena z 30 dni)48.30 zł
69.00 zł(-30%) -
Odpowiedź na to fundamentalne pytanie znajdziesz w tej książce ? drugim wydaniu świetnego podręcznika dla przyszłych mistrzów kodu. Zostało ono, podobnie jak inne pozycje z serii Rusz głową!, przygotowane zgodnie z najnowszymi odkryciami nauk poznawczych, teorii uczenia się i neurofizjologii. I w...
Wzorce projektowe. Rusz głową! Tworzenie rozszerzalnego i łatwego w utrzymaniu oprogramowania obiektowego. Wydanie II Wzorce projektowe. Rusz głową! Tworzenie rozszerzalnego i łatwego w utrzymaniu oprogramowania obiektowego. Wydanie II
(0,00 zł najniższa cena z 30 dni)76.30 zł
109.00 zł(-30%) -
To kolejne wydanie lubianego samouczka, dzięki któremu w ramach 24 godzinnych lekcji przyswoisz solidne podstawy programowania. Zrozumiesz, jak działają programy, i nauczysz się reguł stosowanych przez profesjonalistów przy ich projektowaniu. Dowiesz się, jak wygląda świat programistów i na czym ...
Programowanie dla początkujących w 24 godziny. Wydanie IV Programowanie dla początkujących w 24 godziny. Wydanie IV
(0,00 zł najniższa cena z 30 dni)41.40 zł
69.00 zł(-40%) -
BPMN pozwala na ciągłe analizowanie, monitorowanie i optymalizowanie procesów biznesowych. Jest narzędziem bardzo skutecznym, prawdziwym „świętym Graalem” współczesnego biznesu. Jednak nie jest on niestety tak przyjazny, jak mógłby oczekiwać początkujący użytkownik. Jego oryginalną sp...
Zrozumieć BPMN. Modelowanie procesów biznesowych. Wydanie 2 rozszerzone Zrozumieć BPMN. Modelowanie procesów biznesowych. Wydanie 2 rozszerzone
(0,00 zł najniższa cena z 30 dni)34.30 zł
49.00 zł(-30%) -
Tę książkę docenią ci, którzy opanowali już podstawową składnię Pythona i palą się do pisania własnych programów. Zawiera 81 projektów, które możesz napisać w tym języku. Programy składają się z maksymalnie 256 linii kodu i pozwolą Ci stopniowo nabierać umiejętności programisty - a zupełnie przy ...
Wielka księga małych projektów w Pythonie. 81 łatwych praktycznych programów Wielka księga małych projektów w Pythonie. 81 łatwych praktycznych programów
(0,00 zł najniższa cena z 30 dni)55.30 zł
79.00 zł(-30%) -
Ta książka jest przewodnikiem dla każdego, kto musi przekazywać informacje, robiąc przy tym użytek z danych. Szczególnie wartościowa będzie dla analityków, studentów i naukowców, a także dla każdego, kto w swojej komunikacji odwołuje się do danych. Pokazano tu prostą i intuicyjną technikę przedst...
Storytelling danych. Poradnik wizualizacji danych dla profesjonalistów Storytelling danych. Poradnik wizualizacji danych dla profesjonalistów
(0,00 zł najniższa cena z 30 dni)53.90 zł
77.00 zł(-30%)
Ebooka przeczytasz na:
-
czytnikach Inkbook, Kindle, Pocketbook i innych
-
systemach Windows, MacOS i innych
-
systemach Windows, Android, iOS, HarmonyOS
-
na dowolnych urządzeniach i aplikacjach obsługujących formaty: PDF, EPub, Mobi
Masz pytania? Zajrzyj do zakładki Pomoc »
Audiobooka posłuchasz:
-
w aplikacji Ebookpoint na Android, iOS, HarmonyOs
-
na systemach Windows, MacOS i innych
-
na dowolonych urządzeniach i aplikacjach obsługujących format MP3 (pliki spakowane w ZIP)
Masz pytania? Zajrzyj do zakładki Pomoc »
Kurs Video zobaczysz:
-
w aplikacji Ebookpoint na Android, iOS, HarmonyOs
-
na systemach Windows, MacOS i innych
-
na dowolonych urządzeniach i aplikacjach obsługujących format MP4 (pliki spakowane w ZIP)
Szczegóły książki
- ISBN Ebooka:
- 978-14-493-4198-5, 9781449341985
- Data wydania ebooka:
-
2012-11-21
Data wydania ebooka często jest dniem wprowadzenia tytułu do sprzedaży i może nie być równoznaczna z datą wydania książki papierowej. Dodatkowe informacje możesz znaleźć w darmowym fragmencie. Jeśli masz wątpliwości skontaktuj się z nami sklep@helion.pl.
- Język publikacji:
- angielski
- Rozmiar pliku ePub:
- 5.0MB
- Rozmiar pliku Mobi:
- 5.0MB
Spis treści książki
- MapReduce Design Patterns
- Dedication
- Preface
- Intended Audience
- Pattern Format
- The Examples in This Book
- Conventions Used in This Book
- Using Code Examples
- Safari Books Online
- How to Contact Us
- Acknowledgments
- 1. Design Patterns and MapReduce
- Design Patterns
- MapReduce History
- MapReduce and Hadoop Refresher
- Hadoop Example: Word Count
- Pig and Hive
- 2. Summarization Patterns
- Numerical Summarizations
- Pattern Description
- Intent
- Motivation
- Applicability
- Structure
- Consequences
- Known uses
- Resemblances
- Performance analysis
- Pattern Description
- Numerical Summarization Examples
- Minimum, maximum, and count example
- MinMaxCountTuple code
- Mapper code
- Reducer code
- Combiner optimization
- Data flow diagram
- Minimum, maximum, and count example
- Average example
- Mapper code
- Reducer code
- Combiner optimization
- Data flow diagram
- Numerical Summarizations
- Median and standard deviation
- Mapper code
- Reducer code
- Combiner optimization
- Memory-conscious median and standard deviation
- Mapper code
- Reducer code
- Combiner optimization
- Data flow diagram
- Inverted Index Summarizations
- Pattern Description
- Intent
- Motivation
- Applicability
- Structure
- Consequences
- Performance analysis
- Pattern Description
- Inverted Index Example
- Wikipedia reference inverted index
- Mapper code
- Reducer code
- Combiner optimization
- Wikipedia reference inverted index
- Counting with Counters
- Pattern Description
- Intent
- Motivation
- Applicability
- Structure
- Consequences
- Known uses
- Performance analysis
- Pattern Description
- Counting with Counters Example
- Number of users per state
- Mapper code
- Driver code
- Number of users per state
- 3. Filtering Patterns
- Filtering
- Pattern Description
- Intent
- Motivation
- Applicability
- Structure
- Consequences
- Known uses
- Resemblances
- Performance analysis
- Pattern Description
- Filtering Examples
- Distributed grep
- Mapper code
- Distributed grep
- Simple Random Sampling
- Mapper Code
- Filtering
- Bloom Filtering
- Pattern Description
- Intent
- Motivation
- Applicability
- Structure
- Consequences
- Known uses
- Resemblances
- Performance analysis
- Pattern Description
- Bloom Filtering Examples
- Hot list
- Bloom filter training
- Mapper code
- Hot list
- HBase Query using a Bloom filter
- Mapper Code
- Top Ten
- Pattern Description
- Intent
- Motivation
- Applicability
- Structure
- Consequences
- Known uses
- Resemblances
- Performance analysis
- Pattern Description
- Top Ten Examples
- Top ten users by reputation
- Mapper code
- Reducer code
- Top ten users by reputation
- Distinct
- Pattern Description
- Intent
- Motivation
- Applicability
- Structure
- Consequences
- Known uses
- Resemblances
- Performance analysis
- Pattern Description
- Distinct Examples
- Distinct user IDs
- Mapper code
- Reducer code
- Combiner optimization
- Distinct user IDs
- 4. Data Organization Patterns
- Structured to Hierarchical
- Pattern Description
- Intent
- Motivation
- Applicability
- Structure
- Consequences
- Known uses
- Resemblances
- Performance analysis
- Pattern Description
- Structured to Hierarchical Examples
- Post/comment building on StackOverflow
- Driver code
- Mapper code
- Reducer code
- Post/comment building on StackOverflow
- Question/answer building on StackOverflow
- Mapper code
- Reducer code
- Structured to Hierarchical
- Partitioning
- Pattern Description
- Intent
- Motivation
- Applicability
- Structure
- Consequences
- Known uses
- Resemblances
- Performance analysis
- Pattern Description
- Partitioning Examples
- Partitioning users by last access date
- Driver code
- Mapper code
- Partitioner code
- Reducer code
- Partitioning users by last access date
- Binning
- Pattern Description
- Intent
- Motivation
- Structure
- Consequences
- Resemblances
- Performance analysis
- Pattern Description
- Binning Examples
- Binning by Hadoop-related tags
- Driver code
- Mapper code
- Binning by Hadoop-related tags
- Total Order Sorting
- Pattern Description
- Intent
- Motivation
- Applicability
- Structure
- Consequences
- Resemblances
- Performance analysis
- Pattern Description
- Total Order Sorting Examples
- Sort users by last visit
- Driver code
- Analyze mapper code
- Order mapper code
- Order reducer code
- Sort users by last visit
- Shuffling
- Pattern Description
- Intent
- Motivation
- Structure
- Consequences
- Resemblances
- Performance analysis
- Pattern Description
- Shuffle Examples
- Anonymizing StackOverflow comments
- Mapper code
- Reducer code
- Anonymizing StackOverflow comments
- 5. Join Patterns
- A Refresher on Joins
- Reduce Side Join
- Pattern Description
- Intent
- Motivation
- Applicability
- Structure
- Consequences
- Resemblances
- Performance analysis
- Pattern Description
- Reduce Side Join Example
- User and comment join
- Driver code
- User mapper code
- Comment mapper code
- Reducer code
- Combiner optimization
- User and comment join
- Reduce Side Join with Bloom Filter
- Reputable user and comment join
- User mapper code
- Comment mapper code
- Reputable user and comment join
- Replicated Join
- Pattern Description
- Intent
- Motivation
- Applicability
- Structure
- Consequences
- Resemblances
- Performance analysis
- Pattern Description
- Replicated Join Examples
- Replicated user comment example
- Mapper code
- Replicated user comment example
- Composite Join
- Pattern Description
- Intent
- Motivation
- Applicability
- Structure
- Consequences
- Performance analysis
- Pattern Description
- Composite Join Examples
- Composite user comment join
- Driver code
- Mapper code
- Reducer and combiner
- Composite user comment join
- Cartesian Product
- Pattern Description
- Intent
- Motivation
- Applicability
- Structure
- Consequences
- Resemblances
- Performance Analysis
- Pattern Description
- Cartesian Product Examples
- Comment Comparison
- Input format code
- Driver code
- Record reader code
- Mapper code
- Comment Comparison
- 6. Metapatterns
- Job Chaining
- With the Driver
- Job Chaining Examples
- Basic job chaining
- Job one mapper
- Job one reducer
- Job two mapper
- Driver code
- Basic job chaining
- Parallel job chaining
- Mapper code
- Reducer code
- Driver code
- Job Chaining
- With Shell Scripting
- Bash example
- Bash script
- Sample run
- Bash example
- With JobControl
- Job control example
- Main method
- Helper methods
- Job control example
- Chain Folding
- The ChainMapper and ChainReducer Approach
- Chain Folding Example
- Bin users by reputation
- Parsing mapper code
- Replicated join mapper code
- Reducer code
- Binning mapper code
- Driver code
- Bin users by reputation
- Job Merging
- Job Merging Examples
- Anonymous comments and distinct users
- TaggedText WritableComparable
- Merged mapper code
- Merged reducer code
- Driver code
- Anonymous comments and distinct users
- Job Merging Examples
- 7. Input and Output Patterns
- Customizing Input and Output in Hadoop
- InputFormat
- RecordReader
- OutputFormat
- RecordWriter
- Customizing Input and Output in Hadoop
- Generating Data
- Pattern Description
- Intent
- Motivation
- Structure
- Consequences
- Resemblances
- Performance analysis
- Pattern Description
- Generating Data Examples
- Generating random StackOverflow comments
- Driver code
- InputSplit code
- InputFormat code
- RecordReader code
- Generating random StackOverflow comments
- External Source Output
- Pattern Description
- Intent
- Motivation
- Structure
- Consequences
- Performance analysis
- Pattern Description
- External Source Output Example
- Writing to Redis instances
- OutputFormat code
- RecordWriter code
- Mapper Code
- Driver Code
- Writing to Redis instances
- External Source Input
- Pattern Description
- Intent
- Motivation
- Structure
- Consequences
- Performance analysis
- Pattern Description
- External Source Input Example
- Reading from Redis Instances
- InputSplit code
- InputFormat code
- RecordReader code
- Driver code
- Reading from Redis Instances
- Partition Pruning
- Pattern Description
- Intent
- Motivation
- Structure
- Consequences
- Resemblances
- Performance analysis
- Pattern Description
- Partition Pruning Examples
- Partitioning by last access date to Redis instances
- Custom WritableComparable code
- OutputFormat code
- RecordWriter code
- Mapper code
- Driver code
- Partitioning by last access date to Redis instances
- Querying for user reputation by last access date
- InputSplit code
- InputFormat code
- RecordReader code
- Driver code
- 8. Final Thoughts and the Future of Design Patterns
- Trends in the Nature of Data
- Images, Audio, and Video
- Streaming Data
- Trends in the Nature of Data
- The Effects of YARN
- Patterns as a Library or Component
- How You Can Help
- A. Bloom Filters
- Overview
- Use Cases
- Representing a Data Set
- Reduce Queries to External Database
- Google BigTable
- Downsides
- Tweaking Your Bloom Filter
- Index
- About the Authors
- Colophon
- Copyright
O'Reilly Media - inne książki
-
FinOps brings financial accountability to the variable spend model of cloud. Used by the majority of global enterprises, this management practice has grown from a fringe activity to the de facto discipline managing cloud spend. In this book, authors J.R. Storment and Mike Fuller outline the proce...(0,00 zł najniższa cena z 30 dni)
262.65 zł
309.00 zł(-15%) -
Edge AI is transforming the way computers interact with the real world, allowing IoT devices to make decisions using the 99% of sensor data that was previously discarded due to cost, bandwidth, or power limitations. With techniques like embedded machine learning, developers can capture human intu...(0,00 zł najniższa cena z 30 dni)
262.65 zł
309.00 zł(-15%) -
Why is it difficult for so many companies to get digital identity right? If you're still wrestling with even simple identity problems like modern website authentication, this practical book has the answers you need. Author Phil Windley provides conceptual frameworks to help you make sense of all ...(0,00 zł najniższa cena z 30 dni)
186.15 zł
219.00 zł(-15%) -
Python was recently ranked as today's most popular programming language on the TIOBE index, thanks to its broad applicability to design and prototyping to testing, deployment, and maintenance. With this updated fourth edition, you'll learn how to get the most out of Python, whether you're a profe...(0,00 zł najniższa cena z 30 dni)
296.65 zł
349.00 zł(-15%) -
With the accelerating speed of business and the increasing dependence on technology, companies today are significantly changing the way they build in-house business solutions. Many now use low-code and no code technologies to help them deal with specific issues, but that's just the beginning. Wit...
Building Solutions with the Microsoft Power Platform Building Solutions with the Microsoft Power Platform
(0,00 zł najniższa cena z 30 dni)262.65 zł
309.00 zł(-15%) -
Companies are scrambling to integrate AI into their systems and operations. But to build truly successful solutions, you need a firm grasp of the underlying mathematics. This accessible guide walks you through the math necessary to thrive in the AI field such as focusing on real-world application...(0,00 zł najniższa cena z 30 dni)
262.65 zł
309.00 zł(-15%) -
DevOps engineers, developers, and security engineers have ever-changing roles to play in today's cloud native world. In order to build secure and resilient applications, you have to be equipped with security knowledge. Enter security as code.In this book, authors BK Sarthak Das and Virginia Chu d...(0,00 zł najniższa cena z 30 dni)
186.15 zł
219.00 zł(-15%) -
With the increasing use of AI in high-stakes domains such as medicine, law, and defense, organizations spend a lot of time and money to make ML models trustworthy. Many books on the subject offer deep dives into theories and concepts. This guide provides a practical starting point to help develop...(0,00 zł najniższa cena z 30 dni)
262.65 zł
309.00 zł(-15%) -
Why are so many companies adopting GitOps for their DevOps and cloud native strategy? This reliable framework is quickly becoming the standard method for deploying apps to Kubernetes. With this practical, developer-oriented book, DevOps engineers, developers, IT architects, and SREs will learn th...(0,00 zł najniższa cena z 30 dni)
262.65 zł
309.00 zł(-15%) -
Learn the essentials of working with Flutter and Dart to build full stack applications that meet the needs of a cloud-driven world. Together, the Flutter open source UI software development kit and the Dart programming language for client development provide a unified solution to building applica...(0,00 zł najniższa cena z 30 dni)
220.15 zł
259.00 zł(-15%)
Dzieki opcji "Druk na żądanie" do sprzedaży wracają tytuły Grupy Helion, które cieszyły sie dużym zainteresowaniem, a których nakład został wyprzedany.
Dla naszych Czytelników wydrukowaliśmy dodatkową pulę egzemplarzy w technice druku cyfrowego.
Co powinieneś wiedzieć o usłudze "Druk na żądanie":
- usługa obejmuje tylko widoczną poniżej listę tytułów, którą na bieżąco aktualizujemy;
- cena książki może być wyższa od początkowej ceny detalicznej, co jest spowodowane kosztami druku cyfrowego (wyższymi niż koszty tradycyjnego druku offsetowego). Obowiązująca cena jest zawsze podawana na stronie WWW książki;
- zawartość książki wraz z dodatkami (płyta CD, DVD) odpowiada jej pierwotnemu wydaniu i jest w pełni komplementarna;
- usługa nie obejmuje książek w kolorze.
W przypadku usługi "Druk na żądanie" termin dostarczenia przesyłki może obejmować także czas potrzebny na dodruk (do 10 dni roboczych)
Masz pytanie o konkretny tytuł? Napisz do nas: sklep[at]helion.pl.
Książka, którą chcesz zamówić pochodzi z końcówki nakładu. Oznacza to, że mogą się pojawić drobne defekty (otarcia, rysy, zagięcia).
Co powinieneś wiedzieć o usłudze "Końcówka nakładu":
- usługa obejmuje tylko książki oznaczone tagiem "Końcówka nakładu";
- wady o których mowa powyżej nie podlegają reklamacji;
Masz pytanie o konkretny tytuł? Napisz do nas: sklep[at]helion.pl.


Oceny i opinie klientów: MapReduce Design Patterns. Building Effective Algorithms and Analytics for Hadoop and Other Systems Donald Miner, Adam Shook (0)
Weryfikacja opinii następuję na podstawie historii zamówień na koncie Użytkownika umieszczającego opinię. Użytkownik mógł otrzymać punkty za opublikowanie opinii uprawniające do uzyskania rabatu w ramach Programu Punktowego.