Opis książki: Transformers for Natural Language Processing
The transformer architecture has proved to be revolutionary in outperforming the classical RNN and CNN models in use today. With an apply-as-you-learn approach, Transformers for Natural Language Processing investigates in vast detail the deep learning for machine translations, speech-to-text, text-to-speech, language modeling, question answering, and many more NLP domains with transformers.
The book takes you through NLP with Python and examines various eminent models and datasets within the transformer architecture created by pioneers such as Google, Facebook, Microsoft, OpenAI, and Hugging Face.
The book trains you in three stages. The first stage introduces you to transformer architectures, starting with the original transformer, before moving on to RoBERTa, BERT, and DistilBERT models. You will discover training methods for smaller transformers that can outperform GPT-3 in some cases. In the second stage, you will apply transformers for Natural Language Understanding (NLU) and Natural Language Generation (NLG). Finally, the third stage will help you grasp advanced language understanding techniques such as optimizing social network datasets and fake news identification.
By the end of this NLP book, you will understand transformers from a cognitive science perspective and be proficient in applying pretrained transformer models by tech giants to various datasets.
Wybrane bestsellery
-
To drugie, zaktualizowane i poprawione wydanie bestsellerowego podręcznika Programowania w Pythonie pozwoli Ci błyskawicznie zacząć tworzyć kod, który działa! Zaczniesz od zrozumienia podstawowych koncepcji programistycznych, następnie nauczysz się zapewniać programom interaktywność i wykształcis...(0,00 zł najniższa cena z 30 dni)
59.40 zł
99.00 zł(-40%) -
Metody statystyczne są kluczowym elementem data science, mimo to niewielu specjalistów data science posiada formalne wykształcenie statystyczne. Kursy i podręczniki o podstawach statystyki, rzadko kiedy omawiają temat z perspektywy data science. W drugim wydaniu tego popularnego podręcznika zosta...
Statystyka praktyczna w data science. 50 kluczowych zagadnień w językach R i Python. Wydanie II Statystyka praktyczna w data science. 50 kluczowych zagadnień w językach R i Python. Wydanie II
(0,00 zł najniższa cena z 30 dni)41.40 zł
69.00 zł(-40%) -
To kompleksowy podręcznik do nauki programowania w Pythonie. Jego piąte wydanie zostało gruntownie zaktualizowane i rozbudowane o dodatkowe treści. Omówiono tu najnowsze wersje Pythona w liniach 3.X i 2.X, czyli 3.3 i 2.7, i dodano opisy nowych lub rozszerzonych mechanizmów, takich jak obsługa fo...(0,00 zł najniższa cena z 30 dni)
119.40 zł
199.00 zł(-40%) -
Mało kto lubi matematykę, zwłaszcza algebrę czy analizę matematyczną. Wydaje się trudna i niezrozumiała. Bardzo łatwo popełnić błędy podczas rozwiązywania równań różniczkowych czy całek. Jeśli jednak powierzysz najtrudniejszą i najżmudniejszą część obliczeń komputerowi, szybko się przekonasz, że ...
Matematyka w Pythonie. Algebra, statystyka, analiza matematyczna i inne dziedziny Matematyka w Pythonie. Algebra, statystyka, analiza matematyczna i inne dziedziny
(0,00 zł najniższa cena z 30 dni)41.40 zł
69.00 zł(-40%) -
Oto praktyczny przewodnik po wersji 3.0 systemu Spark, metodach statystycznych i rzeczywistych zbiorach danych. Omówiono w nim zasady rozwiązywania problemów analitycznych za pomocą interfejsu PySpark, z wykorzystaniem dobrych praktyk programowania w systemie Spark. Po lekturze można bezproblemow...
Zaawansowana analiza danych w PySpark. Metody przetwarzania informacji na szeroką skalę z wykorzystaniem Pythona i systemu Spark Zaawansowana analiza danych w PySpark. Metody przetwarzania informacji na szeroką skalę z wykorzystaniem Pythona i systemu Spark
Akash Tandon, Sandy Ryza, Uri Laserson, Sean Owen, Josh Wills
(0,00 zł najniższa cena z 30 dni)41.40 zł
69.00 zł(-40%) -
Ta książka jest kompleksowym wprowadzeniem do matematyki dyskretnej, przydatnym dla każdego, kto chce pogłębić i ugruntować swoje umiejętności informatyczne. W zrozumiały sposób przedstawiono tu metody matematyki dyskretnej i ich zastosowanie w algorytmach i analizie danych, włączając w to techni...
Matematyka dyskretna dla praktyków. Algorytmy i uczenie maszynowe w Pythonie Matematyka dyskretna dla praktyków. Algorytmy i uczenie maszynowe w Pythonie
(0,00 zł najniższa cena z 30 dni)41.40 zł
69.00 zł(-40%) -
Ta książka jest przeznaczona dla osób, które nie umieją programować, ale chciałyby zapoznać się z kryptografią. Omówiono tu podstawowe koncepcje programowania w Pythonie, który dziś jest uważany za najlepszy język dla początkujących koderów. Pokazano, jak tworzyć, testować i łamać programy implem...
Złam ten kod z Pythonem. Jak tworzyć, testować i łamać szyfry Złam ten kod z Pythonem. Jak tworzyć, testować i łamać szyfry
(0,00 zł najniższa cena z 30 dni)26.90 zł
89.00 zł(-70%) -
To drugie wydanie bestsellerowego przewodnika po technikach uczenia maszynowego. Wystarczą minimalne umiejętności programistyczne, aby dzięki tej książce nauczyć się budowania i trenowania głębokiej sieci neuronowej. Zawarto tu minimum teorii, a proces nauki jest ułatwiony przez liczne przykłady ...
Uczenie maszynowe z użyciem Scikit-Learn i TensorFlow. Wydanie II Uczenie maszynowe z użyciem Scikit-Learn i TensorFlow. Wydanie II
(0,00 zł najniższa cena z 30 dni)77.40 zł
129.00 zł(-40%) -
Chyba nikt nie mógł przewidzieć, że komputer i Internet tak szybko staną się nieodłącznymi towarzyszami naszego codziennego życia. Czy tego chcemy, czy nie, nadszedł moment, aby się z nimi zaprzyjaźnić. W przeciwnym razie nadal będziemy tracić mnóstwo czasu na czekanie w kolejkach i „analog...(0,00 zł najniższa cena z 30 dni)
29.40 zł
49.00 zł(-40%) -
Ta książka jest zwięzłym, skupionym na praktyce przewodnikiem po Pythonie w wersji 3.6 i nowszych. Dzięki niej skoncentrujesz się na rdzeniu języka i podstawowych zagadnieniach, które musisz doskonale opanować, jeśli chcesz pisać w nim dobry kod. Dowiesz się zatem, jak działa Python i jakich zasa...(0,00 zł najniższa cena z 30 dni)
41.40 zł
69.00 zł(-40%)
Denis Rothman - pozostałe książki
-
BONUS OpenAI ChatGPT, GPT-4, and DALL-E notebooks in the book's GitHub repository - Start coding with these SOTA transformers.
Transformers for Natural Language Processing - Second Edition Transformers for Natural Language Processing - Second Edition
-
Resolve the black box models in your AI applications to make them fair, trustworthy, and secure. Familiarize yourself with the basic principles and tools to deploy Explainable AI (XAI) into your apps and reporting interfaces.
-
Understand the fundamentals and develop your own AI solutions in this updated edition packed with many new examples
Artificial Intelligence By Example - Second Edition Artificial Intelligence By Example - Second Edition
-
Develop real-world applications powered by the latest advances in intelligent systems Key Features Gain real-world contextualization using deep learning problems concerning research and application Get to know the best practices to improve and optimize your machine learning systems and algorithm...
Python: Beginner's Guide to Artificial Intelligence Python: Beginner's Guide to Artificial Intelligence
Denis Rothman, Matthew Lamons, Rahul Kumar, Abhishek Nagaraja, Amir Ziai, Ankit Dixit
-
Be an adaptive thinker that leads the way to Artificial Intelligence Key Features AI-based examples to guide you in designing and implementing machine intelligence Develop your own method for future AI solutions Acquire advanced AI, machine learning, and deep learning design skills Book Desc...
Ebooka przeczytasz na:
-
czytnikach Inkbook, Kindle, Pocketbook, Onyx Boox i innych
-
systemach Windows, MacOS i innych
-
systemach Windows, Android, iOS, HarmonyOS
-
na dowolnych urządzeniach i aplikacjach obsługujących formaty: PDF, EPub, Mobi
Masz pytania? Zajrzyj do zakładki Pomoc »
Audiobooka posłuchasz:
-
w aplikacji Ebookpoint na Android, iOS, HarmonyOs
-
na systemach Windows, MacOS i innych
-
na dowolonych urządzeniach i aplikacjach obsługujących format MP3 (pliki spakowane w ZIP)
Masz pytania? Zajrzyj do zakładki Pomoc »
Kurs Video zobaczysz:
-
w aplikacji Ebookpoint na Android, iOS, HarmonyOs
-
na systemach Windows, MacOS i innych
-
na dowolonych urządzeniach i aplikacjach obsługujących format MP4 (pliki spakowane w ZIP)
Szczegóły książki
- Tytuł oryginału:
- Transformers for Natural Language Processing
- ISBN Ebooka:
- 978-18-005-6863-1, 9781800568631
- Data wydania ebooka:
-
2021-01-29
Data wydania ebooka często jest dniem wprowadzenia tytułu do sprzedaży i może nie być równoznaczna z datą wydania książki papierowej. Dodatkowe informacje możesz znaleźć w darmowym fragmencie. Jeśli masz wątpliwości skontaktuj się z nami sklep@helion.pl.
- Język publikacji:
- angielski
- Rozmiar pliku Pdf:
- 5.5MB
- Rozmiar pliku ePub:
- 5.4MB
- Rozmiar pliku Mobi:
- 10.1MB
- Kategorie:
Programowanie » Python - Programowanie
Aplikacje biurowe » Inne
Spis treści książki
- Preface
- Who this book is for
- What this book covers
- To get the most out of this book
- Get in touch
- Getting Started with the Model Architecture of the Transformer
- The background of the Transformer
- The rise of the Transformer: Attention Is All You Need
- The encoder stack
- Input embedding
- Positional encoding
- Sub-layer 1: Multi-head attention
- Sub-layer 2: Feedforward network
- The encoder stack
- The decoder stack
- Output embedding and position encoding
- The attention layers
- The FFN sub-layer, the Post-LN, and the linear layer
- Training and performance
- Before we end the chapter
- Summary
- Questions
- References
- Fine-Tuning BERT Models
- The architecture of BERT
- The encoder stack
- Preparing the pretraining input environment
- The encoder stack
- Pretraining and fine-tuning a BERT model
- The architecture of BERT
- Fine-tuning BERT
- Activating the GPU
- Installing the Hugging Face PyTorch interface for BERT
- Importing the modules
- Specifying CUDA as the device for torch
- Loading the dataset
- Creating sentences, label lists, and adding BERT tokens
- Activating the BERT tokenizer
- Processing the data
- Creating attention masks
- Splitting data into training and validation sets
- Converting all the data into torch tensors
- Selecting a batch size and creating an iterator
- BERT model configuration
- Loading the Hugging Face BERT uncased base model
- Optimizer grouped parameters
- The hyperparameters for the training loop
- The training loop
- Training evaluation
- Predicting and evaluating using the holdout dataset
- Evaluating using Matthews Correlation Coefficient
- The score of individual batches
- Matthews evaluation for the whole dataset
- Summary
- Questions
- References
- Pretraining a RoBERTa Model from Scratch
- Training a tokenizer and pretraining a transformer
- Building KantaiBERT from scratch
- Step 1: Loading the dataset
- Step 2: Installing Hugging Face transformers
- Step 3: Training a tokenizer
- Step 4: Saving the files to disk
- Step 5: Loading the trained tokenizer files
- Step 6: Checking resource constraints: GPU and CUDA
- Step 7: Defining the configuration of the model
- Step 8: Reloading the tokenizer in transformers
- Step 9: Initializing a model from scratch
- Exploring the parameters
- Step 10: Building the dataset
- Step 11: Defining a data collator
- Step 12: Initializing the trainer
- Step 13: Pretraining the model
- Step 14: Saving the final model (+tokenizer + config) to disk
- Step 15: Language modeling with FillMaskPipeline
- Next steps
- Summary
- Questions
- References
- Downstream NLP Tasks with Transformers
- Transduction and the inductive inheritance of transformers
- The human intelligence stack
- The machine intelligence stack
- Transduction and the inductive inheritance of transformers
- Transformer performances versus Human Baselines
- Evaluating models with metrics
- Accuracy score
- F1-score
- Matthews Correlation Coefficient (MCC)
- Evaluating models with metrics
- Benchmark tasks and datasets
- From GLUE to SuperGLUE
- Introducing higher Human Baseline standards
- The SuperGLUE evaluation process
- Defining the SuperGLUE benchmark tasks
- BoolQ
- Commitment Bank (CB)
- Multi-Sentence Reading Comprehension (MultiRC)
- Reading Comprehension with Commonsense Reasoning Dataset (ReCoRD)
- Recognizing Textual Entailment (RTE)
- Words in Context (WiC)
- The Winograd Schema Challenge (WSC)
- Running downstream tasks
- The Corpus of Linguistic Acceptability (CoLA)
- Stanford Sentiment TreeBank (SST-2)
- Microsoft Research Paraphrase Corpus (MRPC)
- Winograd schemas
- Summary
- Questions
- References
- Machine Translation with the Transformer
- Defining machine translation
- Human transductions and translations
- Machine transductions and translations
- Defining machine translation
- Preprocessing a WMT dataset
- Preprocessing the raw data
- Finalizing the preprocessing of the datasets
- Evaluating machine translation with BLEU
- Geometric evaluations
- Applying a smoothing technique
- Chencherry smoothing
- Translations with Trax
- Installing Trax
- Creating a Transformer model
- Initializing the model using pretrained weights
- Tokenizing a sentence
- Decoding from the Transformer
- De-tokenizing and displaying the translation
- Summary
- Questions
- References
- Text Generation with OpenAI GPT-2 and GPT-3 Models
- The rise of billion-parameter transformer models
- The increasing size of transformer models
- Context size and maximum path length
- The increasing size of transformer models
- The rise of billion-parameter transformer models
- Transformers, reformers, PET, or GPT?
- The limits of the original Transformer architecture
- Running BertViz
- The limits of the original Transformer architecture
- The Reformer
- Pattern-Exploiting Training (PET)
- The philosophy of Pattern-Exploiting Training (PET)
- Its time to make a decision
- The architecture of OpenAI GPT models
- From fine-tuning to zero-shot models
- Stacking decoder layers
- Text completion with GPT-2
- Step 1: Activating the GPU
- Step 2: Cloning the OpenAI GPT-2 repository
- Step 3: Installing the requirements
- Step 4: Checking the version of TensorFlow
- Step 5: Downloading the 345M parameter GPT-2 model
- Steps 6-7: Intermediate instructions
- Steps 7b-8: Importing and defining the model
- Step 9: Interacting with GPT-2
- Training a GPT-2 language model
- Step 1: Prerequisites
- Steps 2 to 6: Initial steps of the training process
- Step 7: The N Shepperd training files
- Step 8: Encoding the dataset
- Step 9: Training the model
- Step 10: Creating a training model directory
- Context and completion examples
- Generating music with transformers
- Summary
- Questions
- References
- Applying Transformers to Legal and Financial Documents for AI Text Summarization
- Designing a universal text-to-text model
- The rise of text-to-text transformer models
- A prefix instead of task-specific formats
- The T5 model
- Designing a universal text-to-text model
- Text summarization with T5
- Hugging Face
- Hugging Face transformer resources
- Hugging Face
- Initializing the T5-large transformer model
- Getting started with T5
- Exploring the architecture of the T5 model
- Summarizing documents with T5-large
- Creating a summarization function
- A general topic sample
- The Bill of Rights sample
- A corporate law sample
- Summary
- Questions
- References
- Matching Tokenizers and Datasets
- Matching datasets and tokenizers
- Best practices
- Step 1: Preprocessing
- Step 2: Post-processing
- Continuous human quality control
- Best practices
- Word2Vec tokenization
- Case 0: Words in the dataset and the dictionary
- Case 1: Words not in the dataset or the dictionary
- Case 2: Noisy relationships
- Case 3: Rare words
- Case 4: Replacing rare words
- Case 5: Entailment
- Matching datasets and tokenizers
- Standard NLP tasks with specific vocabulary
- Generating unconditional samples with GPT-2
- Controlling tokenized data
- Generating unconditional samples with GPT-2
- Generating trained conditional samples
- T5 Bill of Rights Sample
- Summarizing the Bill of Rights, version 1
- Summarizing the Bill of Rights, version 2
- Summary
- Questions
- References
- Semantic Role Labeling with BERT-Based Transformers
- Getting started with SRL
- Defining Semantic Role Labeling
- Visualizing SRL
- Defining Semantic Role Labeling
- Running a pretrained BERT-based model
- The architecture of the BERT-based model
- Setting up the BERT SRL environment
- Getting started with SRL
- SRL experiments with the BERT-based model
- Basic samples
- Sample 1
- Sample 2
- Sample 3
- Difficult samples
- Sample 4
- Sample 5
- Sample 6
- Summary
- Questions
- References
- Let Your Data Do the Talking: Story, Questions, and Answers
- Methodology
- Transformers and methods
- Methodology
- Method 0: Trial and error
- Method 1: NER first
- Using NER to find questions
- Location entity questions
- Person entity questions
- Using NER to find questions
- Method 2: SRL first
- Question-answering with ELECTRA
- Project management constraints
- Using SRL to find questions
- Next steps
- Exploring Haystack with a RoBERTa model
- Summary
- Questions
- References
- Detecting Customer Emotions to Make Predictions
- Getting started: Sentiment analysis transformers
- The Stanford Sentiment Treebank (SST)
- Sentiment analysis with RoBERTa-large
- Predicting customer behavior with sentiment analysis
- Sentiment analysis with DistilBERT
- Sentiment analysis with Hugging Face's models list
- DistilBERT for SST
- MiniLM-L12-H384-uncased
- RoBERTa-large-mnli
- BERT-base multilingual model
- Summary
- Questions
- References
- Analyzing Fake News with Transformers
- Emotional reactions to fake news
- Cognitive dissonance triggers emotional reactions
- Analyzing a conflictual Tweet
- Behavioral representation of fake news
- Cognitive dissonance triggers emotional reactions
- Emotional reactions to fake news
- A rational approach to fake news
- Defining a fake news resolution roadmap
- Gun control
- Sentiment analysis
- Named entity recognition (NER)
- Semantic Role Labeling (SRL)
- Reference sites
- COVID-19 and former President Trump's Tweets
- Semantic Role Labeling (SRL)
- Before we go
- Looking for the silver bullet
- Looking for reliable training methods
- Summary
- Questions
- References
- Appendix: Answers to the Questions
- Chapter 1, Getting Started with the Model Architecture of the Transformer
- Chapter 2, Fine-Tuning BERT Models
- Chapter 3, Pretraining a RoBERTa Model from Scratch
- Chapter 4, Downstream NLP Tasks with Transformers
- Chapter 5, Machine Translation with the Transformer
- Chapter 6, Text Generation with OpenAI GPT-2 and GPT-3 Models
- Chapter 7, Applying Transformers to Legal and Financial Documents for AI Text Summarization
- Chapter 8, Matching Tokenizers and Datasets
- Chapter 9, Semantic Role Labeling with BERT-Based Transformers
- Chapter 10, Let Your Data Do the Talking: Story, Questions, and Answers
- Chapter 11, Detecting Customer Emotions to Make Predictions
- Chapter 12, Analyzing Fake News with Transformers
- Other Books You May Enjoy
- Index
Packt Publishing - inne książki
-
Save time and effort when building 3D scenes with this essential guide to creating stunning photorealistic 3D environments in Blender
-
Leverage algorithms to solve real world problems ranging from sorting and searching to modern algorithms in machine learning and cryptography
50 Algorithms Every Programmer Should Know - Second Edition 50 Algorithms Every Programmer Should Know - Second Edition
-
Use modern Python libraries such as pandas, NumPy, and scikit-learn and popular machine learning and deep learning methods to solve financial modeling problems
-
Design, build, and deploy performant and maintainable web applications using Spring, Spring Boot, and Angular
-
Get up to speed with Oracle's Autonomous Databases and implementation strategies for any workload or use case, including transactional, data warehousing, and non-relational databases
Oracle Autonomous Database in Enterprise Architecture Oracle Autonomous Database in Enterprise Architecture
-
Build CD pipelines following GitOps principles like declarative and immutable changes stored in version control, all continuously reconciled by Argo CD, and minimize the failure of deployments.
Dzieki opcji "Druk na żądanie" do sprzedaży wracają tytuły Grupy Helion, które cieszyły sie dużym zainteresowaniem, a których nakład został wyprzedany.
Dla naszych Czytelników wydrukowaliśmy dodatkową pulę egzemplarzy w technice druku cyfrowego.
Co powinieneś wiedzieć o usłudze "Druk na żądanie":
- usługa obejmuje tylko widoczną poniżej listę tytułów, którą na bieżąco aktualizujemy;
- cena książki może być wyższa od początkowej ceny detalicznej, co jest spowodowane kosztami druku cyfrowego (wyższymi niż koszty tradycyjnego druku offsetowego). Obowiązująca cena jest zawsze podawana na stronie WWW książki;
- zawartość książki wraz z dodatkami (płyta CD, DVD) odpowiada jej pierwotnemu wydaniu i jest w pełni komplementarna;
- usługa nie obejmuje książek w kolorze.
W przypadku usługi "Druk na żądanie" termin dostarczenia przesyłki może obejmować także czas potrzebny na dodruk (do 10 dni roboczych)
Masz pytanie o konkretny tytuł? Napisz do nas: sklep[at]helion.pl.
Książka, którą chcesz zamówić pochodzi z końcówki nakładu. Oznacza to, że mogą się pojawić drobne defekty (otarcia, rysy, zagięcia).
Co powinieneś wiedzieć o usłudze "Końcówka nakładu":
- usługa obejmuje tylko książki oznaczone tagiem "Końcówka nakładu";
- wady o których mowa powyżej nie podlegają reklamacji;
Masz pytanie o konkretny tytuł? Napisz do nas: sklep[at]helion.pl.


Oceny i opinie klientów: Transformers for Natural Language Processing Denis Rothman (0)
Weryfikacja opinii następuję na podstawie historii zamówień na koncie Użytkownika umieszczającego opinię. Użytkownik mógł otrzymać punkty za opublikowanie opinii uprawniające do uzyskania rabatu w ramach Programu Punktowego.