Trenowanie konwolucyjnej sieci neuronowej na małym zbiorze danych

Konieczność trenowania modelu klasyfikacji obrazów na bardzo małej ilości danych jest często spotykaną sytuacją podczas prywatnej pracy nad problemami analizy obrazu. „Mała liczba” próbek może oznaczać różną liczbę — od kilkuset do kilkudziesięciu tysięcy obrazów. W tym podrozdziale zajmiemy się praktycznym przykładem klasyfikacji zdjęć przedstawiających psy i koty. Nasz zbiór będzie składał się z 4000 obrazów (2000 z nich będzie przedstawiać koty, a pozostałe 2000 — psy). Podczas testowania będziemy korzystać z 2000 zdjęć, 1000 przyda nam się do walidacji, a kolejny 1000 zostanie użyty do testowania.

W tym podrozdziale zajmiemy się jedną strategią rozwiązywania tego problemu — będziemy trenować nowy model od podstaw, korzystając przy tym tylko z dostępnych danych. Zaczniemy od naiwnego trenowania konwolucyjnej sieci neuronowej na 2000 próbek bez stosowania mechanizmu regularyzacji. Utworzymy w ten sposób punkt odniesienia do dalszej pracy — nasz klasyfikator uzyska dokładność na poziomie 71%. Naszym głównym problemem będzie nadmierne dopasowanie modelu do danych treningowych. Wprowadzimy technikę augmentacji danych, która pozwala na zmniejszenie skutków zbytniego dopasowania modelu w przypadku problemów dotyczących przetwarzania obrazu. Technika ta umożliwi zwiększenie dokładności modelu do 82%.

W dalszej części tego rozdziału opiszę dwie kolejne techniki przydatne podczas stosowania uczenia głębokiego na małych zbiorach danych: ekstrakcję cech przy uprzednio trenowanej sieci (rozwiązanie to pozwala na uzyskanie dokładności sięgającej 90 – 96%) i dostrajanie uprzednio trenowanej sieci (technika ta umożliwia uzyskanie dokładności na poziomie 97%). Te trzy techniki (trenowanie małego modelu od podstaw, ekstrakcja cech przy uprzednio trenowanej sieci i dostrajanie uprzednio trenowanej sieci) pozwolą Ci na późniejszą samodzielną pracę nad problemami klasyfikacji obrazów przy dysponowaniu małą ilością danych.

Stosowanie uczenia głębokiego w problemach małych zbiorów danych

Niektórzy twierdzą, że uczenie głębokie działa tylko wtedy, gdy możliwe jest uzyskanie dostępu do dużej ilości danych. Stwierdzenie to jest częściowo prawdziwe: główną cechą uczenia głębokiego jest to, że algorytmy tego uczenia mogą samodzielnie wybrać przydatne cechy z treningowego zbioru danych, ale wymagają do tego licznego treningowego zbioru danych. Dotyczy to szczególnie pracy z próbkami o bardzo dużej liczbie wymiarów (przykładem takich próbek są obrazy).

Pojęcie licznego treningowego zbioru danych jest względne. Liczba danych potrzebnych do wytrenowania sieci zależy np. od jej rozmiaru i głębokości. Konwolucyjnej sieci neuronowej nie można wytrenować w celu rozwiązania skomplikowanego problemu na zaledwie kilkudziesięciu przykładach, ale zbiór kilkuset przykładów może okazać się wystarczający, jeżeli model będzie mały i poddany regularyzacji, a zadanie będzie proste. Konwolucyjne sieci neuronowe uczą się lokalnych cech niewrażliwych na przesunięcie, a więc charakteryzują się dużą wydajnością analizy danych w przypadku problemów percepcyjnych. Trenowanie konwolucyjnej sieci neuronowej od podstaw na bardzo małym zbiorze obrazów może dać całkiem sensowne efekty pomimo relatywnego braku danych (bez potrzeby przeprowadzania specjalnej inżynierii cech). Przekonasz się o tym podczas lektury tego podrozdziału.

Ponadto modele uczenia głębokiego mają naturę umożliwiającą stosowanie ich w wielu celach — model klasyfikacji obrazu lub dokonujący konwersji mowy na tekst pisany, który to model został wytrenowany na dużym zbiorze danych, może zostać użyty w celu rozwiązania innego problemu przy niewielkiej ilości zmian. Szczególnie w przypadku przetwarzania obrazu wiele uprzednio wytrenowanych modeli (zwykle modele te trenuje się na zbiorze danych ImageNet) może zostać pobranych z internetu i zastosowanych podczas pracy z małą ilością danych — zabieg ten pozwala na uzyskanie doskonałych wyników. Przykład zastosowania tej techniki przedstawię w dalszej części tego rozdziału. Zacznijmy pracę nad naszym modelem od wczytania danych.

Pobieranie danych

Będziemy korzystać ze zbioru danych „Dogs vs. Cats”, który nie jest dołączony do pakietu Keras. Został on udostępniony w serwisie Kaggle w ramach konkursu analizy obrazu pod koniec 2013 r. (wówczas sieci konwolucyjne nie były jeszcze popularne). Możesz go pobrać ze strony https://www.kaggle.com/c/dogs-vs-cats/data (musisz posiadać konto w serwisie Kaggle, ale jeżeli go jeszcze nie masz, to założenie go nie będzie stanowić żadnego problemu).

Zdjęcia wchodzące w skład zbioru są kolorowymi obrazami JPEG o średniej rozdzielczości:

cats_vs_dogs_samples

cats_vs_dogs_samples

Oczywiście konkurs z 2013 r., z którego pochodzi ten zbiór danych, wygrały osoby, które użyły konwolucyjnych sieci neuronowych. Najlepsze rozwiązania uzyskały dokładność na poziomie 95%. W tym przykładzie (w kolejnej sekcji) zbliżysz się do tej wartości pomimo tego, że Twój model będzie trenowany na próbce mniej niż 10% danych udostępnionych uczestnikom konkursu.

Pełny zbiór danych zawiera 25 000 zdjęć psów i kotów (po 12 500 zdjęć należących do każdej z klas) i po skompresowaniu zajmuje 543 MB. Po pobraniu go i rozpakowaniu utworzymy nowy zbiór składający się z trzech podzbiorów: zbioru treningowego zawierającego po 1000 próbek każdej z klas, zbioru walidacyjnego zawierającego po 500 próbek każdej z klas i zbioru testowego zawierającego po 500 próbek każdej z klas.

Oto kod, który wykonuje te operacje:

rr original_dataset_dir <- ~/Downloads/kaggle_original_data
base_dir <- ~/Downloads/cats_and_dogs_small
dir.create(base_dir) train_dir <- file.path(base_dir, ) dir.create(train_dir) validation_dir <- file.path(base_dir, ) dir.create(validation_dir) test_dir <- file.path(base_dir, ) dir.create(test_dir) train_cats_dir <- file.path(train_dir, ) dir.create(train_cats_dir) train_dogs_dir <- file.path(train_dir, ) dir.create(train_dogs_dir) validation_cats_dir <- file.path(validation_dir, ) dir.create(validation_cats_dir) validation_dogs_dir <- file.path(validation_dir, ) dir.create(validation_dogs_dir) test_cats_dir <- file.path(test_dir, ) dir.create(test_cats_dir) test_dogs_dir <- file.path(test_dir, ) dir.create(test_dogs_dir) fnames <- paste0(., 1:1000, .jpg) file.copy(file.path(original_dataset_dir, fnames), file.path(train_cats_dir)) fnames <- paste0(., 1001:1500, .jpg) file.copy(file.path(original_dataset_dir, fnames), file.path(validation_cats_dir)) fnames <- paste0(., 1501:2000, .jpg) file.copy(file.path(original_dataset_dir, fnames), file.path(test_cats_dir)) fnames <- paste0(., 1:1000, .jpg) file.copy(file.path(original_dataset_dir, fnames), file.path(train_dogs_dir)) fnames <- paste0(., 1001:1500, .jpg) file.copy(file.path(original_dataset_dir, fnames), file.path(validation_dogs_dir)) fnames <- paste0(., 1501:2000, .jpg) file.copy(file.path(original_dataset_dir, fnames), file.path(test_dogs_dir))

Sprawd?my, ile zdj?? mamy w poszczeg?lnych podzbiorach:

rr cat(training cat images:, length(list.files(train_cats_dir)), \n)

total training cat images: 1000 

rr cat(training dog images:, length(list.files(train_dogs_dir)), \n)

total training dog images: 1000 

rr cat(validation cat images:, length(list.files(validation_cats_dir)), \n)

total validation cat images: 500 

rr cat(validation dog images:, length(list.files(validation_dogs_dir)), \n)

total validation dog images: 500 

rr cat(test cat images:, length(list.files(test_cats_dir)), \n)

total test cat images: 500 

rr cat(test dog images:, length(list.files(test_dogs_dir)), \n)

total test dog images: 500 

Uzyskaliśmy zbiór treningowy składający się z 2000 zdjęć, zbiór walidacyjny składający się z 1000 zdjęć i zbiór testowy również zawierający 1000 zdjęć. Każdy zbiór zawiera równą liczbę zdjęć każdej z klas — pracujemy nad problemem wyważonej klasyfikacji binarnej, a więc dokładność klasyfikacji jest miarą sukcesu pracy modelu.

Budowa sieci neuronowej

W poprzednim przykładzie tworzyliśmy konwolucyjną sieć neuronową przetwarzającą zbiór danych MNIST, a więc tworzenie takiej sieci nie jest dla Ciebie niczym nowym. Ponownie zastosujemy strukturę tej sieci: nasza sieć będzie stosem naprzemiennych warstw layer_conv_2d (z funkcją aktywacji relu) i layer_max_pooling_2d.

Tym razem pracujemy z większymi obrazami i bardziej złożonym problemem, a więc musimy dostosować do niego konstrukcję sieci — dodamy do niej jeszcze jedną fazę layer_conv_2d + layer_max_pooling_2d. Rozwiązanie to zmodyfikuje pojemność sieci i zredukuje rozmiar map cech tak, aby nie były one zbyt duże po osiągnięciu warstwy spłaszczania layer_flatten. Zaczynamy od map wejściowych o rozmiarach 150x150 (to wybrana przeze mnie dowolna wartość), a tuż przed warstwą layer_flatten kończymy na mapach o rozmiarze 7x7.

Zauważ, że w tej sieci głębokość map cech wzrasta w sposób progresywny (od 32 do 128), a ich wymiary maleją (od 148x148 do x77). Sytuacja taka ma miejsce w prawie wszystkich konwolucyjnych sieciach neuronowych.

Próbujemy rozwiązać problem klasyfikacji binarnej, a więc na końcu sieci umieszczamy jedną jednostkę (warstwę dense o rozmiarze równym 1) i funkcję aktywacji sigmoid. Jednostka ta będzie generować wartości prawdopodobieństwa tego, że analizowany obraz należy do jednej z klas.

rr library(keras) model <- keras_model_sequential() %>% layer_conv_2d(filters = 32, kernel_size = c(3, 3), activation = , input_shape = c(150, 150, 3)) %>% layer_max_pooling_2d(pool_size = c(2, 2)) %>% layer_conv_2d(filters = 64, kernel_size = c(3, 3), activation = ) %>% layer_max_pooling_2d(pool_size = c(2, 2)) %>% layer_conv_2d(filters = 128, kernel_size = c(3, 3), activation = ) %>% layer_max_pooling_2d(pool_size = c(2, 2)) %>% layer_conv_2d(filters = 128, kernel_size = c(3, 3), activation = ) %>% layer_max_pooling_2d(pool_size = c(2, 2)) %>% layer_flatten() %>% layer_dense(units = 512, activation = ) %>% layer_dense(units = 1, activation = )

Przyjrzyjmy się zmianom liczby wymiarów przyszłych map w kolejnych warstwach sieci:

rr summary(model)

______________________________________________________________________________________________________
Layer (type)                                 Output Shape                             Param #         
======================================================================================================
conv2d_9 (Conv2D)                            (None, 148, 148, 32)                     896             
______________________________________________________________________________________________________
max_pooling2d_9 (MaxPooling2D)               (None, 74, 74, 32)                       0               
______________________________________________________________________________________________________
conv2d_10 (Conv2D)                           (None, 72, 72, 64)                       18496           
______________________________________________________________________________________________________
max_pooling2d_10 (MaxPooling2D)              (None, 36, 36, 64)                       0               
______________________________________________________________________________________________________
conv2d_11 (Conv2D)                           (None, 34, 34, 128)                      73856           
______________________________________________________________________________________________________
max_pooling2d_11 (MaxPooling2D)              (None, 17, 17, 128)                      0               
______________________________________________________________________________________________________
conv2d_12 (Conv2D)                           (None, 15, 15, 128)                      147584          
______________________________________________________________________________________________________
max_pooling2d_12 (MaxPooling2D)              (None, 7, 7, 128)                        0               
______________________________________________________________________________________________________
flatten_3 (Flatten)                          (None, 6272)                             0               
______________________________________________________________________________________________________
dense_5 (Dense)                              (None, 512)                              3211776         
______________________________________________________________________________________________________
dense_6 (Dense)                              (None, 1)                                513             
======================================================================================================
Total params: 3,453,121
Trainable params: 3,453,121
Non-trainable params: 0
______________________________________________________________________________________________________

Na etapie kompilacji skorzystamy jak zwykle z optymalizatora RMSprop. Zakończyliśmy sieć pojedynczą jednostką sigmoid, a więc posłużymy się funkcją straty w postaci binarnej entropii krzyżowej (informacje na temat doboru funkcji straty do różnych sytuacji znajdziesz w tabeli 4.1).

rr model %>% compile( loss = _crossentropy, optimizer = optimizer_rmsprop(lr = 1e-4), metrics = c() )

Wstępna obróbka danych

Przypominam, że dane przed przekazaniem do wejść sieci należy odpowiednio sformatować — przedstawić w formie tensorów wartości zmiennoprzecinkowych. Obecnie dane zapisane na dysku mają formę plików JPG, a w celu przystosowania ich do przetwarzania przez sieć należy:

Może się wydawać to dość pracochłonne, ale pakiet Keras jest wyposażony w narzędzia umożliwiające automatyczne wykonanie procesu konwersji. Pakiet Keras obsługuje funkcję image_data_generator() pozwalającą szybko zamienić obrazy zapisane na dysku w tensory przygotowane do skierowania do sieci neuronowej. Skorzystamy z tego gotowego rozwiązania:

rr # All images will be rescaled by 1/255 train_datagen <- image_data_generator(rescale = 1/255) validation_datagen <- image_data_generator(rescale = 1/255) train_generator <- flow_images_from_directory( # This is the target directory train_dir, # This is the data generator train_datagen, # All images will be resized to 150x150 target_size = c(150, 150), batch_size = 20, # Since we use binary_crossentropy loss, we need binary labels class_mode =
)

Found 2000 images belonging to 2 classes.

rr validation_generator <- flow_images_from_directory( validation_dir, validation_datagen, target_size = c(150, 150), batch_size = 20, class_mode =
)

Found 1000 images belonging to 2 classes.

Przyjrzyjmy się wartościom wygenerowanym przez jeden z generatorów: zwraca on wsad obrazów RGB o wymiarach 150x150 (o kształcie (20, 150, 150, 3)) i binarne etykiety (kształt (20, )). W każdym wsadzie znajduje się 20 próbek. Zauważ, że generator zwraca wsady w nieskończoność (wykonuje nieskończoną pętlę, przetwarzając obrazy umieszczone w folderze docelowym).

rr batch <- generator_next(train_generator) str(batch)

List of 2
 $ : num [1:20, 1:150, 1:150, 1:3] 0.4275 0.6431 0.7451 0.0471 0.3294 ...
 $ : num [1:20(1d)] 1 1 0 0 0 1 1 1 1 0 ...

Dopasujmy model do danych przy użyciu generatora. W tym celu należy skorzystać z funkcji fit_generator — jest to odpowiednik funkcji fit stosowany w przypadku generatorów danych. Metoda ta oczekuje zdefiniowania w pierwszym argumencie generatora, który w nieskończoność będzie zwracał wsady danych wejściowych i ich etykiet. Dane są generowane w nieskończoność, a więc model Keras musi wiedzieć, ile próbek ma pobrać z generatora przed zakończeniem epoki. Służy do tego argument steps_per_epoch: po pobraniu liczby wsadów określanej przez wartość tego argumentu (tj. po wykonaniu odpowiedniej liczby kroków spadku gradientu) proces dopasowywania modelu przejdzie do kolejnej epoki. W naszym przypadku wsady składają się z 20 próbek, a więc musimy wygenerować 100 wsadów w celu wytrenowania modelu na 2000 próbek.

Korzystając z funkcji fit_generator, możemy — podobnie jak w przypadku funkcji fit — przekazać argument validation_data. Argument ten może być generatorem danych, a także krotką tablic. W przypadku przekazania generatora w argumencie validation_data oczekuje się, że generator ten będzie zwracał wsady danych walidacyjnych w nieskończoność. W związku z tym należy zdefiniować wartość argumentu validation_steps określającą liczbę wsadów, która ma zostać pobrana z generatora danych walidacyjnych w celu przeprowadzenia walidacji.

history <- model %>% fit_generator(
  train_generator,
  steps_per_epoch = 100,
  epochs = 30,
  validation_data = validation_generator,
  validation_steps = 50
)

Dobrą praktyką jest zapisywanie wszystkich wytrenowanych modeli.

rr model %>% save_model_hdf5(_and_dogs_small_1.h5)

Utwórzmy wykresy straty i dokładności pracy modelu podczas przetwarzania danych treningowych i walidacyjnych:

rr plot(history)

Na wykresach tych wyraźnie widać nadmierne dopasowanie. Dokładność trenowania wzrasta liniowo wraz z upływem czasu aż do osiągnięcia wartości równej niemalże 100%, a dokładność walidacji nie przekracza poziomu 71 – 75%. Strata walidacji osiąga minimalną wartość po zaledwie pięciu epokach, a następnie stabilizuje się, a strata treningowa maleje liniowo aż do osiągnięcia wartości zbliżonych do 0.

Dysponujemy względnie niewielką liczbą próbek treningowych (2000), a więc nadmierne dopasowanie będzie naszym głównym problemem. Znasz już kilka technik rozwiązywania tego problemu, takich jak porzucanie i rozkład wag (regularyzacja L2). Teraz poznasz nową technikę przeciwdziałania nadmiernemu dopasowaniu, która sprawdza się podczas analizy obrazu i jest używana w praktycznie wszystkich modelach uczenia głębokiego przetwarzających obrazy: augmentację danych.

Stosowanie techniki augmentacji danych

Nadmierne dopasowanie wynika ze zbyt małej liczby próbek, na których model może się uczyć. Model nie może w takiej sytuacji utworzyć uogólnień, które sprawdzą się podczas przetwarzania nowych danych. Gdybyśmy dysponowali nieskończenie wielkim zbiorem danych treningowych, to na model działałby każdy możliwy aspekt rozkładu danych — nigdy nie uległby przeuczeniu. Augmentacja danych to technika generowania większej liczby elementów treningowego zbioru danych poprzez augmentację próbek na drodze losowych przekształceń zwracających obrazy, które wyglądają wiarygodnie. Celem tego rozwiązania jest to, aby trenowany model nigdy nie zobaczył dwukrotnie tego samego zdjęcia. Dzięki temu model może zauważyć więcej aspektów przetwarzanych danych i utworzyć lepsze uogólnienia.

W pakiecie Keras z techniki tej można skorzystać, konfigurując losowe przekształcenia obrazów wczytywanych przez funkcję image_data_generator. Zacznijmy od przeanalizowania przykładu:

rr datagen <- image_data_generator( rescale = 1/255, rotation_range = 40, width_shift_range = 0.2, height_shift_range = 0.2, shear_range = 0.2, zoom_range = 0.2, horizontal_flip = TRUE, fill_mode =
)

To tylko kilka z dostępnych opcji (informacje na temat pozostałych znajdziesz w dokumentacji pakietu Keras). Przeanalizujmy zaprezentowany kod: * Wartość rotation_range określa stopnie (0 – 180) — zakres kątów, o które zostanie wykonany losowy obrót obrazów. * Zakresy width_shift i height_shift określają ułamki całkowitej szerokości i wysokości obrazów; zakresy te wskazują ramy, w obrębie których przeprowadza się losowe pionowe i poziome przekształcenia obrazów. * Parametr shear_range określa zakres losowego przycinania obrazu. * Parametr zoom_range określa zakres losowego przybliżania fragmentów obrazów. * Operacja horizontal_flip polega na losowym odbiciu połowy obrazu w płaszczyźnie poziomej — z przekształcenia tego warto korzystać wtedy, gdy nie ma założeń o horyzontalnej asymetrii obrazu (np. w przypadku prawdziwych zdjęć). * Tryb fill_mode jest strategią wypełniania nowo utworzonych pikseli, które mogą powstać w wyniku obrotu lub przesunięcia.

Przyjrzyjmy się zmodyfikowanym obrazom:

rr # We pick one image to
fnames <- list.files(train_cats_dir, full.names = TRUE) img_path <- fnames[[2]] # Convert it to an array with shape (150, 150, 3) img <- image_load(img_path, target_size = c(150, 150)) img_array <- image_to_array(img) img_array <- array_reshape(img_array, c(1, 150, 150, 3)) # Generated that will flow augmented images augmentation_generator <- flow_images_from_data( img_array, generator = datagen, batch_size = 1 ) # Plot the first 4 augmented images op <- par(mfrow = c(2, 2), pty = , mar = c(1, 0, 1, 0)) for (i in 1:4) { batch <- generator_next(augmentation_generator) plot(as.raster(batch[1,,,])) } par(op)

Jeżeli użyjemy tak skonfigurowanego mechanizmu modyfikującego obrazy, to nasza sieć nigdy nie będzie przetwarzać dwukrotnie tego samego obrazu, ale przetwarzane przez nią obrazy będą wciąż bardzo podobne do siebie, ponieważ będziemy generować je na bazie małej liczby oryginalnych obrazów — nie możemy wygenerować nowych informacji, lecz tylko przedstawiać w nowej formie informacje, którymi dysponujemy. W związku z tym być może nie uda nam się zupełnie wyeliminować nadmiernego dopasowania. Dlatego później dodamy do sieci warstwę dropout (umieścimy ją bezpośrednio przed gęsto połączonym klasyfikatorem).

rr model <- keras_model_sequential() %>% layer_conv_2d(filters = 32, kernel_size = c(3, 3), activation = , input_shape = c(150, 150, 3)) %>% layer_max_pooling_2d(pool_size = c(2, 2)) %>% layer_conv_2d(filters = 64, kernel_size = c(3, 3), activation = ) %>% layer_max_pooling_2d(pool_size = c(2, 2)) %>% layer_conv_2d(filters = 128, kernel_size = c(3, 3), activation = ) %>% layer_max_pooling_2d(pool_size = c(2, 2)) %>% layer_conv_2d(filters = 128, kernel_size = c(3, 3), activation = ) %>% layer_max_pooling_2d(pool_size = c(2, 2)) %>% layer_flatten() %>% layer_dropout(rate = 0.5) %>% layer_dense(units = 512, activation = ) %>% layer_dense(units = 1, activation = )

model %>% compile( loss = _crossentropy, optimizer = optimizer_rmsprop(lr = 1e-4), metrics = c() )

Przeprowadźmy proces trenowania sieci przy użyciu technik augmentacji danych i odrzucania.

datagen <- image_data_generator(
  rescale = 1/255,
  rotation_range = 40,
  width_shift_range = 0.2,
  height_shift_range = 0.2,
  shear_range = 0.2,
  zoom_range = 0.2,
  horizontal_flip = TRUE
)

test_datagen <- image_data_generator(rescale = 1/255)

train_generator <- flow_images_from_directory(
  train_dir,
  datagen,
  target_size = c(150, 150),
  batch_size = 32,
  class_mode = \binary\
)

validation_generator <- flow_images_from_directory(
  validation_dir,
  test_datagen,
  target_size = c(150, 150),
  batch_size = 32,
  class_mode = \binary\
)

history <- model %>% fit_generator(
  train_generator,
  steps_per_epoch = 100,
  epochs = 100,
  validation_data = validation_generator,
  validation_steps = 50
)

Zapiszmy utworzony model — będziemy z niego korzystać ponownie w podrozdziale 5.4.

rr model %>% save_model_hdf5(_and_dogs_small_2.h5)

Utw?rzmy nowe wykresy:

rr plot(history)

Dzięki zastosowaniu technik augmentacji danych i odrzucania nie mamy już problemu nadmiernego dopasowania (patrz rysunek 5.11). Krzywe trenowania i walidacji mają podobny przebieg. Dokładność osiągnęła poziom 82%, a więc w skali względnej uległa poprawie o 15% w stosunku do początkowej wersji modelu.

Poprzez dalsze stosowanie technik regularyzacji i dostrajanie parametrów sieci, takich jak liczba filtrów poszczególnych warstw konwolucji lub liczba warstw sieci, możesz zbliżyć się do dokładności na poziomie 86 – 87%. Uzyskanie wyższej dokładności w wyniku trenowania własnej sieci konwolucyjnej od podstaw byłoby trudne, ponieważ dysponujemy małą ilością danych. W celu dalszego zwiększania dokładności musimy skorzystać z wytrenowanego wcześniej modelu. Technika ta będzie tematem przewodnim dwóch kolejnych podrozdziałów.

LS0tDQp0aXRsZTogIlNpZWNpIGtvbndvbHVjeWpuZSBpIG1hxYJlIHpiaW9yeSBkYW55Y2giDQpvdXRwdXQ6IA0KICBodG1sX25vdGVib29rOiANCiAgICB0aGVtZTogY2VydWxlYW4NCiAgICBoaWdobGlnaHQ6IHRleHRtYXRlDQotLS0NCg0KYGBge3Igc2V0dXAsIGluY2x1ZGU9RkFMU0V9DQprbml0cjo6b3B0c19jaHVuayRzZXQod2FybmluZyA9IEZBTFNFLCBtZXNzYWdlID0gRkFMU0UpDQpgYGANCg0KDQoNCiMjIFRyZW5vd2FuaWUga29ud29sdWN5am5laiBzaWVjaSBuZXVyb25vd2VqIG5hIG1hxYJ5bSB6YmlvcnplIGRhbnljaA0KDQpLb25pZWN6bm/Fm8SHIHRyZW5vd2FuaWEgbW9kZWx1IGtsYXN5ZmlrYWNqaSBvYnJhesOzdyBuYSBiYXJkem8gbWHFgmVqIGlsb8WbY2kgZGFueWNoIGplc3QgY3rEmXN0byBzcG90eWthbsSFIHN5dHVhY2rEhSBwb2RjemFzIHByeXdhdG5laiBwcmFjeSBuYWQgcHJvYmxlbWFtaSBhbmFsaXp5IG9icmF6dS4g4oCeTWHFgmEgbGljemJh4oCdIHByw7NiZWsgbW/FvGUgb3puYWN6YcSHIHLDs8W8bsSFIGxpY3pixJkg4oCUIG9kIGtpbGt1c2V0IGRvIGtpbGt1ZHppZXNpxJljaXUgdHlzacSZY3kgb2JyYXrDs3cuIFcgdHltIHBvZHJvemR6aWFsZSB6YWptaWVteSBzacSZIHByYWt0eWN6bnltIHByenlrxYJhZGVtIGtsYXN5ZmlrYWNqaSB6ZGrEmcSHIHByemVkc3Rhd2lhasSFY3ljaCBwc3kgaSBrb3R5LiBOYXN6IHpiacOzciBixJlkemllIHNrxYJhZGHFgiBzacSZIHogNDAwMCBvYnJhesOzdyAoMjAwMCB6IG5pY2ggYsSZZHppZSBwcnplZHN0YXdpYcSHIGtvdHksIGEgcG96b3N0YcWCZSAyMDAwIOKAlCBwc3kpLiBQb2RjemFzIHRlc3Rvd2FuaWEgYsSZZHppZW15IGtvcnp5c3RhxIcgeiAyMDAwIHpkasSZxIcsIDEwMDAgcHJ6eWRhIG5hbSBzacSZIGRvIHdhbGlkYWNqaSwgYSBrb2xlam55IDEwMDAgem9zdGFuaWUgdcW8eXR5IGRvIHRlc3Rvd2FuaWEuDQoNClcgdHltIHBvZHJvemR6aWFsZSB6YWptaWVteSBzacSZIGplZG7EhSBzdHJhdGVnacSFIHJvendpxIV6eXdhbmlhIHRlZ28gcHJvYmxlbXUg4oCUIGLEmWR6aWVteSB0cmVub3dhxIcgbm93eSBtb2RlbCBvZCBwb2RzdGF3LCBrb3J6eXN0YWrEhWMgcHJ6eSB0eW0gdHlsa28geiBkb3N0xJlwbnljaCBkYW55Y2guIFphY3puaWVteSBvZCBuYWl3bmVnbyB0cmVub3dhbmlhIGtvbndvbHVjeWpuZWogc2llY2kgbmV1cm9ub3dlaiBuYSAyMDAwIHByw7NiZWsgYmV6IHN0b3Nvd2FuaWEgbWVjaGFuaXptdSByZWd1bGFyeXphY2ppLiBVdHdvcnp5bXkgdyB0ZW4gc3Bvc8OzYiBwdW5rdCBvZG5pZXNpZW5pYSBkbyBkYWxzemVqIHByYWN5IOKAlCBuYXN6IGtsYXN5ZmlrYXRvciB1enlza2EgZG9rxYJhZG5vxZvEhyBuYSBwb3ppb21pZSA3MSUuIE5hc3p5bSBnxYLDs3dueW0gcHJvYmxlbWVtIGLEmWR6aWUgbmFkbWllcm5lIGRvcGFzb3dhbmllIG1vZGVsdSBkbyBkYW55Y2ggdHJlbmluZ293eWNoLiBXcHJvd2FkemlteSB0ZWNobmlrxJkgYXVnbWVudGFjamkgZGFueWNoLCBrdMOzcmEgcG96d2FsYSBuYSB6bW5pZWpzemVuaWUgc2t1dGvDs3cgemJ5dG5pZWdvIGRvcGFzb3dhbmlhIG1vZGVsdSB3IHByenlwYWRrdSBwcm9ibGVtw7N3IGRvdHljesSFY3ljaCBwcnpldHdhcnphbmlhIG9icmF6dS4gVGVjaG5pa2EgdGEgdW1vxbxsaXdpIHp3acSZa3N6ZW5pZSBkb2vFgmFkbm/Fm2NpIG1vZGVsdSBkbyA4MiUuDQoNClcgZGFsc3plaiBjesSZxZtjaSB0ZWdvIHJvemR6aWHFgnUgb3Bpc3rEmSBkd2llIGtvbGVqbmUgdGVjaG5pa2kgcHJ6eWRhdG5lIHBvZGN6YXMgc3Rvc293YW5pYSB1Y3plbmlhIGfFgsSZYm9raWVnbyBuYSBtYcWCeWNoIHpiaW9yYWNoIGRhbnljaDogZWtzdHJha2NqxJkgY2VjaCBwcnp5IHVwcnplZG5pbyB0cmVub3dhbmVqIHNpZWNpIChyb3p3acSFemFuaWUgdG8gcG96d2FsYSBuYSB1enlza2FuaWUgZG9rxYJhZG5vxZtjaSBzacSZZ2FqxIVjZWogOTAg4oCTIDk2JSkgaSBkb3N0cmFqYW5pZSB1cHJ6ZWRuaW8gdHJlbm93YW5laiBzaWVjaSAodGVjaG5pa2EgdGEgdW1vxbxsaXdpYSB1enlza2FuaWUgZG9rxYJhZG5vxZtjaSBuYSBwb3ppb21pZSA5NyUpLiBUZSB0cnp5IHRlY2huaWtpICh0cmVub3dhbmllIG1hxYJlZ28gbW9kZWx1IG9kIHBvZHN0YXcsIGVrc3RyYWtjamEgY2VjaCBwcnp5IHVwcnplZG5pbyB0cmVub3dhbmVqIHNpZWNpIGkgZG9zdHJhamFuaWUgdXByemVkbmlvIHRyZW5vd2FuZWogc2llY2kpIHBvendvbMSFIENpIG5hIHDDs8W6bmllanN6xIUgc2Ftb2R6aWVsbsSFIHByYWPEmSBuYWQgcHJvYmxlbWFtaSBrbGFzeWZpa2Fjamkgb2JyYXrDs3cgcHJ6eSBkeXNwb25vd2FuaXUgbWHFgsSFIGlsb8WbY2nEhSBkYW55Y2guDQoNCg0KIyMgU3Rvc293YW5pZSB1Y3plbmlhIGfFgsSZYm9raWVnbyB3IHByb2JsZW1hY2ggbWHFgnljaCB6YmlvcsOzdyBkYW55Y2gNCg0KTmlla3TDs3J6eSB0d2llcmR6xIUsIMW8ZSB1Y3plbmllIGfFgsSZYm9raWUgZHppYcWCYSB0eWxrbyB3dGVkeSwgZ2R5IG1vxbxsaXdlIGplc3QgdXp5c2thbmllIGRvc3TEmXB1IGRvIGR1xbxlaiBpbG/Fm2NpIGRhbnljaC4gU3R3aWVyZHplbmllIHRvIGplc3QgY3rEmcWbY2lvd28gcHJhd2R6aXdlOiBnxYLDs3duxIUgY2VjaMSFIHVjemVuaWEgZ8WCxJlib2tpZWdvIGplc3QgdG8sIMW8ZSBhbGdvcnl0bXkgdGVnbyB1Y3plbmlhIG1vZ8SFIHNhbW9kemllbG5pZSB3eWJyYcSHIHByenlkYXRuZSBjZWNoeSB6IHRyZW5pbmdvd2VnbyB6YmlvcnUgZGFueWNoLCBhbGUgd3ltYWdhasSFIGRvIHRlZ28gbGljem5lZ28gdHJlbmluZ293ZWdvIHpiaW9ydSBkYW55Y2guIERvdHljenkgdG8gc3pjemVnw7NsbmllIHByYWN5IHogcHLDs2JrYW1pIG8gYmFyZHpvIGR1xbxlaiBsaWN6YmllIHd5bWlhcsOzdyAocHJ6eWvFgmFkZW0gdGFraWNoIHByw7NiZWsgc8SFIG9icmF6eSkuDQoNClBvasSZY2llIGxpY3puZWdvIHRyZW5pbmdvd2VnbyB6YmlvcnUgZGFueWNoIGplc3Qgd3pnbMSZZG5lLiBMaWN6YmEgZGFueWNoIHBvdHJ6ZWJueWNoIGRvIHd5dHJlbm93YW5pYSBzaWVjaSB6YWxlxbx5IG5wLiBvZCBqZWogcm96bWlhcnUgaSBnxYLEmWJva2/Fm2NpLiBLb253b2x1Y3lqbmVqIHNpZWNpIG5ldXJvbm93ZWogbmllIG1vxbxuYSB3eXRyZW5vd2HEhyB3IGNlbHUgcm96d2nEhXphbmlhIHNrb21wbGlrb3dhbmVnbyBwcm9ibGVtdSBuYSB6YWxlZHdpZSBraWxrdWR6aWVzacSZY2l1IHByenlrxYJhZGFjaCwgYWxlIHpiacOzciBraWxrdXNldCBwcnp5a8WCYWTDs3cgbW/FvGUgb2themHEhyBzacSZIHd5c3RhcmN6YWrEhWN5LCBqZcW8ZWxpIG1vZGVsIGLEmWR6aWUgbWHFgnkgaSBwb2RkYW55IHJlZ3VsYXJ5emFjamksIGEgemFkYW5pZSBixJlkemllIHByb3N0ZS4gS29ud29sdWN5am5lIHNpZWNpIG5ldXJvbm93ZSB1Y3rEhSBzacSZIGxva2FsbnljaCBjZWNoIG5pZXdyYcW8bGl3eWNoIG5hIHByemVzdW5pxJljaWUsIGEgd2nEmWMgY2hhcmFrdGVyeXp1asSFIHNpxJkgZHXFvMSFIHd5ZGFqbm/Fm2NpxIUgYW5hbGl6eSBkYW55Y2ggdyBwcnp5cGFka3UgcHJvYmxlbcOzdyBwZXJjZXBjeWpueWNoLiBUcmVub3dhbmllIGtvbndvbHVjeWpuZWogc2llY2kgbmV1cm9ub3dlaiBvZCBwb2RzdGF3IG5hIGJhcmR6byBtYcWCeW0gemJpb3J6ZSBvYnJhesOzdyBtb8W8ZSBkYcSHIGNhxYJraWVtIHNlbnNvd25lIGVmZWt0eSBwb21pbW8gcmVsYXR5d25lZ28gYnJha3UgZGFueWNoIChiZXogcG90cnplYnkgcHJ6ZXByb3dhZHphbmlhIHNwZWNqYWxuZWogaW7FvHluaWVyaWkgY2VjaCkuIFByemVrb25hc3ogc2nEmSBvIHR5bSBwb2RjemFzIGxla3R1cnkgdGVnbyBwb2Ryb3pkemlhxYJ1Lg0KDQpQb25hZHRvIG1vZGVsZSB1Y3plbmlhIGfFgsSZYm9raWVnbyBtYWrEhSBuYXR1csSZIHVtb8W8bGl3aWFqxIVjxIUgc3Rvc293YW5pZSBpY2ggdyB3aWVsdSBjZWxhY2gg4oCUIG1vZGVsIGtsYXN5ZmlrYWNqaSBvYnJhenUgbHViIGRva29udWrEhWN5IGtvbndlcnNqaSBtb3d5IG5hIHRla3N0IHBpc2FueSwga3TDs3J5IHRvIG1vZGVsIHpvc3RhxYIgd3l0cmVub3dhbnkgbmEgZHXFvHltIHpiaW9yemUgZGFueWNoLCBtb8W8ZSB6b3N0YcSHIHXFvHl0eSB3IGNlbHUgcm96d2nEhXphbmlhIGlubmVnbyBwcm9ibGVtdSBwcnp5IG5pZXdpZWxraWVqIGlsb8WbY2kgem1pYW4uIFN6Y3plZ8OzbG5pZSB3IHByenlwYWRrdSBwcnpldHdhcnphbmlhIG9icmF6dSB3aWVsZSB1cHJ6ZWRuaW8gd3l0cmVub3dhbnljaCBtb2RlbGkgKHp3eWtsZSBtb2RlbGUgdGUgdHJlbnVqZSBzacSZIG5hIHpiaW9yemUgZGFueWNoIEltYWdlTmV0KSBtb8W8ZSB6b3N0YcSHIHBvYnJhbnljaCB6IGludGVybmV0dSBpIHphc3Rvc293YW55Y2ggcG9kY3phcyBwcmFjeSB6IG1hxYLEhSBpbG/Fm2NpxIUgZGFueWNoIOKAlCB6YWJpZWcgdGVuIHBvendhbGEgbmEgdXp5c2thbmllIGRvc2tvbmHFgnljaCB3eW5pa8Ozdy4gUHJ6eWvFgmFkIHphc3Rvc293YW5pYSB0ZWogdGVjaG5pa2kgcHJ6ZWRzdGF3acSZIHcgZGFsc3plaiBjesSZxZtjaSB0ZWdvIHJvemR6aWHFgnUuIFphY3puaWpteSBwcmFjxJkgbmFkIG5hc3p5bSBtb2RlbGVtIG9kIHdjenl0YW5pYSBkYW55Y2guDQoNCg0KIyMgUG9iaWVyYW5pZSBkYW55Y2gNCg0KQsSZZHppZW15IGtvcnp5c3RhxIcgemUgemJpb3J1IGRhbnljaCDigJ5Eb2dzIHZzLiBDYXRz4oCdLCBrdMOzcnkgbmllIGplc3QgZG/FgsSFY3pvbnkgZG8gcGFraWV0dSBLZXJhcy4gWm9zdGHFgiBvbiB1ZG9zdMSZcG5pb255IHcgc2Vyd2lzaWUgS2FnZ2xlIHcgcmFtYWNoIGtvbmt1cnN1IGFuYWxpenkgb2JyYXp1IHBvZCBrb25pZWMgMjAxMyByLiAod8Ozd2N6YXMgc2llY2kga29ud29sdWN5am5lIG5pZSBiecWCeSBqZXN6Y3plIHBvcHVsYXJuZSkuIE1vxbxlc3ogZ28gcG9icmHEhyB6ZSBzdHJvbnkgIGh0dHBzOi8vd3d3LmthZ2dsZS5jb20vYy9kb2dzLXZzLWNhdHMvZGF0YSAobXVzaXN6IHBvc2lhZGHEhyBrb250byB3IHNlcndpc2llIEthZ2dsZSwgYWxlIGplxbxlbGkgZ28gamVzemN6ZSBuaWUgbWFzeiwgdG8gemHFgm/FvGVuaWUgZ28gbmllIGLEmWR6aWUgc3Rhbm93acSHIMW8YWRuZWdvIHByb2JsZW11KS4NCg0KWmRqxJljaWEgd2Nob2R6xIVjZSB3IHNrxYJhZCB6YmlvcnUgc8SFIGtvbG9yb3d5bWkgb2JyYXphbWkgSlBFRyBvIMWbcmVkbmllaiByb3pkemllbGN6b8WbY2k6DQoNCiFbY2F0c192c19kb2dzX3NhbXBsZXNdKGltZ1w1XzJfMi5qcGcpDQoNCk9jenl3acWbY2llIGtvbmt1cnMgeiAyMDEzIHIuLCB6IGt0w7NyZWdvIHBvY2hvZHppIHRlbiB6YmnDs3IgZGFueWNoLCB3eWdyYcWCeSBvc29ieSwga3TDs3JlIHXFvHnFgnkga29ud29sdWN5am55Y2ggc2llY2kgbmV1cm9ub3d5Y2guIE5hamxlcHN6ZSByb3p3acSFemFuaWEgdXp5c2thxYJ5IGRva8WCYWRub8WbxIcgbmEgcG96aW9taWUgOTUlLiBXIHR5bSBwcnp5a8WCYWR6aWUgKHcga29sZWpuZWogc2VrY2ppKSB6Ymxpxbx5c3ogc2nEmSBkbyB0ZWogd2FydG/Fm2NpIHBvbWltbyB0ZWdvLCDFvGUgVHfDs2ogbW9kZWwgYsSZZHppZSB0cmVub3dhbnkgbmEgcHLDs2JjZSBtbmllaiBuacW8IDEwJSBkYW55Y2ggdWRvc3TEmXBuaW9ueWNoIHVjemVzdG5pa29tIGtvbmt1cnN1Lg0KDQpQZcWCbnkgemJpw7NyIGRhbnljaCB6YXdpZXJhIDI1IDAwMCB6ZGrEmcSHIHBzw7N3IGkga290w7N3IChwbyAxMiA1MDAgemRqxJnEhyBuYWxlxbzEhWN5Y2ggZG8ga2HFvGRlaiB6IGtsYXMpIGkgcG8gc2tvbXByZXNvd2FuaXUgemFqbXVqZSA1NDMgTUIuIFBvIHBvYnJhbml1IGdvIGkgcm96cGFrb3dhbml1IHV0d29yenlteSBub3d5IHpiacOzciBza8WCYWRhasSFY3kgc2nEmSB6IHRyemVjaCBwb2R6YmlvcsOzdzogemJpb3J1IHRyZW5pbmdvd2VnbyB6YXdpZXJhasSFY2VnbyBwbyAxMDAwIHByw7NiZWsga2HFvGRlaiB6IGtsYXMsIHpiaW9ydSB3YWxpZGFjeWpuZWdvIHphd2llcmFqxIVjZWdvIHBvIDUwMCBwcsOzYmVrIGthxbxkZWogeiBrbGFzIGkgemJpb3J1IHRlc3Rvd2VnbyB6YXdpZXJhasSFY2VnbyBwbyA1MDAgcHLDs2JlayBrYcW8ZGVqIHoga2xhcy4NCg0KDQpPdG8ga29kLCBrdMOzcnkgd3lrb251amUgdGUgb3BlcmFjamU6DQoNCmBgYHtyLCBlY2hvPVRSVUUsIHJlc3VsdHM9J2hpZGUnfQ0Kb3JpZ2luYWxfZGF0YXNldF9kaXIgPC0gIn4vRG93bmxvYWRzL2thZ2dsZV9vcmlnaW5hbF9kYXRhIg0KDQpiYXNlX2RpciA8LSAifi9Eb3dubG9hZHMvY2F0c19hbmRfZG9nc19zbWFsbCINCmRpci5jcmVhdGUoYmFzZV9kaXIpDQoNCnRyYWluX2RpciA8LSBmaWxlLnBhdGgoYmFzZV9kaXIsICJ0cmFpbiIpDQpkaXIuY3JlYXRlKHRyYWluX2RpcikNCnZhbGlkYXRpb25fZGlyIDwtIGZpbGUucGF0aChiYXNlX2RpciwgInZhbGlkYXRpb24iKQ0KZGlyLmNyZWF0ZSh2YWxpZGF0aW9uX2RpcikNCnRlc3RfZGlyIDwtIGZpbGUucGF0aChiYXNlX2RpciwgInRlc3QiKQ0KZGlyLmNyZWF0ZSh0ZXN0X2RpcikNCg0KdHJhaW5fY2F0c19kaXIgPC0gZmlsZS5wYXRoKHRyYWluX2RpciwgImNhdHMiKQ0KZGlyLmNyZWF0ZSh0cmFpbl9jYXRzX2RpcikNCg0KdHJhaW5fZG9nc19kaXIgPC0gZmlsZS5wYXRoKHRyYWluX2RpciwgImRvZ3MiKQ0KZGlyLmNyZWF0ZSh0cmFpbl9kb2dzX2RpcikNCg0KdmFsaWRhdGlvbl9jYXRzX2RpciA8LSBmaWxlLnBhdGgodmFsaWRhdGlvbl9kaXIsICJjYXRzIikNCmRpci5jcmVhdGUodmFsaWRhdGlvbl9jYXRzX2RpcikNCg0KdmFsaWRhdGlvbl9kb2dzX2RpciA8LSBmaWxlLnBhdGgodmFsaWRhdGlvbl9kaXIsICJkb2dzIikNCmRpci5jcmVhdGUodmFsaWRhdGlvbl9kb2dzX2RpcikNCg0KdGVzdF9jYXRzX2RpciA8LSBmaWxlLnBhdGgodGVzdF9kaXIsICJjYXRzIikNCmRpci5jcmVhdGUodGVzdF9jYXRzX2RpcikNCg0KdGVzdF9kb2dzX2RpciA8LSBmaWxlLnBhdGgodGVzdF9kaXIsICJkb2dzIikNCmRpci5jcmVhdGUodGVzdF9kb2dzX2RpcikNCg0KZm5hbWVzIDwtIHBhc3RlMCgiY2F0LiIsIDE6MTAwMCwgIi5qcGciKQ0KZmlsZS5jb3B5KGZpbGUucGF0aChvcmlnaW5hbF9kYXRhc2V0X2RpciwgZm5hbWVzKSwgDQogICAgICAgICAgZmlsZS5wYXRoKHRyYWluX2NhdHNfZGlyKSkgDQoNCmZuYW1lcyA8LSBwYXN0ZTAoImNhdC4iLCAxMDAxOjE1MDAsICIuanBnIikNCmZpbGUuY29weShmaWxlLnBhdGgob3JpZ2luYWxfZGF0YXNldF9kaXIsIGZuYW1lcyksIA0KICAgICAgICAgIGZpbGUucGF0aCh2YWxpZGF0aW9uX2NhdHNfZGlyKSkNCg0KZm5hbWVzIDwtIHBhc3RlMCgiY2F0LiIsIDE1MDE6MjAwMCwgIi5qcGciKQ0KZmlsZS5jb3B5KGZpbGUucGF0aChvcmlnaW5hbF9kYXRhc2V0X2RpciwgZm5hbWVzKSwNCiAgICAgICAgICBmaWxlLnBhdGgodGVzdF9jYXRzX2RpcikpDQoNCmZuYW1lcyA8LSBwYXN0ZTAoImRvZy4iLCAxOjEwMDAsICIuanBnIikNCmZpbGUuY29weShmaWxlLnBhdGgob3JpZ2luYWxfZGF0YXNldF9kaXIsIGZuYW1lcyksDQogICAgICAgICAgZmlsZS5wYXRoKHRyYWluX2RvZ3NfZGlyKSkNCg0KZm5hbWVzIDwtIHBhc3RlMCgiZG9nLiIsIDEwMDE6MTUwMCwgIi5qcGciKQ0KZmlsZS5jb3B5KGZpbGUucGF0aChvcmlnaW5hbF9kYXRhc2V0X2RpciwgZm5hbWVzKSwNCiAgICAgICAgICBmaWxlLnBhdGgodmFsaWRhdGlvbl9kb2dzX2RpcikpIA0KDQpmbmFtZXMgPC0gcGFzdGUwKCJkb2cuIiwgMTUwMToyMDAwLCAiLmpwZyIpDQpmaWxlLmNvcHkoZmlsZS5wYXRoKG9yaWdpbmFsX2RhdGFzZXRfZGlyLCBmbmFtZXMpLA0KICAgICAgICAgIGZpbGUucGF0aCh0ZXN0X2RvZ3NfZGlyKSkNCmBgYA0KDQpTcHJhd2Q/bXksIGlsZSB6ZGo/PyBtYW15IHcgcG9zemN6ZWc/bG55Y2ggcG9kemJpb3JhY2g6DQoNCmBgYHtyfQ0KY2F0KCJsaWN6YmEgb2JyYXrDs3cgdHJlbmluZ293eWNoIGtvdMOzdzoiLCBsZW5ndGgobGlzdC5maWxlcyh0cmFpbl9jYXRzX2RpcikpLCAiXG4iKQ0KYGBgDQoNCmBgYHtyfQ0KY2F0KCJsaWN6YmEgb2JyYXrDs3cgdHJlbmluZ293eWNoIHBzw7N3OiIsIGxlbmd0aChsaXN0LmZpbGVzKHRyYWluX2RvZ3NfZGlyKSksICJcbiIpDQpgYGANCg0KYGBge3J9DQpjYXQoImxpY3piYSBvYnJhesOzdyB3YWxpZGFjeWpueWNoIGtvdMOzdzoiLCBsZW5ndGgobGlzdC5maWxlcyh2YWxpZGF0aW9uX2NhdHNfZGlyKSksICJcbiIpDQpgYGANCg0KYGBge3J9DQpjYXQoImxpY3piYSBvYnJhesOzdyB3YWxpZGFjeWpueWNoIHBzw7N3OiIsIGxlbmd0aChsaXN0LmZpbGVzKHZhbGlkYXRpb25fZG9nc19kaXIpKSwgIlxuIikNCmBgYA0KDQpgYGB7cn0NCmNhdCgibGljemJhIG9icmF6w7N3IHRlc3Rvd3ljaCBrb3TDs3c6IiwgbGVuZ3RoKGxpc3QuZmlsZXModGVzdF9jYXRzX2RpcikpLCAiXG4iKQ0KYGBgDQoNCmBgYHtyfQ0KIGNhdCgibGljemJhIG9icmF6w7N3IHRlc3Rvd3ljaCBwc8OzdzoiLCBsZW5ndGgobGlzdC5maWxlcyh0ZXN0X2RvZ3NfZGlyKSksICJcbiIpDQpgYGANCg0KVXp5c2thbGnFm215IHpiacOzciB0cmVuaW5nb3d5IHNrxYJhZGFqxIVjeSBzacSZIHogMjAwMCB6ZGrEmcSHLCB6YmnDs3Igd2FsaWRhY3lqbnkgc2vFgmFkYWrEhWN5IHNpxJkgeiAxMDAwIHpkasSZxIcgaSB6YmnDs3IgdGVzdG93eSByw7N3bmllxbwgemF3aWVyYWrEhWN5IDEwMDAgemRqxJnEhy4gS2HFvGR5IHpiacOzciB6YXdpZXJhIHLDs3duxIUgbGljemLEmSB6ZGrEmcSHIGthxbxkZWogeiBrbGFzIOKAlCBwcmFjdWplbXkgbmFkIHByb2JsZW1lbSB3eXdhxbxvbmVqIGtsYXN5ZmlrYWNqaSBiaW5hcm5laiwgYSB3acSZYyBkb2vFgmFkbm/Fm8SHIGtsYXN5ZmlrYWNqaSBqZXN0IG1pYXLEhSBzdWtjZXN1IHByYWN5IG1vZGVsdS4NCg0KIyMgQnVkb3dhIHNpZWNpIG5ldXJvbm93ZWoNCg0KVyBwb3ByemVkbmltIHByenlrxYJhZHppZSB0d29yenlsacWbbXkga29ud29sdWN5am7EhSBzaWXEhyBuZXVyb25vd8SFIHByemV0d2FyemFqxIVjxIUgemJpw7NyIGRhbnljaCBNTklTVCwgYSB3acSZYyB0d29yemVuaWUgdGFraWVqIHNpZWNpIG5pZSBqZXN0IGRsYSBDaWViaWUgbmljenltIG5vd3ltLiBQb25vd25pZSB6YXN0b3N1amVteSBzdHJ1a3R1csSZIHRlaiBzaWVjaTogbmFzemEgc2llxIcgYsSZZHppZSBzdG9zZW0gbmFwcnplbWllbm55Y2ggd2Fyc3R3IGxheWVyX2NvbnZfMmQgKHogZnVua2NqxIUgYWt0eXdhY2ppIHJlbHUpIGkgbGF5ZXJfbWF4X3Bvb2xpbmdfMmQuDQoNClR5bSByYXplbSBwcmFjdWplbXkgeiB3acSZa3N6eW1pIG9icmF6YW1pIGkgYmFyZHppZWogesWCb8W8b255bSBwcm9ibGVtZW0sIGEgd2nEmWMgbXVzaW15IGRvc3Rvc293YcSHIGRvIG5pZWdvIGtvbnN0cnVrY2rEmSBzaWVjaSDigJQgZG9kYW15IGRvIG5pZWogamVzemN6ZSBqZWRuxIUgZmF6xJkgbGF5ZXJfY29udl8yZCArIGxheWVyX21heF9wb29saW5nXzJkLiBSb3p3acSFemFuaWUgdG8gem1vZHlmaWt1amUgcG9qZW1ub8WbxIcgc2llY2kgaSB6cmVkdWt1amUgcm96bWlhciBtYXAgY2VjaCB0YWssIGFieSBuaWUgYnnFgnkgb25lIHpieXQgZHXFvGUgcG8gb3NpxIVnbmnEmWNpdSB3YXJzdHd5IHNwxYJhc3pjemFuaWEgbGF5ZXJfZmxhdHRlbi4gWmFjenluYW15IG9kIG1hcCB3ZWrFm2Npb3d5Y2ggbyByb3ptaWFyYWNoIDE1MHjvgrQxNTAgKHRvIHd5YnJhbmEgcHJ6ZXplIG1uaWUgZG93b2xuYSB3YXJ0b8WbxIcpLCBhIHR1xbwgcHJ6ZWQgd2Fyc3R3xIUgbGF5ZXJfZmxhdHRlbiBrb8WEY3p5bXkgbmEgbWFwYWNoIG8gcm96bWlhcnplIDd474K0Ny4NCg0KDQpaYXV3YcW8LCDFvGUgdyB0ZWogc2llY2kgZ8WCxJlib2tvxZvEhyBtYXAgY2VjaCB3enJhc3RhIHcgc3Bvc8OzYiBwcm9ncmVzeXdueSAob2QgMzIgZG8gMTI4KSwgYSBpY2ggd3ltaWFyeSBtYWxlasSFIChvZCAxNDh474K0MTQ4IGRvIHg374K0NykuIFN5dHVhY2phIHRha2EgbWEgbWllanNjZSB3IHByYXdpZSB3c3p5c3RraWNoIGtvbndvbHVjeWpueWNoIHNpZWNpYWNoIG5ldXJvbm93eWNoLg0KDQpQcsOzYnVqZW15IHJvendpxIV6YcSHIHByb2JsZW0ga2xhc3lmaWthY2ppIGJpbmFybmVqLCBhIHdpxJljIG5hIGtvxYRjdSBzaWVjaSB1bWllc3pjemFteSBqZWRuxIUgamVkbm9zdGvEmSAod2Fyc3R3xJkgZGVuc2UgbyByb3ptaWFyemUgcsOzd255bSAxKSBpIGZ1bmtjasSZIGFrdHl3YWNqaSBzaWdtb2lkLiBKZWRub3N0a2EgdGEgYsSZZHppZSBnZW5lcm93YcSHIHdhcnRvxZtjaSBwcmF3ZG9wb2RvYmllxYRzdHdhIHRlZ28sIMW8ZSBhbmFsaXpvd2FueSBvYnJheiBuYWxlxbx5IGRvIGplZG5laiB6IGtsYXMuDQoNCg0KYGBge3J9DQpsaWJyYXJ5KGtlcmFzKQ0KDQptb2RlbCA8LSBrZXJhc19tb2RlbF9zZXF1ZW50aWFsKCkgJT4lIA0KICBsYXllcl9jb252XzJkKGZpbHRlcnMgPSAzMiwga2VybmVsX3NpemUgPSBjKDMsIDMpLCBhY3RpdmF0aW9uID0gInJlbHUiLA0KICAgICAgICAgICAgICAgIGlucHV0X3NoYXBlID0gYygxNTAsIDE1MCwgMykpICU+JSANCiAgbGF5ZXJfbWF4X3Bvb2xpbmdfMmQocG9vbF9zaXplID0gYygyLCAyKSkgJT4lIA0KICBsYXllcl9jb252XzJkKGZpbHRlcnMgPSA2NCwga2VybmVsX3NpemUgPSBjKDMsIDMpLCBhY3RpdmF0aW9uID0gInJlbHUiKSAlPiUgDQogIGxheWVyX21heF9wb29saW5nXzJkKHBvb2xfc2l6ZSA9IGMoMiwgMikpICU+JSANCiAgbGF5ZXJfY29udl8yZChmaWx0ZXJzID0gMTI4LCBrZXJuZWxfc2l6ZSA9IGMoMywgMyksIGFjdGl2YXRpb24gPSAicmVsdSIpICU+JSANCiAgbGF5ZXJfbWF4X3Bvb2xpbmdfMmQocG9vbF9zaXplID0gYygyLCAyKSkgJT4lIA0KICBsYXllcl9jb252XzJkKGZpbHRlcnMgPSAxMjgsIGtlcm5lbF9zaXplID0gYygzLCAzKSwgYWN0aXZhdGlvbiA9ICJyZWx1IikgJT4lIA0KICBsYXllcl9tYXhfcG9vbGluZ18yZChwb29sX3NpemUgPSBjKDIsIDIpKSAlPiUgDQogIGxheWVyX2ZsYXR0ZW4oKSAlPiUgDQogIGxheWVyX2RlbnNlKHVuaXRzID0gNTEyLCBhY3RpdmF0aW9uID0gInJlbHUiKSAlPiUgDQogIGxheWVyX2RlbnNlKHVuaXRzID0gMSwgYWN0aXZhdGlvbiA9ICJzaWdtb2lkIikNCmBgYA0KDQpQcnp5anJ6eWpteSBzacSZIHptaWFub20gbGljemJ5IHd5bWlhcsOzdyBwcnp5c3rFgnljaCBtYXAgdyBrb2xlam55Y2ggd2Fyc3R3YWNoIHNpZWNpOg0KDQpgYGB7cn0NCnN1bW1hcnkobW9kZWwpDQpgYGANCg0KTmEgZXRhcGllIGtvbXBpbGFjamkgc2tvcnp5c3RhbXkgamFrIHp3eWtsZSB6IG9wdHltYWxpemF0b3JhIFJNU3Byb3AuIFpha2/FhGN6eWxpxZtteSBzaWXEhyBwb2plZHluY3rEhSBqZWRub3N0a8SFIHNpZ21vaWQsIGEgd2nEmWMgcG9zxYJ1xbx5bXkgc2nEmSBmdW5rY2rEhSBzdHJhdHkgdyBwb3N0YWNpIGJpbmFybmVqIGVudHJvcGlpIGtyennFvG93ZWogKGluZm9ybWFjamUgbmEgdGVtYXQgZG9ib3J1IGZ1bmtjamkgc3RyYXR5IGRvIHLDs8W8bnljaCBzeXR1YWNqaSB6bmFqZHppZXN6IHcgdGFiZWxpIDQuMSkuDQoNCmBgYHtyfQ0KbW9kZWwgJT4lIGNvbXBpbGUoDQogIGxvc3MgPSAiYmluYXJ5X2Nyb3NzZW50cm9weSIsDQogIG9wdGltaXplciA9IG9wdGltaXplcl9ybXNwcm9wKGxyID0gMWUtNCksDQogIG1ldHJpY3MgPSBjKCJhY2MiKQ0KKQ0KYGBgDQoNCiMjIFdzdMSZcG5hIG9icsOzYmthIGRhbnljaA0KDQpQcnp5cG9taW5hbSwgxbxlIGRhbmUgcHJ6ZWQgcHJ6ZWthemFuaWVtIGRvIHdlasWbxIcgc2llY2kgbmFsZcW8eSBvZHBvd2llZG5pbyBzZm9ybWF0b3dhxIcg4oCUIHByemVkc3Rhd2nEhyB3IGZvcm1pZSB0ZW5zb3LDs3cgd2FydG/Fm2NpIHptaWVubm9wcnplY2lua293eWNoLiBPYmVjbmllIGRhbmUgemFwaXNhbmUgbmEgZHlza3UgbWFqxIUgZm9ybcSZIHBsaWvDs3cgSlBHLCBhIHcgY2VsdSBwcnp5c3Rvc293YW5pYSBpY2ggZG8gcHJ6ZXR3YXJ6YW5pYSBwcnpleiBzaWXEhyBuYWxlxbx5Og0KDQoqIFdjenl0YcSHIHBsaWtpIG9icmF6w7N3Lg0KKiBaZGVrb2Rvd2HEhyBmb3JtYXQgSlBFRyBkbyBzaWF0a2kgcGlrc2VsaSB3IGZvcm1hY2llIFJHQi4NCiogWmFwaXNhxIcgZGFuZSB3IGZvcm1pZSB0ZW5zb3LDs3cgbGljemIgem1pZW5ub3ByemVjaW5rb3d5Y2guDQoqIFByemVza2Fsb3dhxIcgd2FydG/Fm2NpIHBpa3NlbGkgeiB6YWtyZXN1IDAgLSAyNTUgZG8gemFrcmVzdSBbMCwgMV0sIHBvbmlld2HFvCBzaWVjaSBuZXVyb25vd2UgbGVwaWVqIHByYWN1asSFIHogbWHFgnltaSB3YXJ0b8WbY2lhbWkgd2VqxZtjaW93eW1pLg0KDQpNb8W8ZSBzacSZIHd5ZGF3YcSHIHRvIGRvxZvEhyBwcmFjb2NoxYJvbm5lLCBhbGUgcGFraWV0IEtlcmFzIGplc3Qgd3lwb3NhxbxvbnkgdyBuYXJ6xJlkemlhIHVtb8W8bGl3aWFqxIVjZSBhdXRvbWF0eWN6bmUgd3lrb25hbmllIHByb2Nlc3Uga29ud2Vyc2ppLiBQYWtpZXQgS2VyYXMgb2JzxYJ1Z3VqZSBmdW5rY2rEmSBpbWFnZV9kYXRhX2dlbmVyYXRvcigpIHBvendhbGFqxIVjxIUgc3p5YmtvIHphbWllbmnEhyBvYnJhenkgemFwaXNhbmUgbmEgZHlza3UgdyB0ZW5zb3J5IHByenlnb3Rvd2FuZSBkbyBza2llcm93YW5pYSBkbyBzaWVjaSBuZXVyb25vd2VqLiBTa29yenlzdGFteSB6IHRlZ28gZ290b3dlZ28gcm96d2nEhXphbmlhOg0KDQpgYGB7cn0NCiMgUHJ6ZXNrYWxvd3VqZSB3c3p5c3RraWUgb2JyYXp5IG8gd3Nww7PFgmN6eW5uaWsgMS8yNTUuDQp0cmFpbl9kYXRhZ2VuIDwtIGltYWdlX2RhdGFfZ2VuZXJhdG9yKHJlc2NhbGUgPSAxLzI1NSkNCnZhbGlkYXRpb25fZGF0YWdlbiA8LSBpbWFnZV9kYXRhX2dlbmVyYXRvcihyZXNjYWxlID0gMS8yNTUpDQoNCnRyYWluX2dlbmVyYXRvciA8LSBmbG93X2ltYWdlc19mcm9tX2RpcmVjdG9yeSgNCiAgIyBLYXRhbG9nIGRvY2Vsb3d5Lg0KICB0cmFpbl9kaXIsDQogICMgR2VuZXJhdG9yIGRhbnljaCB0cmVuaW5nb3d5Y2guDQogIHRyYWluX2RhdGFnZW4sDQogICMgWm1pZW5pYSByb3pkemllbGN6b8WbxIcgd3N6eXN0a2ljaCBvYnJhesOzdyBuYSAxNTB4MTUwLg0KICB0YXJnZXRfc2l6ZSA9IGMoMTUwLCAxNTApLA0KICBiYXRjaF9zaXplID0gMjAsDQogICMgVcW8eXdhbXkgZnVua2NqaSBiaW5hcnlfY3Jvc3NlbnRyb3B5IHcgY2hhcmFrdGVyemUgZnVua2NqaSBzdHJhdHksIGEgd2nEmWMgcG90cnplYnVqZW15IGJpbmFybnljaCBldHlraWV0Lg0KICBjbGFzc19tb2RlID0gImJpbmFyeSINCikNCg0KdmFsaWRhdGlvbl9nZW5lcmF0b3IgPC0gZmxvd19pbWFnZXNfZnJvbV9kaXJlY3RvcnkoDQogIHZhbGlkYXRpb25fZGlyLA0KICB2YWxpZGF0aW9uX2RhdGFnZW4sDQogIHRhcmdldF9zaXplID0gYygxNTAsIDE1MCksDQogIGJhdGNoX3NpemUgPSAyMCwNCiAgY2xhc3NfbW9kZSA9ICJiaW5hcnkiDQopDQpgYGANCg0KUHJ6eWpyenlqbXkgc2nEmSB3YXJ0b8WbY2lvbSB3eWdlbmVyb3dhbnltIHByemV6IGplZGVuIHogZ2VuZXJhdG9yw7N3OiB6d3JhY2Egb24gd3NhZCBvYnJhesOzdyBSR0IgbyB3eW1pYXJhY2ggMTUweO+CtDE1MCAobyBrc3p0YcWCY2llICgyMCwgMTUwLCAxNTAsIDMpKSBpIGJpbmFybmUgZXR5a2lldHkgKGtzenRhxYJ0ICgyMCwgKSkuIFcga2HFvGR5bSB3c2FkemllIHpuYWpkdWplIHNpxJkgMjAgcHLDs2Jlay4gWmF1d2HFvCwgxbxlIGdlbmVyYXRvciB6d3JhY2Egd3NhZHkgdyBuaWVza2/FhGN6b25vxZvEhyAod3lrb251amUgbmllc2tvxYRjem9uxIUgcMSZdGzEmSwgcHJ6ZXR3YXJ6YWrEhWMgb2JyYXp5IHVtaWVzemN6b25lIHcgZm9sZGVyemUgZG9jZWxvd3ltKS4NCg0KYGBge3J9DQpiYXRjaCA8LSBnZW5lcmF0b3JfbmV4dCh0cmFpbl9nZW5lcmF0b3IpDQpzdHIoYmF0Y2gpDQpgYGANCg0KRG9wYXN1am15IG1vZGVsIGRvIGRhbnljaCBwcnp5IHXFvHljaXUgZ2VuZXJhdG9yYS4gVyB0eW0gY2VsdSBuYWxlxbx5IHNrb3J6eXN0YcSHIHogZnVua2NqaSBmaXRfZ2VuZXJhdG9yIOKAlCBqZXN0IHRvIG9kcG93aWVkbmlrIGZ1bmtjamkgZml0IHN0b3Nvd2FueSB3IHByenlwYWRrdSBnZW5lcmF0b3LDs3cgZGFueWNoLiBNZXRvZGEgdGEgb2N6ZWt1amUgemRlZmluaW93YW5pYSB3IHBpZXJ3c3p5bSBhcmd1bWVuY2llIGdlbmVyYXRvcmEsIGt0w7NyeSB3IG5pZXNrb8WEY3pvbm/Fm8SHIGLEmWR6aWUgendyYWNhxYIgd3NhZHkgZGFueWNoIHdlasWbY2lvd3ljaCBpIGljaCBldHlraWV0LiBEYW5lIHPEhSBnZW5lcm93YW5lIHcgbmllc2tvxYRjem9ub8WbxIcsIGEgd2nEmWMgbW9kZWwgS2VyYXMgbXVzaSB3aWVkemllxIcsIGlsZSBwcsOzYmVrIG1hIHBvYnJhxIcgeiBnZW5lcmF0b3JhIHByemVkIHpha2/FhGN6ZW5pZW0gZXBva2kuIFPFgnXFvHkgZG8gdGVnbyBhcmd1bWVudCBzdGVwc19wZXJfZXBvY2g6IHBvIHBvYnJhbml1IGxpY3pieSB3c2Fkw7N3IG9rcmXFm2xhbmVqIHByemV6IHdhcnRvxZvEhyB0ZWdvIGFyZ3VtZW50dSAodGouIHBvIHd5a29uYW5pdSBvZHBvd2llZG5pZWogbGljemJ5IGtyb2vDs3cgc3BhZGt1IGdyYWRpZW50dSkgcHJvY2VzIGRvcGFzb3d5d2FuaWEgbW9kZWx1IHByemVqZHppZSBkbyBrb2xlam5laiBlcG9raS4gVyBuYXN6eW0gcHJ6eXBhZGt1IHdzYWR5IHNrxYJhZGFqxIUgc2nEmSB6IDIwIHByw7NiZWssIGEgd2nEmWMgbXVzaW15IHd5Z2VuZXJvd2HEhyAxMDAgd3NhZMOzdyB3IGNlbHUgd3l0cmVub3dhbmlhIG1vZGVsdSBuYSAyMDAwIHByw7NiZWsuDQoNCktvcnp5c3RhasSFYyB6IGZ1bmtjamkgZml0X2dlbmVyYXRvciwgbW/FvGVteSDigJQgcG9kb2JuaWUgamFrIHcgcHJ6eXBhZGt1IGZ1bmtjamkgZml0IOKAlCBwcnpla2F6YcSHIGFyZ3VtZW50IHZhbGlkYXRpb25fZGF0YS4gQXJndW1lbnQgdGVuIG1vxbxlIGJ5xIcgZ2VuZXJhdG9yZW0gZGFueWNoLCBhIHRha8W8ZSBrcm90a8SFIHRhYmxpYy4gVyBwcnp5cGFka3UgcHJ6ZWthemFuaWEgZ2VuZXJhdG9yYSB3IGFyZ3VtZW5jaWUgdmFsaWRhdGlvbl9kYXRhIG9jemVrdWplIHNpxJksIMW8ZSBnZW5lcmF0b3IgdGVuIGLEmWR6aWUgendyYWNhxYIgd3NhZHkgZGFueWNoIHdhbGlkYWN5am55Y2ggdyBuaWVza2/FhGN6b25vxZvEhy4gVyB6d2nEhXprdSB6IHR5bSBuYWxlxbx5IHpkZWZpbmlvd2HEhyB3YXJ0b8WbxIcgYXJndW1lbnR1IHZhbGlkYXRpb25fc3RlcHMgb2tyZcWbbGFqxIVjxIUgbGljemLEmSB3c2Fkw7N3LCBrdMOzcmEgbWEgem9zdGHEhyBwb2JyYW5hIHogZ2VuZXJhdG9yYSBkYW55Y2ggd2FsaWRhY3lqbnljaCB3IGNlbHUgcHJ6ZXByb3dhZHplbmlhIHdhbGlkYWNqaS4NCg0KDQpgYGB7ciwgZWNobz1UUlVFLCByZXN1bHRzPSdoaWRlJ30NCmhpc3RvcnkgPC0gbW9kZWwgJT4lIGZpdF9nZW5lcmF0b3IoDQogIHRyYWluX2dlbmVyYXRvciwNCiAgc3RlcHNfcGVyX2Vwb2NoID0gMTAwLA0KICBlcG9jaHMgPSAzMCwNCiAgdmFsaWRhdGlvbl9kYXRhID0gdmFsaWRhdGlvbl9nZW5lcmF0b3IsDQogIHZhbGlkYXRpb25fc3RlcHMgPSA1MA0KKQ0KYGBgDQoNCkRvYnLEhSBwcmFrdHlrxIUgamVzdCB6YXBpc3l3YW5pZSB3c3p5c3RraWNoIHd5dHJlbm93YW55Y2ggbW9kZWxpLg0KDQpgYGB7cn0NCm1vZGVsICU+JSBzYXZlX21vZGVsX2hkZjUoImNhdHNfYW5kX2RvZ3Nfc21hbGxfMS5oNSIpDQpgYGANCg0KVXR3w7Nyem15IHd5a3Jlc3kgc3RyYXR5IGkgZG9rxYJhZG5vxZtjaSBwcmFjeSBtb2RlbHUgcG9kY3phcyBwcnpldHdhcnphbmlhIGRhbnljaCB0cmVuaW5nb3d5Y2ggaSB3YWxpZGFjeWpueWNoOg0KDQpgYGB7cn0NCnBsb3QoaGlzdG9yeSkNCmBgYA0KDQpOYSB3eWtyZXNhY2ggdHljaCB3eXJhxbpuaWUgd2lkYcSHIG5hZG1pZXJuZSBkb3Bhc293YW5pZS4gRG9rxYJhZG5vxZvEhyB0cmVub3dhbmlhIHd6cmFzdGEgbGluaW93byB3cmF6IHogdXDFgnl3ZW0gY3phc3UgYcW8IGRvIG9zacSFZ25pxJljaWEgd2FydG/Fm2NpIHLDs3duZWogbmllbWFsxbxlIDEwMCUsIGEgZG9rxYJhZG5vxZvEhyB3YWxpZGFjamkgbmllIHByemVrcmFjemEgcG96aW9tdSA3MSDigJMgNzUlLiBTdHJhdGEgd2FsaWRhY2ppIG9zacSFZ2EgbWluaW1hbG7EhSB3YXJ0b8WbxIcgcG8gemFsZWR3aWUgcGnEmWNpdSBlcG9rYWNoLCBhIG5hc3TEmXBuaWUgc3RhYmlsaXp1amUgc2nEmSwgYSBzdHJhdGEgdHJlbmluZ293YSBtYWxlamUgbGluaW93byBhxbwgZG8gb3NpxIVnbmnEmWNpYSB3YXJ0b8WbY2kgemJsacW8b255Y2ggZG8gMC4NCg0KRHlzcG9udWplbXkgd3pnbMSZZG5pZSBuaWV3aWVsa8SFIGxpY3pixIUgcHLDs2JlayB0cmVuaW5nb3d5Y2ggKDIwMDApLCBhIHdpxJljIG5hZG1pZXJuZSBkb3Bhc293YW5pZSBixJlkemllIG5hc3p5bSBnxYLDs3dueW0gcHJvYmxlbWVtLiBabmFzeiBqdcW8IGtpbGthIHRlY2huaWsgcm96d2nEhXp5d2FuaWEgdGVnbyBwcm9ibGVtdSwgdGFraWNoIGphayBwb3J6dWNhbmllIGkgcm96a8WCYWQgd2FnIChyZWd1bGFyeXphY2phIEwyKS4gVGVyYXogcG96bmFzeiBub3fEhSB0ZWNobmlrxJkgcHJ6ZWNpd2R6aWHFgmFuaWEgbmFkbWllcm5lbXUgZG9wYXNvd2FuaXUsIGt0w7NyYSBzcHJhd2R6YSBzacSZIHBvZGN6YXMgYW5hbGl6eSBvYnJhenUgaSBqZXN0IHXFvHl3YW5hIHcgcHJha3R5Y3puaWUgd3N6eXN0a2ljaCBtb2RlbGFjaCB1Y3plbmlhIGfFgsSZYm9raWVnbyBwcnpldHdhcnphasSFY3ljaCBvYnJhenk6IGF1Z21lbnRhY2rEmSBkYW55Y2guDQoNCiMjIFN0b3Nvd2FuaWUgdGVjaG5pa2kgYXVnbWVudGFjamkgZGFueWNoDQoNCk5hZG1pZXJuZSBkb3Bhc293YW5pZSB3eW5pa2EgemUgemJ5dCBtYcWCZWogbGljemJ5IHByw7NiZWssIG5hIGt0w7NyeWNoIG1vZGVsIG1vxbxlIHNpxJkgdWN6ecSHLiBNb2RlbCBuaWUgbW/FvGUgdyB0YWtpZWogc3l0dWFjamkgdXR3b3J6ecSHIHVvZ8OzbG5pZcWELCBrdMOzcmUgc3ByYXdkesSFIHNpxJkgcG9kY3phcyBwcnpldHdhcnphbmlhIG5vd3ljaCBkYW55Y2guIEdkeWJ5xZtteSBkeXNwb25vd2FsaSBuaWVza2/FhGN6ZW5pZSB3aWVsa2ltIHpiaW9yZW0gZGFueWNoIHRyZW5pbmdvd3ljaCwgdG8gbmEgbW9kZWwgZHppYcWCYcWCYnkga2HFvGR5IG1vxbxsaXd5IGFzcGVrdCByb3prxYJhZHUgZGFueWNoIOKAlCBuaWdkeSBuaWUgdWxlZ8WCYnkgcHJ6ZXVjemVuaXUuIEF1Z21lbnRhY2phIGRhbnljaCB0byB0ZWNobmlrYSBnZW5lcm93YW5pYSB3acSZa3N6ZWogbGljemJ5IGVsZW1lbnTDs3cgdHJlbmluZ293ZWdvIHpiaW9ydSBkYW55Y2ggcG9wcnpleiBhdWdtZW50YWNqxJkgcHLDs2JlayBuYSBkcm9kemUgbG9zb3d5Y2ggcHJ6ZWtzenRhxYJjZcWEIHp3cmFjYWrEhWN5Y2ggb2JyYXp5LCBrdMOzcmUgd3lnbMSFZGFqxIUgd2lhcnlnb2RuaWUuIENlbGVtIHRlZ28gcm96d2nEhXphbmlhIGplc3QgdG8sIGFieSB0cmVub3dhbnkgbW9kZWwgbmlnZHkgbmllIHpvYmFjennFgiBkd3Vrcm90bmllIHRlZ28gc2FtZWdvIHpkasSZY2lhLiBEemnEmWtpIHRlbXUgbW9kZWwgbW/FvGUgemF1d2HFvHnEhyB3acSZY2VqIGFzcGVrdMOzdyBwcnpldHdhcnphbnljaCBkYW55Y2ggaSB1dHdvcnp5xIcgbGVwc3plIHVvZ8OzbG5pZW5pYS4NCg0KVyBwYWtpZWNpZSBLZXJhcyB6IHRlY2huaWtpIHRlaiBtb8W8bmEgc2tvcnp5c3RhxIcsIGtvbmZpZ3VydWrEhWMgbG9zb3dlIHByemVrc3p0YcWCY2VuaWEgb2JyYXrDs3cgd2N6eXR5d2FueWNoIHByemV6IGZ1bmtjasSZIGltYWdlX2RhdGFfZ2VuZXJhdG9yLiBaYWN6bmlqbXkgb2QgcHJ6ZWFuYWxpem93YW5pYSBwcnp5a8WCYWR1Og0KDQpgYGB7cn0NCmRhdGFnZW4gPC0gaW1hZ2VfZGF0YV9nZW5lcmF0b3IoDQogIHJlc2NhbGUgPSAxLzI1NSwNCiAgcm90YXRpb25fcmFuZ2UgPSA0MCwNCiAgd2lkdGhfc2hpZnRfcmFuZ2UgPSAwLjIsDQogIGhlaWdodF9zaGlmdF9yYW5nZSA9IDAuMiwNCiAgc2hlYXJfcmFuZ2UgPSAwLjIsDQogIHpvb21fcmFuZ2UgPSAwLjIsDQogIGhvcml6b250YWxfZmxpcCA9IFRSVUUsDQogIGZpbGxfbW9kZSA9ICJuZWFyZXN0Ig0KKQ0KYGBgDQoNClRvIHR5bGtvIGtpbGthIHogZG9zdMSZcG55Y2ggb3BjamkgKGluZm9ybWFjamUgbmEgdGVtYXQgcG96b3N0YcWCeWNoIHpuYWpkemllc3ogdyBkb2t1bWVudGFjamkgcGFraWV0dSBLZXJhcykuIFByemVhbmFsaXp1am15IHphcHJlemVudG93YW55IGtvZDoNCioJV2FydG/Fm8SHIHJvdGF0aW9uX3JhbmdlIG9rcmXFm2xhIHN0b3BuaWUgKDAg4oCTIDE4MCkg4oCUIHpha3JlcyBrxIV0w7N3LCBvIGt0w7NyZSB6b3N0YW5pZSB3eWtvbmFueSBsb3Nvd3kgb2Jyw7N0IG9icmF6w7N3Lg0KKglaYWtyZXN5IHdpZHRoX3NoaWZ0IGkgaGVpZ2h0X3NoaWZ0IG9rcmXFm2xhasSFIHXFgmFta2kgY2HFgmtvd2l0ZWogc3plcm9rb8WbY2kgaSB3eXNva2/Fm2NpIG9icmF6w7N3OyB6YWtyZXN5IHRlIHdza2F6dWrEhSByYW15LCB3IG9icsSZYmllIGt0w7NyeWNoIHByemVwcm93YWR6YSBzacSZIGxvc293ZSBwaW9ub3dlIGkgcG96aW9tZSBwcnpla3N6dGHFgmNlbmlhIG9icmF6w7N3Lg0KKglQYXJhbWV0ciBzaGVhcl9yYW5nZSBva3JlxZtsYSB6YWtyZXMgbG9zb3dlZ28gcHJ6eWNpbmFuaWEgb2JyYXp1Lg0KKglQYXJhbWV0ciB6b29tX3JhbmdlIG9rcmXFm2xhIHpha3JlcyBsb3Nvd2VnbyBwcnp5YmxpxbxhbmlhIGZyYWdtZW50w7N3IG9icmF6w7N3Lg0KKglPcGVyYWNqYSBob3Jpem9udGFsX2ZsaXAgcG9sZWdhIG5hIGxvc293eW0gb2RiaWNpdSBwb8WCb3d5IG9icmF6dSB3IHDFgmFzemN6ecW6bmllIHBvemlvbWVqIOKAlCB6IHByemVrc3p0YcWCY2VuaWEgdGVnbyB3YXJ0byBrb3J6eXN0YcSHIHd0ZWR5LCBnZHkgbmllIG1hIHphxYJvxbxlxYQgbyBob3J5em9udGFsbmVqIGFzeW1ldHJpaSBvYnJhenUgKG5wLiB3IHByenlwYWRrdSBwcmF3ZHppd3ljaCB6ZGrEmcSHKS4NCioJVHJ5YiBmaWxsX21vZGUgamVzdCBzdHJhdGVnacSFIHd5cGXFgm5pYW5pYSBub3dvIHV0d29yem9ueWNoIHBpa3NlbGksIGt0w7NyZSBtb2fEhSBwb3dzdGHEhyB3IHd5bmlrdSBvYnJvdHUgbHViIHByemVzdW5pxJljaWEuDQoNCg0KUHJ6eWpyenlqbXkgc2nEmSB6bW9keWZpa293YW55bSBvYnJhem9tOg0KDQpgYGB7cn0NCiMgV3liaWVyYW15IG9icmF6IGRvIHptb2R5Zmlrb3dhbmlhLg0KZm5hbWVzIDwtIGxpc3QuZmlsZXModHJhaW5fY2F0c19kaXIsIGZ1bGwubmFtZXMgPSBUUlVFKQ0KaW1nX3BhdGggPC0gZm5hbWVzW1syXV0NCg0KIyBaYW1pZW5pYW15IG9icmF6IHcgdGFibGljxJkgbyBrc3p0YcWCY2llICgxNTAsIDE1MCwgMykuDQppbWcgPC0gaW1hZ2VfbG9hZChpbWdfcGF0aCwgdGFyZ2V0X3NpemUgPSBjKDE1MCwgMTUwKSkNCmltZ19hcnJheSA8LSBpbWFnZV90b19hcnJheShpbWcpDQppbWdfYXJyYXkgPC0gYXJyYXlfcmVzaGFwZShpbWdfYXJyYXksIGMoMSwgMTUwLCAxNTAsIDMpKQ0KDQojIEdlbmVydWplbXkgd3NhZHkgb2JyYXrDs3cgem1vZHlmaWtvd2FueWNoIHcgc3Bvc8OzYiBsb3Nvd3kuIA0KYXVnbWVudGF0aW9uX2dlbmVyYXRvciA8LSBmbG93X2ltYWdlc19mcm9tX2RhdGEoDQogIGltZ19hcnJheSwgDQogIGdlbmVyYXRvciA9IGRhdGFnZW4sIA0KICBiYXRjaF9zaXplID0gMSANCikNCg0KIyBHZW5lcnVqZW15IHd5a3JlcyB6YXdpZXJhamFjeSB6bW9keWZpa293YW5lIG9icmF6eS4NCm9wIDwtIHBhcihtZnJvdyA9IGMoMiwgMiksIHB0eSA9ICJzIiwgbWFyID0gYygxLCAwLCAxLCAwKSkNCmZvciAoaSBpbiAxOjQpIHsNCiAgYmF0Y2ggPC0gZ2VuZXJhdG9yX25leHQoYXVnbWVudGF0aW9uX2dlbmVyYXRvcikNCiAgcGxvdChhcy5yYXN0ZXIoYmF0Y2hbMSwsLF0pKQ0KfQ0KcGFyKG9wKQ0KYGBgDQoNCkplxbxlbGkgdcW8eWplbXkgdGFrIHNrb25maWd1cm93YW5lZ28gbWVjaGFuaXptdSBtb2R5ZmlrdWrEhWNlZ28gb2JyYXp5LCB0byBuYXN6YSBzaWXEhyBuaWdkeSBuaWUgYsSZZHppZSBwcnpldHdhcnphxIcgZHd1a3JvdG5pZSB0ZWdvIHNhbWVnbyBvYnJhenUsIGFsZSBwcnpldHdhcnphbmUgcHJ6ZXogbmnEhSBvYnJhenkgYsSZZMSFIHdjacSFxbwgYmFyZHpvIHBvZG9ibmUgZG8gc2llYmllLCBwb25pZXdhxbwgYsSZZHppZW15IGdlbmVyb3dhxIcgamUgbmEgYmF6aWUgbWHFgmVqIGxpY3pieSBvcnlnaW5hbG55Y2ggb2JyYXrDs3cg4oCUIG5pZSBtb8W8ZW15IHd5Z2VuZXJvd2HEhyBub3d5Y2ggaW5mb3JtYWNqaSwgbGVjeiB0eWxrbyBwcnplZHN0YXdpYcSHIHcgbm93ZWogZm9ybWllIGluZm9ybWFjamUsIGt0w7NyeW1pIGR5c3BvbnVqZW15LiBXIHp3acSFemt1IHogdHltIGJ5xIcgbW/FvGUgbmllIHVkYSBuYW0gc2nEmSB6dXBlxYJuaWUgd3llbGltaW5vd2HEhyBuYWRtaWVybmVnbyBkb3Bhc293YW5pYS4gRGxhdGVnbyBww7PFum5pZWogZG9kYW15IGRvIHNpZWNpIHdhcnN0d8SZIGRyb3BvdXQgKHVtaWXFm2NpbXkgasSFIGJlenBvxZtyZWRuaW8gcHJ6ZWQgZ8SZc3RvIHBvxYLEhWN6b255bSBrbGFzeWZpa2F0b3JlbSkuDQoNCmBgYHtyfQ0KbW9kZWwgPC0ga2VyYXNfbW9kZWxfc2VxdWVudGlhbCgpICU+JSANCiAgbGF5ZXJfY29udl8yZChmaWx0ZXJzID0gMzIsIGtlcm5lbF9zaXplID0gYygzLCAzKSwgYWN0aXZhdGlvbiA9ICJyZWx1IiwNCiAgICAgICAgICAgICAgICBpbnB1dF9zaGFwZSA9IGMoMTUwLCAxNTAsIDMpKSAlPiUgDQogIGxheWVyX21heF9wb29saW5nXzJkKHBvb2xfc2l6ZSA9IGMoMiwgMikpICU+JSANCiAgbGF5ZXJfY29udl8yZChmaWx0ZXJzID0gNjQsIGtlcm5lbF9zaXplID0gYygzLCAzKSwgYWN0aXZhdGlvbiA9ICJyZWx1IikgJT4lIA0KICBsYXllcl9tYXhfcG9vbGluZ18yZChwb29sX3NpemUgPSBjKDIsIDIpKSAlPiUgDQogIGxheWVyX2NvbnZfMmQoZmlsdGVycyA9IDEyOCwga2VybmVsX3NpemUgPSBjKDMsIDMpLCBhY3RpdmF0aW9uID0gInJlbHUiKSAlPiUgDQogIGxheWVyX21heF9wb29saW5nXzJkKHBvb2xfc2l6ZSA9IGMoMiwgMikpICU+JSANCiAgbGF5ZXJfY29udl8yZChmaWx0ZXJzID0gMTI4LCBrZXJuZWxfc2l6ZSA9IGMoMywgMyksIGFjdGl2YXRpb24gPSAicmVsdSIpICU+JSANCiAgbGF5ZXJfbWF4X3Bvb2xpbmdfMmQocG9vbF9zaXplID0gYygyLCAyKSkgJT4lIA0KICBsYXllcl9mbGF0dGVuKCkgJT4lIA0KICBsYXllcl9kcm9wb3V0KHJhdGUgPSAwLjUpICU+JSANCiAgbGF5ZXJfZGVuc2UodW5pdHMgPSA1MTIsIGFjdGl2YXRpb24gPSAicmVsdSIpICU+JSANCiAgbGF5ZXJfZGVuc2UodW5pdHMgPSAxLCBhY3RpdmF0aW9uID0gInNpZ21vaWQiKSAgDQogIA0KbW9kZWwgJT4lIGNvbXBpbGUoDQogIGxvc3MgPSAiYmluYXJ5X2Nyb3NzZW50cm9weSIsDQogIG9wdGltaXplciA9IG9wdGltaXplcl9ybXNwcm9wKGxyID0gMWUtNCksDQogIG1ldHJpY3MgPSBjKCJhY2MiKQ0KKQ0KYGBgDQoNClByemVwcm93YWTFum15IHByb2NlcyB0cmVub3dhbmlhIHNpZWNpIHByenkgdcW8eWNpdSB0ZWNobmlrIGF1Z21lbnRhY2ppIGRhbnljaCBpIG9kcnp1Y2FuaWEuDQoNCmBgYHtyLCBlY2hvPVRSVUUsIHJlc3VsdHM9J2hpZGUnfQ0KZGF0YWdlbiA8LSBpbWFnZV9kYXRhX2dlbmVyYXRvcigNCiAgcmVzY2FsZSA9IDEvMjU1LA0KICByb3RhdGlvbl9yYW5nZSA9IDQwLA0KICB3aWR0aF9zaGlmdF9yYW5nZSA9IDAuMiwNCiAgaGVpZ2h0X3NoaWZ0X3JhbmdlID0gMC4yLA0KICBzaGVhcl9yYW5nZSA9IDAuMiwNCiAgem9vbV9yYW5nZSA9IDAuMiwNCiAgaG9yaXpvbnRhbF9mbGlwID0gVFJVRQ0KKQ0KDQp0ZXN0X2RhdGFnZW4gPC0gaW1hZ2VfZGF0YV9nZW5lcmF0b3IocmVzY2FsZSA9IDEvMjU1KQ0KDQp0cmFpbl9nZW5lcmF0b3IgPC0gZmxvd19pbWFnZXNfZnJvbV9kaXJlY3RvcnkoDQogIHRyYWluX2RpciwNCiAgZGF0YWdlbiwNCiAgdGFyZ2V0X3NpemUgPSBjKDE1MCwgMTUwKSwNCiAgYmF0Y2hfc2l6ZSA9IDMyLA0KICBjbGFzc19tb2RlID0gImJpbmFyeSINCikNCg0KdmFsaWRhdGlvbl9nZW5lcmF0b3IgPC0gZmxvd19pbWFnZXNfZnJvbV9kaXJlY3RvcnkoDQogIHZhbGlkYXRpb25fZGlyLA0KICB0ZXN0X2RhdGFnZW4sDQogIHRhcmdldF9zaXplID0gYygxNTAsIDE1MCksDQogIGJhdGNoX3NpemUgPSAzMiwNCiAgY2xhc3NfbW9kZSA9ICJiaW5hcnkiDQopDQoNCmhpc3RvcnkgPC0gbW9kZWwgJT4lIGZpdF9nZW5lcmF0b3IoDQogIHRyYWluX2dlbmVyYXRvciwNCiAgc3RlcHNfcGVyX2Vwb2NoID0gMTAwLA0KICBlcG9jaHMgPSAxMDAsDQogIHZhbGlkYXRpb25fZGF0YSA9IHZhbGlkYXRpb25fZ2VuZXJhdG9yLA0KICB2YWxpZGF0aW9uX3N0ZXBzID0gNTANCikNCmBgYA0KDQpaYXBpc3pteSB1dHdvcnpvbnkgbW9kZWwg4oCUIGLEmWR6aWVteSB6IG5pZWdvIGtvcnp5c3RhxIcgcG9ub3duaWUgdyBwb2Ryb3pkemlhbGUgNS40Lg0KDQpgYGB7cn0NCm1vZGVsICU+JSBzYXZlX21vZGVsX2hkZjUoImNhdHNfYW5kX2RvZ3Nfc21hbGxfMi5oNSIpDQpgYGANCg0KVXR3P3J6bXkgbm93ZSB3eWtyZXN5Og0KDQpgYGB7cn0NCnBsb3QoaGlzdG9yeSkNCmBgYA0KDQpEemnEmWtpIHphc3Rvc293YW5pdSB0ZWNobmlrIGF1Z21lbnRhY2ppIGRhbnljaCBpIG9kcnp1Y2FuaWEgbmllIG1hbXkganXFvCBwcm9ibGVtdSBuYWRtaWVybmVnbyBkb3Bhc293YW5pYSAocGF0cnogcnlzdW5layA1LjExKS4gS3J6eXdlIHRyZW5vd2FuaWEgaSB3YWxpZGFjamkgbWFqxIUgcG9kb2JueSBwcnplYmllZy4gRG9rxYJhZG5vxZvEhyBvc2nEhWduxJnFgmEgcG96aW9tIDgyJSwgYSB3acSZYyB3IHNrYWxpIHd6Z2zEmWRuZWogdWxlZ8WCYSBwb3ByYXdpZSBvIDE1JSB3IHN0b3N1bmt1IGRvIHBvY3rEhXRrb3dlaiB3ZXJzamkgbW9kZWx1Lg0KDQpQb3ByemV6IGRhbHN6ZSBzdG9zb3dhbmllIHRlY2huaWsgcmVndWxhcnl6YWNqaSBpIGRvc3RyYWphbmllIHBhcmFtZXRyw7N3IHNpZWNpLCB0YWtpY2ggamFrIGxpY3piYSBmaWx0csOzdyBwb3N6Y3plZ8OzbG55Y2ggd2Fyc3R3IGtvbndvbHVjamkgbHViIGxpY3piYSB3YXJzdHcgc2llY2ksIG1vxbxlc3ogemJsacW8ecSHIHNpxJkgZG8gZG9rxYJhZG5vxZtjaSBuYSBwb3ppb21pZSA4NiDigJMgODclLiBVenlza2FuaWUgd3nFvHN6ZWogZG9rxYJhZG5vxZtjaSB3IHd5bmlrdSB0cmVub3dhbmlhIHfFgmFzbmVqIHNpZWNpIGtvbndvbHVjeWpuZWogb2QgcG9kc3RhdyBiecWCb2J5IHRydWRuZSwgcG9uaWV3YcW8IGR5c3BvbnVqZW15IG1hxYLEhSBpbG/Fm2NpxIUgZGFueWNoLiBXIGNlbHUgZGFsc3plZ28gendpxJlrc3phbmlhIGRva8WCYWRub8WbY2kgbXVzaW15IHNrb3J6eXN0YcSHIHogd3l0cmVub3dhbmVnbyB3Y3plxZtuaWVqIG1vZGVsdS4gVGVjaG5pa2EgdGEgYsSZZHppZSB0ZW1hdGVtIHByemV3b2RuaW0gZHfDs2NoIGtvbGVqbnljaCBwb2Ryb3pkemlhxYLDs3cuDQo=