Korzystanie z uprzednio wytrenowanej sieci jest częstą praktyką uczenia głębokiego, która charakteryzuje się dużą skutecznością w przypadku uczenia się na małych zbiorach obrazów. Wytrenowana uprzednio sieć jest zapisaną siecią, która została wcześniej wytrenowana na dużym zbiorze danych (zwykle trenowanie to miało miejsce podczas wykonywania zadania klasyfikacji dużego zbioru obrazów). Jeżeli oryginalny zbiór danych był na tyle duży i na tyle ogólny, to przestrzenna hierarchia cech wyuczona przez wytrenowany wcześniej moduł może skutecznie odgrywać rolę ogólnego modelu przetwarzania obrazu — cechy tej sieci mogą przydawać się podczas rozwiązywania różnych problemów przetwarzania obrazu pomimo tego, że nowe problemy wymagają rozpoznawania zupełnie innych klas, niż miało to miejsce w przypadku oryginalnego zadania. Sieć może zostać wytrenowana np. na zbiorze ImageNet (klasami są w nim głównie zwierzęta i przedmioty codziennego użytku), a następnie zastosowana w celu wykonania zadania takiego jak identyfikacja mebli widocznych na zupełnie innych zdjęciach. Możliwość stosowania wytrenowanych sieci do rozwiązywania różnych problemów jest ogromną przewagą uczenia głębokiego nad starszymi algorytmami uczenia płytkiego. Dzięki tej technice uczenie głębokie może byś stosowane skutecznie w pracy z małymi zbiorami danych.
Chcemy skorzystać z dużej sieci konwolucyjnej wytrenowanej na zbiorze ImageNet (1,4 miliona obrazów podzielonych na 1000 klas). Zbiór ImageNet obejmuje wiele klas zwierząt, w tym różne rasy psów i kotów, a więc wytrenowany na nim model prawdopodobnie sprawdzi się dobrze w przypadku problemu klasyfikacji zdjęć na zdjęcia psów i zdjęcia kotów.
Skorzystamy z architektury VGG16 opracowanej przez Karen Simonyan i Andrew Zissermana w 2014 r. To prosta i często stosowana architektura sieci uczących się na zbiorze ImageNet . Co prawda jest to dość stary model, który odbiega dość mocno od najnowszych i najbardziej zaawansowanych modeli, ale znamy już jego architekturę i jesteśmy w stanie zrozumieć jego działanie bez wprowadzania żadnych nowych koncepcji. W przyszłości z pewnością będziesz korzystać z modeli o nazwach pokroju VGG, ResNet, Inception, Inception-ResNet, Xception itd. Człony te występują w nazwach wielu architektur stosowanych w przetwarzaniu obrazu.
Istnieją dwie techniki stosowania wytrenowanej wcześniej sieci: ekstrakcja cech i dostrajanie. Opiszę oba rozwiązania, ale zacznę od ekstrakcji cech.
Ekstrakcja cech
Ekstrakcja cech polega na korzystaniu z reprezentacji wyuczonej przez sieć wcześniej w celu dokonania ekstrakcji interesujących nas cech z nowych próbek. Cechy te są następnie przepuszczane przez nowy klasyfikator trenowany od podstaw.
Przypominam, że konwolucyjne sieci neuronowe stosowane w problemach klasyfikacji obrazów składają się z dwóch elementów: serii warstw łączących (warstw pooling) i warstw konwolucyjnych. Na końcu sieci znajduje się gęsto połączony klasyfikator. Pierwsza część sieci określana jest mianem konwolucyjnej bazy modelu. W przypadku sieci konwolucyjnej ekstrakcja cech polega na przyjrzeniu się konwolucyjnej bazie wcześniej wytrenowanej sieci, przepuszczeniu przez nią nowych danych i wytrenowaniu nowego klasyfikatora na bazie wyjścia tej sieci.
Dlaczego korzystamy ponownie tylko z konwolucyjnej bazy? Czy moglibyśmy skorzystać znów z gęsto połączonego klasyfikatora? Zwykle należy tego unikać. Wynika to z tego, że reprezentacje wyuczone przez konwolucyjną bazę są zwykle bardziej ogólne, a więc można z nich skorzystać również podczas pracy nad innym problemem: mapy cech konwolucyjnej sieci neuronowej przedstawiają ogólne koncepcje, które nadają się do rozwiązywania różnych problemów związanych z przetwarzaniem obrazu. Reprezentacje wyuczone przez klasyfikator są specyficzne dla danego zestawu klas, na których trenowano model — będą zawierać tylko informacje pozwalające na określenie prawdopodobieństwa tego, czy dana klasa jest widoczna na obrazie. Ponadto reprezentacje gęsto połączonych warstw nie zawierają żadnych informacji o miejscu umieszczenia rozpoznawanych obiektów na obrazie wejściowym — warstwy te nie polegają na przestrzeni, a informacje o położeniu obiektu znajdują się tylko w konwolucyjnej mapie cech. W przypadku problemów, w których położenie obiektu ma znaczenie praktyczne, gęsto połączone cechy są bezużyteczne.
Zauważ, że poziom ogólności (możliwości ponownego zastosowania) reprezentacji wyciągniętych przez określone warstwy konwolucyjne zależy od głębokości warstwy modelu. Warstwy występujące w modelu wcześniej dokonują ekstrakcji lokalnych wysoce ogólnych map cech (np. krawędzi, kolorów i tekstur), a warstwy wyższe dokonują ekstrakcji bardziej abstrakcyjnych koncepcji (rozpoznają np. „ucho kota” lub „oko psa”). Jeżeli nowy zbiór danych różni się bardzo od zbioru, na którym model był początkowo trenowany, to prawdopodobnie lepiej będzie, jak skorzystasz z kilku pierwszych warstw tego modelu w celu przeprowadzenia ekstrakcji cech i nie skorzystasz z całej konwolucyjnej bazy.
W naszym przypadku w zbiorze ImageNet wyodrębniono wiele klas zdjęć psów i kotów, a prawdopodobnie warto jest skorzystać z informacji umieszczonych w gęsto połączonych warstwach oryginalnego modelu, ale nie zrobimy tego w celu zaimplementowania bardziej ogólnego rozwiązania, w którym zestaw klas nowego problemu nie nakłada się na zestaw klas oryginalnego modelu. Zróbmy to w praktyce, korzystając z konwolucyjnej bazy sieci VGG16, wytrenowanej na zbiorze ImageNet, w celu ekstrakcji cech ze zdjęć psów i kotów, a następnie wytrenujmy klasyfikator dzielący obrazy na zdjęcia psów i zdjęcia kotów.
Model VGG16 jest jednym z modeli dołączonych do pakietu Keras. Oto lista modeli klasyfikujących obrazy dostępnych w tym module (wszystkie te modele zostały wytrenowane na zbiorze ImageNet):
- Xception
- InceptionV3
- ResNet50
- VGG16
- VGG19
- MobileNet
Utwórzmy instancję modelu VGG16.
r
r library(keras) conv_base <- application_vgg16( weights = , include_top = FALSE, input_shape = c(150, 150, 3) )
Do funkcji przekazaliśmy trzy argumenty:
- Argument weights określa punkt kontrolny wag, z którego inicjowany jest model.
- Argument include_top określa to, czy do górnej części sieci dołączony zostanie gęsto połączony klasyfikator. Domyślnie klasyfikator ten odpowiada za 1000 klas zbioru ImageNet. Mamy zamiar korzystać z własnego klasyfikatora rozpoznającego dwie klasy (psy i koty), a więc nie chcemy dołączać wytrenowanego wcześniej klasyfikatora.
- Argument input_shape określa kształt tensorów obrazów, które będą kierowane do wejścia sieci. Argument ten nie musi być definiowany — jeżeli go nie określisz, to sieć będzie w stanie przetworzyć tensory wejściowe o dowolnym kształcie.
Oto szczegółowe informacje na temat architektury bazy konwolucyjnej modelu VGG16. Przypomina ona architekturę przedstawionych wcześniej prostych sieci konwolucyjnych:
r
r summary(conv_base)
_________________________________________________________________________________________
Layer (type) Output Shape Param #
=========================================================================================
input_1 (InputLayer) (None, 150, 150, 3) 0
_________________________________________________________________________________________
block1_conv1 (Conv2D) (None, 150, 150, 64) 1792
_________________________________________________________________________________________
block1_conv2 (Conv2D) (None, 150, 150, 64) 36928
_________________________________________________________________________________________
block1_pool (MaxPooling2D) (None, 75, 75, 64) 0
_________________________________________________________________________________________
block2_conv1 (Conv2D) (None, 75, 75, 128) 73856
_________________________________________________________________________________________
block2_conv2 (Conv2D) (None, 75, 75, 128) 147584
_________________________________________________________________________________________
block2_pool (MaxPooling2D) (None, 37, 37, 128) 0
_________________________________________________________________________________________
block3_conv1 (Conv2D) (None, 37, 37, 256) 295168
_________________________________________________________________________________________
block3_conv2 (Conv2D) (None, 37, 37, 256) 590080
_________________________________________________________________________________________
block3_conv3 (Conv2D) (None, 37, 37, 256) 590080
_________________________________________________________________________________________
block3_pool (MaxPooling2D) (None, 18, 18, 256) 0
_________________________________________________________________________________________
block4_conv1 (Conv2D) (None, 18, 18, 512) 1180160
_________________________________________________________________________________________
block4_conv2 (Conv2D) (None, 18, 18, 512) 2359808
_________________________________________________________________________________________
block4_conv3 (Conv2D) (None, 18, 18, 512) 2359808
_________________________________________________________________________________________
block4_pool (MaxPooling2D) (None, 9, 9, 512) 0
_________________________________________________________________________________________
block5_conv1 (Conv2D) (None, 9, 9, 512) 2359808
_________________________________________________________________________________________
block5_conv2 (Conv2D) (None, 9, 9, 512) 2359808
_________________________________________________________________________________________
block5_conv3 (Conv2D) (None, 9, 9, 512) 2359808
_________________________________________________________________________________________
block5_pool (MaxPooling2D) (None, 4, 4, 512) 0
=========================================================================================
Total params: 14,714,688
Trainable params: 14,714,688
Non-trainable params: 0
_________________________________________________________________________________________
Finalna mapa cech ma kształt (4, 4, 512). Z tej mapy cech korzystać będzie klasyfikator.
Kolejne czynności możemy wykonywać na dwa sposoby:
- Możemy uruchomić konwolucyjną bazę na naszym zbiorze danych, zapisać wygenerowane przez nią wartości na dysku w postaci tablicy Numpy, a następnie użyć tej tablicy w charakterze danych wejściowych samodzielnego, gęsto połączonego klasyfikatora podobnego do tego, który został opisany w części I tej książki. Rozwiązanie to jest szybkie i łatwo je uruchomić, ponieważ wymaga tylko jednokrotnego uruchomienia konwolucyjnej bazy dla każdego obrazu wejściowego, a konwolucyjna baza jest najbardziej kosztownym obliczeniowo ogniwem potoku przetwarzania danych. Niestety wadą tego rozwiązania jest brak możliwości skorzystania z techniki augmentacji danych.
- Możemy rozszerzyć model, który posiadamy (conv_base), dodając do niego warstwy dense i używając całej tej konstrukcji w celu przetworzenia danych wejściowych. Rozwiązanie to umożliwia korzystanie z augmentacji danych, ponieważ każdy obraz wejściowy przechodzi przez konwolucyjną bazę za każdym razem, gdy jest analizowany przez model. Niestety sprawia to, że technika ta wymaga przeprowadzania bardziej kosztownych obliczeń.
Opiszę oba rozwiązania. Na razie skupmy się na kodzie wymaganym w celu zaimplementowania pierwszego z nich — kodzie zapisującym dane wyjściowe bazy conv_base i pozwalającym na użycie ich w charakterze danych wejściowych nowego modelu.
Zaczniemy od uruchomienia instancji wprowadzonego wcześniej generatora image_data_generator w celu przeprowadzenia ekstrakcji obrazów jako tablic Numpy. Ponadto dokonamy ekstrakcji etykiet obrazów. Ekstrakcję cech obrazów przeprowadzimy, wywołując na modelu metodę predict.
r
r base_dir <- ~/Downloads/cats_and_dogs_small
train_dir <- file.path(base_dir, ) validation_dir <- file.path(base_dir, ) test_dir <- file.path(base_dir, ) datagen <- image_data_generator(rescale = 1/255) batch_size <- 20 extract_features <- function(directory, sample_count) {
features <- array(0, dim = c(sample_count, 4, 4, 512))
labels <- array(0, dim = c(sample_count))
generator <- flow_images_from_directory( directory = directory, generator = datagen, target_size = c(150, 150), batch_size = batch_size, class_mode =
)
i <- 0 while(TRUE) { batch <- generator_next(generator) inputs_batch <- batch[[1]] labels_batch <- batch[[2]] features_batch <- conv_base %>% predict(inputs_batch)
index_range <- ((i * batch_size)+1):((i + 1) * batch_size)
features[index_range,,,] <- features_batch
labels[index_range] <- labels_batch
i <- i + 1
if (i * batch_size >= sample_count)
# Note that because generators yield data indefinitely in a loop,
# you must break after every image has been seen once.
break
}
list( features = features, labels = labels ) } train <- extract_features(train_dir, 2000)
Found 2000 images belonging to 2 classes.
r
r validation <- extract_features(validation_dir, 1000)
Found 1000 images belonging to 2 classes.
r
r test <- extract_features(test_dir, 1000)
Found 1000 images belonging to 2 classes.
Wyciągnięte cechy mają obecnie kształt (próbki, 4, 4, 512). Będziemy kierować je do gęsto połączonego klasyfikatora, a więc cechy musimy spłaszczyć do kształtu (próbki, 8192):
r
r reshape_features <- function(features) { array_reshape(features, dim = c(nrow(features), 4 * 4 * 512)) } train\(features <- reshape_features(train\)features) validation\(features <- reshape_features(validation\)features) test\(features <- reshape_features(test\)features)
Teraz możemy zdefiniować gęsto połączony klasyfikator (zwróć uwagę na zastosowanie techniki regularyzacji — porzucania) i wytrenować go na zapisanych przed chwilą danych i etykietach.
r
r model <- keras_model_sequential() %>% layer_dense(units = 256, activation = , input_shape = 4 * 4 * 512) %>% layer_dropout(rate = 0.5) %>% layer_dense(units = 1, activation = ) model %>% compile( optimizer = optimizer_rmsprop(lr = 2e-5), loss = _crossentropy, metrics = c() ) history <- model %>% fit( train\(features, train\)labels, epochs = 30, batch_size = 20, validation_data = list(validation\(features, validation\)labels) )
Trenowanie przebiega bardzo szybko, ponieważ mamy tylko dwie warstwy dense — przetworzenie epoki algorytmu zajmuje mniej niż sekundę nawet w przypadku korzystania z CPU.
Przeanalizujmy wykresy straty i dokładności trenowania :
r
r plot(history)

Uzyskaliśmy dokładność na poziomie zbliżonym do 90% — to wynik o wiele lepszy od tego, który uzyskaliśmy w poprzednim podrozdziale, gdy trenowaliśmy model od podstaw. Z wykresów wynika jednak również to, że model niemalże od początku ulega nadmiernemu dopasowaniu pomimo przyjęcia dość dużej wartości współczynnika odrzutu. Bierze się to stąd, że nie korzystamy z techniki augmentacji danych, która jest niezbędna, by zapobiegnąć przeuczeniu modelu podczas przetwarzania małych zbiorów obrazów.
Teraz przyjrzyjmy się drugiej technice ekstrakcji cech, która jest o wiele wolniejsza i wymaga wykonywania o wiele bardziej skomplikowanych obliczeń, ale umożliwia korzystanie z augmentacji danych podczas trenowania — dokonamy rozbudowy modelu conv_base i przetworzymy dane od początku do końca przy użyciu tego właśnie modelu. Technika ta wymaga na tyle dużych zasobów obliczeniowych, że możesz spróbować z niej skorzystać tylko, jeżeli posiadasz wydajny układ GPU — nie ma żadnego sensu korzystać z niej w pracy na procesorze CPU. Jeżeli nie możesz uruchomić kodu na procesorze GPU, to możesz poprzestać na technice opisanej przed chwilą.
Modele mają właściwości warstw, a więc model conv_base może zostać dodany do modelu sekwencyjnego (sequential), tak jakbyśmy łączyli ze sobą kolejne warstwy sieci.
r
r model <- keras_model_sequential() %>% conv_base %>% layer_flatten() %>% layer_dense(units = 256, activation = ) %>% layer_dense(units = 1, activation = )
Teraz nasz model charakteryzuje się następującą budową:
r
r summary(model)
_________________________________________________________________________________________
Layer (type) Output Shape Param #
=========================================================================================
vgg16 (Model) (None, 4, 4, 512) 14714688
_________________________________________________________________________________________
flatten_1 (Flatten) (None, 8192) 0
_________________________________________________________________________________________
dense_3 (Dense) (None, 256) 2097408
_________________________________________________________________________________________
dense_4 (Dense) (None, 1) 257
=========================================================================================
Total params: 16,812,353
Trainable params: 16,812,353
Non-trainable params: 0
_________________________________________________________________________________________
Konwolucyjna baza sieci VGG16 ma 14 714 688 parametrów (jest to bardzo duża liczba). Klasyfikator dodawany do tej bazy ma 2 miliony parametrów.
Zanim skompilujemy i wytrenujemy model, musimy zamrozić bazę konwolucyjną. Zamrażanie warstwy lub zestawu warstw polega na zapobieganiu aktualizacji ich wag w procesie trenowania. Jeżeli tego nie zrobimy, to reprezentacje wyuczone wcześniej przez bazę konwolucyjną zostaną zmodyfikowane podczas trenowania. Warstwy dense znajdujące się u góry są inicjowane w sposób losowy, co sprawia, że dochodziłoby do dużych zmian wszystkich parametrów sieci, a to skutecznie zniszczyłoby wyuczone wcześniej reprezentacje.
W pakiecie Keras sieć zamraża się za pomocą funkcji freeze_weights():
r
r cat(is the number of trainable weights before freezing, conv base:, length(model$trainable_weights), \n)
This is the number of trainable weights before freezing the conv base: 30
r
r freeze_weights(conv_base)
r
r cat(is the number of trainable weights after freezing, conv base:, length(model$trainable_weights), \n)
This is the number of trainable weights after freezing the conv base: 4
Przy takiej konfiguracji trenowane będą tylko wagi z dwóch warstw dense. Będą to w sumie cztery tensory wag: po dwa tensory na warstwę (główna macierz wag i wektor wartości progowych). Pamiętaj o tym, że w celu wprowadzenia zmian należy najpierw skompilować model. Jeżeli zmienisz możliwość trenowania wag po skompilowaniu modelu, będziesz musiał go skompilować jeszcze raz, w przeciwnym razie wprowadzone zmiany zostaną zignorowane.
Teraz możemy rozpocząć trenowanie modelu przy takiej samej konfiguracji techniki augmentacji danych, z jakiej korzystaliśmy w poprzednim przykładzie.
r
r train_datagen = image_data_generator( rescale = 1/255, rotation_range = 40, width_shift_range = 0.2, height_shift_range = 0.2, shear_range = 0.2, zoom_range = 0.2, horizontal_flip = TRUE, fill_mode =
) test_datagen <- image_data_generator(rescale = 1/255) train_generator <- flow_images_from_directory( train_dir, train_datagen, target_size = c(150, 150), batch_size = 20, class_mode =
) validation_generator <- flow_images_from_directory( validation_dir, test_datagen, target_size = c(150, 150), batch_size = 20, class_mode =
) model %>% compile( loss = _crossentropy, optimizer = optimizer_rmsprop(lr = 2e-5), metrics = c() ) history <- model %>% fit_generator( train_generator, steps_per_epoch = 100, epochs = 30, validation_data = validation_generator, validation_steps = 50 )
r
r save_model_hdf5(model, _and_dogs_small_3.h5)
Ponownie przedstawmy wyniki pracy algorytmu na wykresach:
r
r plot(history)

Jak widać, uzyskaliśmy dokładność walidacji sięgającą około 90%. To o wiele lepszy wynik od tego, który uzyskaliśmy przy użyciu małej sieci konwolucyjnej trenowanej od podstaw.
Dostrajanie
Dostrajanie jest techniką ponownego stosowania modeli uzupełniającą ekstrakcję cech. Polega ona na odmrażaniu kilku górnych warstw zamrożonej bazy modelu używanej do ekstrakcji cech i trenowaniu jej łącznie z nową częścią modelu (w naszym przypadku tą częścią modelu jest w pełni połączony klasyfikator). Proces ten określamy mianem dostrajania, ponieważ modyfikuje częściowo wcześniej wytrenowane bardziej abstrakcyjne reprezentacje modelu w celu dostosowania ich do bieżącego problemu.
Stwierdziłem, że musimy zamrozić bazę konwolucji modelu VGG16, aby wytrenować losowo zainicjowany klasyfikator kończący sieć. Z tego samego powodu możliwe jest tylko dostrajanie górnych warstw konwolucyjnej bazy po wytrenowaniu klasyfikatora. Jeżeli klasyfikator nie byłby jeszcze wytrenowany, to sygnał błędu przepływający przez sieć w trakcie trenowania byłby zbyt duży i doprowadziłby do zniszczenia reprezentacji wyuczonych wcześniej przez dostrajane warstwy. W związku z tym dostrajanie sieci należy przeprowadzać w następujący sposób: * 1. Dodaj samodzielnie zaprojektowaną sieć do końca bazy wytrenowanego już modelu. * 2. Zamróź bazę sieci. * 3. Wytrenuj nową część sieci. * 4. Odmroź niektóre warstwy bazy sieci. * 5. Wytrenuj razem te warstwy oraz nową część sieci.
Pierwsze trzy kroki wykonaliśmy podczas ekstrakcji cech. Zajmijmy się krokiem 4. Odmrozimy bazę conv_base, a następnie zamrozimy jej wybrane warstwy.
Przypominam, że nasza sieć charakteryzuje się następującą architekturą:
r
r summary(conv_base)
_________________________________________________________________________________________
Layer (type) Output Shape Param #
=========================================================================================
input_1 (InputLayer) (None, 150, 150, 3) 0
_________________________________________________________________________________________
block1_conv1 (Conv2D) (None, 150, 150, 64) 1792
_________________________________________________________________________________________
block1_conv2 (Conv2D) (None, 150, 150, 64) 36928
_________________________________________________________________________________________
block1_pool (MaxPooling2D) (None, 75, 75, 64) 0
_________________________________________________________________________________________
block2_conv1 (Conv2D) (None, 75, 75, 128) 73856
_________________________________________________________________________________________
block2_conv2 (Conv2D) (None, 75, 75, 128) 147584
_________________________________________________________________________________________
block2_pool (MaxPooling2D) (None, 37, 37, 128) 0
_________________________________________________________________________________________
block3_conv1 (Conv2D) (None, 37, 37, 256) 295168
_________________________________________________________________________________________
block3_conv2 (Conv2D) (None, 37, 37, 256) 590080
_________________________________________________________________________________________
block3_conv3 (Conv2D) (None, 37, 37, 256) 590080
_________________________________________________________________________________________
block3_pool (MaxPooling2D) (None, 18, 18, 256) 0
_________________________________________________________________________________________
block4_conv1 (Conv2D) (None, 18, 18, 512) 1180160
_________________________________________________________________________________________
block4_conv2 (Conv2D) (None, 18, 18, 512) 2359808
_________________________________________________________________________________________
block4_conv3 (Conv2D) (None, 18, 18, 512) 2359808
_________________________________________________________________________________________
block4_pool (MaxPooling2D) (None, 9, 9, 512) 0
_________________________________________________________________________________________
block5_conv1 (Conv2D) (None, 9, 9, 512) 2359808
_________________________________________________________________________________________
block5_conv2 (Conv2D) (None, 9, 9, 512) 2359808
_________________________________________________________________________________________
block5_conv3 (Conv2D) (None, 9, 9, 512) 2359808
_________________________________________________________________________________________
block5_pool (MaxPooling2D) (None, 4, 4, 512) 0
=========================================================================================
Total params: 14,714,688
Trainable params: 0
Non-trainable params: 14,714,688
_________________________________________________________________________________________
Dostroimy ostatnie warstwy zaczynając od block3_conv1. Dlaczego nie będziemy dostrajać większej liczby warstw? Dlaczego nie dostroić całej bazy konwolucyjnej? Moglibyśmy to zrobić, ale musimy pamiętać o następujących rzeczach:
- Wcześniejsze warstwy bazy konwolucyjnej kodują bardziej ogólne, uniwersalne cechy, a wyższe warstwy kodują bardziej wyspecjalizowane cechy. Lepiej jest dostrajać bardziej wyspecjalizowane cechy, ponieważ to od nich zależy przydatność modelu w nowym zastosowaniu. Podczas dostrajania niższych warstw dochodziłoby do szybkiego spadku zwracanych wartości.
- Im więcej parametrów jest trenowanych, tym większe jest ryzyko nadmiernego dopasowania. Baza konwolucyjna ma 15 milionów parametrów, a trenowanie tak dużej liczby parametrów na niewielkim zbiorze danych, którym dysponujemy, byłoby ryzykowne.
W związku z tym w naszym przypadku dobrą strategią jest dostrajanie tylko wybranych warstw bazy konwolucyjnej. Zróbmy to, zaczynając od miejsca, w którym skończyliśmy w poprzednim przykładzie.
r
r unfreeze_weights(conv_base, from = 3_conv1)
Teraz możemy rozpocząć dostrajanie sieci. Zrobimy to za pomocą algorytmu optymalizującego RMSProp przy bardzo niskiej wartości parametru uczenia. Wybranie niskiej wartości wynika z tego, że chcemy minimalizować modyfikacje reprezentacji trzech dostrajanych warstw. Zbyt duże zmiany tych wartości mogłyby zaszkodzić reprezentacjom danych.
Czas dostroić parametry modelu:
r
r model %>% compile( loss = _crossentropy, optimizer = optimizer_rmsprop(lr = 1e-5), metrics = c() ) history <- model %>% fit_generator( train_generator, steps_per_epoch = 100, epochs = 100, validation_data = validation_generator, validation_steps = 50 )
r
r save_model_hdf5(model, _and_dogs_small_4.h5)
Ponownie wygenerujmy wykresy:
r
r plot(history)

W skali bezwzględnej dokładność poprawiła się o 6% (wzrosła z około 90% do ponad 96%).
Zauważ, że krzywa straty nie wykazuje żadnej realnej poprawy (tak naprawdę wynika z niej pogorszenie parametru pracy modelu). Dlaczego dokładność jest stabilna, a nawet poprawiła się, jeżeli wartości straty nie spadają? Odpowiedź jest prosta: widzimy średnią punktowych wartości straty, a dokładność zależy od rozkładu wartości straty (nie ich średniej). Dzieje się tak, ponieważ dokładność jest binarną wartością progową prawdopodobieństwa klas przewidywanych przez model. Model może działać lepiej pomimo tego, że nie odzwierciedlają tego średnie wartości straty.
Na koniec możemy sprawdzić działanie modelu na danych testowych:
r
r test_generator <- flow_images_from_directory( test_dir, test_datagen, target_size = c(150, 150), batch_size = 20, class_mode =
)
Found 1000 images belonging to 2 classes.
r
r model %>% evaluate_generator(test_generator, steps = 50)
$loss
[1] 0.2158171
$acc
[1] 0.965
Uzyskamy testową dokładność na poziomie 96,5%. Gdybyśmy wzięli udział w konkursie Kaggle dotyczącym tego zbioru danych, to uzyskalibyśmy jeden z najwyższych wyników. Dzięki nowoczesnym technikom uczenia głębokiego udało nam się uzyskać taki wynik, dysponując tylko niewielką częścią treningowego zbioru danych (około 10% danych). Możliwość trenowania modelu na zbiorze 20 000 próbek to coś zupełnie innego niż trenowanie modelu na 2000 próbek!
LS0tDQp0aXRsZTogIktvcnp5c3RhbmllIHogd2N6ZcWbbmllaiB3eXRyZW5vd2FuZWoga29ud29sdWN5am5laiBzaWVjaSBuZXVyb25vd2VqIg0Kb3V0cHV0OiANCiAgaHRtbF9ub3RlYm9vazogDQogICAgdGhlbWU6IGNlcnVsZWFuDQogICAgaGlnaGxpZ2h0OiB0ZXh0bWF0ZQ0KLS0tDQoNCmBgYHtyIHNldHVwLCBpbmNsdWRlPUZBTFNFfQ0Ka25pdHI6Om9wdHNfY2h1bmskc2V0KHdhcm5pbmcgPSBGQUxTRSwgbWVzc2FnZSA9IEZBTFNFKQ0KYGBgDQoNCg0KS29yenlzdGFuaWUgeiB1cHJ6ZWRuaW8gd3l0cmVub3dhbmVqIHNpZWNpIGplc3QgY3rEmXN0xIUgcHJha3R5a8SFIHVjemVuaWEgZ8WCxJlib2tpZWdvLCBrdMOzcmEgY2hhcmFrdGVyeXp1amUgc2nEmSBkdcW8xIUgc2t1dGVjem5vxZtjacSFIHcgcHJ6eXBhZGt1IHVjemVuaWEgc2nEmSBuYSBtYcWCeWNoIHpiaW9yYWNoIG9icmF6w7N3LiBXeXRyZW5vd2FuYSB1cHJ6ZWRuaW8gc2llxIcgamVzdCB6YXBpc2FuxIUgc2llY2nEhSwga3TDs3JhIHpvc3RhxYJhIHdjemXFm25pZWogd3l0cmVub3dhbmEgbmEgZHXFvHltIHpiaW9yemUgZGFueWNoICh6d3lrbGUgdHJlbm93YW5pZSB0byBtaWHFgm8gbWllanNjZSBwb2RjemFzIHd5a29ueXdhbmlhIHphZGFuaWEga2xhc3lmaWthY2ppIGR1xbxlZ28gemJpb3J1IG9icmF6w7N3KS4gSmXFvGVsaSBvcnlnaW5hbG55IHpiacOzciBkYW55Y2ggYnnFgiBuYSB0eWxlIGR1xbx5IGkgbmEgdHlsZSBvZ8OzbG55LCB0byBwcnplc3RyemVubmEgaGllcmFyY2hpYSBjZWNoIHd5dWN6b25hIHByemV6IHd5dHJlbm93YW55IHdjemXFm25pZWogbW9kdcWCIG1vxbxlIHNrdXRlY3puaWUgb2Rncnl3YcSHIHJvbMSZIG9nw7NsbmVnbyBtb2RlbHUgcHJ6ZXR3YXJ6YW5pYSBvYnJhenUg4oCUIGNlY2h5IHRlaiBzaWVjaSBtb2fEhSBwcnp5ZGF3YcSHIHNpxJkgcG9kY3phcyByb3p3acSFenl3YW5pYSByw7PFvG55Y2ggcHJvYmxlbcOzdyBwcnpldHdhcnphbmlhIG9icmF6dSBwb21pbW8gdGVnbywgxbxlIG5vd2UgcHJvYmxlbXkgd3ltYWdhasSFIHJvenBvem5hd2FuaWEgenVwZcWCbmllIGlubnljaCBrbGFzLCBuacW8IG1pYcWCbyB0byBtaWVqc2NlIHcgcHJ6eXBhZGt1IG9yeWdpbmFsbmVnbyB6YWRhbmlhLiBTaWXEhyBtb8W8ZSB6b3N0YcSHIHd5dHJlbm93YW5hIG5wLiBuYSB6YmlvcnplIEltYWdlTmV0IChrbGFzYW1pIHPEhSB3IG5pbSBnxYLDs3duaWUgendpZXJ6xJl0YSBpIHByemVkbWlvdHkgY29kemllbm5lZ28gdcW8eXRrdSksIGEgbmFzdMSZcG5pZSB6YXN0b3Nvd2FuYSB3IGNlbHUgd3lrb25hbmlhIHphZGFuaWEgdGFraWVnbyBqYWsgaWRlbnR5ZmlrYWNqYSBtZWJsaSB3aWRvY3pueWNoIG5hIHp1cGXFgm5pZSBpbm55Y2ggemRqxJljaWFjaC4gTW/FvGxpd2/Fm8SHIHN0b3Nvd2FuaWEgd3l0cmVub3dhbnljaCBzaWVjaSBkbyByb3p3acSFenl3YW5pYSByw7PFvG55Y2ggcHJvYmxlbcOzdyBqZXN0IG9ncm9tbsSFIHByemV3YWfEhSB1Y3plbmlhIGfFgsSZYm9raWVnbyBuYWQgc3RhcnN6eW1pIGFsZ29yeXRtYW1pIHVjemVuaWEgcMWCeXRraWVnby4gRHppxJlraSB0ZWogdGVjaG5pY2UgdWN6ZW5pZSBnxYLEmWJva2llIG1vxbxlIGJ5xZsgc3Rvc293YW5lIHNrdXRlY3puaWUgdyBwcmFjeSB6IG1hxYJ5bWkgemJpb3JhbWkgZGFueWNoLg0KDQpDaGNlbXkgc2tvcnp5c3RhxIcgeiBkdcW8ZWogc2llY2kga29ud29sdWN5am5laiB3eXRyZW5vd2FuZWogbmEgemJpb3J6ZSBJbWFnZU5ldCAoMSw0IG1pbGlvbmEgb2JyYXrDs3cgcG9kemllbG9ueWNoIG5hIDEwMDAga2xhcykuIFpiacOzciBJbWFnZU5ldCBvYmVqbXVqZSB3aWVsZSBrbGFzIHp3aWVyesSFdCwgdyB0eW0gcsOzxbxuZSByYXN5IHBzw7N3IGkga290w7N3LCBhIHdpxJljIHd5dHJlbm93YW55IG5hIG5pbSBtb2RlbCBwcmF3ZG9wb2RvYm5pZSBzcHJhd2R6aSBzacSZIGRvYnJ6ZSB3IHByenlwYWRrdSBwcm9ibGVtdSBrbGFzeWZpa2FjamkgemRqxJnEhyBuYSB6ZGrEmWNpYSBwc8OzdyBpIHpkasSZY2lhIGtvdMOzdy4NCg0KU2tvcnp5c3RhbXkgeiBhcmNoaXRla3R1cnkgVkdHMTYgb3ByYWNvd2FuZWogcHJ6ZXogS2FyZW4gU2ltb255YW4gaSBBbmRyZXcgWmlzc2VybWFuYSB3IDIwMTQgci4gVG8gcHJvc3RhIGkgY3rEmXN0byBzdG9zb3dhbmEgYXJjaGl0ZWt0dXJhIHNpZWNpIHVjesSFY3ljaCBzacSZIG5hIHpiaW9yemUgSW1hZ2VOZXQgLiBDbyBwcmF3ZGEgamVzdCB0byBkb8WbxIcgc3RhcnkgbW9kZWwsIGt0w7NyeSBvZGJpZWdhIGRvxZvEhyBtb2NubyBvZCBuYWpub3dzenljaCBpIG5hamJhcmR6aWVqIHphYXdhbnNvd2FueWNoIG1vZGVsaSwgYWxlIHpuYW15IGp1xbwgamVnbyBhcmNoaXRla3R1csSZIGkgamVzdGXFm215IHcgc3RhbmllIHpyb3p1bWllxIcgamVnbyBkemlhxYJhbmllIGJleiB3cHJvd2FkemFuaWEgxbxhZG55Y2ggbm93eWNoIGtvbmNlcGNqaS4gVyBwcnp5c3rFgm/Fm2NpIHogcGV3bm/Fm2NpxIUgYsSZZHppZXN6IGtvcnp5c3RhxIcgeiBtb2RlbGkgbyBuYXp3YWNoIHBva3JvanUgVkdHLCBSZXNOZXQsIEluY2VwdGlvbiwgSW5jZXB0aW9uLVJlc05ldCwgWGNlcHRpb24gaXRkLiBDesWCb255IHRlIHd5c3TEmXB1asSFIHcgbmF6d2FjaCB3aWVsdSBhcmNoaXRla3R1ciBzdG9zb3dhbnljaCB3IHByemV0d2FyemFuaXUgb2JyYXp1Lg0KDQpJc3RuaWVqxIUgZHdpZSB0ZWNobmlraSBzdG9zb3dhbmlhIHd5dHJlbm93YW5laiB3Y3plxZtuaWVqIHNpZWNpOiBla3N0cmFrY2phIGNlY2ggaSBkb3N0cmFqYW5pZS4gT3Bpc3rEmSBvYmEgcm96d2nEhXphbmlhLCBhbGUgemFjem7EmSBvZCBla3N0cmFrY2ppIGNlY2guDQoNCg0KIyMgRWtzdHJha2NqYSBjZWNoDQoNCkVrc3RyYWtjamEgY2VjaCBwb2xlZ2EgbmEga29yenlzdGFuaXUgeiByZXByZXplbnRhY2ppIHd5dWN6b25laiBwcnpleiBzaWXEhyB3Y3plxZtuaWVqIHcgY2VsdSBkb2tvbmFuaWEgZWtzdHJha2NqaSBpbnRlcmVzdWrEhWN5Y2ggbmFzIGNlY2ggeiBub3d5Y2ggcHLDs2Jlay4gQ2VjaHkgdGUgc8SFIG5hc3TEmXBuaWUgcHJ6ZXB1c3pjemFuZSBwcnpleiBub3d5IGtsYXN5ZmlrYXRvciB0cmVub3dhbnkgb2QgcG9kc3Rhdy4NCg0KUHJ6eXBvbWluYW0sIMW8ZSBrb253b2x1Y3lqbmUgc2llY2kgbmV1cm9ub3dlIHN0b3Nvd2FuZSB3IHByb2JsZW1hY2gga2xhc3lmaWthY2ppIG9icmF6w7N3IHNrxYJhZGFqxIUgc2nEmSB6IGR3w7NjaCBlbGVtZW50w7N3OiBzZXJpaSB3YXJzdHcgxYLEhWN6xIVjeWNoICh3YXJzdHcgcG9vbGluZykgaSB3YXJzdHcga29ud29sdWN5am55Y2guIE5hIGtvxYRjdSBzaWVjaSB6bmFqZHVqZSBzacSZIGfEmXN0byBwb8WCxIVjem9ueSBrbGFzeWZpa2F0b3IuIFBpZXJ3c3phIGN6xJnFm8SHIHNpZWNpIG9rcmXFm2xhbmEgamVzdCBtaWFuZW0ga29ud29sdWN5am5laiBiYXp5IG1vZGVsdS4gVyBwcnp5cGFka3Ugc2llY2kga29ud29sdWN5am5laiBla3N0cmFrY2phIGNlY2ggcG9sZWdhIG5hIHByenlqcnplbml1IHNpxJkga29ud29sdWN5am5laiBiYXppZSB3Y3plxZtuaWVqIHd5dHJlbm93YW5laiBzaWVjaSwgcHJ6ZXB1c3pjemVuaXUgcHJ6ZXogbmnEhSBub3d5Y2ggZGFueWNoIGkgd3l0cmVub3dhbml1IG5vd2VnbyBrbGFzeWZpa2F0b3JhIG5hIGJhemllIHd5asWbY2lhIHRlaiBzaWVjaS4NCg0KIVtzd2FwcGluZyBGQyBjbGFzc2lmaWVyc10oaW1nXDVfM2EucG5nKQ0KDQpEbGFjemVnbyBrb3J6eXN0YW15IHBvbm93bmllIHR5bGtvIHoga29ud29sdWN5am5laiBiYXp5PyBDenkgbW9nbGliecWbbXkgc2tvcnp5c3RhxIcgem7Ds3cgeiBnxJlzdG8gcG/FgsSFY3pvbmVnbyBrbGFzeWZpa2F0b3JhPyBad3lrbGUgbmFsZcW8eSB0ZWdvIHVuaWthxIcuIFd5bmlrYSB0byB6IHRlZ28sIMW8ZSByZXByZXplbnRhY2plIHd5dWN6b25lIHByemV6IGtvbndvbHVjeWpuxIUgYmF6xJkgc8SFIHp3eWtsZSBiYXJkemllaiBvZ8OzbG5lLCBhIHdpxJljIG1vxbxuYSB6IG5pY2ggc2tvcnp5c3RhxIcgcsOzd25pZcW8IHBvZGN6YXMgcHJhY3kgbmFkIGlubnltIHByb2JsZW1lbTogbWFweSBjZWNoIGtvbndvbHVjeWpuZWogc2llY2kgbmV1cm9ub3dlaiBwcnplZHN0YXdpYWrEhSBvZ8OzbG5lIGtvbmNlcGNqZSwga3TDs3JlIG5hZGFqxIUgc2nEmSBkbyByb3p3acSFenl3YW5pYSByw7PFvG55Y2ggcHJvYmxlbcOzdyB6d2nEhXphbnljaCB6IHByemV0d2FyemFuaWVtIG9icmF6dS4gUmVwcmV6ZW50YWNqZSB3eXVjem9uZSBwcnpleiBrbGFzeWZpa2F0b3Igc8SFIHNwZWN5Zmljem5lIGRsYSBkYW5lZ28gemVzdGF3dSBrbGFzLCBuYSBrdMOzcnljaCB0cmVub3dhbm8gbW9kZWwg4oCUIGLEmWTEhSB6YXdpZXJhxIcgdHlsa28gaW5mb3JtYWNqZSBwb3p3YWxhasSFY2UgbmEgb2tyZcWbbGVuaWUgcHJhd2RvcG9kb2JpZcWEc3R3YSB0ZWdvLCBjenkgZGFuYSBrbGFzYSBqZXN0IHdpZG9jem5hIG5hIG9icmF6aWUuIFBvbmFkdG8gcmVwcmV6ZW50YWNqZSBnxJlzdG8gcG/FgsSFY3pvbnljaCB3YXJzdHcgbmllIHphd2llcmFqxIUgxbxhZG55Y2ggaW5mb3JtYWNqaSBvIG1pZWpzY3UgdW1pZXN6Y3plbmlhIHJvenBvem5hd2FueWNoIG9iaWVrdMOzdyBuYSBvYnJhemllIHdlasWbY2lvd3ltIOKAlCB3YXJzdHd5IHRlIG5pZSBwb2xlZ2FqxIUgbmEgcHJ6ZXN0cnplbmksIGEgaW5mb3JtYWNqZSBvIHBvxYJvxbxlbml1IG9iaWVrdHUgem5hamR1asSFIHNpxJkgdHlsa28gdyBrb253b2x1Y3lqbmVqIG1hcGllIGNlY2guIFcgcHJ6eXBhZGt1IHByb2JsZW3Ds3csIHcga3TDs3J5Y2ggcG/Fgm/FvGVuaWUgb2JpZWt0dSBtYSB6bmFjemVuaWUgcHJha3R5Y3puZSwgZ8SZc3RvIHBvxYLEhWN6b25lIGNlY2h5IHPEhSBiZXp1xbx5dGVjem5lLg0KDQpaYXV3YcW8LCDFvGUgcG96aW9tIG9nw7Nsbm/Fm2NpIChtb8W8bGl3b8WbY2kgcG9ub3duZWdvIHphc3Rvc293YW5pYSkgcmVwcmV6ZW50YWNqaSB3eWNpxIVnbmnEmXR5Y2ggcHJ6ZXogb2tyZcWbbG9uZSB3YXJzdHd5IGtvbndvbHVjeWpuZSB6YWxlxbx5IG9kIGfFgsSZYm9rb8WbY2kgd2Fyc3R3eSBtb2RlbHUuIFdhcnN0d3kgd3lzdMSZcHVqxIVjZSB3IG1vZGVsdSB3Y3plxZtuaWVqIGRva29udWrEhSBla3N0cmFrY2ppIGxva2FsbnljaCB3eXNvY2Ugb2fDs2xueWNoIG1hcCBjZWNoIChucC4ga3Jhd8SZZHppLCBrb2xvcsOzdyBpIHRla3N0dXIpLCBhIHdhcnN0d3kgd3nFvHN6ZSBkb2tvbnVqxIUgZWtzdHJha2NqaSBiYXJkemllaiBhYnN0cmFrY3lqbnljaCBrb25jZXBjamkgKHJvenBvem5hasSFIG5wLiDigJ51Y2hvIGtvdGHigJ0gbHViIOKAnm9rbyBwc2HigJ0pLiBKZcW8ZWxpIG5vd3kgemJpw7NyIGRhbnljaCByw7PFvG5pIHNpxJkgYmFyZHpvIG9kIHpiaW9ydSwgbmEga3TDs3J5bSBtb2RlbCBiecWCIHBvY3rEhXRrb3dvIHRyZW5vd2FueSwgdG8gcHJhd2RvcG9kb2JuaWUgbGVwaWVqIGLEmWR6aWUsIGphayBza29yenlzdGFzeiB6IGtpbGt1IHBpZXJ3c3p5Y2ggd2Fyc3R3IHRlZ28gbW9kZWx1IHcgY2VsdSBwcnplcHJvd2FkemVuaWEgZWtzdHJha2NqaSBjZWNoIGkgbmllIHNrb3J6eXN0YXN6IHogY2HFgmVqIGtvbndvbHVjeWpuZWogYmF6eS4NCg0KVyBuYXN6eW0gcHJ6eXBhZGt1IHcgemJpb3J6ZSBJbWFnZU5ldCB3eW9kcsSZYm5pb25vIHdpZWxlIGtsYXMgemRqxJnEhyBwc8OzdyBpIGtvdMOzdywgYSBwcmF3ZG9wb2RvYm5pZSB3YXJ0byBqZXN0IHNrb3J6eXN0YcSHIHogaW5mb3JtYWNqaSB1bWllc3pjem9ueWNoIHcgZ8SZc3RvIHBvxYLEhWN6b255Y2ggd2Fyc3R3YWNoIG9yeWdpbmFsbmVnbyBtb2RlbHUsIGFsZSBuaWUgenJvYmlteSB0ZWdvIHcgY2VsdSB6YWltcGxlbWVudG93YW5pYSBiYXJkemllaiBvZ8OzbG5lZ28gcm96d2nEhXphbmlhLCB3IGt0w7NyeW0gemVzdGF3IGtsYXMgbm93ZWdvIHByb2JsZW11IG5pZSBuYWvFgmFkYSBzacSZIG5hIHplc3RhdyBrbGFzIG9yeWdpbmFsbmVnbyBtb2RlbHUuIFpyw7NibXkgdG8gdyBwcmFrdHljZSwga29yenlzdGFqxIVjIHoga29ud29sdWN5am5laiBiYXp5IHNpZWNpIFZHRzE2LCB3eXRyZW5vd2FuZWogbmEgemJpb3J6ZSBJbWFnZU5ldCwgdyBjZWx1IGVrc3RyYWtjamkgY2VjaCB6ZSB6ZGrEmcSHIHBzw7N3IGkga290w7N3LCBhIG5hc3TEmXBuaWUgd3l0cmVudWpteSBrbGFzeWZpa2F0b3IgZHppZWzEhWN5IG9icmF6eSBuYSB6ZGrEmWNpYSBwc8OzdyBpIHpkasSZY2lhIGtvdMOzdy4NCg0KTW9kZWwgVkdHMTYgamVzdCBqZWRueW0geiBtb2RlbGkgZG/FgsSFY3pvbnljaCBkbyBwYWtpZXR1IEtlcmFzLiBPdG8gbGlzdGEgbW9kZWxpIGtsYXN5ZmlrdWrEhWN5Y2ggb2JyYXp5IGRvc3TEmXBueWNoIHcgdHltIG1vZHVsZSAod3N6eXN0a2llIHRlIG1vZGVsZSB6b3N0YcWCeSB3eXRyZW5vd2FuZSBuYSB6YmlvcnplIEltYWdlTmV0KToNCg0KKiBYY2VwdGlvbg0KKiBJbmNlcHRpb25WMw0KKiBSZXNOZXQ1MA0KKiBWR0cxNg0KKiBWR0cxOQ0KKiBNb2JpbGVOZXQNCg0KVXR3w7Nyem15IGluc3RhbmNqxJkgbW9kZWx1IFZHRzE2Lg0KDQpgYGB7ciwgZWNobz1UUlVFLCByZXN1bHRzPSdoaWRlJ30NCmxpYnJhcnkoa2VyYXMpDQoNCmNvbnZfYmFzZSA8LSBhcHBsaWNhdGlvbl92Z2cxNigNCiAgd2VpZ2h0cyA9ICJpbWFnZW5ldCIsDQogIGluY2x1ZGVfdG9wID0gRkFMU0UsDQogIGlucHV0X3NoYXBlID0gYygxNTAsIDE1MCwgMykNCikNCmBgYA0KDQpEbyBmdW5rY2ppIHByemVrYXphbGnFm215IHRyenkgYXJndW1lbnR5Og0KDQoqCUFyZ3VtZW50IHdlaWdodHMgb2tyZcWbbGEgcHVua3Qga29udHJvbG55IHdhZywgeiBrdMOzcmVnbyBpbmljam93YW55IGplc3QgbW9kZWwuDQoqCUFyZ3VtZW50IGluY2x1ZGVfdG9wIG9rcmXFm2xhIHRvLCBjenkgZG8gZ8Ozcm5laiBjesSZxZtjaSBzaWVjaSBkb8WCxIVjem9ueSB6b3N0YW5pZSBnxJlzdG8gcG/FgsSFY3pvbnkga2xhc3lmaWthdG9yLiBEb215xZtsbmllIGtsYXN5ZmlrYXRvciB0ZW4gb2Rwb3dpYWRhIHphIDEwMDAga2xhcyB6YmlvcnUgSW1hZ2VOZXQuIE1hbXkgemFtaWFyIGtvcnp5c3RhxIcgeiB3xYJhc25lZ28ga2xhc3lmaWthdG9yYSByb3pwb3puYWrEhWNlZ28gZHdpZSBrbGFzeSAocHN5IGkga290eSksIGEgd2nEmWMgbmllIGNoY2VteSBkb8WCxIVjemHEhyB3eXRyZW5vd2FuZWdvIHdjemXFm25pZWoga2xhc3lmaWthdG9yYS4NCioJQXJndW1lbnQgaW5wdXRfc2hhcGUgb2tyZcWbbGEga3N6dGHFgnQgdGVuc29yw7N3IG9icmF6w7N3LCBrdMOzcmUgYsSZZMSFIGtpZXJvd2FuZSBkbyB3ZWrFm2NpYSBzaWVjaS4gQXJndW1lbnQgdGVuIG5pZSBtdXNpIGJ5xIcgZGVmaW5pb3dhbnkg4oCUIGplxbxlbGkgZ28gbmllIG9rcmXFm2xpc3osIHRvIHNpZcSHIGLEmWR6aWUgdyBzdGFuaWUgcHJ6ZXR3b3J6ecSHIHRlbnNvcnkgd2VqxZtjaW93ZSBvIGRvd29sbnltIGtzenRhxYJjaWUuDQoNCg0KT3RvIHN6Y3plZ8OzxYJvd2UgaW5mb3JtYWNqZSBuYSB0ZW1hdCBhcmNoaXRla3R1cnkgYmF6eSBrb253b2x1Y3lqbmVqIG1vZGVsdSBWR0cxNi4gUHJ6eXBvbWluYSBvbmEgYXJjaGl0ZWt0dXLEmSBwcnplZHN0YXdpb255Y2ggd2N6ZcWbbmllaiBwcm9zdHljaCBzaWVjaSBrb253b2x1Y3lqbnljaDoNCg0KYGBge3J9DQpzdW1tYXJ5KGNvbnZfYmFzZSkNCmBgYA0KDQpGaW5hbG5hIG1hcGEgY2VjaCBtYSBrc3p0YcWCdCAoNCwgNCwgNTEyKS4gWiB0ZWogbWFweSBjZWNoIGtvcnp5c3RhxIcgYsSZZHppZSBrbGFzeWZpa2F0b3IuDQoNCg0KS29sZWpuZSBjenlubm/Fm2NpIG1vxbxlbXkgd3lrb255d2HEhyBuYSBkd2Egc3Bvc29ieToNCg0KKglNb8W8ZW15IHVydWNob21pxIcga29ud29sdWN5am7EhSBiYXrEmSBuYSBuYXN6eW0gemJpb3J6ZSBkYW55Y2gsIHphcGlzYcSHIHd5Z2VuZXJvd2FuZSBwcnpleiBuacSFIHdhcnRvxZtjaSBuYSBkeXNrdSB3IHBvc3RhY2kgdGFibGljeSBOdW1weSwgYSBuYXN0xJlwbmllIHXFvHnEhyB0ZWogdGFibGljeSB3IGNoYXJha3RlcnplIGRhbnljaCB3ZWrFm2Npb3d5Y2ggc2Ftb2R6aWVsbmVnbywgZ8SZc3RvIHBvxYLEhWN6b25lZ28ga2xhc3lmaWthdG9yYSBwb2RvYm5lZ28gZG8gdGVnbywga3TDs3J5IHpvc3RhxYIgb3Bpc2FueSB3IGN6xJnFm2NpIEkgdGVqIGtzacSFxbxraS4gUm96d2nEhXphbmllIHRvIGplc3Qgc3p5YmtpZSBpIMWCYXR3byBqZSB1cnVjaG9tacSHLCBwb25pZXdhxbwgd3ltYWdhIHR5bGtvIGplZG5va3JvdG5lZ28gdXJ1Y2hvbWllbmlhIGtvbndvbHVjeWpuZWogYmF6eSBkbGEga2HFvGRlZ28gb2JyYXp1IHdlasWbY2lvd2VnbywgYSBrb253b2x1Y3lqbmEgYmF6YSBqZXN0IG5hamJhcmR6aWVqIGtvc3p0b3dueW0gb2JsaWN6ZW5pb3dvIG9nbml3ZW0gcG90b2t1IHByemV0d2FyemFuaWEgZGFueWNoLiBOaWVzdGV0eSB3YWTEhSB0ZWdvIHJvendpxIV6YW5pYSBqZXN0IGJyYWsgbW/FvGxpd2/Fm2NpIHNrb3J6eXN0YW5pYSB6IHRlY2huaWtpIGF1Z21lbnRhY2ppIGRhbnljaC4NCioJTW/FvGVteSByb3pzemVyennEhyBtb2RlbCwga3TDs3J5IHBvc2lhZGFteSAoY29udl9iYXNlKSwgZG9kYWrEhWMgZG8gbmllZ28gd2Fyc3R3eSBkZW5zZSBpIHXFvHl3YWrEhWMgY2HFgmVqIHRlaiBrb25zdHJ1a2NqaSB3IGNlbHUgcHJ6ZXR3b3J6ZW5pYSBkYW55Y2ggd2VqxZtjaW93eWNoLiBSb3p3acSFemFuaWUgdG8gdW1vxbxsaXdpYSBrb3J6eXN0YW5pZSB6IGF1Z21lbnRhY2ppIGRhbnljaCwgcG9uaWV3YcW8IGthxbxkeSBvYnJheiB3ZWrFm2Npb3d5IHByemVjaG9kemkgcHJ6ZXoga29ud29sdWN5am7EhSBiYXrEmSB6YSBrYcW8ZHltIHJhemVtLCBnZHkgamVzdCBhbmFsaXpvd2FueSBwcnpleiBtb2RlbC4gTmllc3RldHkgc3ByYXdpYSB0bywgxbxlIHRlY2huaWthIHRhIHd5bWFnYSBwcnplcHJvd2FkemFuaWEgYmFyZHppZWoga29zenRvd255Y2ggb2JsaWN6ZcWELg0KDQoNCg0KT3Bpc3rEmSBvYmEgcm96d2nEhXphbmlhLiBOYSByYXppZSBza3VwbXkgc2nEmSBuYSBrb2R6aWUgd3ltYWdhbnltIHcgY2VsdSB6YWltcGxlbWVudG93YW5pYSBwaWVyd3N6ZWdvIHogbmljaCDigJQga29kemllIHphcGlzdWrEhWN5bSBkYW5lIHd5asWbY2lvd2UgYmF6eSBjb252X2Jhc2UgaSBwb3p3YWxhasSFY3ltIG5hIHXFvHljaWUgaWNoIHcgY2hhcmFrdGVyemUgZGFueWNoIHdlasWbY2lvd3ljaCBub3dlZ28gbW9kZWx1Lg0KDQpaYWN6bmllbXkgb2QgdXJ1Y2hvbWllbmlhIGluc3RhbmNqaSB3cHJvd2Fkem9uZWdvIHdjemXFm25pZWogZ2VuZXJhdG9yYSBpbWFnZV9kYXRhX2dlbmVyYXRvciB3IGNlbHUgcHJ6ZXByb3dhZHplbmlhIGVrc3RyYWtjamkgb2JyYXrDs3cgamFrbyB0YWJsaWMgTnVtcHkuIFBvbmFkdG8gZG9rb25hbXkgZWtzdHJha2NqaSBldHlraWV0IG9icmF6w7N3LiBFa3N0cmFrY2rEmSBjZWNoIG9icmF6w7N3IHByemVwcm93YWR6aW15LCB3eXdvxYJ1asSFYyBuYSBtb2RlbHUgbWV0b2TEmSBwcmVkaWN0Lg0KDQpgYGB7cn0NCmJhc2VfZGlyIDwtICJ+L0Rvd25sb2Fkcy9jYXRzX2FuZF9kb2dzX3NtYWxsIg0KdHJhaW5fZGlyIDwtIGZpbGUucGF0aChiYXNlX2RpciwgInRyYWluIikNCnZhbGlkYXRpb25fZGlyIDwtIGZpbGUucGF0aChiYXNlX2RpciwgInZhbGlkYXRpb24iKQ0KdGVzdF9kaXIgPC0gZmlsZS5wYXRoKGJhc2VfZGlyLCAidGVzdCIpDQoNCmRhdGFnZW4gPC0gaW1hZ2VfZGF0YV9nZW5lcmF0b3IocmVzY2FsZSA9IDEvMjU1KQ0KYmF0Y2hfc2l6ZSA8LSAyMA0KDQpleHRyYWN0X2ZlYXR1cmVzIDwtIGZ1bmN0aW9uKGRpcmVjdG9yeSwgc2FtcGxlX2NvdW50KSB7DQogIA0KICBmZWF0dXJlcyA8LSBhcnJheSgwLCBkaW0gPSBjKHNhbXBsZV9jb3VudCwgNCwgNCwgNTEyKSkgIA0KICBsYWJlbHMgPC0gYXJyYXkoMCwgZGltID0gYyhzYW1wbGVfY291bnQpKQ0KICANCiAgZ2VuZXJhdG9yIDwtIGZsb3dfaW1hZ2VzX2Zyb21fZGlyZWN0b3J5KA0KICAgIGRpcmVjdG9yeSA9IGRpcmVjdG9yeSwNCiAgICBnZW5lcmF0b3IgPSBkYXRhZ2VuLA0KICAgIHRhcmdldF9zaXplID0gYygxNTAsIDE1MCksDQogICAgYmF0Y2hfc2l6ZSA9IGJhdGNoX3NpemUsDQogICAgY2xhc3NfbW9kZSA9ICJiaW5hcnkiDQogICkNCiAgDQogIGkgPC0gMA0KICB3aGlsZShUUlVFKSB7DQogICAgYmF0Y2ggPC0gZ2VuZXJhdG9yX25leHQoZ2VuZXJhdG9yKQ0KICAgIGlucHV0c19iYXRjaCA8LSBiYXRjaFtbMV1dDQogICAgbGFiZWxzX2JhdGNoIDwtIGJhdGNoW1syXV0NCiAgICBmZWF0dXJlc19iYXRjaCA8LSBjb252X2Jhc2UgJT4lIHByZWRpY3QoaW5wdXRzX2JhdGNoKQ0KICAgIA0KICAgIGluZGV4X3JhbmdlIDwtICgoaSAqIGJhdGNoX3NpemUpKzEpOigoaSArIDEpICogYmF0Y2hfc2l6ZSkNCiAgICBmZWF0dXJlc1tpbmRleF9yYW5nZSwsLF0gPC0gZmVhdHVyZXNfYmF0Y2gNCiAgICBsYWJlbHNbaW5kZXhfcmFuZ2VdIDwtIGxhYmVsc19iYXRjaA0KICAgIA0KICAgIGkgPC0gaSArIDENCiAgICBpZiAoaSAqIGJhdGNoX3NpemUgPj0gc2FtcGxlX2NvdW50KQ0KICAgICAgIyBHZW5lcmF0b3IgendyYWNhIGRhbmUgdyBuaWVza2/FhGN6b25vxZvEhywgDQogICAgICAjIGEgd2nEmWMgcMSZdGxhIG11c2kgem9zdGHEhyBwcnplcndhbmEsIGdkeSBrYcW8ZHkgeiBvYnJhesOzdyB6b3N0YW5pZSBwcnplYW5hbGl6b3dhbnkgamVkbm9rcm90bmllLg0KICAgICAgYnJlYWsNCiAgfQ0KICANCiAgbGlzdCgNCiAgICBmZWF0dXJlcyA9IGZlYXR1cmVzLCANCiAgICBsYWJlbHMgPSBsYWJlbHMNCiAgKQ0KfQ0KDQp0cmFpbiA8LSBleHRyYWN0X2ZlYXR1cmVzKHRyYWluX2RpciwgMjAwMCkNCnZhbGlkYXRpb24gPC0gZXh0cmFjdF9mZWF0dXJlcyh2YWxpZGF0aW9uX2RpciwgMTAwMCkNCnRlc3QgPC0gZXh0cmFjdF9mZWF0dXJlcyh0ZXN0X2RpciwgMTAwMCkNCmBgYA0KDQpXeWNpxIVnbmnEmXRlIGNlY2h5IG1hasSFIG9iZWNuaWUga3N6dGHFgnQgKHByw7Nia2ksIDQsIDQsIDUxMikuIELEmWR6aWVteSBraWVyb3dhxIcgamUgZG8gZ8SZc3RvIHBvxYLEhWN6b25lZ28ga2xhc3lmaWthdG9yYSwgYSB3acSZYyBjZWNoeSBtdXNpbXkgc3DFgmFzemN6ecSHIGRvIGtzenRhxYJ0dSAocHLDs2JraSwgODE5Mik6DQoNCmBgYHtyfQ0KcmVzaGFwZV9mZWF0dXJlcyA8LSBmdW5jdGlvbihmZWF0dXJlcykgew0KICBhcnJheV9yZXNoYXBlKGZlYXR1cmVzLCBkaW0gPSBjKG5yb3coZmVhdHVyZXMpLCA0ICogNCAqIDUxMikpDQp9DQp0cmFpbiRmZWF0dXJlcyA8LSByZXNoYXBlX2ZlYXR1cmVzKHRyYWluJGZlYXR1cmVzKQ0KdmFsaWRhdGlvbiRmZWF0dXJlcyA8LSByZXNoYXBlX2ZlYXR1cmVzKHZhbGlkYXRpb24kZmVhdHVyZXMpDQp0ZXN0JGZlYXR1cmVzIDwtIHJlc2hhcGVfZmVhdHVyZXModGVzdCRmZWF0dXJlcykNCmBgYA0KDQpUZXJheiBtb8W8ZW15IHpkZWZpbmlvd2HEhyBnxJlzdG8gcG/FgsSFY3pvbnkga2xhc3lmaWthdG9yICh6d3LDs8SHIHV3YWfEmSBuYSB6YXN0b3Nvd2FuaWUgdGVjaG5pa2kgcmVndWxhcnl6YWNqaSDigJQgcG9yenVjYW5pYSkgaSB3eXRyZW5vd2HEhyBnbyBuYSB6YXBpc2FueWNoIHByemVkIGNod2lsxIUgZGFueWNoIGkgZXR5a2lldGFjaC4NCg0KYGBge3IsIGVjaG89VFJVRSwgcmVzdWx0cz0naGlkZSd9DQptb2RlbCA8LSBrZXJhc19tb2RlbF9zZXF1ZW50aWFsKCkgJT4lIA0KICBsYXllcl9kZW5zZSh1bml0cyA9IDI1NiwgYWN0aXZhdGlvbiA9ICJyZWx1IiwgDQogICAgICAgICAgICAgIGlucHV0X3NoYXBlID0gNCAqIDQgKiA1MTIpICU+JSANCiAgbGF5ZXJfZHJvcG91dChyYXRlID0gMC41KSAlPiUgDQogIGxheWVyX2RlbnNlKHVuaXRzID0gMSwgYWN0aXZhdGlvbiA9ICJzaWdtb2lkIikNCg0KbW9kZWwgJT4lIGNvbXBpbGUoDQogIG9wdGltaXplciA9IG9wdGltaXplcl9ybXNwcm9wKGxyID0gMmUtNSksDQogIGxvc3MgPSAiYmluYXJ5X2Nyb3NzZW50cm9weSIsDQogIG1ldHJpY3MgPSBjKCJhY2N1cmFjeSIpDQopDQoNCmhpc3RvcnkgPC0gbW9kZWwgJT4lIGZpdCgNCiAgdHJhaW4kZmVhdHVyZXMsIHRyYWluJGxhYmVscywNCiAgZXBvY2hzID0gMzAsDQogIGJhdGNoX3NpemUgPSAyMCwNCiAgdmFsaWRhdGlvbl9kYXRhID0gbGlzdCh2YWxpZGF0aW9uJGZlYXR1cmVzLCB2YWxpZGF0aW9uJGxhYmVscykNCikNCmBgYA0KDQpUcmVub3dhbmllIHByemViaWVnYSBiYXJkem8gc3p5YmtvLCBwb25pZXdhxbwgbWFteSB0eWxrbyBkd2llIHdhcnN0d3kgZGVuc2Ug4oCUIHByemV0d29yemVuaWUgZXBva2kgYWxnb3J5dG11IHpham11amUgbW5pZWogbmnFvCBzZWt1bmTEmSBuYXdldCB3IHByenlwYWRrdSBrb3J6eXN0YW5pYSB6IENQVS4NCg0KUHJ6ZWFuYWxpenVqbXkgd3lrcmVzeSBzdHJhdHkgaSBkb2vFgmFkbm/Fm2NpIHRyZW5vd2FuaWEgOg0KDQpgYGB7cn0NCnBsb3QoaGlzdG9yeSkNCmBgYA0KDQpVenlza2FsacWbbXkgZG9rxYJhZG5vxZvEhyBuYSBwb3ppb21pZSB6YmxpxbxvbnltIGRvIDkwJSDigJQgdG8gd3luaWsgbyB3aWVsZSBsZXBzenkgb2QgdGVnbywga3TDs3J5IHV6eXNrYWxpxZtteSB3IHBvcHJ6ZWRuaW0gcG9kcm96ZHppYWxlLCBnZHkgdHJlbm93YWxpxZtteSBtb2RlbCBvZCBwb2RzdGF3LiBaIHd5a3Jlc8OzdyB3eW5pa2EgamVkbmFrIHLDs3duaWXFvCB0bywgxbxlIG1vZGVsIG5pZW1hbMW8ZSBvZCBwb2N6xIV0a3UgdWxlZ2EgbmFkbWllcm5lbXUgZG9wYXNvd2FuaXUgcG9taW1vIHByenlqxJljaWEgZG/Fm8SHIGR1xbxlaiB3YXJ0b8WbY2kgd3Nww7PFgmN6eW5uaWthIG9kcnp1dHUuIEJpZXJ6ZSBzacSZIHRvIHN0xIVkLCDFvGUgbmllIGtvcnp5c3RhbXkgeiB0ZWNobmlraSBhdWdtZW50YWNqaSBkYW55Y2gsIGt0w7NyYSBqZXN0IG5pZXpixJlkbmEsIGJ5IHphcG9iaWVnbsSFxIcgcHJ6ZXVjemVuaXUgbW9kZWx1IHBvZGN6YXMgcHJ6ZXR3YXJ6YW5pYSBtYcWCeWNoIHpiaW9yw7N3IG9icmF6w7N3Lg0KDQpUZXJheiBwcnp5anJ6eWpteSBzacSZIGRydWdpZWogdGVjaG5pY2UgZWtzdHJha2NqaSBjZWNoLCBrdMOzcmEgamVzdCBvIHdpZWxlIHdvbG5pZWpzemEgaSB3eW1hZ2Egd3lrb255d2FuaWEgbyB3aWVsZSBiYXJkemllaiBza29tcGxpa293YW55Y2ggb2JsaWN6ZcWELCBhbGUgdW1vxbxsaXdpYSBrb3J6eXN0YW5pZSB6IGF1Z21lbnRhY2ppIGRhbnljaCBwb2RjemFzIHRyZW5vd2FuaWEg4oCUIGRva29uYW15IHJvemJ1ZG93eSBtb2RlbHUgY29udl9iYXNlIGkgcHJ6ZXR3b3J6eW15IGRhbmUgb2QgcG9jesSFdGt1IGRvIGtvxYRjYSBwcnp5IHXFvHljaXUgdGVnbyB3xYJhxZtuaWUgbW9kZWx1LiBUZWNobmlrYSB0YSB3eW1hZ2EgbmEgdHlsZSBkdcW8eWNoIHphc29iw7N3IG9ibGljemVuaW93eWNoLCDFvGUgbW/FvGVzeiBzcHLDs2Jvd2HEhyB6IG5pZWogc2tvcnp5c3RhxIcgdHlsa28sIGplxbxlbGkgcG9zaWFkYXN6IHd5ZGFqbnkgdWvFgmFkIEdQVSDigJQgbmllIG1hIMW8YWRuZWdvIHNlbnN1IGtvcnp5c3RhxIcgeiBuaWVqIHcgcHJhY3kgbmEgcHJvY2Vzb3J6ZSBDUFUuIEplxbxlbGkgbmllIG1vxbxlc3ogdXJ1Y2hvbWnEhyBrb2R1IG5hIHByb2Nlc29yemUgR1BVLCB0byBtb8W8ZXN6IHBvcHJ6ZXN0YcSHIG5hIHRlY2huaWNlIG9waXNhbmVqIHByemVkIGNod2lsxIUuDQoNCk1vZGVsZSBtYWrEhSB3xYJhxZtjaXdvxZtjaSB3YXJzdHcsIGEgd2nEmWMgbW9kZWwgY29udl9iYXNlIG1vxbxlIHpvc3RhxIcgZG9kYW55IGRvIG1vZGVsdSBzZWt3ZW5jeWpuZWdvIChzZXF1ZW50aWFsKSwgdGFrIGpha2J5xZtteSDFgsSFY3p5bGkgemUgc29ixIUga29sZWpuZSB3YXJzdHd5IHNpZWNpLg0KDQpgYGB7cn0NCm1vZGVsIDwtIGtlcmFzX21vZGVsX3NlcXVlbnRpYWwoKSAlPiUgDQogIGNvbnZfYmFzZSAlPiUgDQogIGxheWVyX2ZsYXR0ZW4oKSAlPiUgDQogIGxheWVyX2RlbnNlKHVuaXRzID0gMjU2LCBhY3RpdmF0aW9uID0gInJlbHUiKSAlPiUgDQogIGxheWVyX2RlbnNlKHVuaXRzID0gMSwgYWN0aXZhdGlvbiA9ICJzaWdtb2lkIikNCmBgYA0KDQpUZXJheiBuYXN6IG1vZGVsIGNoYXJha3Rlcnl6dWplIHNpxJkgbmFzdMSZcHVqxIVjxIUgYnVkb3fEhToNCg0KYGBge3J9DQpzdW1tYXJ5KG1vZGVsKQ0KYGBgDQoNCktvbndvbHVjeWpuYSBiYXphIHNpZWNpIFZHRzE2IG1hIDE0IDcxNCA2ODggcGFyYW1ldHLDs3cgKGplc3QgdG8gYmFyZHpvIGR1xbxhIGxpY3piYSkuIEtsYXN5ZmlrYXRvciBkb2Rhd2FueSBkbyB0ZWogYmF6eSBtYSAyIG1pbGlvbnkgcGFyYW1ldHLDs3cuDQoNClphbmltIHNrb21waWx1amVteSBpIHd5dHJlbnVqZW15IG1vZGVsLCBtdXNpbXkgemFtcm96acSHIGJhesSZIGtvbndvbHVjeWpuxIUuIFphbXJhxbxhbmllIHdhcnN0d3kgbHViIHplc3Rhd3Ugd2Fyc3R3IHBvbGVnYSBuYSB6YXBvYmllZ2FuaXUgYWt0dWFsaXphY2ppIGljaCB3YWcgdyBwcm9jZXNpZSB0cmVub3dhbmlhLiBKZcW8ZWxpIHRlZ28gbmllIHpyb2JpbXksIHRvIHJlcHJlemVudGFjamUgd3l1Y3pvbmUgd2N6ZcWbbmllaiBwcnpleiBiYXrEmSBrb253b2x1Y3lqbsSFIHpvc3RhbsSFIHptb2R5Zmlrb3dhbmUgcG9kY3phcyB0cmVub3dhbmlhLiBXYXJzdHd5IGRlbnNlIHpuYWpkdWrEhWNlIHNpxJkgdSBnw7NyeSBzxIUgaW5pY2pvd2FuZSB3IHNwb3PDs2IgbG9zb3d5LCBjbyBzcHJhd2lhLCDFvGUgZG9jaG9kemnFgm9ieSBkbyBkdcW8eWNoIHptaWFuIHdzenlzdGtpY2ggcGFyYW1ldHLDs3cgc2llY2ksIGEgdG8gc2t1dGVjem5pZSB6bmlzemN6ecWCb2J5IHd5dWN6b25lIHdjemXFm25pZWogcmVwcmV6ZW50YWNqZS4NCg0KVyBwYWtpZWNpZSBLZXJhcyBzaWXEhyB6YW1yYcW8YSBzacSZIHphIHBvbW9jxIUgZnVua2NqaSBmcmVlemVfd2VpZ2h0cygpOg0KDQoNCmBgYHtyfQ0KY2F0KCJMaWN6YmEgd2FnIHBvZGRhd2FueWNoIHRyZW5vd2FuaXUgIiwNCiAgICAicHJ6ZWQgemFtcm/FvGVuaWVtIGJhenk6IiwgbGVuZ3RoKG1vZGVsJHRyYWluYWJsZV93ZWlnaHRzKSwgIlxuIikNCmBgYA0KDQpgYGB7cn0NCmZyZWV6ZV93ZWlnaHRzKGNvbnZfYmFzZSkNCmBgYA0KDQpgYGB7cn0NCmNhdCgiTGljemJhIHdhZyBwb2RkYXdhbnljaCB0cmVub3dhbml1ICIsDQogICAgInBvIHphbXJvxbxlbml1IGJhenk6IiwgbGVuZ3RoKG1vZGVsJHRyYWluYWJsZV93ZWlnaHRzKSwgIlxuIikNCmBgYA0KDQpQcnp5IHRha2llaiBrb25maWd1cmFjamkgdHJlbm93YW5lIGLEmWTEhSB0eWxrbyB3YWdpIHogZHfDs2NoIHdhcnN0dyBkZW5zZS4gQsSZZMSFIHRvIHcgc3VtaWUgY3p0ZXJ5IHRlbnNvcnkgd2FnOiBwbyBkd2EgdGVuc29yeSBuYSB3YXJzdHfEmSAoZ8WCw7N3bmEgbWFjaWVyeiB3YWcgaSB3ZWt0b3Igd2FydG/Fm2NpIHByb2dvd3ljaCkuIFBhbWnEmXRhaiBvIHR5bSwgxbxlIHcgY2VsdSB3cHJvd2FkemVuaWEgem1pYW4gbmFsZcW8eSBuYWpwaWVydyBza29tcGlsb3dhxIcgbW9kZWwuIEplxbxlbGkgem1pZW5pc3ogbW/FvGxpd2/Fm8SHIHRyZW5vd2FuaWEgd2FnIHBvIHNrb21waWxvd2FuaXUgbW9kZWx1LCBixJlkemllc3ogbXVzaWHFgiBnbyBza29tcGlsb3dhxIcgamVzemN6ZSByYXosIHcgcHJ6ZWNpd255bSByYXppZSB3cHJvd2Fkem9uZSB6bWlhbnkgem9zdGFuxIUgemlnbm9yb3dhbmUuDQoNClRlcmF6IG1vxbxlbXkgcm96cG9jesSFxIcgdHJlbm93YW5pZSBtb2RlbHUgcHJ6eSB0YWtpZWogc2FtZWoga29uZmlndXJhY2ppIHRlY2huaWtpIGF1Z21lbnRhY2ppIGRhbnljaCwgeiBqYWtpZWoga29yenlzdGFsacWbbXkgdyBwb3ByemVkbmltIHByenlrxYJhZHppZS4NCg0KYGBge3IsIGVjaG89VFJVRSwgcmVzdWx0cz0naGlkZSd9DQp0cmFpbl9kYXRhZ2VuID0gaW1hZ2VfZGF0YV9nZW5lcmF0b3IoDQogIHJlc2NhbGUgPSAxLzI1NSwNCiAgcm90YXRpb25fcmFuZ2UgPSA0MCwNCiAgd2lkdGhfc2hpZnRfcmFuZ2UgPSAwLjIsDQogIGhlaWdodF9zaGlmdF9yYW5nZSA9IDAuMiwNCiAgc2hlYXJfcmFuZ2UgPSAwLjIsDQogIHpvb21fcmFuZ2UgPSAwLjIsDQogIGhvcml6b250YWxfZmxpcCA9IFRSVUUsDQogIGZpbGxfbW9kZSA9ICJuZWFyZXN0Ig0KKQ0KDQp0ZXN0X2RhdGFnZW4gPC0gaW1hZ2VfZGF0YV9nZW5lcmF0b3IocmVzY2FsZSA9IDEvMjU1KQ0KDQp0cmFpbl9nZW5lcmF0b3IgPC0gZmxvd19pbWFnZXNfZnJvbV9kaXJlY3RvcnkoDQogIHRyYWluX2RpciwNCiAgdHJhaW5fZGF0YWdlbiwNCiAgdGFyZ2V0X3NpemUgPSBjKDE1MCwgMTUwKSwNCiAgYmF0Y2hfc2l6ZSA9IDIwLA0KICBjbGFzc19tb2RlID0gImJpbmFyeSINCikNCg0KdmFsaWRhdGlvbl9nZW5lcmF0b3IgPC0gZmxvd19pbWFnZXNfZnJvbV9kaXJlY3RvcnkoDQogIHZhbGlkYXRpb25fZGlyLA0KICB0ZXN0X2RhdGFnZW4sDQogIHRhcmdldF9zaXplID0gYygxNTAsIDE1MCksDQogIGJhdGNoX3NpemUgPSAyMCwNCiAgY2xhc3NfbW9kZSA9ICJiaW5hcnkiDQopDQoNCm1vZGVsICU+JSBjb21waWxlKA0KICBsb3NzID0gImJpbmFyeV9jcm9zc2VudHJvcHkiLA0KICBvcHRpbWl6ZXIgPSBvcHRpbWl6ZXJfcm1zcHJvcChsciA9IDJlLTUpLA0KICBtZXRyaWNzID0gYygiYWNjdXJhY3kiKQ0KKQ0KDQpoaXN0b3J5IDwtIG1vZGVsICU+JSBmaXRfZ2VuZXJhdG9yKA0KICB0cmFpbl9nZW5lcmF0b3IsDQogIHN0ZXBzX3Blcl9lcG9jaCA9IDEwMCwNCiAgZXBvY2hzID0gMzAsDQogIHZhbGlkYXRpb25fZGF0YSA9IHZhbGlkYXRpb25fZ2VuZXJhdG9yLA0KICB2YWxpZGF0aW9uX3N0ZXBzID0gNTANCikNCmBgYA0KDQpgYGB7cn0NCnNhdmVfbW9kZWxfaGRmNShtb2RlbCwgImNhdHNfYW5kX2RvZ3Nfc21hbGxfMy5oNSIpDQpgYGANCg0KUG9ub3duaWUgcHJ6ZWRzdGF3bXkgd3luaWtpIHByYWN5IGFsZ29yeXRtdSBuYSB3eWtyZXNhY2g6DQoNCmBgYHtyfQ0KcGxvdChoaXN0b3J5KQ0KYGBgDQoNCkphayB3aWRhxIcsIHV6eXNrYWxpxZtteSBkb2vFgmFkbm/Fm8SHIHdhbGlkYWNqaSBzacSZZ2FqxIVjxIUgb2tvxYJvIDkwJS4gVG8gbyB3aWVsZSBsZXBzenkgd3luaWsgb2QgdGVnbywga3TDs3J5IHV6eXNrYWxpxZtteSBwcnp5IHXFvHljaXUgbWHFgmVqIHNpZWNpIGtvbndvbHVjeWpuZWogdHJlbm93YW5laiBvZCBwb2RzdGF3Lg0KDQojIyBEb3N0cmFqYW5pZQ0KDQpEb3N0cmFqYW5pZSBqZXN0IHRlY2huaWvEhSBwb25vd25lZ28gc3Rvc293YW5pYSBtb2RlbGkgdXp1cGXFgm5pYWrEhWPEhSBla3N0cmFrY2rEmSBjZWNoLiBQb2xlZ2Egb25hIG5hIG9kbXJhxbxhbml1IGtpbGt1IGfDs3JueWNoIHdhcnN0dyB6YW1yb8W8b25laiBiYXp5IG1vZGVsdSB1xbx5d2FuZWogZG8gZWtzdHJha2NqaSBjZWNoIGkgdHJlbm93YW5pdSBqZWogxYLEhWN6bmllIHogbm93xIUgY3rEmcWbY2nEhSBtb2RlbHUgKHcgbmFzenltIHByenlwYWRrdSB0xIUgY3rEmcWbY2nEhSBtb2RlbHUgamVzdCB3IHBlxYJuaSBwb8WCxIVjem9ueSBrbGFzeWZpa2F0b3IpLiBQcm9jZXMgdGVuIG9rcmXFm2xhbXkgbWlhbmVtIGRvc3RyYWphbmlhLCBwb25pZXdhxbwgbW9keWZpa3VqZSBjesSZxZtjaW93byB3Y3plxZtuaWVqIHd5dHJlbm93YW5lIGJhcmR6aWVqIGFic3RyYWtjeWpuZSByZXByZXplbnRhY2plIG1vZGVsdSB3IGNlbHUgZG9zdG9zb3dhbmlhIGljaCBkbyBiaWXFvMSFY2VnbyBwcm9ibGVtdS4NCg0KIVtmaW5lLXR1bmluZyBWR0cxNl0oaW1nXDVfM2IucG5nKQ0KDQpTdHdpZXJkemnFgmVtLCDFvGUgbXVzaW15IHphbXJvemnEhyBiYXrEmSBrb253b2x1Y2ppIG1vZGVsdSBWR0cxNiwgYWJ5IHd5dHJlbm93YcSHIGxvc293byB6YWluaWNqb3dhbnkga2xhc3lmaWthdG9yIGtvxYRjesSFY3kgc2llxIcuIFogdGVnbyBzYW1lZ28gcG93b2R1IG1vxbxsaXdlIGplc3QgdHlsa28gZG9zdHJhamFuaWUgZ8Ozcm55Y2ggd2Fyc3R3IGtvbndvbHVjeWpuZWogYmF6eSBwbyB3eXRyZW5vd2FuaXUga2xhc3lmaWthdG9yYS4gSmXFvGVsaSBrbGFzeWZpa2F0b3IgbmllIGJ5xYJieSBqZXN6Y3plIHd5dHJlbm93YW55LCB0byBzeWduYcWCIGLFgsSZZHUgcHJ6ZXDFgnl3YWrEhWN5IHByemV6IHNpZcSHIHcgdHJha2NpZSB0cmVub3dhbmlhIGJ5xYJieSB6Ynl0IGR1xbx5IGkgZG9wcm93YWR6acWCYnkgZG8gem5pc3pjemVuaWEgcmVwcmV6ZW50YWNqaSB3eXVjem9ueWNoIHdjemXFm25pZWogcHJ6ZXogZG9zdHJhamFuZSB3YXJzdHd5LiBXIHp3acSFemt1IHogdHltIGRvc3RyYWphbmllIHNpZWNpIG5hbGXFvHkgcHJ6ZXByb3dhZHphxIcgdyBuYXN0xJlwdWrEhWN5IHNwb3PDs2I6DQoqIDEuCURvZGFqIHNhbW9kemllbG5pZSB6YXByb2pla3Rvd2FuxIUgc2llxIcgZG8ga2/FhGNhIGJhenkgd3l0cmVub3dhbmVnbyBqdcW8IG1vZGVsdS4NCiogMi4JWmFtcsOzxbogYmF6xJkgc2llY2kuDQoqIDMuCVd5dHJlbnVqIG5vd8SFIGN6xJnFm8SHIHNpZWNpLg0KKiA0LglPZG1yb8W6IG5pZWt0w7NyZSB3YXJzdHd5IGJhenkgc2llY2kuDQoqIDUuCVd5dHJlbnVqIHJhemVtIHRlIHdhcnN0d3kgb3JheiBub3fEhSBjesSZxZvEhyBzaWVjaS4NCg0KUGllcndzemUgdHJ6eSBrcm9raSB3eWtvbmFsacWbbXkgcG9kY3phcyBla3N0cmFrY2ppIGNlY2guIFpham1pam15IHNpxJkga3Jva2llbSA0LiBPZG1yb3ppbXkgYmF6xJkgY29udl9iYXNlLCBhIG5hc3TEmXBuaWUgemFtcm96aW15IGplaiB3eWJyYW5lIHdhcnN0d3kuDQoNClByenlwb21pbmFtLCDFvGUgbmFzemEgc2llxIcgY2hhcmFrdGVyeXp1amUgc2nEmSBuYXN0xJlwdWrEhWPEhSBhcmNoaXRla3R1csSFOg0KDQoNCmBgYHtyfQ0Kc3VtbWFyeShjb252X2Jhc2UpDQpgYGANCg0KRG9zdHJvaW15IG9zdGF0bmllIHdhcnN0d3kgemFjenluYWrEhWMgb2QgYmxvY2szX2NvbnYxLiBEbGFjemVnbyBuaWUgYsSZZHppZW15IGRvc3RyYWphxIcgd2nEmWtzemVqIGxpY3pieSB3YXJzdHc/IERsYWN6ZWdvIG5pZSBkb3N0cm9pxIcgY2HFgmVqIGJhenkga29ud29sdWN5am5laj8gTW9nbGliecWbbXkgdG8genJvYmnEhywgYWxlIG11c2lteSBwYW1pxJl0YcSHIG8gbmFzdMSZcHVqxIVjeWNoIHJ6ZWN6YWNoOg0KDQoqCVdjemXFm25pZWpzemUgd2Fyc3R3eSBiYXp5IGtvbndvbHVjeWpuZWoga29kdWrEhSBiYXJkemllaiBvZ8OzbG5lLCB1bml3ZXJzYWxuZSBjZWNoeSwgYSB3ecW8c3plIHdhcnN0d3kga29kdWrEhSBiYXJkemllaiB3eXNwZWNqYWxpem93YW5lIGNlY2h5LiBMZXBpZWogamVzdCBkb3N0cmFqYcSHIGJhcmR6aWVqIHd5c3BlY2phbGl6b3dhbmUgY2VjaHksIHBvbmlld2HFvCB0byBvZCBuaWNoIHphbGXFvHkgcHJ6eWRhdG5vxZvEhyBtb2RlbHUgdyBub3d5bSB6YXN0b3Nvd2FuaXUuIFBvZGN6YXMgZG9zdHJhamFuaWEgbmnFvHN6eWNoIHdhcnN0dyBkb2Nob2R6acWCb2J5IGRvIHN6eWJraWVnbyBzcGFka3UgendyYWNhbnljaCB3YXJ0b8WbY2kuDQoqCUltIHdpxJljZWogcGFyYW1ldHLDs3cgamVzdCB0cmVub3dhbnljaCwgdHltIHdpxJlrc3plIGplc3Qgcnl6eWtvIG5hZG1pZXJuZWdvIGRvcGFzb3dhbmlhLiBCYXphIGtvbndvbHVjeWpuYSBtYSAxNSBtaWxpb27Ds3cgcGFyYW1ldHLDs3csIGEgdHJlbm93YW5pZSB0YWsgZHXFvGVqIGxpY3pieSBwYXJhbWV0csOzdyBuYSBuaWV3aWVsa2ltIHpiaW9yemUgZGFueWNoLCBrdMOzcnltIGR5c3BvbnVqZW15LCBiecWCb2J5IHJ5enlrb3duZS4NCg0KVyB6d2nEhXprdSB6IHR5bSB3IG5hc3p5bSBwcnp5cGFka3UgZG9icsSFIHN0cmF0ZWdpxIUgamVzdCBkb3N0cmFqYW5pZSB0eWxrbyB3eWJyYW55Y2ggd2Fyc3R3IGJhenkga29ud29sdWN5am5lai4gWnLDs2JteSB0bywgemFjenluYWrEhWMgb2QgbWllanNjYSwgdyBrdMOzcnltIHNrb8WEY3p5bGnFm215IHcgcG9wcnplZG5pbSBwcnp5a8WCYWR6aWUuDQoNCg0KYGBge3J9DQp1bmZyZWV6ZV93ZWlnaHRzKGNvbnZfYmFzZSwgZnJvbSA9ICJibG9jazNfY29udjEiKQ0KYGBgDQoNClRlcmF6IG1vxbxlbXkgcm96cG9jesSFxIcgZG9zdHJhamFuaWUgc2llY2kuIFpyb2JpbXkgdG8gemEgcG9tb2PEhSBhbGdvcnl0bXUgb3B0eW1hbGl6dWrEhWNlZ28gUk1TUHJvcCBwcnp5IGJhcmR6byBuaXNraWVqIHdhcnRvxZtjaSBwYXJhbWV0cnUgdWN6ZW5pYS4gV3licmFuaWUgbmlza2llaiB3YXJ0b8WbY2kgd3luaWthIHogdGVnbywgxbxlIGNoY2VteSBtaW5pbWFsaXpvd2HEhyBtb2R5ZmlrYWNqZSByZXByZXplbnRhY2ppIHRyemVjaCBkb3N0cmFqYW55Y2ggd2Fyc3R3LiBaYnl0IGR1xbxlIHptaWFueSB0eWNoIHdhcnRvxZtjaSBtb2fFgnlieSB6YXN6a29kemnEhyByZXByZXplbnRhY2pvbSBkYW55Y2guDQoNCkN6YXMgZG9zdHJvacSHIHBhcmFtZXRyeSBtb2RlbHU6DQoNCmBgYHtyLCBlY2hvPVRSVUUsIHJlc3VsdHM9J2hpZGUnfQ0KbW9kZWwgJT4lIGNvbXBpbGUoDQogIGxvc3MgPSAiYmluYXJ5X2Nyb3NzZW50cm9weSIsDQogIG9wdGltaXplciA9IG9wdGltaXplcl9ybXNwcm9wKGxyID0gMWUtNSksDQogIG1ldHJpY3MgPSBjKCJhY2N1cmFjeSIpDQopDQoNCmhpc3RvcnkgPC0gbW9kZWwgJT4lIGZpdF9nZW5lcmF0b3IoDQogIHRyYWluX2dlbmVyYXRvciwNCiAgc3RlcHNfcGVyX2Vwb2NoID0gMTAwLA0KICBlcG9jaHMgPSAxMDAsDQogIHZhbGlkYXRpb25fZGF0YSA9IHZhbGlkYXRpb25fZ2VuZXJhdG9yLA0KICB2YWxpZGF0aW9uX3N0ZXBzID0gNTANCikNCmBgYA0KDQpgYGB7cn0NCnNhdmVfbW9kZWxfaGRmNShtb2RlbCwgImNhdHNfYW5kX2RvZ3Nfc21hbGxfNC5oNSIpDQpgYGANCg0KUG9ub3duaWUgd3lnZW5lcnVqbXkgd3lrcmVzeToNCg0KYGBge3J9DQpwbG90KGhpc3RvcnkpDQpgYGANCg0KVyBza2FsaSBiZXp3emdsxJlkbmVqIGRva8WCYWRub8WbxIcgcG9wcmF3acWCYSBzacSZIG8gNiUgKHd6cm9zxYJhIHogb2tvxYJvIDkwJSBkbyBwb25hZCA5NiUpLg0KDQpaYXV3YcW8LCDFvGUga3J6eXdhIHN0cmF0eSBuaWUgd3lrYXp1amUgxbxhZG5laiByZWFsbmVqIHBvcHJhd3kgKHRhayBuYXByYXdkxJkgd3luaWthIHogbmllaiBwb2dvcnN6ZW5pZSBwYXJhbWV0cnUgcHJhY3kgbW9kZWx1KS4gRGxhY3plZ28gZG9rxYJhZG5vxZvEhyBqZXN0IHN0YWJpbG5hLCBhIG5hd2V0IHBvcHJhd2nFgmEgc2nEmSwgamXFvGVsaSB3YXJ0b8WbY2kgc3RyYXR5IG5pZSBzcGFkYWrEhT8gT2Rwb3dpZWTFuiBqZXN0IHByb3N0YTogd2lkemlteSDFm3JlZG5pxIUgcHVua3Rvd3ljaCB3YXJ0b8WbY2kgc3RyYXR5LCBhIGRva8WCYWRub8WbxIcgemFsZcW8eSBvZCByb3prxYJhZHUgd2FydG/Fm2NpIHN0cmF0eSAobmllIGljaCDFm3JlZG5pZWopLiBEemllamUgc2nEmSB0YWssIHBvbmlld2HFvCBkb2vFgmFkbm/Fm8SHIGplc3QgYmluYXJuxIUgd2FydG/Fm2NpxIUgcHJvZ293xIUgcHJhd2RvcG9kb2JpZcWEc3R3YSBrbGFzIHByemV3aWR5d2FueWNoIHByemV6IG1vZGVsLiBNb2RlbCBtb8W8ZSBkemlhxYJhxIcgbGVwaWVqIHBvbWltbyB0ZWdvLCDFvGUgbmllIG9kendpZXJjaWVkbGFqxIUgdGVnbyDFm3JlZG5pZSB3YXJ0b8WbY2kgc3RyYXR5Lg0KDQpOYSBrb25pZWMgbW/FvGVteSBzcHJhd2R6acSHIGR6aWHFgmFuaWUgbW9kZWx1IG5hIGRhbnljaCB0ZXN0b3d5Y2g6DQoNCmBgYHtyfQ0KdGVzdF9nZW5lcmF0b3IgPC0gZmxvd19pbWFnZXNfZnJvbV9kaXJlY3RvcnkoDQogIHRlc3RfZGlyLA0KICB0ZXN0X2RhdGFnZW4sDQogIHRhcmdldF9zaXplID0gYygxNTAsIDE1MCksDQogIGJhdGNoX3NpemUgPSAyMCwNCiAgY2xhc3NfbW9kZSA9ICJiaW5hcnkiDQopDQoNCm1vZGVsICU+JSBldmFsdWF0ZV9nZW5lcmF0b3IodGVzdF9nZW5lcmF0b3IsIHN0ZXBzID0gNTApDQpgYGANCg0KVXp5c2thbXkgdGVzdG93xIUgZG9rxYJhZG5vxZvEhyBuYSBwb3ppb21pZSA5Niw1JS4gR2R5YnnFm215IHd6acSZbGkgdWR6aWHFgiB3IGtvbmt1cnNpZSBLYWdnbGUgZG90eWN6xIVjeW0gdGVnbyB6YmlvcnUgZGFueWNoLCB0byB1enlza2FsaWJ5xZtteSBqZWRlbiB6IG5hand5xbxzenljaCB3eW5pa8Ozdy4gRHppxJlraSBub3dvY3plc255bSB0ZWNobmlrb20gdWN6ZW5pYSBnxYLEmWJva2llZ28gdWRhxYJvIG5hbSBzacSZIHV6eXNrYcSHIHRha2kgd3luaWssIGR5c3BvbnVqxIVjIHR5bGtvIG5pZXdpZWxrxIUgY3rEmcWbY2nEhSB0cmVuaW5nb3dlZ28gemJpb3J1IGRhbnljaCAob2tvxYJvIDEwJSBkYW55Y2gpLiBNb8W8bGl3b8WbxIcgdHJlbm93YW5pYSBtb2RlbHUgbmEgemJpb3J6ZSAyMCAwMDAgcHLDs2JlayB0byBjb8WbIHp1cGXFgm5pZSBpbm5lZ28gbmnFvCB0cmVub3dhbmllIG1vZGVsdSBuYSAyMDAwIHByw7NiZWshDQoNCiMjIFduaW9za2kNCg0KT3RvIHduaW9za2ksIGt0w7NyZSBuYWxlxbx5IHd5bmllxZvEhyB6IGR3w7NjaCBvc3RhdG5pY2ggcG9kcm96ZHppYcWCw7N3Og0KDQoqCUtvbndvbHVjeWpuZSBzaWVjaSBuZXVyb25vd2Ugc8SFIG5hamxlcHN6eW1pIG1vZGVsYW1pIHVjemVuaWEgbWFzenlub3dlZ28gZG8gemFkYcWEIHp3acSFemFueWNoIHogcHJ6ZXR3YXJ6YW5pZW0gb2JyYXp1LiBNb8W8bmEgamUgdHJlbm93YcSHIG9kIHBvZHN0YXcgbmF3ZXQgbmEgbWHFgnljaCB6YmlvcmFjaCBkYW55Y2ggaSB1enlza2l3YcSHIHByenkgdHltIHNlbnNvd25lIHd5bmlraS4NCioJR8WCw7N3bnltIHByb2JsZW1lbSBwb2RjemFzIHByYWN5IHogbWHFgnltaSB6YmlvcmFtaSBkYW55Y2ggamVzdCBuYWRtaWVybmUgZG9wYXNvd2FuaWUgbW9kZWx1LiBQcm9ibGVtIHRlbiBwb2RjemFzIHByYWN5IHogZGFueW1pIGLEmWTEhWN5bWkgb2JyYXphbWkgbW/FvG5hIHJvendpxIV6YcSHIHphIHBvbW9jxIUgdGVjaG5pa2kgYXVnbWVudGFjamkgZGFueWNoLg0KKglFa3N0cmFrY2phIGNlY2ggdW1vxbxsaXdpYSDFgmF0d2UgdcW8eWNpZSB1dHdvcnpvbmVqIHdjemXFm25pZWoga29ud29sdWN5am5laiBzaWVjaSBuZXVyb25vd2VqIHcgY2VsdSByb3p3acSFemFuaWEgbm93ZWdvIHByb2JsZW11LiBUZWNobmlrYSB0YSBqZXN0IHN6Y3plZ8OzbG5pZSBwcnp5ZGF0bmEgcG9kY3phcyBwcmFjeSB6IG1hxYJ5bWkgemJpb3JhbWkgb2JyYXrDs3cuDQoqCUVmZWt0eSBla3N0cmFrY2ppIGNlY2ggbW/FvG5hIHd6bW9jbmnEhyB0ZWNobmlrxIUgZG9zdHJhamFuaWEsIGt0w7NyYSBwb2xlZ2EgbmEgcHJ6eXN0b3Nvd3l3YW5pdSB3eXVjem9uZWogd2N6ZcWbbmllaiByZXByZXplbnRhY2ppIGRhbnljaCBkbyBub3dlZ28gcHJvYmxlbXUuIFphYmllZyB0ZW4gendpxJlrc3phIG5pZWNvIHNrdXRlY3pub8WbxIcgcHJhY3kgbW9kZWx1Lg0KDQpUZXJheiBkeXNwb251amVzeiBqdcW8IHNvbGlkbnltIHplc3Rhd2VtIG5hcnrEmWR6aSBwcnplem5hY3pvbnljaCBkbyByb3p3acSFenl3YW5pYSBwcm9ibGVtw7N3IGtsYXN5ZmlrYWNqaSBvYnJhesOzdywga3TDs3JlIHRvIG5hcnrEmWR6aWEgc3ByYXdkemFqxIUgc2nEmSBzemN6ZWfDs2xuaWUgZG9icnplIHBvZGN6YXMgcHJhY3kgeiBtYcWCeW1pIHpiaW9yYW1pIGRhbnljaC4NCg0K