notebooks/1 - tf2_nn_intro.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "#!pip install tensorflow-gpu==2.0.0-rc1"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Temporary issue with TF 2.0 and gast module \n",
    "\n",
    "TF reqs. an older gast (as for TF 2.0.0-rc1)\n",
    "\n",
    "(https://github.com/tensorflow/tensorflow/issues/32319)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Requirement already satisfied: gast==0.2.2 in c:\\users\\grigo\\anaconda3\\envs\\tf2\\lib\\site-packages (0.2.2)\n"
     ]
    }
   ],
   "source": [
    "!pip install gast==0.2.2"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import tensorflow as tf"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "3.7.3 (default, Apr 24 2019, 15:29:51) [MSC v.1915 64 bit (AMD64)]\n",
      "2.0.0-rc1\n"
     ]
    }
   ],
   "source": [
    "import sys\n",
    "print(sys.version)\n",
    "print(tf.__version__)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "import matplotlib.pyplot as plt\n",
    "import numpy as np"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "%matplotlib inline"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Tensorflow 2.0/Keras essentials"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "from tensorflow.keras.layers import Dense"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "layer = Dense(32, input_shape=(784,))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Sequential model**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "from tensorflow.keras import models\n",
    "from tensorflow.keras import layers\n",
    "\n",
    "model = models.Sequential()\n",
    "model.add(layers.Dense(32, activation='relu', input_shape=(784,)))\n",
    "model.add(layers.Dense(10, activation='softmax'))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Model: \"sequential\"\n",
      "_________________________________________________________________\n",
      "Layer (type)                 Output Shape              Param #   \n",
      "=================================================================\n",
      "dense_1 (Dense)              (None, 32)                25120     \n",
      "_________________________________________________________________\n",
      "dense_2 (Dense)              (None, 10)                330       \n",
      "=================================================================\n",
      "Total params: 25,450\n",
      "Trainable params: 25,450\n",
      "Non-trainable params: 0\n",
      "_________________________________________________________________\n"
     ]
    }
   ],
   "source": [
    "model.summary()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Functional API**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "input_tensor = layers.Input(shape=(784,))\n",
    "x = layers.Dense(32, activation='relu')(input_tensor)\n",
    "output_tensor = layers.Dense(10, activation='softmax')(x)\n",
    "\n",
    "model = models.Model(inputs=input_tensor, outputs=output_tensor)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Model: \"model\"\n",
      "_________________________________________________________________\n",
      "Layer (type)                 Output Shape              Param #   \n",
      "=================================================================\n",
      "input_1 (InputLayer)         [(None, 784)]             0         \n",
      "_________________________________________________________________\n",
      "dense_3 (Dense)              (None, 32)                25120     \n",
      "_________________________________________________________________\n",
      "dense_4 (Dense)              (None, 10)                330       \n",
      "=================================================================\n",
      "Total params: 25,450\n",
      "Trainable params: 25,450\n",
      "Non-trainable params: 0\n",
      "_________________________________________________________________\n"
     ]
    }
   ],
   "source": [
    "model.summary()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## MNIST data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [],
   "source": [
    "from tensorflow.keras.datasets import mnist\n",
    "(x_train, y_train), (x_test, y_test) = mnist.load_data()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAU4AAAEICAYAAAAwUh0YAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjEsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy8QZhcZAAAgAElEQVR4nO2debwU1bXvv0tklEFwQJwARwTFeeYh9wqKBEVjMBIcMF71xSHiVa9TNBgnorm+OBtUAlFe1AQVNBIkCmKcLmjIUwYFiSgKooiAiCC43h9Vu7rO0Od0ndNd01nfz6c/XWfX7q7V/Tu9a+1pLVFVDMMwjNLZImkDDMMwsoY1nIZhGBGxhtMwDCMi1nAahmFExBpOwzCMiFjDaRiGEZHMNpwiMkpEHkvaDqO8mK75JG+6prrhFJGfiMhsEflaRJaJyBQR6ZOQLR+KyHrflq9F5IUk7MgDKdO1m4hMF5FvRGSBiPRPwo48kCZdQzYdIyIqIjeX831T23CKyH8CvwVuBToDuwL3A0MSNOtEVW3rP45L0I7MkkJd/wj8A9gGuA74s4hsl5AtmSWFuiIizYG7gDfL/d6pbDhFpAPwK+AiVX1KVdep6neq+qyqXlnkNX8SkeUislpEZopIr9C5QSIyT0TWisgnInKFX76tiDwnIl+JyJci8oqIpPI7yQNp01VE9gIOAn6pqutVdSLwDnBqJT5/XkmbriEuB14AFpTx4wIpbTiBI4FWwNMRXjMF2BPYHngbmBA69whwgaq2A/YFXvLLLweWAtvh3SWvBeragzpBRD4XkRdEZP8IthkeadO1F7BYVdeGyv7plxulkzZdEZGuwE/xGvSyk9aGcxvgC1XdVOoLVHWsqq5V1Q3AKGB//04I8B3QU0Taq+oqVX07VN4F6OrfIV/R4pv3hwPdgK7AdGCqiGwd+ZM1bdKma1tgdbWy1UC7CJ/JSJ+uAHcD16vq1w36RPWQ1oZzJbCtiGxZSmURaSYio0XkAxFZA3zon9rWfz4VGAQsEZGXReRIv/wOYBHwgogsFpGri11DVV/1u3PfqOptwFfA/4r+0Zo0adP1a6B9tbL2wNpa6hrFSZWuInIi0E5Vn2jg56kfVU3dA+iA90/9ozrqjAIe84/PBOYD3QEBtsZz4feo9prmwGXAx7W8Xy9gBXBsiTbOB05K+rvK0iNtugJ7Ad/i/chc2Uzgfyf9XWXpkUJdfwusAZb7j/W+fZPK9ZlT6XGq6mrgBuA+ETlZRNqISHMROUFEbq/lJe2ADXh3vjZ4M3sAiEgLERkuIh1U9Tu8L3Szf26wiOwhIhIq31z9zUVkVxE52n+vViJyJd7d8dXyfvJ8kzZdVfV9YA7wS1/XU4DewMRyfu68kzZdgevxbooH+I/JwEPAOWX6yOn0OEN3juHAbGAd3p3jL8BRtdzB2gKT8LpYS4Cz8O9gQAvgr8Aq/8ueBfTxX3cZXjdhHd6g8/VF7OgF/D+/3krgReCQpL+frD7SoqtftxswA88reQ/on/T3k9VHmnStZtc44OZyflbx39gwDMMokVR21Q3DMNKMNZyGYRgRaVTDKSIDReQ9EVlU11IeI1uYrvnFtC0PDR7jFJFmwPvAALyB2lnAMFWdVz7zjLgxXfOLaVs+SlqwWoTDgEWquhhARB7H29BfVAQRaeozUV+oatoDSJiu0cmCrhBRW9O1uK6N6arvBHwc+nupX2YUZ0nSBpSA6RqdLOgKpm1UiuraGI9TaimrcYcSkfOB8xtxHSNeTNf8Uq+2pmtpNKbhXArsEvp7Z+DT6pVUdQwwBsz1zwima36pV1vTtTQa01WfBewpIt1FpAVwOt7WJiPbmK75xbQtEw32OFV1k4hcDEwFmgFjVXVu2SwzEsF0zS+mbfmIdculuf68paqHJG1EuTFdTdecUlRX2zlkGIYREWs4DcMwItKYWXXDSBUHH3xwcHzxxRcDcNZZZwHwhz/8AYB77rknqPP2229jGA3BPE7DMIyI5HZyqFmzZsFxhw4ditZznkmbNm0A2HvvvQG46KKLgjq/+c1vABg2bBgA3377bXBu9OjRANx4442lmGWTCBXggAMOAOCll14Kytq3r55KyGP16kJutm222aZcJpiuKeLYY48FYMIEL3HmMcccE5x77733oryVTQ4ZhmGUC2s4DcMwIpLJyaFdd901OG7RogUARx11FAB9+vQBYOutCynPTz311JLfe+nSpQDcfffdQdkpp5wCwNq1XtbYf/7zn8G5l19+OZLtRvk47LDDAJg40cutFh6ScUNQTrONGzcCVbvnRxxxBFCYJHJ1jNLp27cvUPV7ffrpp5MyB4BDDz0UgFmzZlXsGuZxGoZhRCRTHmdtkwB1TfxE4fvvvwfgF7/4BQBff/11cM4NMi9btgyAVatWBeciDjYbDcRN3h100EFB2WOPPQZAly5dir5u4cKFANx+u5el9vHHHw/Ovfqql93ZaX7bbbeV0eKmQb9+/QDYc889g7IkPM4ttij4gN27dwega9euAHjZhMt8vbK/o2EYRs7JlMf50UcfAbBy5cqgLIrH+eabbwLw1VdfBWX/9m//BhTGtx599NFG22mUn9/97ndAYUlYqTgPtW3btkDVMWnnLfXu3bsMFjZN3AaD119/PVE7wr2O8847Dyj0SBYsWFD265nHaRiGERFrOA3DMCJSb1ddRMYCg4EVqrqvX9YJeALoBnwInKaqq4q9R7n48ssvAbjyyiuDssGDBwPwj3/8A6i6jMgxZ84cAAYMGADAunXrgnO9evUC4NJLL62AxeklTbrWhdt//oMf/ACofaDfdb+fffbZoMzt9vr0Uy/Aufv/CE/s/fu//3vR98wycWobnpRJkocffrhGmZsYrASlfOpxwMBqZVcDL6rqnsCL/t9GthiH6ZpXxmHaVpR6PU5VnSki3aoVDwH6+cfjgRnAVWW0q06eeeaZ4NgtTXILnffff38Azj333KCO8z7CnqZj7lwvAPb55zet/FRp1DWMW3o2bdo0oLD3PBxbYcqUKUBhwii8J9ktMXKeyOeffw5U3bzglqA5bza81CnLkZPi0NZNqHXu3Lmhb1FWapskdv87laChs+qdVXUZgKouE5Hti1W0rHmZwnTNLyVpa7qWRsWXI1U6a96aNWuq/B2OfuNwyxOeeOIJoOBpGA2nErrutddewbEbx3aexBdffAEUNiEAjB8/HihsVvjLX/4SnAsf10fr1q0BuPzyy4Oy4cOHR7I9L5Sq66BBg4DCd5cUzuN1i97DfPLJJxW7bkNHdj8TkS4A/vOK8plkJIjpml9M2zLSUI9zMnA2MNp/nlQ2ixrJqFGjgKrRwN3YV//+/QF44YUXYrcrIySia8uWLYHCWDQUPBo3du0WWs+ePTuoU25vJxw8JoeUVVsXt9bh5grixv3PhMda33//faDwv1MJ6vU4ReSPwOvA3iKyVETOxfvyB4jIQmCA/7eRIUzX/GLaVp5SZtWL7XE7tsy2GDFiuuYX07byZGqveim4JUduQggKS0seeughAKZPnx6cc12/++67D6i63MWIhwMPPBAodM/DDBkyBLC4p2mnkrEvw2lQBg70lqeeccYZABx33HE16t90001A1ZgU5SYdy/4NwzAyRO48TscHH3wQHI8YMQKA3//+9wCceeaZwTl3vNVWWwGFNLLhZS9GZbnzzjuBqlsfnYdZSU/TbRe05WmNp1OnTiXVcxtUnNZuwnbnnXcO6risDm5JWHhb5/r164FCpLMNGzYAsOWWhabsrbfeiv4BImIep2EYRkRy63GGcRGp3aZ/5+FAIZXorbfeChSiRt9yyy1BnUoupG3KuAAtbntleHx58uTJFb++8zTddV0wGKN+nOfnvrsHH3wwOHfttdcWfZ3bquk8zk2bNgHwzTffBHXmzZsHwNixY4GqS9BcD+Szzz4DCjnCwkvTKhF/szrmcRqGYUTEGk7DMIyINImuuuPdd98F4LTTTgvKTjzxRKAwcXTBBRcAVZNPuTieRnlx3Ss3GbBiRWEXoIsrUC7c7iS3syyMi7B1zTXXlPWaeebCCy8EYMmSJUAhPXd9uPQ3LsLZ/PnzAXjjjTciXd9FM9tuu+0AWLx4caTXNxbzOA3DMCLSpDxOR3hhrEvO5uI2umUNffv2Deq4pF4zZsyIx8AmiltaAuVbDuY8TRefM5w9wE0s/Pd//zdQNSW0URq//vWvE7mum9R1TJw4Mdbrm8dpGIYRkSblcbqlED/60Y+CskMPPRSouoAWCksiAGbOnBmDdUY5lyC5JU7Ow/zxj38MwKRJhaBAp556atmuZySLW3IYF+ZxGoZhRCS3Hmc4XuDFF18MwA9/+EMAdthhh6Kv27x5M1B1jM225FUGtwjaPZ988snBuYZkHb3sssuC4+uvvx4oRJCfMGECUIjraRiNoZR4nLuIyHQRmS8ic0XkUr+8k4hME5GF/nPHyptrlAvTNZ+YrvFQSld9E3C5qu4DHAFcJCI9sXSjWcd0zSemawyUEsh4GeCy460VkfnATqQolSwUut8uVazrngN069at3te7/bBuj3oce6WTJA26un3O7jk8hHL33XcDhf3KK1euBOCII44I6rjIVi7iTjjCjltoPXXqVADuv//+8n+AFJIGXePEDfOEE/1FXUzfECKNcfq5mg8E3sTSjeYG0zWfmK6Vo+SGU0TaAhOBkaq6Jhw7sS4qkUY2nJipZ8+eANx7770A9OjRo97Xu1h+AHfccQdQWKbS1CaC0qRrs2bNgmO3pc8tGXJpoMNbYavz2muvBccuyv8NN9xQDtMyR5p0rSSutxKO2RkHJV1NRJrjiTBBVZ/yiy3daMYxXfOJ6Vp56vU4xbtVPQLMV9U7Q6diSyXrokv/7ne/AwqLmwF22223el/vPBG3tc6Ne0EhrmBTIw26vv7660AhX43bjBDGjXuGexkON+75+OOPAw1bwpQ30qBrEhx55JHB8bhx4yp+vVK66kcDZwLviIiL9HotngBP+qlHPwKGVsZEo0KYrvnEdI2BUmbV/w4UGyCxdKMZxXTNJ6ZrPKRu59Dhhx8OVI1ic9hhhwGw00471ft6F4LfLWeBQloMlzrYSAcuOpHb0eVioUIhmlF17rrrruD4gQceAGDRokWVMtFIOaVOepUb26tuGIYRkdR5nKecckqV59oIRy567rnngELSJzcBVMlk9EZ5cXEBwtHZa4vUbhiOKVOmADB0aDJDteZxGoZhRETCKVkrfrEMLKitMG+p6iFJG1FuTFfTNacU1dU8TsMwjIhYw2kYhhERazgNwzAiYg2nYRhGRKzhNAzDiIg1nIZhGBGJewH8F8A6/7k+OgM7AEuANYAC7YF2wFJgR6Al8K+KWFqTrsAqYDtgPfBpA98jj2RV12ZAb+BDPG07AbsC7wCbI7yP6ZouXVsAOwMfA98B2+JFwX8HiBJwt7iuqhrrA5hdQp0OwNfA0DrqjAIeC/39J2A5sBqYCfQKnRsEzAPWAp8AV/jl2wLPAV8BXwKvAFvUZTfwGDAq7u8t7Y8s6goMBtZXK3sfODfp7zMtjyzqWpvdeI35weX6XtLaVT8SaAVEyTI/BdgT2B54G5gQOvcIcIGqtgP2BV7yyy/Huxtuh3fHvBbvTmlUhrTpWluECPHfyyidtOlaBRE5AM8LLVs0mLQ2nNsAX6jqplJfoKpjVXWtqm7Au7vtLyId/NPfAT1FpL2qrlLVt0PlXYCuqvqdqr6i/u3JqAhp0/U1oLmIDBOR5iJyNrA70KaBn6+pkjZdA0SkPfAocKOqro74uYqSRMM5poQ6K4FtRaSkMVgRaSYio0XkAxFZgzdmBZ5rD3Aqnvu/REReFhEXLvoOvLvQCyKyWETqSplait1Nmczpqqorgf8D/CfwGTAQ+BueV2N4ZE5XZ7eItAaeBd5Q1dtKsa1kkh5DqWfM5EeljJngRbyeD3TH62ptjefC71HtNc2By4CPa3m/Xnh5WI6txzYb48yhrn7dLfEmN45P+rvK0iONuuJNRE0F/i9FxkEb80hlV109l/oG4D4ROVlE2vhdqRNE5PZaXtIO2IB352sD3OpOiEgLERkuIh1U9Tu8QeLN/rnBIrKHn6fFldc6m+pfvxWel76liLQSkWa11TVqJ6W6Hujb0B74DbBUVafWVteonbTp6ier+zPe6pezVLX8qWuTvlvVcycbDszGWxKxHPgLcFQtd7C2eMmn1uJ5DGfh38HwBoX/irfcZA0wC+jjv+4yvG7COrzu2fV12DLOf8/wY0TS31EWHynT9Y94M7urgSeA7ZP+frL6SIuuwDH++32D5wm7x/8q22eN8UsdCLyHN0ZxddIi12HnLsB0vK7EXOBSv7wTMA1Y6D93TNrWtDyyoK3parqW87qxxOP0u7TvAwPw7hSzgGGqOq/OFyaAn3O6i6q+LSLtgLeAk4ERwJeqOtoflO6oqlclaGoqyIq2pms0TNe6iWuM8zBgkaouVtWNwOPAkJiuHQlVXab+8gdVXYt3J9sJz97xfrXxeOIYGdHWdI2M6VoHjWo4RWSgiLwnIovqWRqwE972J8dSvyzViEg34EDgTaCzqi4DTyy8hbu5JIKukEFtm6qukO/fbJy6Nrjh9F35+4ATgJ7AMBHpWax6LWWpXmguIm2BicBIVV2TtD1xEVFXyJi2TVVXyPdvNnZdGzEoeyQwNfT3NcA1ddWl5qx0U3t8nvRgejl1DdVP+ntN+pF6XRv4m036e036UVTXxkRHqs2VP7x6JRE5Hzgf2K8R18oLS5I2oASi6mpkQ1coQVvTtQpFdW3MGGdJrryqjlEvU1zxROlGmoikq+Ywu2OOqVdb07U0GtNwLsVbQ+XYmTpiVKrq8424lhEfkXQ1MoVpWyYa03DOAvYUke4i0gI4HZhcHrOMBDFd84tpWyYaPMapqptE5GK8SZ9mwFhVnVs2y4xEMF3zi2lbPmLZORRcTCS+i6WTt/I4dmS6mq45paiuqYyOZBiGkWas4TQMw4iINZyGYRgRsYbTMAwjInHnVU89v/jFLwC48cYbg7IttvDuL/369QPg5Zdfjt0uw2iqtGvXLjhu27YtAD/4wQ8A2G677QC48847gzobNmyouE3mcRqGYUTEGk7DMIyIWFfdZ8SIEQBcdZUXJPr772vmd4pzzathNFW6desGFH6LRx55ZHBu3333rfU1Xbp0CY5//vOfV844H/M4DcMwImIep0/Xrl0BaNWqVcKWGHVx+OGFKGhnnHEGAMcccwwAvXr1qlH/iiuuAODTT71YFn369AnOPfbYYwC8+eablTHWqJcePXoAMHLkyKBs+PDhALRu3RoALxuwx8cfe1Hx1q5dC8A+++wDwGmnnRbUuf/++wFYsGBBpcw2j9MwDCMqTd7j7N+/PwCXXHJJlfLw3Wrw4MEAfPbZZ/EZZlThxz/+MQB33XVXULbtttsCBY9kxowZwTm3TOWOO+6o8j5h78XVOf3008tvsFErHTp0AODXv/41UNA1vOSoOgsXLgyOjz/+eACaN28OFH6n7n+h+nGlMI/TMAwjItZwGoZhRKTerrqIjAUGAytUdV+/rBPwBNAN+BA4TVVXVc7M8hKeIPj9738PFLoQjnAXb8mSrKSUKZ2067rllt6/5iGHeFG9HnroIQDatGkT1Jk5cyYAN910EwB///vfg3MtW7YE4MknnwTguOOOq3GN2bNnl9vsVJBmbU85xcug8x//8R/11v3ggw8AGDBgQFDmJof22GOPClhXOqV4nOOAgdXKrgZeVNU9gRf9v41sMQ7TNa+Mw7StKPV6nKo600/0HmYI0M8/Hg/MAK4qo10V5eyzzw6Od9xxxyrn3ATDH/7whzhNip206+qWGj388MNVyqdNmxYcu4mFNWtqptF256p7mkuXLg2Ox48fXx5jU0aatR06dGit5R9++GFwPGvWLKCwAN55mWHcMqSkaOisemdVXQagqstEZPtiFS3daKYwXfNLSdqarqVR8eVIqjoGGAPJh+J3yxR++tOfBmVua+VXX30FwM033xy/YRmkErq6sUqAa6+91l0HKCxqdtGroHZP03HdddfVWh7ejvf555833NicUunf63nnnQfA+ed7bfMLL7wAwKJFi4I6K1asqPd9OnfuXG7TItHQWfXPRKQLgP9c/yc1soDpml9M2zLSUI9zMnA2MNp/nlQ2iyqACxowceLEonXuueceAKZPnx6HSWklEV1vuOEGoOBlAmzcuBGAqVOnAoXxrvXr19d4vdsmGx7P3HXXXYHCgnfXk5g0KdX/qpUkFb9Zt/V11KhRjXqfcOCPJKjX4xSRPwKvA3uLyFIRORfvyx8gIguBAf7fRoYwXfOLaVt5SplVH1bk1LFltsWIEdM1v5i2ladJ7FUfONBb0ta7d+8a51588UWg6h5oIx623nprAC688EKgarxT10U/+eSTi77eLYKeMGECAAcffHCNOn/+858BuP3228tgsREHbgJvq622Klpnv/32q/L3a6+9Fhy//vrrlTEshG25NAzDiEhuPc6wpzJ6dNXhnPDWPLcYfvXq1fEYZgS0aNECqD2ajfM6tt/eW254zjnnAHDSSScFdVw0cJfAK+yxumMXc3PdunVltd1oHG7rbM+ePQH45S9/GZwbNGhQlbouWSLUzMzgJpvc/wfA5s2by2tsLZjHaRiGEZHceZylLD1avHhxcGwxNpPDLTlyC9FdfEyAf/3rX0DdeZ6ct+EWwofzznzxxRcAPPvss2W02GgILnYmwIEHHggUfp9Os/AyM6erG6t0cxRQNcgLFILB/PCHPwzK3HyF+/+qBOZxGoZhRMQaTsMwjIjkrqteV3pfR/XJIiMZXHwAN5H33HPPBec6deoEFGIyuh0/48aNC+p8+eWXADz++ONA1a66KzOSw03+hbvaTz31VJU6N954IwAvvfRSUPbqq68Chf+B8Lnq6YHd8M5tt90WlH300UcAPPPMMwBs2LChEZ+idszjNAzDiEhuPM4DDjgAqD3St8N5Le+9914sNhml4dLzhieHSqFv375AIT1wuJcRngA04sVNBjlv8sorr6xRZ8qUKUAhRoTrfUDh/+D5558Hqi52dxM+bkOD80CHDBkS1HEbIv72t78BhcRwAKtWVQ16P2fOnAifrIB5nIZhGBHJjcfp4vp17Nixxrk33ngDgBEjRsRpklFhWrduDRQ8zfDSJRvjjJdmzZoFxy6u6hVXXAFU3Xxw9dVexg6nj/M0XW4pgHvvvRcoLF0Kpwf+2c9+BhSimLVv3x6Ao446KqgzfPhwoLBZIpw1wOGiynfv3r3kzxjGPE7DMIyI5Mbj3GabbYDaZ9Nd9PCvv/46VpuMyuICgRjJ4yK6Q8HT/OabbwC44IILgnOuZ3jEEUcAha2SJ5xwQlDH9SR+9atfAYVMtFAz/5Db/PDXv/41KHPHw4Z5QaJ+8pOf1LD3sssuK/GT1U4p8Th3EZHpIjJfROaKyKV+eScRmSYiC/3nmn1kI7WYrvnEdI2HUrrqm4DLVXUf4AjgIhHpiaUbzTqmaz4xXWNA6toLXOsLRCYB9/qPfn7GvC7ADFXdu57Xlj35k3Pj3cRPbV313XbbDYAlS5aU+/JReUtVD6m/WvykTddSOP7444HCspXw/7JbDB9TQrYmr+uyZcuCY7ecyC08X7BgQXDOxdh0sVRrw6XVcIva44h2VISiukYa4/RzNR8IvImlG80Npms+MV0rR8kNp4i0BSYCI1V1jUuCVR+VSDfqFrsD9O/fHyh4mm6B7H333RfUsQhIxUmTrlFxPQmjJnHrunz58uDYeZwtW7YEYP/9969R3/USZs6cCRS2RwJ8+OGHQKKeZr2UtBxJRJrjiTBBVd1mU0s3mnFM13xiulaeej1O8W5VjwDzVfXO0KnE0o26XDUAO+ywQ5Vzn3zyCVBYEmHUThp1jcorr7wCFCKE1xXYpamQlK5u+ysUgrYcdNBBAKxYUWijx44dCxS2PlYyZmYlKaWrfjRwJvCOiLiNndfiCfCkn3r0I2BoZUw0KoTpmk9M1xgoJT3w34FiAySWbjSjmK75xHSNh9zsHDKaHu+++y5Q2MscnizafffdgdiWIzV51q5dGxw/+uijVZ7ziO1VNwzDiEgmPc7wglqXiL5Pnz5JmWMkzK233grAww8/HJTdcsstAFxyySUAzJs3L37DjNxiHqdhGEZEIm+5bNTFEloonSJSuzWvMSStq4vJ+OSTTwZlbmOEy3HjovCEY0OWEdM1nxTV1TxOwzCMiJjHGS/mmVQQ53lCYYzTRQzv3bs3ULGxTtM1n5jHaRiGUS6s4TQMw4iIddXjxbp0+cR0zSfWVTcMwygXcS+A/wJY5z/XR2dgB2AJsAZQoD3QDlgK7Ai0BP5VEUtr0hVYBWwHrAc+beB75JEs69oFcOHLtwL2At4FvovwHqZr+nSt7O9VVWN9ALNLqNMB+BoYWkedUcBjob//BCwHVgMzgV6hc4OAecBa4BPgCr98W+A54CvgS+AVYIu67AYeA0bF/b2l/ZF1Xf3jw4BvgcOS/j7T8si6rpX6vaa1q34k0Ap4OsJrpgB7AtsDbwMTQuceAS5Q1XbAvsBLfvnleHfD7fDumNfi3SmNypBKXUXkORH5Fi/FxAxgdgT7jJTqWknSuld9G+ALVd1U6gtUdaw7FpFRwCoR6aCqq/G6XT1F5J+qugrPhccv7wJ0VdVFeHcwo3KkUldVHexHTe8P9FBVi4gcjVTqWkmS8DjHlFBnJbCtiJTUsItIMxEZLSIfiMga4EP/1Lb+86l47v8SEXlZRI70y+8AFgEviMhiEakrZWopdjdlMq2rqn6nqlOA40XkpFLsayJkWteKkfQYSj1jJj8qZcwEL+L1fKA7XhDXrfFc+D2qvaY5cBnwcS3v1wsvD8ux9dhmY5w51DVU/2/AZUl/V1l6pFnXSv1eUznGqZ67fgNwn4icLCJtRKS5iJwgIrfX8pJ2wAa8O18b4FZ3QkRaiMhwvxvwHd6M32b/3GAR2cPP0+LKa02t51+/FZ6XvqWItBKRZuX71PknbbqKSA//2q19O84A+gIvl/eT55u06erXrezvNem7VT13i+F4A/Xr8NSwVPUAAAwgSURBVGbg/gIcVcsdrC1e8qm1eMshzsK/gwEtgL/ijZOsAWYBffzXXYbXTViHN+h8fR22jPPfM/wYkfR3lMVHWnQF9sGbEFqLN1M7Czgl6e8nq4+06OrXrejvNc4vdSDwHt4YxdVJi1yHnbsA0/G6EnOBS/3yTsA0YKH/3DFpW9PyyIK2pqvpWs7rxrLl0neR3wcG4N0pZgHDVDV1Ybn9nNNdVPVtEWkHvAWcDIwAvlTV0f6gdEdVvSpBU1NBVrQ1XaNhutZNXGOchwGLVHWxqm4EHgeGxHTtSKjqMlV92z9ei3cn2wnP3vF+tfF44hgZ0dZ0jYzpWgeNajhFZKCIvCcii+pZGrAT8HHo76V+WaoRkW7AgXjjYJ1VdRl4YuEt3M0lEXSFDGrbVHWFfP9m49S1wQ2n78rfB5wA9ASGiUjPYtVrKUv1Dh0RaQtMBEaq6pqk7YmLiLpCxrRtqrpCvn+zsevaiEHZI4Gpob+vAa6pqy41Z7ma2uPzpAfTy6lrqH7S32vSj9Tr2sDfbNLfa9KPoro2Zstlba784dUricj5wPnAfo24Vl5YkrQBJRBVVyMbukIJ2pquVSiqa2PGOEty5VV1jHrBQE9pxLWM+Iikq+YwgG+OqVdb07U0GtNwLsVbQ+XYmTpi3qnq8424lhEfkXQ1MoVpWyYa03DOAvYUke4i0gI4HZhcHrOMBDFd84tpWyYaPMapqptE5GK8SZ9mwFhVnVs2y4xEMF3zi2lbPixZW7xYUq98YrrmE0vWZhiGUS6s4TQMw4hIWlNnNJq77rorOP75z38OwLvvvgvA4MGDg3NLlmRlCZ5hGGnBPE7DMIyI5M7j7NatGwBnnHFGUPb9917urX322QeAHj16BOfM48wGe+21FwDNmzcPyvr27QvA/fffDxR0LpVJkyYBcPrppwOwcePGRttpNIywrkcddRQAt97qBYY/+uijE7GpLszjNAzDiIg1nIZhGBHJXVf9888/B2DmzJlB2UknWbbXrNGrVy8ARowYAcDQoUMB2GKLwr1+xx13BApd9Khrkt3/xYMPPgjAyJEjg3Nr1jSpiHOJ06FDh+B4+vTpACxfvhyAHXbYITjnypLGPE7DMIyI5M7jXLduHWCTPlnntttuA2DQoEEVv9ZZZ50FwCOPPBKUvfrqqxW/rlE3ztM0j9MwDCMH5M7j3HrrrQHYf//9E7bEaAzTpk0DanqcK1asCI6dh+jGPWtbjuSWthxzzDEVsdOoHCK1hQ9NB+ZxGoZhRMQaTsMwjIjU21UXkbHAYGCFqu7rl3UCngC6AR8Cp6nqqsqZWTpt2rQBYNdddy1a59BDDw2OFyxYADS9yaS06/rAAw8A8Mwzz1Qp/+6774LjUiYK2rdvDxTiFLglTGHcNWbPnt0wY1NG2rUtFbe8rFWrVglbUpNSPM5xwMBqZVcDL6rqnsCL/t9GthiH6ZpXxmHaVpR6PU5Vnekneg8zBOjnH48HZgBXldGuBvPpp14KlXHjxgVlo0aNqlIn/PdXX30FwL333ltp01JF2nXdtGkTAB9//HE9Nevm+OOPB6Bjx45F6yxduhSADRs2NOpaaSHt2kblkEMKsYTfeOONBC0p0NBZ9c6qugxAVZeJyPbFKlq60UxhuuaXkrQ1XUuj4suRVHUMMAbiDcV/0003BcfVPU6j8SSla6m4iEfnnXceAK1bty5a94YbbojFpiyQlK6uhwGwevVqoLANc/fdd4/LjJJp6Kz6ZyLSBcB/XlFPfSMbmK75xbQtIw31OCcDZwOj/edJZbOoAtS1QNqoQqZ0dQwfPhyAq68uzHfsscceQNU4j9WZM2cOUHWmPsekWls31wDwyiuvAFUzNaSNej1OEfkj8Dqwt4gsFZFz8b78ASKyEBjg/21kCNM1v5i2laeUWfVhRU4dW2ZbjBgxXfOLaVt5crdXvTYaGq/RSA6XAuXMM88EoH///kXr9unTB6hbXxdfM9ydf/755wFYv359o2w1mh625dIwDCMiTcLjNLLBvvvuGxxPnjwZqHvrbBTchMOYMWPK8n5GfGyzzTZJm1AD8zgNwzAiYh6nkUpcLMZSYjKWstzMLW054YQTgrIpU6Y0xkQjJtKYM8w8TsMwjIhYw2kYhhGRJtFVr6sr17dvX6DpRUdKIy5mJkC/fv0AOOOMMwCYOnUqAN9++21J73XuuecCcMkll5TRQiMOXHrgTO8cMgzDMKoicS4KTyqKzubNm4G6F0j37t0bgHnz5lXSlLdU9ZD6q2WLNEZHcpF1Vq5cWaX8xBNPDI7LODlkupaRU089FYA//elPQNUNCj179gRiy9hQVFfzOA3DMCLSJMY4H3zwQQAuuOCConXOP9+L3Tpy5MhYbDIqi4v8bmSPcGxOqLokrWXLlnGbUyvmcRqGYUSkSXicLpOlkS5crMzjjjsOgJdeeik415DAG+ecc05wfNdddzXSOiMpJk3yQoW6322PHj2Cc65HeOGFF8ZvWIhS4nHuIiLTRWS+iMwVkUv98k4iMk1EFvrPxbNhGanDdM0npms8lNJV3wRcrqr7AEcAF4lITyzdaNYxXfOJ6RoDkZcjicgk4F7/0c/PmNcFmKGqe9fz2kSXrbz//vtA7cmf3CJ5l3Lhgw8+qIQJqV22EpeuLnYmwHXXXQfAgAEDAOjevXtwrpS0wJ06dQJg0KBBANxzzz3BuXbt2lWp67r+4X3PbqF1GWjyulaC3/72t0DVIZjOnTsDpW+EaCRFdY00xunnaj4QeBNLN5obTNd8YrpWjpIbThFpC0wERqrqmlKi1kC60sjOnTsXgN12263GuaaayC1uXcNbW8PxNwH+67/+Kzheu3Ztve/lPNWDDjrI2VSjzowZMwB44IEHgLJ6makmD79XR1jXjRs3JmhJgZKWI4lIczwRJqjqU36xpRvNOKZrPjFdK0+9Hqd4t6pHgPmqemfoVKrTjdaGi/4d3nbXVEmjrj/72c8a9foVKwptwbPPPgvApZdeCsQ2JpY4adS1sbRv3z44HjJkCABPP/10UuYApXXVjwbOBN4RkTl+2bV4Ajzppx79CBhaGRONCmG65hPTNQZKSQ/8d6DYAImlG80opms+MV3joUnsHHK4yEfz588PyvbZZ5+kzGmSjBgxIjh2sTLPPvvskl8fXib2zTffALUnYgvH9jSyyWmnnQbAhg0bgrLwbzdJbK+6YRhGRJqUx+li+O23334JW9J0mTNnTnDs9hv/z//8DwA333xzcK5jR29H4DPPPAPAtGnTgMI+ZoDly5dX1lgjUWbOnAlU7RU2JIZBJTCP0zAMIyJNIgJ8ikjt1rzGYLqarjnFIsAbhmGUC2s4DcMwImINp2EYRkSs4TQMw4iINZyGYRgRsYbTMAwjInEvgP8CWOc/Z41tabzdXcthSAoxXfOJ6VqEWNdxAojI7Cyuecuq3XGR1e8nq3bHRVa/n0rbbV11wzCMiFjDaRiGEZEkGs4x9VdJJVm1Oy6y+v1k1e64yOr3U1G7Yx/jNAzDyDrWVTcMw4iINZyGYRgRia3hFJGBIvKeiCwSkavjum5URGQXEZkuIvNFZK6IXOqXdxKRaSKy0H/umLStaSEL2pqu0TFd67huHGOcItIMeB8YACwFZgHDVHVexS8eET/ndBdVfVtE2gFvAScDI4AvVXW0/0/UUVWvStDUVJAVbU3XaJiudROXx3kYsEhVF6vqRuBxYEhM146Eqi5T1bf947XAfGAnPHvH+9XG44ljZERb0zUypmsdxNVw7gR8HPp7qV+WakSkG3Ag8CbQWVWXgScWsH1ylqWKzGlrupaE6VoHcTWcteV5TvU6KBFpC0wERqrqmqTtSTGZ0tZ0LRnTtQ7iajiXAruE/t4Z+DSma0dGRJrjiTBBVZ/yiz/zx1PcuMqKpOxLGZnR1nSNhOlaB3E1nLOAPUWku4i0AE4HJsd07UiIiACPAPNV9c7QqcnA2f7x2cCk6q9tomRCW9M1MqZrXdeNa+eQiAwCfgs0A8aq6i2xXDgiItIHeAV4B/jeL74Wb9zkSWBX4CNgqKp+mYiRKSML2pqu0TFd67iubbk0DMOIhu0cMgzDiIg1nIZhGBGxhtMwDCMi1nAahmFExBpOwzCMiFjDaRiGERFrOA3DMCLy/wHnBauvL/4PbQAAAABJRU5ErkJggg==\n",
      "text/plain": [
       "<Figure size 432x288 with 9 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "for i in range(9):\n",
    "    plt.subplot(3,3,i+1)\n",
    "    plt.imshow(x_train[i], cmap='gray', interpolation='none')\n",
    "    plt.title(\"Class {}\".format(y_train[i]))\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "(60000, 28, 28)\n",
      "(10000, 28, 28)\n",
      "uint8\n"
     ]
    }
   ],
   "source": [
    "print(x_train.shape)\n",
    "print(x_test.shape)\n",
    "print(x_train.dtype)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "(60000,)\n",
      "(10000,)\n",
      "uint8\n"
     ]
    }
   ],
   "source": [
    "print(y_train.shape)\n",
    "print(y_test.shape)\n",
    "print(y_train.dtype)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAPsAAAD4CAYAAAAq5pAIAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjEsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy8QZhcZAAANG0lEQVR4nO3db6xU9Z3H8c9Hlj4Q+gDlAjdUpFYTF43S5oYY3RA31ca/wcZ0AxrCJiT0gZo21rim+6A+NJttm01cm9CFlNUqaWwVEmW3NwSjTUx1NCyCWP+Flltu4CIxXB4oi3z3wT1srnjnzDjnzB/4vl/JZGbOd84530z4cGbO78z9OSIE4Px3Qb8bANAbhB1IgrADSRB2IAnCDiTxN73c2fz582Pp0qW93CWQyoEDB3T06FHPVKsUdtu3SPo3SbMk/UdEPFb2+qVLl6rRaFTZJYASIyMjTWsdf4y3PUvSv0u6VdIySWtsL+t0ewC6q8p39hWS3o+IDyPipKStklbV0xaAulUJ+2JJB6c9HyuWfY7tDbYbthsTExMVdgegiiphn+kkwBeuvY2IjRExEhEjQ0NDFXYHoIoqYR+TdMm051+TdKhaOwC6pUrYX5d0he2v2/6KpNWSttfTFoC6dTz0FhGnbN8v6b81NfS2OSL21dYZgFpVGmePiBclvVhTLwC6iMtlgSQIO5AEYQeSIOxAEoQdSIKwA0kQdiAJwg4kQdiBJAg7kARhB5Ig7EAShB1IgrADSRB2IAnCDiRB2IEkCDuQBGEHkiDsQBKEHUiip1M2I59XX321aW3lypWl6958882l9U2bNpXWh4eHS+vZcGQHkiDsQBKEHUiCsANJEHYgCcIOJEHYgSQYZx8Ao6OjpfVPP/20tH7HHXfU2U6t3n777aa1U6dOla67Y8eO0vpHH31UWmec/fMqhd32AUmTkj6TdCoiRupoCkD96jiy/31EHK1hOwC6iO/sQBJVwx6Sfm/7DdsbZnqB7Q22G7YbExMTFXcHoFNVw35DRHxL0q2S7rP9hV82RMTGiBiJiJGhoaGKuwPQqUphj4hDxf0RSc9JWlFHUwDq13HYbc+x/dUzjyV9R9LeuhoDUK8qZ+MXSnrO9pntPB0R/1VLV+eZEydOlNbvvvvu0vrp06dL688//3zT2k033VS6LvLoOOwR8aGka2vsBUAXMfQGJEHYgSQIO5AEYQeSIOxAEvzEtQcef/zx0vrk5GSl7b/yyitNawy94QyO7EAShB1IgrADSRB2IAnCDiRB2IEkCDuQBOPsPXDNNdf0uwWAIzuQBWEHkiDsQBKEHUiCsANJEHYgCcIOJME4ew/s2bOn3y0AHNmBLAg7kARhB5Ig7EAShB1IgrADSRB2IAnG2XHO2rlzZ2n96quv7lEn54aWR3bbm20fsb132rKLbI/afq+4n9fdNgFU1c7H+F9JuuWsZY9I2hkRV0jaWTwHMMBahj0iXpZ07KzFqyRtKR5vkXRXzX0BqFmnJ+gWRsS4JBX3C5q90PYG2w3bjYmJiQ53B6Cqrp+Nj4iNETESESNDQ0Pd3h2AJjoN+2Hbw5JU3B+pryUA3dBp2LdLWlc8XidpWz3tAOiWluPstp+RdKOk+bbHJP1E0mOSfmN7vaS/SPpeN5scdGNjY6X1p556qtL2n3jiidL67bffXmn756qrrrqq3y2cU1qGPSLWNCl9u+ZeAHQRl8sCSRB2IAnCDiRB2IEkCDuQBD9xrcFrr71WWt+3b1+l7X/yySel9SVLllTafjfde++9TWsPPfRQ6boff/xxaX3RokUd9ZQVR3YgCcIOJEHYgSQIO5AEYQeSIOxAEoQdSIJx9hqMjo52dfs7duworV9//fVNa3PmzCldt+qfW56cnCytP/vss01rixcvLl231Tg7vhyO7EAShB1IgrADSRB2IAnCDiRB2IEkCDuQBOPsbfrggw+a1p5++umu7rvVOH5Zfe7cuaXrLlu2rKOezjh+/Hhp/Z133qm0fdSHIzuQBGEHkiDsQBKEHUiCsANJEHYgCcIOJME4e5t27drVtNZqrLmfTpw4UVpv9TfvB9lLL71UWr/sssua1i688MKauxl8LY/stjfbPmJ777Rlj9r+q+3dxe227rYJoKp2Psb/StItMyz/eUQsL24v1tsWgLq1DHtEvCzpWA96AdBFVU7Q3W97T/Exf16zF9neYLthuzExMVFhdwCq6DTsv5D0DUnLJY1L+mmzF0bExogYiYiRoaGhDncHoKqOwh4RhyPis4g4LemXklbU2xaAunUUdtvD055+V9LeZq8FMBhajrPbfkbSjZLm2x6T9BNJN9peLikkHZD0/S72OBAajUa/W8BZHnjggdL6yZMnm9YefPDButsZeC3DHhFrZli8qQu9AOgiLpcFkiDsQBKEHUiCsANJEHYgCX7iWnjyySdL6+Pj401r1113Xem6rf5c84IFC0rrV155ZWm9zLXXXtvxuu04dOhQaX3t2rVNa8eOVfvJRav35Z577qm0/fMNR3YgCcIOJEHYgSQIO5AEYQeSIOxAEoQdSIJx9sLq1atL62vWzPTjvykRUbru7NmzO+rpXLB8+fLS+pIlS5rWqo6zb926tbS+aNGiSts/33BkB5Ig7EAShB1IgrADSRB2IAnCDiRB2IEkGGcvnM9j4d3U6vfsR48e7dq+Z82a1bVtn484sgNJEHYgCcIOJEHYgSQIO5AEYQeSIOxAEoyzoxLbleronZZHdtuX2N5le7/tfbZ/UCy/yPao7feK+3ndbxdAp9r5GH9K0o8i4m8lXSfpPtvLJD0iaWdEXCFpZ/EcwIBqGfaIGI+IN4vHk5L2S1osaZWkLcXLtki6q1tNAqjuS52gs71U0jcl/VHSwogYl6b+Q5A044RltjfYbthuTExMVOsWQMfaDrvtuZJ+K+mHEXG83fUiYmNEjETEyNDQUCc9AqhBW2G3PVtTQf91RPyuWHzY9nBRH5Z0pDstAqhDy6E3T42dbJK0PyJ+Nq20XdI6SY8V99u60iEG2sKFC0vrF198cdPawYMHK+17x44dpfWyP1W9cuXKSvs+F7Uzzn6DpLWS3rK9u1j2Y02F/De210v6i6TvdadFAHVoGfaI+IOkZldGfLvedgB0C5fLAkkQdiAJwg4kQdiBJAg7kAQ/cUUlF1xQfry49NJLm9Z2797dtNaOhx9+uLT+7rvvVtr++YYjO5AEYQeSIOxAEoQdSIKwA0kQdiAJwg4kwTg7uurOO+9sWtu2rdqfQHjhhRdK65dffnml7Z9vOLIDSRB2IAnCDiRB2IEkCDuQBGEHkiDsQBKMs6Or1q9f31EN9ePIDiRB2IEkCDuQBGEHkiDsQBKEHUiCsANJtAy77Uts77K93/Y+2z8olj9q+6+2dxe327rfLoBOtXNRzSlJP4qIN21/VdIbtkeL2s8j4l+71x6AurQzP/u4pPHi8aTt/ZIWd7sxAPX6Ut/ZbS+V9E1JfywW3W97j+3Ntuc1WWeD7YbtxsTERKVmAXSu7bDbnivpt5J+GBHHJf1C0jckLdfUkf+nM60XERsjYiQiRoaGhmpoGUAn2gq77dmaCvqvI+J3khQRhyPis4g4LemXklZ0r00AVbVzNt6SNknaHxE/m7Z8eNrLvitpb/3tAahLO2fjb5C0VtJbts/MsftjSWtsL5cUkg5I+n5XOgRQi3bOxv9BkmcovVh/OwC6hSvogCQIO5AEYQeSIOxAEoQdSIKwA0kQdiAJwg4kQdiBJAg7kARhB5Ig7EAShB1IgrADSTgiercze0LSn6ctmi/paM8a+HIGtbdB7Uuit07V2dulETHj33/radi/sHO7EREjfWugxKD2Nqh9SfTWqV71xsd4IAnCDiTR77Bv7PP+ywxqb4Pal0RvnepJb339zg6gd/p9ZAfQI4QdSKIvYbd9i+0/2X7f9iP96KEZ2wdsv1VMQ93ocy+bbR+xvXfasotsj9p+r7ifcY69PvU2ENN4l0wz3tf3rt/Tn/f8O7vtWZLelXSzpDFJr0taExFv97SRJmwfkDQSEX2/AMP2SkknJP1nRFxdLPsXScci4rHiP8p5EfFPA9Lbo5JO9Hsa72K2ouHp04xLukvSP6qP711JX/+gHrxv/Tiyr5D0fkR8GBEnJW2VtKoPfQy8iHhZ0rGzFq+StKV4vEVT/1h6rklvAyEixiPizeLxpKQz04z39b0r6asn+hH2xZIOTns+psGa7z0k/d72G7Y39LuZGSyMiHFp6h+PpAV97udsLafx7qWzphkfmPeuk+nPq+pH2GeaSmqQxv9uiIhvSbpV0n3Fx1W0p61pvHtlhmnGB0Kn059X1Y+wj0m6ZNrzr0k61Ic+ZhQRh4r7I5Ke0+BNRX34zAy6xf2RPvfz/wZpGu+ZphnXALx3/Zz+vB9hf13SFba/bvsrklZL2t6HPr7A9pzixIlsz5H0HQ3eVNTbJa0rHq+TtK2PvXzOoEzj3WyacfX5vev79OcR0fObpNs0dUb+A0n/3I8emvR1maT/KW77+t2bpGc09bHufzX1iWi9pIsl7ZT0XnF/0QD19qSktyTt0VSwhvvU299p6qvhHkm7i9tt/X7vSvrqyfvG5bJAElxBByRB2IEkCDuQBGEHkiDsQBKEHUiCsANJ/B9N9u+eHy+41QAAAABJRU5ErkJggg==\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "digit = x_train[42421]\n",
    "\n",
    "plt.imshow(digit, cmap=plt.cm.binary)\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "4"
      ]
     },
     "execution_count": 16,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "y_train[42421]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(90, 28, 28)"
      ]
     },
     "execution_count": 17,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "x_slice = x_train[10:100]\n",
    "x_slice.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(90, 28, 28)"
      ]
     },
     "execution_count": 18,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "x_slice = x_train[10:100,:,:]\n",
    "x_slice.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(90, 28, 28)"
      ]
     },
     "execution_count": 19,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "x_slice = x_train[10:100,0:28,0:28]\n",
    "x_slice.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(90, 20, 20)"
      ]
     },
     "execution_count": 20,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "x_slice = x_train[10:100,8:,8:]\n",
    "x_slice.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAQUAAAD4CAYAAADl7fPiAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjEsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy8QZhcZAAAQ50lEQVR4nO3dfYxVdX7H8c9HRJJaUh948BExK5CgqdRMsCt2xdKliGZnt9ltwdpSax26EXWTblJrjWzoP9b6XI0su0t0cVW0LbuYRYVoI2uyDw6KAgUrJayMEB6UIgQaBL/9Y85s5nc5F87cc+/cO8P7lZB77jnfe87vMuTDOff+5nwdEQKAHqc0ewAAWguhACBBKABIEAoAEoQCgMSpzR5AnhEjRsTYsWObPYzC9u/fX6ju0KFDhfd54MCBwrV79+4tXDvQ2C5cO2zYsMK1l156aS3DGTS2bt2qPXv25P7ltmQojB07Vp2dnc0eRmFvvPFGobp169YV3ufq1asL1y5btqxw7eeff164thUMGTKkcG1f/iMZSP++GqGtra3qNi4fACRKhYLtGbbft73Z9l0524fZXppt/6XtsWWOB6Dxag4F20MkPSHpOkkTJc22PbGi7BZJeyPiEkkPS/rnWo8HoH+UOVOYLGlzRGyJiMOSnpfUXlHTLunpbPnfJE1zXz45AtDvyoTC+ZK29Xrela3LrYmII5L2STo7b2e2O2x32u7cvXt3iWEBKKNMKOT9j1/521VFarpXRiyKiLaIaBs5cmSJYQEoo0wodEm6sNfzCyRtr1Zj+1RJvyPpkxLHBNBgZULhLUnjbF9s+zRJsyQtr6hZLmlOtvx1Sa8Hv6sNtLSaJy9FxBHb8yS9KmmIpMURscH2AkmdEbFc0g8kLbG9Wd1nCLPqMWgAjVNqRmNErJC0omLdvb2W/0/SN/q6388++0w7duwoVDt79uzC+92yZUtfh1LIvn37CtX1ZepyX06ojjc7rdKaNWsK17aCo0ePFq49ePBgA0dy8mBGI4AEoQAgQSgASBAKABKEAoAEoQAgQSgASBAKABKEAoAEoQAg0ZI3bt20aZOuuuqqQrUffvhhg0fTHBs3bixcO2LEiMK1e/bsKVy7fXvlL71Wd/PNNxeu3bZt24mLajBxYuWNv1ALzhQAJAgFAAlCAUCCUACQIBQAJAgFAAlCAUCiTIeoC23/p+2NtjfYvjOnZqrtfbbXZn/uzdsXgNZRZvLSEUl/FxFv2x4uaY3tVRHxXxV1P4uIG0ocB0A/qvlMISJ2RMTb2fJ+SRt1bIcoAANMXaY5Z92kf0/SL3M2f9H2u+puFPPtiNhQZR8dkjp6njd7+vKwYcMK195///2F6q688srC+5wwYULh2r44++zcrn25Hn300cK1jZq6PHbs2MK1S5YsacgYTjalQ8H2b0v6d0nfiohPKza/LemiiDhge6akH0sal7efiFgkaVG2TxrGAE1S6tsH20PVHQg/ioj/qNweEZ9GxIFseYWkobaL//YOgH5X5tsHq7sD1MaIeKhKzTk9redtT86O93GtxwTQeGUuH6ZI+gtJ62yvzdbdLWmMJEXEQnX3j/ym7SOSDkmaRS9JoLWV6SX5pvJbzfeueVzS47UeA0D/Y0YjgAShACBBKABIEAoAEoQCgERL3s25UcaMGVO4ti9TZq+++upahtPyurq6mj0Etbe3F67ty12tUR1nCgAShAKABKEAIEEoAEgQCgAShAKABKEAIEEoAEgQCgASA35G45QpUwrXzp8/v3DtQJqluHfv3sK1L7/8cuHa1atX1zKcE+rLz+z6669vyBhQHWcKABKEAoBE6VCwvdX2uqwtXGfOdtt+zPZm2+/ZvqLsMQE0Tr0+U7g2IvZU2Xaduns9jJN0paQns0cALag/Lh/aJf0wuv1C0hm2z+2H4wKoQT1CISSttL0ma/1W6XxJvXuKdSmn56TtDtudeZcgAPpPPS4fpkTEdtujJK2yvSkien+XlXcb+GN6P9A2DmgNpc8UImJ79rhL0jJJkytKuiRd2Ov5BepuNgugBZXtJXm67eE9y5KmS1pfUbZc0l9m30L8vqR9EbGjzHEBNE7Zy4fRkpZl7SJPlfRsRLxi+2+l37SOWyFppqTNkg5KurnkMQE0UKlQiIgtki7PWb+w13JIuq0v+x0+fLja2toK1T777LOF93vOOef0ZRgDxsKFC09clLnnnnsaMobLLruscO0LL7xQuHaw/sxaGTMaASQIBQAJQgFAglAAkCAUACQIBQAJQgFAglAAkCAUACQIBQCJlryb8/jx4/X66683exhN9dJLLxWuXbBgQUPGMHTo0MK1c+fOLVzL1OXWxpkCgAShACBBKABIEAoAEoQCgAShACBBKABI1BwKtidkreJ6/nxq+1sVNVNt7+tVc2/5IQNopJonL0XE+5ImSZLtIZI+Uvct3iv9LCJuqPU4APpXvS4fpkn6n4j4dZ32B6BJ6jXNeZak56ps+6Ltd9XdAObbEbEhryhrOdchSWPGjKnTsAau9vb2wrXZLfbr7rHHHitc29GR1zEQA1E9WtGfJukrkl7M2fy2pIsi4nJJ/yrpx9X2ExGLIqItItpGjhxZdlgAalSPy4frJL0dETsrN0TEpxFxIFteIWmo7RF1OCaABqlHKMxWlUsH2+c4O7e1PTk73sd1OCaABin1mYLt35L0ZUlze63r3TLu65K+afuIpEOSZmUdowC0qLJt4w5KOrtiXe+WcY9LerzMMQD0L2Y0AkgQCgAShAKABKEAIEEoAEi05N2cB6u77767cG0rfHN7zTXXNHsIaALOFAAkCAUACUIBQIJQAJAgFAAkCAUACUIBQIJQAJAgFAAkCAUACaY518Hhw4cL1b3zzjuF99mXOzT3pfbRRx8tXDtu3LjCtRg8OFMAkCgUCrYX295le32vdWfZXmX7g+zxzCqvnZPVfGB7Tr0GDqAxip4pPCVpRsW6uyS9FhHjJL2WPU/YPkvSfElXSposaX618ADQGgqFQkSslvRJxep2SU9ny09L+mrOS/9Y0qqI+CQi9kpapWPDBUALKfOZwuiI2CFJ2eOonJrzJW3r9bwrWwegRTX6g8a8j8Vz7x5iu8N2p+3O3bt3N3hYAKopEwo7bZ8rSdnjrpyaLkkX9np+gbobzR6DXpJAaygTCssl9XybMEfST3JqXpU03faZ2QeM07N1AFpU0a8kn5P0c0kTbHfZvkXSfZK+bPsDdbeOuy+rbbP9fUmKiE8k/ZOkt7I/C7J1AFpUoRmNETG7yqZpObWdkv6m1/PFkhbXNDoA/Y5pzlUcPHiwcO0zzzxTqG7lypW1Due4brzxxsK1N910U+HaU05hwuvJiJ86gAShACBBKABIEAoAEoQCgAShACBBKABIEAoAEoQCgAShACBxUk1z3r9/f+HaW2+9tXDtiy++WMtwjuuRRx4pXDtv3rzCtUxdxonwLwRAglAAkCAUACQIBQAJQgFAglAAkCAUACROGApV+kj+i+1Ntt+zvcz2GVVeu9X2OttrbXfWc+AAGqPImcJTOrbV2ypJl0XE70r6b0n/cJzXXxsRkyKirbYhAuhPJwyFvD6SEbEyIo5kT3+h7iYvAAaBekxz/mtJS6tsC0krbYek70bEomo7sd0hqUOSxowZU4dhHaurq6twbSOmLl9yySWFa++44466Hx8ootQHjbb/UdIRST+qUjIlIq6QdJ2k22x/qdq+aBsHtIaaQ8H2HEk3SPrziMhtGhsR27PHXZKWSZpc6/EA9I+aQsH2DEl/L+krEZHbNcX26baH9yyru4/k+rxaAK2jyFeSeX0kH5c0XNKq7OvGhVntebZXZC8dLelN2+9K+pWkn0bEKw15FwDq5oQfNFbpI/mDKrXbJc3MlrdIurzU6AD0O2Y0AkgQCgAShAKABKEAIEEoAEgM+Ls5b9q0qXDtQw891JAxjB8/vlDdK6/wjSxaH2cKABKEAoAEoQAgQSgASBAKABKEAoAEoQAgQSgASBAKABIDfkbjggULCtcuXVrt/rLl3H777YXqLrroooYcH6gnzhQAJAgFAIla28Z9x/ZH2f0Z19qeWeW1M2y/b3uz7bvqOXAAjVFr2zhJejhrBzcpIlZUbrQ9RNIT6u75MFHSbNsTywwWQOPV1DauoMmSNkfElog4LOl5Se017AdAPyrzmcK8rOv0Yttn5mw/X9K2Xs+7snW5bHfY7rTduXv37hLDAlBGraHwpKQvSJokaYekB3NqnLMut5OURNs4oFXUFAoRsTMijkbE55K+p/x2cF2SLuz1/AJJ22s5HoD+U2vbuHN7Pf2a8tvBvSVpnO2LbZ8maZak5bUcD0D/OeGMxqxt3FRJI2x3SZovaartSeq+HNgqaW5We56k70fEzIg4YnuepFclDZG0OCI2NORdAKibhrWNy56vkHTM15UncujQIa1fX6wX7f79+/u6+0Lmzp1buHbatGkNGQPQDMxoBJAgFAAkCAUACUIBQIJQAJAgFAAkCAUACUIBQIJQAJAgFAAkWvJuzh9//LGWLFlSqHbFiuKzqPtyN+U777yzcO2ECRMK1wKtjjMFAAlCAUCCUACQIBQAJAgFAAlCAUCCUACQKHKPxsWSbpC0KyIuy9YtldTz5fwZkv43IiblvHarpP2Sjko6EhFtdRo3gAYpMnnpKUmPS/phz4qI+LOeZdsPStp3nNdfGxF7ah0ggP5V5Matq22Pzdtm25L+VNIf1ndYAJql7DTnP5C0MyI+qLI9JK20HZK+GxGLqu3IdoekDkkaNWqUpk+fXmgADzzwQOHBPvzww4VrmbqMk1XZUJgt6bnjbJ8SEdttj5K0yvamrGHtMbLAWCRJEyZMqNpeDkBj1fztg+1TJf2JpKXVarI+EIqIXZKWKb+9HIAWUuYryT+StCkiuvI22j7d9vCeZUnTld9eDkALOWEoZG3jfi5pgu0u27dkm2ap4tLB9nm2e36XebSkN22/K+lXkn4aEa/Ub+gAGqHWtnGKiL/KWfebtnERsUXS5SXHB6CfMaMRQIJQAJAgFAAkCAUACUIBQKIl7+Y8fPhwTZs2rVDt0aNHGzwa4OTCmQKABKEAIEEoAEgQCgAShAKABKEAIEEoAEgQCgAShAKABKEAIOGI1rtHqu3dkn5dsXqEpMHYP2Kwvi9p8L63wfC+LoqIkXkbWjIU8tjuHIwdpgbr+5IG73sbrO+rB5cPABKEAoDEQAqFqt2lBrjB+r6kwfveBuv7kjSAPlMA0D8G0pkCgH5AKABIDIhQsD3D9vu2N9u+q9njqRfbW22vs73Wdmezx1OG7cW2d9le32vdWbZX2f4gezyzmWOsRZX39R3bH2U/t7W2ZzZzjPXW8qFge4ikJyRdJ2mipNm2JzZ3VHV1bURMGgTfez8laUbFurskvRYR4yS9lj0faJ7Sse9Lkh7Ofm6TImJFzvYBq+VDQd2dqjdHxJaIOCzpeUntTR4TKkTEakmfVKxul/R0tvy0pK/266DqoMr7GtQGQiicL2lbr+dd2brBICSttL3GdkezB9MAoyNihyRlj6OaPJ56mmf7vezyYsBdFh3PQAgF56wbLN+jTomIK9R9aXSb7S81e0Ao5ElJX5A0SdIOSQ82dzj1NRBCoUvShb2eXyBpe5PGUldZl25FxC5Jy9R9qTSY7LR9riRlj7uaPJ66iIidEXE0Ij6X9D0Nsp/bQAiFtySNs32x7dMkzZK0vMljKs326baH9yxLmi5p/fFfNeAslzQnW54j6SdNHEvd9ARd5msaZD+3luwQ1VtEHLE9T9KrkoZIWhwRG5o8rHoYLWmZban75/BsRLzS3CHVzvZzkqZKGmG7S9J8SfdJesH2LZI+lPSN5o2wNlXe11Tbk9R9GbtV0tymDbABmOYMIDEQLh8A9CNCAUCCUACQIBQAJAgFAAlCAUCCUACQ+H+oJJyq1PjiJAAAAABJRU5ErkJggg==\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "digit = x_slice[5]\n",
    "\n",
    "plt.imshow(digit, cmap=plt.cm.binary)\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(90, 14, 14)"
      ]
     },
     "execution_count": 22,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "x_slice = x_train[10:100,7:-7,7:-7]\n",
    "x_slice.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAPsAAAD4CAYAAAAq5pAIAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjEsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy8QZhcZAAANi0lEQVR4nO3dbYyV9ZnH8d9PQEFLgwqtLegOTQguId21IdUWUze1TagYpy/2hVg21Dboi3VrmyYtPiRkfbWxtQGzTYmxtkZQo1RaH0oXtK1kk2IKYhQdW1nowpSnMbiAaDKMXPviHDbjLKDe//vcc/D6fhJyHq+5rjnML/c599z3/B0RAvDhd8ZoDwCgGYQdSIKwA0kQdiAJwg4kMbbJZpMnT46enp4mW2KU7du3r3Jt6W+K3n777cq1Bw4cKOpdYvz48ZVrjx49qqGhIZ/osUbD3tPTo02bNjXZEqPsrrvuqlw7ODhY1Luvr69y7cqVK4t6l5g+fXrl2h07dpz0Md7GA0kQdiAJwg4kURR22/Ns/8n2NttL6hoKQP0qh932GEk/lvQVSbMkLbA9q67BANSrZMv+WUnbImJ7RAxKelhSbz1jAahbSdinSto17HZ/+753sX2D7U22Nw0MDBS0A1CiJOwn+sX9/zsKIiLuiYg5ETFnypQpBe0AlCgJe7+kC4fdniZpd9k4ADqlJOx/lDTD9nTbZ0q6VtLj9YwFoG6VD5eNiCHbN0n6D0ljJN0XES/XNhmAWhUdGx8Rv5b065pmAdBBHEEHJEHYgSQaPcUV1Tz77LOVa1966aWi3hs2bCiqX7NmTeXaY8eOFfUuYZ/wlPBGbNu2rXLt0NDQSR9jyw4kQdiBJAg7kARhB5Ig7EAShB1IgrADSRB2IAnCDiRB2IEkCDuQBGEHkiDsQBKEHUjitDrFdc+ePZVrFyxYUNR7+/btRfUlDh48WLn2zTffLOpdumzynDlzKtdu3ry5qPfp6p133qlce6r/L7bsQBKEHUiCsANJEHYgiZJVXC+0/TvbfbZftn1znYMBqFfJ3vghSd+NiOdtT5S02fb6iHilptkA1Kjylj0i9kTE8+3rhyX16QSruALoDrV8ZrfdI+kSSc+d4DGWbAa6QHHYbX9E0i8kfTsiDo18nCWbge5QFHbb49QK+qqIeKyekQB0QsneeEv6qaS+iPhRfSMB6ISSLftcSf8k6Yu2X2j/u6qmuQDUrGR99v+UNHoLYgH4QDiCDkiCsANJNHo++6FDh/T0009Xrl+8eHHl2p07d1auzayvr6+ofvLkyZVrX3/99aLeu3fvrlx7/fXXF/XetWtXUX0nsGUHkiDsQBKEHUiCsANJEHYgCcIOJEHYgSQIO5AEYQeSIOxAEoQdSIKwA0kQdiAJwg4k0egprnv37tWdd95Zuf50PU31rLPOKqovec0uvfTSot4zZ84sqi9x/vnnF9UvX768cu1onqLa09NTuba/v/+kj7FlB5Ig7EAShB1IgrADSdSx/NMY21tsP1nHQAA6o44t+81qreAKoIuVrvU2TdJ8SffWMw6ATindsi+T9D1Jx072hOFLNh89erSwHYCqShZ2vFrS/ojYfKrnDV+yedy4cVXbAShUurDjNbb/IulhtRZ4XFnLVABqVznsEXFLREyLiB5J10r6bUQsrG0yALXi9+xAErWcCBMRv5f0+zq+FoDOYMsOJEHYgSQaPZ/9yJEj2rhxY5Mta3PRRRdVrn3ggQeKel9++eVF9Vmd6tzubtbb21u5dtWqVSd9jC07kARhB5Ig7EAShB1IgrADSRB2IAnCDiRB2IEkCDuQBGEHkiDsQBKEHUiCsANJEHYgiUZPcT127JiOHDnSZMv/M3fu3KL6pUuXVq7NfIrqG2+8Ubl27dq1Rb03bNhQVF+i5Odt/vz5lWufeuqpkz7Glh1IgrADSRB2IAnCDiRRurDjJNurbb9qu8/25+oaDEC9SvfGL5f0m4j4R9tnSjq7hpkAdEDlsNv+qKQvSPq6JEXEoKTBesYCULeSt/GfkjQg6We2t9i+1/Y5I580fMnmgl4ACpWEfaykz0j6SURcIumIpCUjnzR8yeaCXgAKlYS9X1J/RDzXvr1arfAD6EIlSzbvlbTL9sz2XVdKeqWWqQDUrnRv/L9IWtXeE79d0vXlIwHohKKwR8QLkvgsDpwGOIIOSIKwA0k0ej77hAkTdPHFF1eunzRpUuXaBx98sHKtJF1wwQVF9VmtWLGicu3tt99e4yQfzOzZs4vqH3nkkcq1JT9rEydOPOljbNmBJAg7kARhB5Ig7EAShB1IgrADSRB2IAnCDiRB2IEkCDuQBGEHkiDsQBKEHUiCsANJEHYgiUbPZ581a5Y2beLPx59OnnjiiaL6O+64o6ZJPrhx48ZVrr3xxhuLenfj3z9gyw4kQdiBJAg7kETpks3fsf2y7a22H7I9vq7BANSrcthtT5X0LUlzImK2pDGSrq1rMAD1Kn0bP1bSBNtj1VqbfXf5SAA6oWStt79K+qGknZL2SDoYEetGPm/4ks0DAwPVJwVQpORt/LmSeiVNl/RJSefYXjjyecOXbJ4yZUr1SQEUKXkb/yVJOyJiICKOSnpM0ufrGQtA3UrCvlPSZbbPtm21lmzuq2csAHUr+cz+nKTVkp6X9FL7a91T01wAala6ZPNSSUtrmgVAB3EEHZAEYQeSaPQUV5x+ent7i+pb+25Hx91331259oYbbqhxku7Alh1IgrADSRB2IAnCDiRB2IEkCDuQBGEHkiDsQBKEHUiCsANJEHYgCcIOJEHYgSQIO5AEYQeS4Hz2D7lbb721qD4iapqkeVdcccVoj9BV2LIDSRB2IAnCDiTxnmG3fZ/t/ba3DrvvPNvrbb/Wvjy3s2MCKPV+tuw/lzRvxH1LJD0TETMkPdO+DaCLvWfYI2KDpAMj7u6VdH/7+v2SvlrzXABqVvUz+8cjYo8ktS8/drInsmQz0B06voOOJZuB7lA17Ptsf0KS2pf76xsJQCdUDfvjkha1ry+S9Kt6xgHQKe/nV28PSfqDpJm2+21/U9K/Sfqy7dckfbl9G0AXe89j4yNiwUkeurLmWQB0EEfQAUkQdiAJTnE9DQwODlau3bJlS1Hv0iWXS+qXL19e1HvGjBlF9R82bNmBJAg7kARhB5Ig7EAShB1IgrADSRB2IAnCDiRB2IEkCDuQBGEHkiDsQBKEHUiCsANJEHYgCc5nb8Bbb71VVL9y5crKtevWrSvqXeq6666rXLtw4cKi3mecwbZsOF4NIAnCDiRB2IEkqi7Z/APbr9p+0fYa25M6OyaAUlWXbF4vaXZEfFrSnyXdUvNcAGpWacnmiFgXEUPtmxslTevAbABqVMdn9m9IWlvD1wHQQUVht32bpCFJq07xHNZnB7pA5bDbXiTpaklfi4g42fNYnx3oDpWOoLM9T9L3JV0REWWHhwFoRNUlm/9d0kRJ622/YHtFh+cEUKjqks0/7cAsADqII+iAJAg7kASnuL5Phw8frly7ePHiot6PPvpoUX2JZcuWFdXfdNNNlWs5RbVevJpAEoQdSIKwA0kQdiAJwg4kQdiBJAg7kARhB5Ig7EAShB1IgrADSRB2IAnCDiRB2IEkCDuQhE/xh2Hrb2YPSPrvUzxlsqTXGxqH3vT+MPb+m4g44Z9xbjTs78X2poiYQ29607t+vI0HkiDsQBLdFvZ76E1vendGV31mB9A53bZlB9AhhB1IoivCbnue7T/Z3mZ7SYN9L7T9O9t9tl+2fXNTvYfNMMb2FttPNtx3ku3Vtl9tf/+fa7D3d9qv91bbD9ke3+F+99neb3vrsPvOs73e9mvty3Mb7P2D9uv+ou01tid1ovdIox5222Mk/VjSVyTNkrTA9qyG2g9J+m5E/K2kyyT9c4O9j7tZUl/DPSVpuaTfRMTFkv6uqRlsT5X0LUlzImK2pDGSru1w259LmjfiviWSnomIGZKead9uqvd6SbMj4tOS/izplg71fpdRD7ukz0raFhHbI2JQ0sOSeptoHBF7IuL59vXDav3AT22ityTZniZpvqR7m+rZ7vtRSV9Qe4HOiBiMiP9pcISxkibYHivpbEm7O9ksIjZIOjDi7l5J97ev3y/pq031joh1ETHUvrlR0rRO9B6pG8I+VdKuYbf71WDgjrPdI+kSSc812HaZpO9JOtZgT0n6lKQBST9rf4S41/Y5TTSOiL9K+qGknZL2SDoYEeua6D3CxyNiT3umPZI+NgozSNI3JK1tolE3hN0nuK/R3wfa/oikX0j6dkQcaqjn1ZL2R8TmJvqNMFbSZyT9JCIukXREnXsb+y7tz8a9kqZL+qSkc2wvbKJ3t7F9m1ofJVc10a8bwt4v6cJht6epw2/rhrM9Tq2gr4qIx5rqK2mupGts/0Wtjy5ftL2yod79kvoj4vi7mNVqhb8JX5K0IyIGIuKopMckfb6h3sPts/0JSWpf7m+yue1Fkq6W9LVo6GCXbgj7HyXNsD3d9plq7ax5vInGtq3W59a+iPhREz2Pi4hbImJaRPSo9T3/NiIa2cJFxF5Ju2zPbN91paRXmuit1tv3y2yf3X79r9To7KB8XNKi9vVFkn7VVGPb8yR9X9I1EfFWU30VEaP+T9JVau2V/C9JtzXY93K1PjK8KOmF9r+rRuH7/wdJTzbc8+8lbWp/77+UdG6Dvf9V0quStkp6QNJZHe73kFr7B46q9a7mm5LOV2sv/Gvty/Ma7L1Nrf1Ux3/mVjTxunO4LJBEN7yNB9AAwg4kQdiBJAg7kARhB5Ig7EAShB1I4n8BABP1ULH8fgQAAAAASUVORK5CYII=\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "digit = x_slice[5]\n",
    "\n",
    "plt.imshow(digit, cmap=plt.cm.binary)\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## MLP for multiclass classification"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [],
   "source": [
    "from tensorflow.keras.models import Sequential\n",
    "from tensorflow.keras.layers import Dense, Dropout\n",
    "from tensorflow.keras.optimizers import RMSprop"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "(60000, 784)\n",
      "(10000, 784)\n",
      "float32\n"
     ]
    }
   ],
   "source": [
    "x_train = x_train.astype('float32') / 255.\n",
    "x_test = x_test.astype('float32') / 255.\n",
    "x_train = x_train.reshape((len(x_train), np.prod(x_train.shape[1:])))\n",
    "x_test = x_test.reshape((len(x_test), np.prod(x_test.shape[1:])))\n",
    "print(x_train.shape)\n",
    "print(x_test.shape)\n",
    "print(x_train.dtype)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [],
   "source": [
    "batch_size = 128\n",
    "num_classes = 10\n",
    "epochs = 20"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "One-hot encoding for categorical values\n",
    "\n",
    "```\n",
    "0 -> [1, 0, 0, 0, 0, 0, 0, 0, 0]\n",
    "1 -> [0, 1, 0, 0, 0, 0, 0, 0, 0]\n",
    "2 -> [0, 0, 1, 0, 0, 0, 0, 0, 0]\n",
    "etc.\n",
    "```"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "metadata": {},
   "outputs": [],
   "source": [
    "# convert class vectors to binary class matrices\n",
    "y_train = tf.keras.utils.to_categorical(y_train, num_classes)\n",
    "y_test = tf.keras.utils.to_categorical(y_test, num_classes)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "(60000, 10)\n",
      "(10000, 10)\n"
     ]
    }
   ],
   "source": [
    "print(y_train.shape)\n",
    "print(y_test.shape)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "metadata": {},
   "outputs": [],
   "source": [
    "model = Sequential()\n",
    "model.add(Dense(512, activation='relu', input_shape=(784,)))\n",
    "model.add(Dropout(0.2))\n",
    "model.add(Dense(512, activation='relu'))\n",
    "model.add(Dropout(0.2))\n",
    "model.add(Dense(10, activation='softmax'))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Model: \"sequential_1\"\n",
      "_________________________________________________________________\n",
      "Layer (type)                 Output Shape              Param #   \n",
      "=================================================================\n",
      "dense_5 (Dense)              (None, 512)               401920    \n",
      "_________________________________________________________________\n",
      "dropout (Dropout)            (None, 512)               0         \n",
      "_________________________________________________________________\n",
      "dense_6 (Dense)              (None, 512)               262656    \n",
      "_________________________________________________________________\n",
      "dropout_1 (Dropout)          (None, 512)               0         \n",
      "_________________________________________________________________\n",
      "dense_7 (Dense)              (None, 10)                5130      \n",
      "=================================================================\n",
      "Total params: 669,706\n",
      "Trainable params: 669,706\n",
      "Non-trainable params: 0\n",
      "_________________________________________________________________\n"
     ]
    }
   ],
   "source": [
    "model.summary()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {},
   "outputs": [],
   "source": [
    "model.compile(loss='categorical_crossentropy',\n",
    "              optimizer=RMSprop(),\n",
    "              metrics=['accuracy'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Train on 60000 samples, validate on 10000 samples\n",
      "Epoch 1/20\n",
      "60000/60000 [==============================] - 8s 126us/sample - loss: 0.2431 - accuracy: 0.9248 - val_loss: 0.1102 - val_accuracy: 0.9661\n",
      "Epoch 2/20\n",
      "60000/60000 [==============================] - 5s 92us/sample - loss: 0.1023 - accuracy: 0.9692 - val_loss: 0.0839 - val_accuracy: 0.9747\n",
      "Epoch 3/20\n",
      "60000/60000 [==============================] - 6s 97us/sample - loss: 0.0764 - accuracy: 0.9769 - val_loss: 0.0676 - val_accuracy: 0.9807\n",
      "Epoch 4/20\n",
      "60000/60000 [==============================] - 6s 106us/sample - loss: 0.0613 - accuracy: 0.9814 - val_loss: 0.0739 - val_accuracy: 0.9801\n",
      "Epoch 5/20\n",
      "60000/60000 [==============================] - 6s 98us/sample - loss: 0.0496 - accuracy: 0.9853 - val_loss: 0.0724 - val_accuracy: 0.9823\n",
      "Epoch 6/20\n",
      "60000/60000 [==============================] - 6s 96us/sample - loss: 0.0428 - accuracy: 0.9871 - val_loss: 0.0714 - val_accuracy: 0.9818\n",
      "Epoch 7/20\n",
      "60000/60000 [==============================] - 6s 96us/sample - loss: 0.0391 - accuracy: 0.9891 - val_loss: 0.0785 - val_accuracy: 0.9817\n",
      "Epoch 8/20\n",
      "60000/60000 [==============================] - 5s 89us/sample - loss: 0.0341 - accuracy: 0.9898 - val_loss: 0.0787 - val_accuracy: 0.9821\n",
      "Epoch 9/20\n",
      "60000/60000 [==============================] - 6s 98us/sample - loss: 0.0310 - accuracy: 0.9906 - val_loss: 0.0782 - val_accuracy: 0.9823\n",
      "Epoch 10/20\n",
      "60000/60000 [==============================] - 5s 85us/sample - loss: 0.0277 - accuracy: 0.9921 - val_loss: 0.0889 - val_accuracy: 0.9809\n",
      "Epoch 11/20\n",
      "60000/60000 [==============================] - 5s 85us/sample - loss: 0.0277 - accuracy: 0.9919 - val_loss: 0.0989 - val_accuracy: 0.9810\n",
      "Epoch 12/20\n",
      "60000/60000 [==============================] - 5s 84us/sample - loss: 0.0236 - accuracy: 0.9927 - val_loss: 0.1132 - val_accuracy: 0.9802\n",
      "Epoch 13/20\n",
      "60000/60000 [==============================] - 5s 80us/sample - loss: 0.0254 - accuracy: 0.9931 - val_loss: 0.1035 - val_accuracy: 0.9830\n",
      "Epoch 14/20\n",
      "60000/60000 [==============================] - 5s 82us/sample - loss: 0.0198 - accuracy: 0.9939 - val_loss: 0.1021 - val_accuracy: 0.9841\n",
      "Epoch 15/20\n",
      "60000/60000 [==============================] - 5s 89us/sample - loss: 0.0214 - accuracy: 0.9937 - val_loss: 0.1136 - val_accuracy: 0.9833\n",
      "Epoch 16/20\n",
      "60000/60000 [==============================] - 6s 94us/sample - loss: 0.0190 - accuracy: 0.9947 - val_loss: 0.1118 - val_accuracy: 0.9826\n",
      "Epoch 17/20\n",
      "60000/60000 [==============================] - 6s 92us/sample - loss: 0.0196 - accuracy: 0.9947 - val_loss: 0.1030 - val_accuracy: 0.9851\n",
      "Epoch 18/20\n",
      "60000/60000 [==============================] - 6s 95us/sample - loss: 0.0177 - accuracy: 0.9952 - val_loss: 0.1171 - val_accuracy: 0.9835\n",
      "Epoch 19/20\n",
      "60000/60000 [==============================] - 5s 87us/sample - loss: 0.0151 - accuracy: 0.9959 - val_loss: 0.1153 - val_accuracy: 0.9839\n",
      "Epoch 20/20\n",
      "60000/60000 [==============================] - 5s 89us/sample - loss: 0.0189 - accuracy: 0.9949 - val_loss: 0.1252 - val_accuracy: 0.9840\n"
     ]
    }
   ],
   "source": [
    "history = model.fit(x_train, y_train,\n",
    "                    batch_size=batch_size,\n",
    "                    epochs=epochs,\n",
    "                    verbose=1,\n",
    "                    validation_data=(x_test, y_test))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Test loss: 0.12515161934873803\n",
      "Test accuracy: 0.984\n"
     ]
    }
   ],
   "source": [
    "score = model.evaluate(x_test, y_test, verbose=0)\n",
    "print('Test loss:', score[0])\n",
    "print('Test accuracy:', score[1])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "dict_keys(['loss', 'accuracy', 'val_loss', 'val_accuracy'])"
      ]
     },
     "execution_count": 34,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "history.history.keys()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAYgAAAEWCAYAAAB8LwAVAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjEsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy8QZhcZAAAgAElEQVR4nO3deXxU9bn48c+TfSUJSQiQsIMoKoIg4lZRqwUXFPFaF6y2t6WttVf7q2319mpbW6/21vbaVq/WtrRatUqpC7W0ghS0VVBQFgVkFZgQlpCN7Mvk+f1xTmAYJmGAnJlk5nm/XvOas3zPzDNDOM+c73ZEVTHGGGOCJUQ7AGOMMT2TJQhjjDEhWYIwxhgTkiUIY4wxIVmCMMYYE5IlCGOMMSFZgjAGEJHfi8iPwiy7XUQ+7XVMxkSbJQhjjDEhWYIwJoaISFK0YzCxwxKE6TXcqp1vichaEakXkd+KSJGI/E1EakXkDRHJCyg/XUTWiUi1iCwVkVMC9o0XkQ/c414E0oLe60oRWe0e+46IjA0zxitEZJWIHBARn4h8P2j/+e7rVbv7b3O3p4vIT0Vkh4jUiMi/3G1TRKQ0xPfwaXf5+yIyT0SeFZEDwG0iMklElrnvsVtEHhORlIDjTxWRRSJSKSJ7ReQ/RaS/iDSISH5AuQkiUi4iyeF8dhN7LEGY3mYmcClwEnAV8DfgP4ECnL/n/wAQkZOAPwJ3AYXAAuAvIpLinixfAf4A9AX+5L4u7rFnAnOALwP5wK+A+SKSGkZ89cDngFzgCuCrInKN+7qD3Xh/6cY0DljtHvcIMAE4143p20B7mN/J1cA89z2fA/zAN9zv5BzgEuB2N4Zs4A3g78BAYCSwWFX3AEuB6wNedxbwgqq2hhmHiTGWIExv80tV3auqu4B/Au+q6ipVbQZeBsa75T4L/FVVF7knuEeAdJwT8GQgGXhUVVtVdR6wIuA9vgT8SlXfVVW/qj4NNLvHdUlVl6rqh6rarqprcZLUhe7um4E3VPWP7vtWqOpqEUkAvgDcqaq73Pd8x/1M4Vimqq+479moqu+r6nJVbVPV7TgJriOGK4E9qvpTVW1S1VpVfdfd9zROUkBEEoEbcZKoiVOWIExvszdguTHEepa7PBDY0bFDVdsBH1Ds7tulh89UuSNgeQjwTbeKplpEqoFB7nFdEpGzRWSJWzVTA3wF55c87mtsDXFYAU4VV6h94fAFxXCSiLwmInvcaqf/DiMGgFeBMSIyHOcqrUZV3zvOmEwMsARhYlUZzokeABERnJPjLmA3UOxu6zA4YNkHPKiquQGPDFX9Yxjv+zwwHxikqjnAk0DH+/iAESGO2Q80dbKvHsgI+ByJONVTgYKnZH4C+BgYpap9cKrgjhYDqtoEzMW50rkFu3qIe5YgTKyaC1whIpe4jazfxKkmegdYBrQB/yEiSSJyLTAp4NhfA19xrwZERDLdxufsMN43G6hU1SYRmQTcFLDvOeDTInK9+775IjLOvbqZA/xMRAaKSKKInOO2eWwC0tz3Twb+CzhaW0g2cACoE5GTga8G7HsN6C8id4lIqohki8jZAfufAW4DpgPPhvF5TQyzBGFikqpuxKlP/yXOL/SrgKtUtUVVW4BrcU6EVTjtFS8FHLsSpx3iMXf/FrdsOG4HHhCRWuB+nETV8bo7gctxklUlTgP1Ge7uu4EPcdpCKoEfAwmqWuO+5m9wrn7qgcN6NYVwN05iqsVJdi8GxFCLU310FbAH2AxcFLD/bZzG8Q/c9gsTx8RuGGSMCSQi/wCeV9XfRDsWE12WIIwxB4nIWcAinDaU2mjHY6LLqpiMMQCIyNM4YyTusuRgwK4gjDHGdMKuIIwxxoQUMxN7FRQU6NChQ6MdhjHG9Crvv//+flUNHlsDxFCCGDp0KCtXrox2GMYY06uIyI7O9lkVkzHGmJAsQRhjjAnJEoQxxpiQYqYNIpTW1lZKS0tpamqKdiieS0tLo6SkhORku7eLMaZ7xHSCKC0tJTs7m6FDh3L4xJ2xRVWpqKigtLSUYcOGRTscY0yMiOkqpqamJvLz82M6OQCICPn5+XFxpWSMiZyYThBAzCeHDvHyOY0xkRPTVUzGGNPTtLcr++ua2VXdSFl1E7uqG0hMSGB0UTYnFWVRmJ3aY37wWYLwWHV1Nc8//zy33377MR13+eWX8/zzz5Obm+tRZMYYLzS1+ikLOPnvqm6irLqRXVWNlNU0sru6iRZ/e6fH52Ykc1JR9sGEcVJRNicVZZOXmRLBT+GwBOGx6upq/u///u+IBOH3+0lMTOz0uAULFngdmjHmGKgq1Q2t7KttZl9tE/sONLOvtpm9B5rYe6DJvSJoZH9dy2HHJQgU9UljYG46Y0tymXZaOsW5aRTnpTMw13m0tLWzaU8tm/bWsnFvHZv21vLK6l3UNrUdfJ3C7FQ3abiJo382o/plkZ3mXc9FSxAeu+eee9i6dSvjxo0jOTmZrKwsBgwYwOrVq1m/fj3XXHMNPp+PpqYm7rzzTmbPng0cmjqkrq6OadOmcf755/POO+9QXFzMq6++Snp6epQ/mTE9m6qieuiG3aqKAh0TWCt6cLm2qc056dc2s+/AoZP/oW3NlNc2h/zln5WaRFGfVIrzMjh1YB8G5qQfPPkX56bTPyeN5MSjN/cWjEzl3JEFh8W/50ATG93EsclNHM+/t4Om1kNxFOemc/7IAn583djj/ao6FTcJ4gd/Wcf6sgPd+ppjBvbhe1ed2mWZhx9+mI8++ojVq1ezdOlSrrjiCj766KOD3VHnzJlD3759aWxs5KyzzmLmzJnk5+cf9hqbN2/mj3/8I7/+9a+5/vrr+fOf/8ysWbO69bMY09OpKrtrmtiyr47N++rYsq+Orfvq2LyvlprG1sNO/t0hJz2ZftmpFPVJ4+xhmRT2SaVfdhr9slOdRx9nOTPVm9OoiDAgJ50BOelMGd3v4Pb2dqW0qpGNe90rjj21pKd0XhtxIuImQfQUkyZNOmyswi9+8QtefvllAHw+H5s3bz4iQQwbNoxx48YBMGHCBLZv3x6xeI2JNH+74qtsOJgEnEctW8vrqWs+VOWSl5HMyH5ZTD1tAPmZKYiAALgNvOIuCtKx6dC2gEZgEchMca4CCt0EUJidSlqyNyfdE5WQIAzOz2BwfgaXjiny9L3iJkEc7Zd+pGRmZh5cXrp0KW+88QbLli0jIyODKVOmhBzLkJqaenA5MTGRxsbGiMRqTAdVpaaxlZ2VDfgqG/FVNbjLDZRWNdLc6ic1OZHUpATncXA5kdTkhIPLacnutqQEd7uzXFHXwuZ9tWzZV8e2/fW0tB2qQinqk8qoftlcN6GEkf2yGNkvi1H9ssjPSu0iYtMd4iZBREt2dja1taHv3lhTU0NeXh4ZGRl8/PHHLF++PMLRGXNIU6uf0ionAXSc/J1E0EhpZQO1Ab/ewfkFP7hvBmMG9iEjOZHmtnaa2/w0t7XT1OqnrrmNirqWg9s6tje3tR+WAMD5FV+Sl86oftl86qTCg4lgZL8s+njYCGu6ZgnCY/n5+Zx33nmcdtpppKenU1R06JJw6tSpPPnkk4wdO5bRo0czefLkKEZqYklzm5+axlZqGlqpDniubmihprGV6oZW57mxlZqGFnbXOI2xgdKSExiUl8GgvhmcPawvJXnpDOqbweC+zrasE6h7b29XWvxO0mhu9ZOdluxZPbo5fjFzT+qJEydq8A2DNmzYwCmnnBKliCIv3j5vvKptauWT/fV8sr+ereXOc3lt06GTfkMrja3+To9PEKcBNic9mZyMFHLSk+nfJ/VgMnAe6RRm9ZwBW8Y7IvK+qk4Mtc+uIIzpgVr97fgqG9jmJoBt++vYVl7Ptv31lAf80k8QKM5LZ0Af59f96e6JPzfDOfnndiynJ5ObnkJORjLZqUkkJNiJ3xydJQhjjpGqsm1/Pe9srWDZ1v28u62S+pY2MlKSSE9OJCOl45FERkoi6QHr6SmJZCR3bDu0v6KuhU/cJPDJ/np2VjbQ1n7o6r5vZgrDCjKZclIhwwozGV6QxfDCTAb3zeixvW1M72cJwpgwlFY1uAmhgne27mfvAedX/ICcNC4cXUhBVir1zW00tvhpaPHT0OqnsaWNPQdaD26rb3H2B574A6UmJTCsIJPR/bOZdnp/hrlJYHhBJrkZkZ9mwRhLEMaEsO9AE8u2dSSECnZWNgCQn5nCOSPyOXdEAeeOyGdIfsYx19O3tLU7SaO1jYYWP40tfnIzkhmYk25VP6ZHsQRhDFDd0MLybU4yeGdrBVv21QHQJy2JycPz+fx5Qzl3RAEnFWWdcMNtSlICKUkJ5GDdN03P5mmCEJGpwM+BROA3qvpw0P4hwBygEKgEZqlqqbvvx8AVbtEfquqLXsZqYl97u7L7QBM79tezvaKB7RX1bHd7A20pr0MV0pMTmTSsL/82oYRzRxQwZmAfEu1XvYlTniUIEUkEHgcuBUqBFSIyX1XXBxR7BHhGVZ8WkYuBh4BbROQK4ExgHJAKvCkif1PV7p1MKQKOd7pvgEcffZTZs2eTkZHhQWSxyd+u7K5pZPt+JwHsqKjnk/0N7KioZ0dlw2EDtFKSEhjSN4Mh+RlcOXYg543MZ2xJLilJMX8fLWPC4uUVxCRgi6puAxCRF4CrgcAEMQb4hru8BHglYPubqtoGtInIGmAqMNfDeD3R2XTf4Xj00UeZNWuWJYgAqkpFfcvB+fV3VTsPX2UDn+yvx1fZeNiMm6lJCQzNz2RYQSYXndyPofmZDM3PYEhBJgP6pFmdvzFd8DJBFAO+gPVS4OygMmuAmTjVUDOAbBHJd7d/T0R+BmQAF3F4YgFARGYDswEGDx7c3fF3i8Dpvi+99FL69evH3LlzaW5uZsaMGfzgBz+gvr6e66+/ntLSUvx+P/fddx979+6lrKyMiy66iIKCApYsWRLtjxIRzW1+9tQ0HTz5d9x0pazjpivVjTQHTdOQmZLIoL4ZjOqXzaVj+jsJID+ToQUZFGVbEjDmeHmZIEL9rwzu33c38JiI3Aa8BewC2lR1oYicBbwDlAPLgLagY1HVp4CnwBlJ3WU0f7sH9nx4jB/hKPqfDtMe7rJI4HTfCxcuZN68ebz33nuoKtOnT+ett96ivLycgQMH8te//hVw5mjKycnhZz/7GUuWLKGgoKDL9+it2vztvL21gtfWlLF5Xx1l1Y1HTPcA0C87lYG56ZwysA+fHlNEcW7HjVbSKMnNoE96ko34NcYDXiaIUmBQwHoJUBZYQFXLgGsBRCQLmKmqNe6+B4EH3X3PA5s9jDUiFi5cyMKFCxk/fjwAdXV1bN68mQsuuIC7776b73znO1x55ZVccMEFUY7UO6rKurIDvLxqF/PXlFFe20x2WhJnlOQyZXQhxbkZDHTvttVxs5XUJBsIZkw0eJkgVgCjRGQYzpXBDcBNgQVEpACoVNV24F6cHk0dDdy5qlohImOBscDCE4rmKL/0I0FVuffee/nyl798xL7333+fBQsWcO+993LZZZdx//33RyFC75RVN/LK6l28smoXm/bWkZwoXDS6HzPGF3PRyf1sNLAxPZBnCUJV20TkDuB1nG6uc1R1nYg8AKxU1fnAFOAhEVGcKqavuYcnA/90qw0O4HR/PaKKqTcInO77M5/5DPfddx8333wzWVlZ7Nq1i+TkZNra2ujbty+zZs0iKyuL3//+94cd21urmA40tfL3D/fw0qpS3v2kElWYMCSPH11zGlecPiAqN2E3xoTP03EQqroAWBC07f6A5XnAvBDHNeH0ZOr1Aqf7njZtGjfddBPnnHMOAFlZWTz77LNs2bKFb33rWyQkJJCcnMwTTzwBwOzZs5k2bRoDBgzoNY3Urf523tpUzkurdvHG+r00t7UzND+Duy45iWvGD2RIfubRX8QY0yPYdN8xJFqfV1VZU1rDyx+U8pe1u6msbyEvI5mrzhjIjPHFjBuUa43IxvRQNt236Xbt7coqXxUL1+3l9XV72F7RQEpSApeOKWLGuGIuHF1IcqINODOmN7MEYcLW1Opn2dYKFq7fw6L1+9hf10xSgnDOiHy+OmUE004fYLeHNCaGxHyCUNW4qN7wqqqwprGVpRv3sXDdXpZu3Ed9i5/MlESmnNyPy8YUMWV0P3LSLSkYE4tiOkGkpaVRUVFBfn5+TCcJVaWiooK0tLRueb3dNY28sX4vC9fvZdnWCtralcLsVKaPK+ayU4s4d0S+jU0wJg7EdIIoKSmhtLSU8vLyaIfiubS0NEpKSo7rWFVly746Fq7fy8J1e1hTWgPA8IJMvnjBcC47tYhxJbk2ZYUxcSamE0RycjLDhg2Ldhg92gc7q/jPlz7k4z3OWI1xg3L59tTRXDamPyP7ZUU5OmM81t4OnyyF1iYYej6k9Yl2RD1KTCcI07nmNj8/f2MzT765lQE56fzwmtO4bEwRRX26p5rKmB6tuRZWPw/v/goqtzrbEpKgZBKMvBhGfhr6nwEJ8d0TzxJEHFpXVsM3567h4z21fHbiIP7rylPItt5HJh5UfgLv/RpW/QGaD0DxRJj5W8juD1sWw5Y34B8/ch4ZBTDiIhhxCYy4GLKLoh19xFmCiCNt/naeWLqVny/eTF5mCnNum8jFJ8ffH73pBq1NsG897FkLez5ytvUd7j6GQe4QSO4hV6OqsP2fsPxJ2LgAEhJhzDUw+atQEjA+bOj58OnvQd0+2LoEti6Grf+AD//k7C863bm6GHEJDJ4MSandE1vzAWhpgPY2aG+Fdj/4W931gMfBbX63XMc2P6TnwUmXnXg8QWJ6JLU5ZMu+Wr45dw1rSmuYfsZAfjD9VJsLyYSnqcaZKn/3Wich7F4L+zc6JyiAlGwQcU50Bwn0KXaSRUfS6Dsc8oY5y6nZ3sfd2uic3N/9Fez9CDLyYcLn4ax/hz4Dw3uN9nbY+6F7dbEYfMudz52cCcMucJLFyEsgdzA0VkNjlfNoClg++AixrakG1H/in7V4Inxp8XEd2tVIaksQMc7frvzu7U/4n9c3kpmSyI+uOZ0rxg6IdlimJ1KF2j2HksCeNc5z9Y5DZbKKoP9YGDD20HPuUCdBNFRC5TbnUfWJu+w+N+w//L0y+x2eNPKGQu4gyBkE2QMg8QQqNw7shhW/gfd/Bw0V0O9U52rh9OsgOf34XxectotP/ulcXWxZ7HzOoxKn8Ts979AjLffw9ZQMSEh22kESk52rnIPrSc5zZ+sJiZCS6VSTHQdLEHFqZ0UDd/9pDe9tr+TTpxTx0LWnU5jdDZfFJnY01cDK38EnbzmJoT6gS3jf4c5NsfqPhQFnOM/HWw/fdODIpFG13Xk+sOvwspLoXH10JIzcQc4v9JyO55LQ1TulK2H5E7D+FafaZfTlMPkrMPQCJ4F5oXKbUw3VUBlwws+FNPc5PQ/ScpyTeA9lczHFGVXluXd38t8LNpAowiP/dgYzzyyO6cGC5hg1VDon03d/Bc01UHQajLrs0FVB0Wnd2+UzrY+TZAacceS+1kaoKXWuVKp9UOM79Lz9X1BbBnr4bWbJKjqUPHJKYMcy2LUSUvvApC/DpC85Vyhe62h3iVGWIGLM7ppGvj1vLf/cvJ8LRhXw45ljGZjbyWW1qvOr66M/O/WqmYWQWeA8Z/U7tJ7ax7tfYCeqvd05wbXUQ1uzc7JpawrzuRna3Oe8oTDkXKcuNyUj2p/KO3X74J1fworfQms9nHIVXHA3DBwXvZiS06FglPMIxd8KB8oOTxzVO53H7jXw8V+dZDHtJzDuxsi0b8QJSxAxQlV56YNdfP8v62jzKz+85jRmnT049FVD7V5Y+wKsehb2b4KkdKfHSWNV6BdPTHGTReCj4PD15PQQdadB653Vn4o4J+lQDXlHNPYFNwRWc+StzsOQkOzEnJTmfL61Lzq/UhOSofhMJ1kMOR8GTYqNwVMHyuDtX8D7vwd/M5x6LVzwTSjqBbddSUyGvCHOIxTVnvsDppezBBEDymub+e7LH7Jw/V7OGprHI/92xpE35vG3wuaFTlLY9LrTc2LQZJj+Szh1hvOry98K9fudeuj6cnd5X8Cyu33fBufZ39w9H0ASu+7JIQmHN+pl9IX8EYc3+KVkHjrhJ6c7ddQdie+I57Qj64SbamDnu7DjbdjxjvMr+1//67x3/7Ew5DwnaQw+BzLzu+dzR0LVDudzrH7OqZc/4wY4//9BwchoR9Z9LDl4xhqpe7l/bi7nrhdWU9vcxrcuG80Xzh9GYuCcSfs2OElh7YvOST2rCM64EcbP6vySPhyqTo+OjuTR1gj+wH7b4fTnDngkZxxq4Avu7ZHaJ/IjWlvqoXSFkyx2vOMstzU5+wpPgaEdCeNc6HMCvcJUnc+fkNS9J7qKrfDPnzr/7pIA426G8+9yqtKMCRC1XkwiMhX4Oc49qX+jqg8H7R8CzAEKgUqce0+Xuvv+B7gCSAAWAXdqF8H26gRRt8+pYsnu71xOh6G9XfnlP7bw6OJNjOqXxeM3ncmoIrfutanGaVdY9ZzTcJeQBKOnwbhZzhQCJ9KFMF61NUPZKqfRdMc74HsXWuqcfX2HO4m3q4FMB5Nm2+GJtOPKKSUb+g4NGCsQMHYge2D4CXLfBnjrEVj3klN1NuHzcO7XIafYk6/F9H5R6cUkIonA48ClQCmwQkTmq+r6gGKPAM+o6tMicjHwEHCLiJwLnAeMdcv9C7gQWOpVvFHz8QKYe4s76Eic+vzs/s5AnuwBzqPPAOck0cdZr2zP5K65a3hrUzkzxhfz4IzTyEhKcLoqrnoW1s93ftEXngKf+W84/XrIKoz2J+3dklKd0bODJzvr/janW+iOd2DnMicpJ6cHtK8kBrTDJAW0wQStdzzqy50uk3vXOX8T7a2H3jsx1fnlH2rAWe5g5zV3r4G3fgIb/uIM4jr363DOHU5nA2OOk5c/JScBW1R1G4CIvABcDQQmiDHAN9zlJcAr7rICaUAKIEAysNfDWKNjy2L4061OHfeEW50BPrVlzmClml1OtUZDxRGHZZLCjzSXtAElFCYMRRbmOXPIVO+A1BynJ8f4WTDwTKuf9UpiktOYXXwmnHtH9752u9/p9nnEgLNP4JM3obXhUFlJdH5M1Picf/tPfdsZFJbRt3tjMnHJywRRDPgC1kuBs4PKrAFm4lRDzQCyRSRfVZeJyBJgN06CeExVN3gYa+RtfxteuBkKRsOsP3f+H7qtGWr3oLW7WbpyDe+s+pChqbVcMQRy2/Y7vxzr9jknqovvg1OuPPHRoia6EhIDeu1cdPg+VajbGzDYzE0cE26Ds77otOEY0028TBChfroGtyHcDTwmIrcBbwG7gDYRGQmcAnTcAWeRiHxKVd867A1EZgOzAQYPHtyNoXusdCU8f70zyOeWl7v+tZeUSl1GMff8rYLX1pZwyclncsf148jJsNlX45KIUwWZ3R+GnBPtaEyM8zJBlAKDAtZLgLLAAqpaBlwLICJZwExVrXFP/MtVtc7d9zdgMk4SCTz+KeApcBqpPfoc3Wv3Gnj2Wqet4XPzj9o2sGlvLV959n2276/n21NH85VPjbA7uxljIsLLvoMrgFEiMkxEUoAbgPmBBUSkQEQ6YrgXp0cTwE7gQhFJEpFknAbq3l/FtO9j+MMMp8fKrfOP2j3y5VWlXP3Y2xxobOO5L07m9ikjLTkYYyLGsysIVW0TkTuA13G6uc5R1XUi8gCwUlXnA1OAh0REca4OvuYePg+4GPgQp1rq76r6F69ijYiKrfDMdKeHy63znd4nnWhq9fPAa+t5/t2dTBrWl8duHE8/u9ObMSbCbKBcJFTvhDnTnK6nty2Afid3WtRX2cDtz33Ah7tq+PKFw/nWZaNJSozv2x4aY7xjs7lG04EyePoqaKmFW1/rMjks3rCXb7y4GgWeumUCl516fPO7G2NMd7AE4aW6cnjmamcqis+96kyjHEKbv52fLdrE/y3dyqkD+/DEzRMYnB/DM4oaY3oFSxBeaah0GqSrfc44h5KQV3A0tfr596dX8PaWCm6cNIjvXXUqack99+Yixpj4YQnCC00H4NmZzn17b3rRmditEw8t2MDbWyp4+NrTuWFSLxrLYYyJeZYgultLvTMIbs9a+OyzMOLiTov+/aM9PL1sB/9+/jBLDsaYHscSRHdqbYIXbnJm+rxujjODaid8lQ18e94axpbk8J2pnTdcG2NMtFiC6C5tLTD3c7BtKVzzpHMTnk60+tv5jxdWoQqP3XgmKUnWjdUY0/NYgugO/jZ46Yuw+XW48n+d2VS78MjCjazaWc1jN4233krGmB7LfrqeKFV49Wuw/lX4zEMw8QtdFl+6cR+/enMbN509mCvHDoxQkMYYc+wsQZyoD56BtS/AlP+Ec27vsujeA038v7lrOLl/Nvdf2QtuFm+MiWuWIE5EtQ9e/y4MvQA+9a0ui/rblTtfWEVji5/HbhpvYx2MMT2etUEcL1WY/3XQdrj6saPeM/iX/9jM8m2V/OS6sYzslx2hII0x5vhZgjhe7/8eti2BK37m3C+4C8u2VvCLxZu5dnwx100o6bKsMcb0FFbFdDyqdsDC/4JhFx61Ubqirpk7X1jF0PxMfnjNaYjdI9oY00vYFcSxam+H+e5N6q9+zLkFZKdFlW/+aQ3Vja387vNnkZlqX7cxpvewK4hj9f4c+OQtuOxHXd70B+DX/9zG0o3l3HfFKZw6MCdCARpjTPewBHEsqrbDwvth+EUw4bYui36ws4qfvL6Raaf1Z9bkIREJzxhjupMliHC1t8Ord4AkwPRfdlm1VNPQytefX0X/nDQenjnW2h2MMb2SVYqHa+VvYfs/4apfQO6gToupKt/581r2HmjiT185h5z05AgGaYwx3cfTKwgRmSoiG0Vki4jcE2L/EBFZLCJrRWSpiJS42y8SkdUBjyYRucbLWLtU+Qksuh9GXAJnfq7Los8u38Hf1+3h21NHM35wXoQCNMaY7udZghCRROBxYBowBrhRRILnl3gEeEZVxwIPAA8BqOoSVR2nquOAi4EGYKFXsXapvd2Zaykh6ahVS+vKavjhaxu4aHQhXzx/eASDNMaY7uflFcQkYIuqblPVFuAF4OqgMmOAxe7ykhD7Aa4D/kp+Bz0AABfCSURBVKaqDZ5F2pUVv4Ydb8PUhyCnuNNidc1tfP35VeRlJvPT68eRkGDtDsaY3s3LBFEM+ALWS91tgdYAM93lGUC2iOQHlbkB+GOoNxCR2SKyUkRWlpeXd0PIQSq2wqLvwajLYNzNnRZTVe575SO2V9Tz8xvG0zczpftjMcaYCPMyQYT6Ca1B63cDF4rIKuBCYBfQdvAFRAYApwOvh3oDVX1KVSeq6sTCwsLuibpDR9VSYgpc9fMuq5bmvV/Ky6t2ceclJzF5eHB+M8aY3snLXkylQGB3nxKgLLCAqpYB1wKISBYwU1VrAopcD7ysqq0exhnau0/CzmVwzRPQp/P7NjS2+Pne/HVMHt6XOy4eGcEAjTHGW15eQawARonIMBFJwakqmh9YQEQKRKQjhnuBOUGvcSOdVC95qmIrLH4ATpoKZ3R9d7gdlfU0tPiZNXkIidbuYIyJIZ4lCFVtA+7AqR7aAMxV1XUi8oCITHeLTQE2isgmoAh4sON4ERmKcwXyplcxhtTuh1duh6QUuPLRLquWAHZWOG3ng/Ls1qHGmNji6UA5VV0ALAjadn/A8jxgXifHbufIRm3vLX8CfMthxlPQZ8BRi/uqGgEY1NcShDEmtthUG4H2b4Z//BBGXw5jrw/rEF9lA1mpSeRl2IhpY0xsCStBiMifReSKgPaC2NNRtZScHlbVUgdfZQMleek235IxJuaEe8J/ArgJ2CwiD4vIyR7GFB3LHofS92DaTyC7KOzDfFUNVr1kjIlJYSUIVX1DVW8GzgS2A4tE5B0R+byI9P66lfKN8I8fwclXwunXhX2YquKrbLQGamNMTAq7ysgd4Xwb8EVgFfBznISxyJPIIsXfBq98FVIy4cr/DbtqCaCivoXGVj+D+6Z7GKAxxkRHWL2YROQl4GTgD8BVqrrb3fWiiKz0KriIqN4BB3bD5T+BrH7HdOjOSreLq1UxGWNiULjdXB9T1X+E2qGqE7sxnsjLHwF3rHCuII6RzxKEMSaGhVvFdIqI5HasiEieiNzuUUyRl5p1TFVLHUo7xkBYG4QxJgaFmyC+pKrVHSuqWgV8yZuQeg9fZQMFWamkpyRGOxRjjOl24SaIBAno6O/eDCju57TeWdnAIGugNsbEqHATxOvAXBG5REQuxplA7+/ehdU7+KoarHrJGBOzwm2k/g7wZeCrOPd5WAj8xqugeoM2fztl1U1cfYYlCGNMbAorQahqO85o6ie8Daf32F3ThL9drYrJGBOzwh0HMQp4COce0mkd21V1uEdx9XgHu7haFZMxJkaF2wbxO5yrhzbgIuAZnEFzcctXZWMgjDGxLdwEka6qiwFR1R2q+n3gYu/C6vl8lY0kJggDctKOXtgYY3qhcBupm9ypvjeLyB3ALuDY5qWIMTsrGxiYm0ZSYuzOgG6MiW/hnt3uAjKA/wAmALOAW70KqjewLq7GmFh31AThDoq7XlXrVLVUVT+vqjNVdXkE4uuxfJWNDLb2B2NMDDtqglBVPzBBjuOWaSIyVUQ2isgWEbknxP4hIrJYRNaKyFIRKQnYN1hEForIBhFZLyJDj/X9vdLQ0sb+umZroDbGxLRw2yBWAa+KyJ+A+o6NqvpSZwe4Vx6PA5cCpcAKEZmvqusDij0CPKOqT7sjtB8CbnH3PQM8qKqLRCQLaA/3Q3mtY5K+kjwbA2GMiV3hJoi+QAWH91xSoNMEAUwCtqjqNgAReQG4GghMEGOAb7jLS4BX3LJjgCRVXQSgqnVhxhkRNs23MSYehDuS+vPH8drFgC9gvRQ4O6jMGmAmzt3pZgDZ7p3rTgKq3RsVDQPeAO5xq7sOEpHZwGyAwYMHH0eIx6cjQVgbhDEmloU7kvp3OFcMh1HVL3R1WIhtwa9xN/CYiNwGvIXTfbbNjesCYDywE3gR53anvw16/6eApwAmTpx4RHxe2VnZSHpyIvmZcT+hrTEmhoVbxfRawHIazq/9sqMcUwoMClgvCT5GVcuAawHcdoaZqlojIqXAqoDqqVeAyQQliGjxVTnTfB9Hu70xxvQa4VYx/TlwXUT+iFPt05UVwCgRGYZzZXADcFPQ6xQAle5kgPcCcwKOzRORQlUtx2n76DH3vvZV2hgIY0zsO95hwKOALiv9VbUNuAPnXhIbgLmquk5EHhCR6W6xKcBGEdkEFAEPusf6caqfFovIhzjVVb8+zli7lao6CcLaH4wxMS7cNohaDm8/2INzj4guqeoCYEHQtvsDlucB8zo5dhEwNpz4IqmqoZX6Fr8lCGNMzAu3iinb60B6i0PTfNsYCGNMbAuriklEZohITsB6rohc411YPVfHNN+D8+0KwhgT28Jtg/ieqtZ0rKhqNfA9b0Lq2XbajYKMMXEi3AQRqly4XWRjiq+ykb6ZKWSmxuXHN8bEkXATxEoR+ZmIjBCR4SLyv8D7XgbWU5VWNVj7gzEmLoSbIL4OtOCMaJ4LNAJf8yqonsy6uBpj4kW4vZjqgSOm6443/nZlV3Uj004fEO1QjDHGc+H2YlokIrkB63ki8rp3YfVMew400epXa6A2xsSFcKuYCtyeSwCoahVxeE9qm8XVGBNPwk0Q7SJycGoN9+5uEZs9tac42MW1rzVSG2NiX7h9Nb8L/EtE3nTXP4V7H4Z4UlrZQILAwFxLEMaY2BduI/XfRWQiTlJYDbyK05MprviqGhmQk05y4vHOcWiMMb1HuJP1fRG4E+eeDqtx7s2wjMNvQRrznC6udvVgjIkP4f4UvhM4C9ihqhfh3Omt3LOoeqiddh8IY0wcCTdBNKlqE4CIpKrqx8Bo78LqeZpa/eyrbbZBcsaYuBFuI3WpOw7iFWCRiFRx9FuOxpTSKqfJxaqYjDHxItxG6hnu4vdFZAmQA/zds6h6IBsDYYyJN8c8Jamqvnn0UrGn4z4Q1gZhjIkX1l8zTL7KBlKTEijMTo12KMYYExGeJggRmSoiG0Vki4gcMdmfiAwRkcUislZElopIScA+v4isdh/zvYwzHL7KRgb1zUBEoh2KMcZEhGd3vRGRROBx4FKgFFghIvNVdX1AsUeAZ1T1aRG5GHgIuMXd16iq47yK71g5XVytgdoYEz+8vIKYBGxR1W2q2gK8AFwdVGYMsNhdXhJif4/hq7L7QBhj4ouXCaIY8AWsl7rbAq0BZrrLM4BsEcl319NEZKWILBeRa0K9gYjMdsusLC/3btxeTUMrtU1t1kBtjIkrXiaIUJX1wTPA3g1cKCKrgAuBXUCbu2+wqk4EbgIeFZERR7yY6lOqOlFVJxYWFnZj6Ic72IPJriCMMXHEszYInCuGQQHrJQQNrlPVMuBaABHJAmaqak3APlR1m4gsxZneY6uH8XbKpvk2xsQjL68gVgCjRGSYiKQANwCH9UYSkQIR6YjhXmCOuz1PRFI7ygDnAYGN2xHlq7QrCGNM/PEsQahqG3AH8DqwAZirqutE5AERme4WmwJsFJFNQBHwoLv9FGCliKzBabx+OKj3U0T5qhrISU+mT1pytEIwxpiI87KKCVVdACwI2nZ/wPI8YF6I494BTvcytmOxs7LRptgwxsQdG0kdhlK7D4QxJg5ZgjiK9naltKrRurgaY+KOJYij2FfbTIu/3RqojTFxxxLEUey0HkzGmDhlCeIoDnZxtXmYjDFxxhLEUfiqGhCBYksQxpg4YwniKHZWNtC/TxqpSYnRDsUYYyLKEsRRlFZaDyZjTHyyBHEUvqoGSmwMhDEmDlmC6EJzm589B5rsCsIYE5csQXRhV1Ujqtg0G8aYuGQJogu+qkbAxkAYY+KTJYgu+Ow+EMaYOGYJogu+ygZSEhMoyk6LdijGGBNxliC64KtqoCQvnYSEUHdPNcaY2GYJogu+ykZKrP3BGBOnLEF0wVfVYHMwGWPiliWIThxoaqW6odW6uBpj4pYliE74bJpvY0yc8zRBiMhUEdkoIltE5J4Q+4eIyGIRWSsiS0WkJGh/HxHZJSKPeRlnKL5KdwyEjaI2xsQpzxKEiCQCjwPTgDHAjSIyJqjYI8AzqjoWeAB4KGj/D4E3vYqxK6VVNgbCGBPfvLyCmARsUdVtqtoCvABcHVRmDLDYXV4SuF9EJgBFwEIPY+zUzsoGstOSyElPjsbbG2NM1HmZIIoBX8B6qbst0Bpgprs8A8gWkXwRSQB+CnyrqzcQkdkislJEVpaXl3dT2A5fZQOD8jIQsTEQxpj45GWCCHVm1aD1u4ELRWQVcCGwC2gDbgcWqKqPLqjqU6o6UVUnFhYWdkfMB/mqGq16yRgT15I8fO1SYFDAeglQFlhAVcuAawFEJAuYqao1InIOcIGI3A5kASkiUqeqRzR0e0FV8VU2cNHo7k06xhjTm3iZIFYAo0RkGM6VwQ3ATYEFRKQAqFTVduBeYA6Aqt4cUOY2YGKkkgNAeW0zzW3t1sXVGBPXPKtiUtU24A7gdWADMFdV14nIAyIy3S02BdgoIptwGqQf9CqeY+Hr6MFkXVyNMXHMyysIVHUBsCBo2/0By/OAeUd5jd8Dv/cgvE4dHANhbRDGmDhmI6lD2OmOoi6xKwhjTByzBBGCr7KBftmppCUnRjsUY4yJGksQIfiqGqyB2hgT9yxBhOCrbLRZXI0xcc8SRJBWfzu7axrtPhDGmLhnCSJIWXUj7YrdSc4YE/csQQSxab6NMcZhCSJIRxfXwfmWIIwx8c0SRBBfVQPJiUL/PmnRDsUYY6LKEkQQX2UDA3PTSUywab6NMfHNEkSQjvtAGGNMvLMEEcS5D4QlCGOMsQQRoL65jcr6FpukzxhjsARxGJvm2xhjDrEEEWBnhdvF1aqYjDHGEkQgX1XHfSAsQRhjjCWIAL7KBjJTEsnLSI52KMYYE3WWIAKUutN8i9gYCGOM8TRBiMhUEdkoIltE5J4Q+4eIyGIRWSsiS0WkJGD7+yKyWkTWichXvIyzw85Kuw+EMcZ08CxBiEgi8DgwDRgD3CgiY4KKPQI8o6pjgQeAh9ztu4FzVXUccDZwj4gM9CpWAFXFV9loPZiMMcbl5RXEJGCLqm5T1RbgBeDqoDJjgMXu8pKO/araoqrN7vZUj+MEoKK+hcZWv42BMMYYl5cn3mLAF7Be6m4LtAaY6S7PALJFJB9ARAaJyFr3NX6sqmUexnpwFle7gjDGGIeXCSJUS68Grd8NXCgiq4ALgV1AG4Cq+tyqp5HArSJSdMQbiMwWkZUisrK8vPyEgvXZNN/GGHMYLxNEKTAoYL0EOOwqQFXLVPVaVR0PfNfdVhNcBlgHXBD8Bqr6lKpOVNWJhYWFJxasOwaixG41aowxgLcJYgUwSkSGiUgKcAMwP7CAiBSISEcM9wJz3O0lIpLuLucB5wEbPYwVX2UDBVkpZKQkefk2xhjTa3iWIFS1DbgDeB3YAMxV1XUi8oCITHeLTQE2isgmoAh40N1+CvCuiKwB3gQeUdUPvYoVrIurMcYE8/TnsqouABYEbbs/YHkeMC/EcYuAsV7GFsxX1cD4QXmRfEtjjOnRbCQ10OZvp6y6ybq4GmNMAEsQwO6aJvztal1cjTEmgCUIArq4WhuEMcYcZAmCgBsFWYIwxpiDLEEAvspGEhOEATlp0Q7FGGN6DEsQOF1cB+SkkZRoX4cxxnSwMyJOFZO1PxhjzOEsQYBN822MMSHEfYJoaGljf12zjYEwxpggcZ8gGlv8TD9jIGNLcqMdijHG9ChxPzNdflYqv7hxfLTDMMaYHifuryCMMcaEZgnCGGNMSJYgjDHGhGQJwhhjTEiWIIwxxoRkCcIYY0xIliCMMcaEZAnCGGNMSKKq0Y6hW4hIObDjBF6iANjfTeF4weI7MRbfibH4TkxPjm+IqhaG2hEzCeJEichKVZ0Y7Tg6Y/GdGIvvxFh8J6anx9cZq2IyxhgTkiUIY4wxIVmCOOSpaAdwFBbfibH4TozFd2J6enwhWRuEMcaYkOwKwhhjTEiWIIwxxoQUVwlCRKaKyEYR2SIi94TYnyoiL7r73xWRoRGMbZCILBGRDSKyTkTuDFFmiojUiMhq93F/pOILiGG7iHzovv/KEPtFRH7hfodrReTMCMY2OuC7WS0iB0TkrqAyEf0ORWSOiOwTkY8CtvUVkUUistl9zuvk2FvdMptF5NYIxvcTEfnY/fd7WURC3m7xaH8LHsb3fRHZFfBveHknx3b5/93D+F4MiG27iKzu5FjPv78Tpqpx8QASga3AcCAFWAOMCSpzO/Cku3wD8GIE4xsAnOkuZwObQsQ3BXgtyt/jdqCgi/2XA38DBJgMvBvFf+89OIOAovYdAp8CzgQ+Ctj2P8A97vI9wI9DHNcX2OY+57nLeRGK7zIgyV3+caj4wvlb8DC+7wN3h/Hv3+X/d6/iC9r/U+D+aH1/J/qIpyuIScAWVd2mqi3AC8DVQWWuBp52l+cBl4iIRCI4Vd2tqh+4y7XABqA4Eu/dza4GnlHHciBXRAZEIY5LgK2qeiKj60+Yqr4FVAZtDvw7exq4JsShnwEWqWqlqlYBi4CpkYhPVReqapu7uhwo6e73DVcn3184wvn/fsK6is89d1wP/LG73zdS4ilBFAO+gPVSjjwBHyzj/gepAfIjEl0At2prPPBuiN3niMgaEfmbiJwa0cAcCiwUkfdFZHaI/eF8z5FwA53/x4z2d1ikqrvB+WEA9AtRpqd8j1/AuSIM5Wh/C166w60Cm9NJFV1P+P4uAPaq6uZO9kfz+wtLPCWIUFcCwX18wynjKRHJAv4M3KWqB4J2f4BTZXIG8EvglUjG5jpPVc8EpgFfE5FPBe3vCd9hCjAd+FOI3T3hOwxHT/gevwu0Ac91UuRofwteeQIYAYwDduNU4wSL+vcH3EjXVw/R+v7CFk8JohQYFLBeApR1VkZEkoAcju/y9riISDJOcnhOVV8K3q+qB1S1zl1eACSLSEGk4nPft8x93ge8jHMpHyic79lr04APVHVv8I6e8B0Cezuq3dznfSHKRPV7dBvFrwRuVrfCPFgYfwueUNW9qupX1Xbg1528b7S/vyTgWuDFzspE6/s7FvGUIFYAo0RkmPsL8wZgflCZ+UBHb5HrgH909p+ju7n1lb8FNqjqzzop07+jTUREJuH8+1VEIj73PTNFJLtjGacx86OgYvOBz7m9mSYDNR3VKRHU6S+3aH+HrsC/s1uBV0OUeR24TETy3CqUy9xtnhORqcB3gOmq2tBJmXD+FryKL7BNa0Yn7xvO/3cvfRr4WFVLQ+2M5vd3TKLdSh7JB04Pm004vRu+6257AOc/AkAaTrXEFuA9YHgEYzsf5xJ4LbDafVwOfAX4ilvmDmAdTo+M5cC5Ef7+hrvvvcaNo+M7DIxRgMfd7/hDYGKEY8zAOeHnBGyL2neIk6h2A604v2r/HaddazGw2X3u65adCPwm4NgvuH+LW4DPRzC+LTj19x1/hx09+wYCC7r6W4hQfH9w/7bW4pz0BwTH564f8f89EvG523/f8TcXUDbi39+JPmyqDWOMMSHFUxWTMcaYY2AJwhhjTEiWIIwxxoRkCcIYY0xIliCMMcaEZAnCmB7AnWX2tWjHYUwgSxDGGGNCsgRhzDEQkVki8p47h/+vRCRRROpE5Kci8oGILBaRQrfsOBFZHnBfhTx3+0gRecOdMPADERnhvnyWiMxz78XwXKRmEjamM5YgjAmTiJwCfBZnkrVxgB+4GcjEmfvpTOBN4HvuIc8A31HVsTgjfzu2Pwc8rs6EgefijMQFZwbfu4AxOCNtz/P8QxnThaRoB2BML3IJMAFY4f64T8eZaK+dQ5OyPQu8JCI5QK6qvulufxr4kzv/TrGqvgygqk0A7uu9p+7cPe5dyIYC//L+YxkTmiUIY8InwNOqeu9hG0XuCyrX1fw1XVUbNQcs+7H/nybKrIrJmPAtBq4TkX5w8N7SQ3D+H13nlrkJ+Jeq1gBVInKBu/0W4E117vFRKiLXuK+RKiIZEf0UxoTJfqEYEyZVXS8i/4VzF7AEnBk8vwbUA6eKyPs4dyH8rHvIrcCTbgLYBnze3X4L8CsRecB9jX+L4McwJmw2m6sxJ0hE6lQ1K9pxGNPdrIrJGGNMSHYFYYwxJiS7gjDGGBOSJQhjjDEhWYIwxhgTkiUIY4wxIVmCMMYYE9L/B4OaTHj7Y3FkAAAAAElFTkSuQmCC\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "plt.plot(history.history['accuracy'])\n",
    "plt.plot(history.history['val_accuracy'])\n",
    "plt.title('model accuracy')\n",
    "plt.ylabel('accuracy')\n",
    "plt.xlabel('epoch')\n",
    "plt.legend(['train', 'test'], loc='upper left')\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAYgAAAEWCAYAAAB8LwAVAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjEsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy8QZhcZAAAgAElEQVR4nO3dd3hb5dn48e8tecp7ZngkIQTIJIswEkZfQkgChE2ZpZQSKIVCeUsLv76lLaUtffuWMtoy2qZlzzBCCWWHUQiQTSYZJNgZTmLHe8SWn98fz7GjOLIjxz6Sbd2f69Il6ZznSLdkWbfOM8UYg1JKKdWWJ9IBKKWU6pk0QSillApKE4RSSqmgNEEopZQKShOEUkqpoDRBKKWUCkoThFLdQET+KSJ3hVh2s4hM7erjKOU2TRBKKaWC0gShlFIqKE0QKmo4VTu3isgKEakRkb+LSD8ReV1EqkTkbRHJCCg/S0RWiUi5iCwQkeEB+8aJyBLnuGeBhDbPdaaILHOO/VhExhxizNeIyAYRKROReSIy0NkuIvJHEdkpIhXOaxrl7JspIqud2LaKyI8O6Q1TUU8ThIo25wOnAUcAZwGvA/8PyMb+P/wAQESOAJ4GbgZygPnAqyISJyJxwMvA40Am8LzzuDjHjgfmANcCWcDDwDwRie9MoCLyX8BvgYuAAcAW4Bln9zTgJOd1pAPfBEqdfX8HrjXGpACjgHc787xKtdAEoaLNA8aYEmPMVuBD4FNjzFJjTAPwEjDOKfdN4DVjzFvGmEbg/4BE4ATgOCAWuNcY02iMeQH4POA5rgEeNsZ8aozxG2MeBRqc4zrjMmCOMWaJE9/twPEiMhhoBFKAowAxxqwxxmx3jmsERohIqjFmjzFmSSefVylAE4SKPiUBt+uC3E92bg/E/mIHwBjTDBQBec6+rWb/mS63BNweBPy3U71ULiLlQIFzXGe0jaEae5aQZ4x5F/gT8GegREQeEZFUp+j5wExgi4i8LyLHd/J5lQI0QSjVnm3YL3rA1vljv+S3AtuBPGdbi8KA20XAr40x6QEXnzHm6S7GkIStstoKYIy53xgzARiJrWq61dn+uTHmbCAXWxX2XCefVylAE4RS7XkOOENEThWRWOC/sdVEHwOfAE3AD0QkRkTOAyYFHPtX4DoROdZpTE4SkTNEJKWTMTwFXCUiY532i99gq8Q2i8gxzuPHAjVAPeB32kguE5E0p2qsEvB34X1QUUwThFJBGGPWAZcDDwC7sQ3aZxlj9hpj9gLnAd8G9mDbK14MOHYRth3iT87+DU7ZzsbwDvAzYC72rGUocLGzOxWbiPZgq6FKse0kAFcAm0WkErjOeR1KdZrogkFKKaWC0TMIpZRSQWmCUEopFZQmCKWUUkFpglBKKRVUTKQD6C7Z2dlm8ODBkQ5DKaV6lcWLF+82xuQE2+dqghCR6cB9gBf4mzHm7jb7bwG+i+1Tvgv4jjFmi7PPD3zhFP3aGDOro+caPHgwixYt6uZXoJRSfZuIbGlvn2sJQkS82GkATgOKgc9FZJ4xZnVAsaXARGNMrYh8D/hfbJ9ygDpjzFi34lNKKdUxN9sgJgEbjDGbnIFFzwBnBxYwxrxnjKl17i4E8l2MRymlVCe4mSDysHPStCh2trXnauzUyy0SRGSRiCwUkXOCHSAis50yi3bt2tX1iJVSSrVysw1CgmwLOmxbRC4HJgInB2wuNMZsE5HDgHdF5AtjzMb9HsyYR4BHACZOnHjAYzc2NlJcXEx9ff2hvoZeIyEhgfz8fGJjYyMdilKqj3AzQRRjZ79skY+dnXI/zuLtPwVOdua8B8AYs8253iQiC7Dz9G9se3yHARQXk5KSwuDBg9l/4s2+xRhDaWkpxcXFDBkyJNLhKKX6CDermD4HhonIEGcFrouBeYEFRGQcdrWtWcaYnQHbM1pW3xKRbGAyENi4HZL6+nqysrL6dHIAEBGysrKi4kxJKRU+rp1BGGOaROQG4A1sN9c5xphVInInsMgYMw/4PXaBluedL/GW7qzDgYdFpBmbxO5u0/spZH09ObSIlteplAofV8dBGGPmY9fyDdx2R8Dtqe0c9zEw2s3YWjQ1N1NavZeUhBh8cX1m3KBSSnVZ1E+1IUBJZT01DU2uPH55eTl/+ctfOn3czJkzKS8vdyEipZQKTdQnCK/Hg9cj7G1qduXx20sQfn/Hi3zNnz+f9PR0V2JSSqlQaJ0KEBfjYa/fnYWTbrvtNjZu3MjYsWOJjY0lOTmZAQMGsGzZMlavXs0555xDUVER9fX13HTTTcyePRvYN3VIdXU1M2bMYMqUKXz88cfk5eXxyiuvkJiY6Eq8SinVImoSxC9fXcXqbZVB9zU0+WluhsQ4b6cec8TAVH5+1sgOy9x9992sXLmSZcuWsWDBAs444wxWrlzZ2h11zpw5ZGZmUldXxzHHHMP5559PVlbWfo+xfv16nn76af76179y0UUXMXfuXC6/XFeRVEq5K2oSREdEhGbcqWJqa9KkSfuNVbj//vt56aWXACgqKmL9+vUHJIghQ4YwdqydlmrChAls3rw5LLEqpaJb1CSIjn7pl1Y3sLW8jqP6pxIX426zTFJSUuvtBQsW8Pbbb/PJJ5/g8/k45ZRTgo5liI+Pb73t9Xqpq6tzNUallAJtpAZoTQp7/d1/FpGSkkJVVVXQfRUVFWRkZODz+Vi7di0LFy7s9udXSqlDFTVnEB1pTRBNzRB/kMKdlJWVxeTJkxk1ahSJiYn069evdd/06dN56KGHGDNmDEceeSTHHXdc9z65Ukp1gRjjTu+dcJs4caJpu2DQmjVrGD58+EGPbTaGVVsryElNoH9qglshui7U16uUUi1EZLExZmKwfVrFBHhEiPV6aHRpLIRSSvVGmiAccTEeGjRBKKVUK00Qjjivh0YXGqmVUqq30gThiIuxCaK5uW+0ySilVFdpgnC42dVVKaV6I00QjlhvQFdXpZRSmiBauHUGcajTfQPce++91NbWdms8SikVKk0QjhiP4JHun/ZbE4RSqrfSkdQOEbHTfndzggic7vu0004jNzeX5557joaGBs4991x++ctfUlNTw0UXXURxcTF+v5+f/exnlJSUsG3bNr7xjW+QnZ3Ne++9161xKaXUwURPgnj9NtjxRYdFChv9NGMgNsS3pf9omHF3h0UCp/t+8803eeGFF/jss88wxjBr1iw++OADdu3axcCBA3nttdcAO0dTWloa99xzD++99x7Z2dmhxaOUUt1Iq5gCiIAxYHCnq+ubb77Jm2++ybhx4xg/fjxr165l/fr1jB49mrfffpuf/OQnfPjhh6Slpbny/Eop1RnRcwZxkF/6AFXVDWwrr2PEgFRivN2fO40x3H777Vx77bUH7Fu8eDHz58/n9ttvZ9q0adxxxx3d/vxKKdUZegYRIM7b/T2ZAqf7Pv3005kzZw7V1dUAbN26lZ07d7Jt2zZ8Ph+XX345P/rRj1iyZMkBxyqlVLhFzxlECAKn/fbFdc9jBk73PWPGDC699FKOP/54AJKTk3niiSfYsGEDt956Kx6Ph9jYWB588EEAZs+ezYwZMxgwYIA2Uiulwk6n+w7gbzas2lZB/9QEcnvhtN863bdSqrN0uu8QeT1CjMej020opRSaIA7gxlgIpZTqjfp8guhsFVpcTO88g+grVYVKqZ6jTyeIhIQESktLO/XlGef10NhkaO5FX7jGGEpLS0lI6H3tJkqpnqtP92LKz8+nuLiYXbt2hXxMTUMTe2oboTzelbEQbklISCA/Pz/SYSil+pA+nSBiY2MZMmRIp475ZGMp1zyzkCe/eyyTD9cpLpRS0av3/EQOk8IsHwBfl+ksqkqp6KYJoo3+qQnEeoUiTRBKqSinCaINr0fIS0/UMwilVNTTBBFEQaZPzyCUUlHP1QQhItNFZJ2IbBCR24Lsv0VEVovIChF5R0QGBey7UkTWO5cr3YyzrYJMH0V76sL5lEop1eO4liBExAv8GZgBjAAuEZERbYotBSYaY8YALwD/6xybCfwcOBaYBPxcRDLcirWtwkwfZTV7qW5oCtdTKqVUj+PmGcQkYIMxZpMxZi/wDHB2YAFjzHvGmJa6nIVAS0f+04G3jDFlxpg9wFvAdBdj3U9Bhu3JpNVMSqlo5maCyAOKAu4XO9vaczXw+iEe260KM7Wrq1JKuTlQToJsCzp/hYhcDkwETu7MsSIyG5gNUFhYeGhRBtGSIPQMQikVzdw8gygGCgLu5wPb2hYSkanAT4FZxpiGzhxrjHnEGDPRGDMxJyen2wJP88WSkhCjCUIpFdXcTBCfA8NEZIiIxAEXA/MCC4jIOOBhbHLYGbDrDWCaiGQ4jdPTnG1hU5jp0yompVRUc62KyRjTJCI3YL/YvcAcY8wqEbkTWGSMmQf8HkgGnhcRgK+NMbOMMWUi8itskgG40xhT5laswRRk+NiwqzqcT6mUUj2Kq5P1GWPmA/PbbLsj4PbUDo6dA8xxL7qOFWb5eG/dTpqbDR5PsCYRpZTq23QkdTsKMn00NDWzq7rh4IWVUqoP0gTRjoKMREB7MimlopcmiHboWAilVLTTBNGOvIxERKCoTOdkUkpFJ00Q7YiP8dI/NUHPIJRSUUsTRAd02m+lVDTTBNGBggwfRXs0QSilopMmiA4UZvrYUVlPQ5M/0qEopVTYaYLoQEFmIsbAVl08SCkVhTRBdEC7uiqlopkmiA7otN9KqWimCaIDOSnxxMd4dH1qpVRU0gTRARGhINPH16V6BqGUij6aIA6iICNRu7oqpaKSJoiDKHTOIIwJulqqUkr1WZogDqIg00dVQxMVdY2RDkUppcJKE8RBFLT2ZNKGaqVUdNEEcRA6FkIpFa00QRxE6xmENlQrpaKMJoiDSI6PITMpTs8glFJRRxNECHTab6VUNNIEEYKCjERNEEqpqKMJIgSFmT6K99Thb9axEEqp6KEJIgQFmT6amg3bK7Srq1IqemiCCEGhjoVQSkUhTRAh0Gm/lVLRSBNECAakJeD1iI6FUEpFFU0QIYjxehiYnqBjIZRSUUUTRIgKMnyaIJRSUUUTRIgKM33aSK2UiiqaIEJUkOljd3UDtXubIh2KUkqFhSaIELVM2les61MrpaKEJogQtU77retTK6WihCaIEBVkJAK6LoRSKnpogghRZlIcSXFeHQuhlIoariYIEZkuIutEZIOI3BZk/0kiskREmkTkgjb7/CKyzLnMczPOUIiITvutlIoqMW49sIh4gT8DpwHFwOciMs8Yszqg2NfAt4EfBXmIOmPMWLfiOxQFmT5tg1BKRQ03zyAmARuMMZuMMXuBZ4CzAwsYYzYbY1YAzS7G0W0KM+1gOWN02m+lVN/nZoLIA4oC7hc720KVICKLRGShiJwTrICIzHbKLNq1a1dXYg1JQUYidY1+dlfvdf25lFIq0txMEBJkW2d+ehcaYyYClwL3isjQAx7MmEeMMRONMRNzcnIONc7QA8pyZnXVhmqlVBRwM0EUAwUB9/OBbaEebIzZ5lxvAhYA47ozuEOh034rpaKJmwnic2CYiAwRkTjgYiCk3kgikiEi8c7tbGAysLrjo9yXn6EJQikVPVxLEMaYJuAG4A1gDfCcMWaViNwpIrMAROQYESkGLgQeFpFVzuHDgUUishx4D7i7Te+niEiI9ZKbEq+D5ZRSUcG1bq4Axpj5wPw22+4IuP05tuqp7XEfA6PdjO1QFWTqtN9KqeigI6k7Saf9VkpFC00QnVSQ6WN7RR2N/l4xdEMppQ6ZJohOKshIpNnAtnI9i1BK9W2aIDqpddpvbYdQSvVxmiA6qUAThFIqSmiC6KR+qQnEeT3aUK2U6vNCShAicpOIpIr1d2eK7mluB9cTeT1CfkaiDpZTSvV5oZ5BfMcYUwlMA3KAq4C7XYuqh8vP9Ol8TEqpPi/UBNEy8d5M4B/GmOUEn4wvKhRmJmobhFKqzws1QSwWkTexCeINEUmhl6zh4IaCDB/ltY1U1jdGOhSllHJNqAniauA24BhjTC0Qi61miko6q6tSKhqEmiCOB9YZY8pF5HLgf4AK98Lq2Qo0QSilokCoCeJBoFZEjgZ+DGwBHnMtqh5uX4LQrq5Kqb4r1ATRZOxCzGcD9xlj7gNS3AurZ0tLjCUtMVYbqpVSfVqoCaJKRG4HrgBeExEvth0iahVoTyalVE9QuR2KF7ny0KEmiG8CDdjxEDuAPOD3rkTUSxTqWAilVCTV7YG3fg73j4OXrwdjuv0pQkoQTlJ4EkgTkTOBemNM1LZBgG2HKC6ro7m5+/8oSinVrr218OE9cN/R8J/7YMQsuPRZkO4fmhbSinIichH2jGEBdoDcAyJyqzHmhW6PqJcoyPCx19/MzqoG+qclRDocpVRf52+EJY/C+7+H6h1wxHT4r59B/1GuPWWoS47+FDsGYieAiOQAbwNRmyACp/3WBKGUck1zM6x6Ed69C/Z8BYXHw0WPQuFxrj91qAnC05IcHKVE+UywgdN+TxqSGeFolFJ9jjGw4W14+5dQ8gX0GwWXPg/DTnOlOimYUBPEv0XkDeBp5/43gfnuhNQ75KUnIqKD5ZRSLvj6U3jnl7DlP5AxGM77G4w6Hzzh/V0eUoIwxtwqIucDk7FtEI8YY15yNbIeLi7Gw8A0nfZbqahXXgRlGyG5P6T0g4T0Q/+FX7Ia3v0VrJsPSbkw8/9g/JUQE9e9MYco1DMIjDFzgbkuxtLr5GfoWAilotqK5+DVm6Ax4HsgJgGSc/cljOT+kOJcArf5svadEezZAgt+C8ufgfgU2/h83PcgLikyr6vlpXS0U0SqgGD9OAUwxphUV6LqJQozfXywflekw1BKhVtjPbxxOyyaA4Mmw0m3Qm0pVJdA1Q57qd4Bu76Erz6A+iBT13li7FlCci6UrAKPF064Eab8EHw9o12zwwRhjIna6TRCUZDpo6SygfpGPwmx3kiHo1TvVLndfpkm94ekHPCGXLERGXu2wHPfgu3LYPLN9tf+wWJurHOSR4l9ra1JxEkoE66EKbdAWl54XkOIevhfomdr6epavKeOw3OTIxyNikpVJfDaLbbe++RbbYNmb9HUYAd6ffB/4G+w28QDvuyAqpmAKprkfvbSsi02At3L1/0bXrrW9jC6+Gk4amZox8Um2r9Nb/r7oAmiSwKn/dYEocJuy8fw/FVQX27vr3jW/hI96Vb7hdqTbf4P/Otm2P0ljDwPRp0H1Tv3/aJuuS5Zabcb/4GPkZC2L4kUngCTZkNSljvx+pvgvbvgoz/CgKPhwkchc4g7z9WDaIIwBr54AY6YZj9wnVCQmQigDdUqvIyBT/5k5+HJGAxXvAiJGfDB72HxP2HpkzDpmh5Vl92qtgze+hksfQLSC+GyF2y//o40+239fmDiqN6xr7qmchu8fzd8fD9M/A4cfwOkDui+mKtKYO7VsPlDmPBtmP67yJy9RIAmiNIN9pRx9IVw3sOdOjQnOZ6EWI92dVXhU19hJ2Zb+y8Yfhac/RdIcPqKnPlHOOEHsOBu+PgBWPQPOOEGOO76fWUixRh7hvPG/7OvYfLNcPJPIM538GM9XqdXUG77ZXautb/uFz4Inz0CYy+1z9HVX/mb/wMvXAX1lXDOQzD2kq49Xi8T1aOhAcgeBif/GFY8Aytf7NShIkJBhk/PIFR47FgJj5wC616Hab+Gix4/8Is/c4j9oXP9JzD0FNt18r6j4T/324bSSCjdCI/Nsj/EMg+Daz+A034ZWnIIVe5R9nX/YAmMuxyWPQUPjIe518DONZ1/PGPgo3vh0bNst9Nr3om65AAgxoUpYiNh4sSJZtGiQ5wT3d8Ec063ZxPf+7hTPQmu/ufnbKuo5/WbTjy051YqFMuegn/dYqtBL/wnDDo+tOO2LrFz+Gx8x9bXn3wrjPtWeAZeBTZCxyTA1J/DhKvCMxq4cruthlv0D2isgaPOhBNvgbwJBz+2rhxe/p4drDbiHJj1QOTPwFwkIouNMROD7dMzCLBd1M57xM6W+PL37ORYISrI9FFUVktfSbSqh2msh3k32s9l/kS47sPQkwNA3njbRvHt+fbs4rX/hj9NhGVP27p9t2z+Dzw0Bd77NRx1BtzwGRxzdfimikgdAKf/Gn64Ek6+DTZ/BH/9L3jsHPjqw/bXTti2DB4+Cda/adsaLvxnn04OB6MJokXWUJj+G/jqffj0oZAPK8j0Ud3QxJ7aRheDU1Gp7Cv4+2mw5DHbR/6Klzuuh+/I4Mlw1etw2VxITIeXr4O/HA+rX+nehWZqy+CV78M/Z9oziMvmwoX/iFyvKl8mfON2myhOu9MOSHv0TFtj8OUb+167MbaB/+/ToLnJvlfHXRe2SfF6Km2kDjT+SvuhefsXcNgp0G/EQQ8pDOjqmpkUmflSVB+07nVbZw9wyTNw5IyuP6YIDJsKh58Ka+bBu7+2A74GHG27miZl2zEIviz7xerLslVaoXxJtm2EnvJDOOnH3dvO0BXxKTD5JtsVdukTtk3mqYug32iYcrOdNXX50zD0v+zEeG51l+1lXG2DEJHpwH2AF/ibMebuNvtPAu4FxgAXBy5AJCJXAv/j3L3LGPNoR8/VpTaIQNW74MHj7YCca96FmPgOi6/bUcXp937AA5eM46yjB3b9+VV08zfZapmP7nG/v32z384l9P7dsGdz8DKeGEjMdJJHQOJovWRDfDIs/IudUiJ/Epx1L/Qb6U7M3cXfaLu3f3SPHYuBwCm32TEknuiaFaGjNgjXEoSIeIEvgdOAYuBz4BJjzOqAMoOBVOBHwLyWBCEimcAiYCJ2LqjFwARjzJ72nq/bEgTYs4inLrLzoky7q8Oi9Y1+Jt71NiMGpvL0Ncfh9UT3Kanqguqd8MJ3bH/78VfCjP8NT397Y2BvtR1rUFtqq4lqdgfcD9heu3vf7cBp2uLT4LRfwPhvh31K6i5p9sOX/7Yj0QdPjnQ0EdFRgnCzimkSsMEYs8kJ4hngbKA1QRhjNjv72rYKnw68ZYwpc/a/BUxn33oU7jridDvg5uM/wbBpMOSkdosmxHr5xayR/Oj55Tz0/ka+/43DwxKi6mO2fALPf9uOij7nQduPP1xEbBVMfEroU0E0+21VUkvyyBrWO6tlPF7biK6CcjPV5wFFAfeLnW3ddqyIzBaRRSKyaNeubp5VddpdtuH6pe/Zbm8dOH98HmeOGcAf3/qS5UUdl1VqP00NdgH6f55h6+u/+054k8Oh8nhtdVP2MLv0ZW9MDuqg3EwQwepaQq3PCulYY8wjxpiJxpiJOTk5nQruoOKSbNfX6h0w/0cdFhURfn3uaPqlJnDTM0upaWjq3lhU39PcbOvA/3SMXTnsqJkwe4GrC9Ar1VluJohioCDgfj6wLQzHdp+8CbYP9RfP23/mDqQlxnLPRUfzdVktv3x1VZgCVL3Spvfhr9+w8/vEp8Llc51R0Z2bC0wpt7mZID4HhonIEBGJAy4G5oV47BvANBHJEJEMYJqzLfym/ND2zPjXLVBR3GHRYw/L4vpTDue5RcXM/2J7mAJUvUbJKnjiAjvtRM1uOPdhO+3E4VOjvr+96plcSxDGmCbgBuwX+xrgOWPMKhG5U0RmAYjIMSJSDFwIPCwiq5xjy4BfYZPM58CdLQ3WYeeNsXO8GD+8dN1BR1nfNHUYYwvSuW3uCraVR2juG9WzVBTbCfYenAzFn8Fpv4IbF8PRF/euHj8q6uhcTKFa8jjMu8E2Xp9wY4dFt5TWMPO+DxmVl8ZT2vU1etWV2xlGP30ITDMce60dEd3TpuBWUU3nYuoO4y63E369c6edVbMDg7KS+MWskXz6VRkPf7AxTAGqHqOpwXaRvn+snaxuxDn2jGHaXZocVK+iCSJUInDW/XZhlhevsZOodeCCCfmcMWYA97ypXV+jRnOzHZn8wER486cwcJxtYzjvYbs4jlK9jCaIzkjKgrP/DDtXw7u/6rCoiPCbc0aTmxLPzc8u066vfd3G9+CRk+2Ph8R0O7HeFS/BgDGRjkypQ6YJorOGnQbHXGPnmt+0oMOiab5Y/vjNsWwurdGur33VrnXwxPnw+Dm2zeG8v8Ls92HoNyIdmVJdpgniUJx2J2Qf4Yyybnd6KKCl6+tQ7fra19Ttgddvs1NmF31u2xduXARjLtKeSarP0E/yoYjz2VHWNTvt+IiD9AS7eeoRHF2Qzu0vfqFdX3u7Zj8smgMPTLC9k8Z/yy5zecKNB535V6neRhPEoRo4Dk65HVa9aEdadyDW6+G+b46lyd/MLc8tw9/cN7oWR53NH8HDJ8O/fgg5R9kG6LPutVNhK9UHaYLoiik/hILj7DKOZV91WHRwtu36unCTdn3tdcq/hueutBPq1ZfbZSi//Zo2QKs+TxNEV3i8tgujCPxjBuz4osPiF0zI54zRtuvrimLt+trj7a2F935jJ9T78g045f/B9z+Dkefq1BgqKmiC6KqMwXb9WvHAnBmw8d12i4oIvznXdn296Rnt+tpjGePMtDoR3v+dXS/gxkVwyk96zhKaSoWBJoju0G8kXP0WZAyCJy+EZe2va5Tmi+Uep+vrna+ubrecipBty+zZ4Nyr7ZKaV70OF8yBtPxIR6ZU2GmC6C5peXDVfBg0GV6+Dt7/fbu9m45zur4+u6iI17Xra89QvQvm3QiPnAK719tR87MXwKATIhyYUpHj5pKj0SchDS57wX7RvHcXVHwNZ/zRzgjbxs1Tj+Cj9bu57cUvGFuYzoC0xAgEHGEN1bYX2Irn7HrMxm8ntWtuc238zm2/TbottwP3e2IhJgFi4pzreHvtbXM/Jj7gkmAvzX5Y9iQ01sLx37cL1yemR/rdUSriNEF0t5g4OPchWyXx4f9B1Q644B8Qn7xfsVivh/suHsfM+z/klmeX88R3j42OWV+NgaLPYOljsPIlaKyB7CMhd7htx/F4QbzOtQTc9rS5HVBWPNDcZCfJa6oHf8O+200N+y71Ffa67X7/XjjsFDj9N3YJTaUUoAnCHSJw6s9sknjtFts98tLnIKXffsVaur7++IUV/PSlL7jz7FHExfTRWr/qXbD8aVj6BOxeB7FJMOo8O9As/xjtFaRUD6QJwk0Tr4LUgfD8t+HvU+GyuZBzxHskeeUAABVvSURBVH5FLpyQz1e7a3hwwUY27arhwcvHk5XcR0bk+ptg4zuw5DH48t/2V37BsTDrT7araJuzKqVUz6ILBoXD1iXw1EXgb4RLnoFBxx9Q5OWlW/nJ3BVkJ8fz129NZMTA1IM/buV2WP0KrHvNVt34MsGXbXvf+LLsCF9fpnPf2R6b4MILbKNskz1TWPYUVG23zz32Ehh3BeQc6f7zK6VC1tGCQZogwqXsK3jyAigvsvM4jTzngCLLi8qZ/fgiKuua+MNFRzNz9IADH6d6p00Kq16CLR8DBnJH2Aby2lLnUma3BxOXfGDS8GXZ4xNSIT4F4gOuA7fFJrZfFdRYB6vnwdLHYfOHtl3g8Kk2KRwx3bbNKKV6HE0QPUVtGTx9sW2kPf3XtsdMGzsr67n2icUs/bqcH5w6jJtPHYanrgzWvgorX7RfvqbZzgU08jxbVdOm2opmv516urYUanfvSxw1u20MB2wvtY3FByNemywSUvdPIjFxsOkDaKiwAwfHXQ5jL7PVa0qpHk0TRE/SWAcvzoY18+C462Harw+YHrqhyc+vXviEhi9e4dupSxlRvwQxfsgcaht2R54H/UZ0b1z+JmiohIaqgOsqqK907rfdVhWwvRryJsD4K2DQFJ3uWqlepKMEoY3U4RabaCd7e/N/YOFfoHIrnPuIbRuor4R1rxO/6kV+teEdJLaRotocnks4h5PPvZb+R05yr7ePN8apetI1k5VSliaISPB4YfpvbTfYN35qG5uTc2H9W7aPfmo+cuy1MOo8NtcU8Junl3H3cxX8+bJSThiqU0srpcJDq5gibdXL8NK1kJBuG65HnmfHBQRU02zeXcN3H1vEV7tr+PlZI7jiuEGIjhtQSnUDbYPo6ZoawBNjzyzaUVXfyM3PLOOdtTu5ZFIBv5zVhwfVKaXCpqMEod8wPUFMfIfJASAlIZZHvjWR608ZytOfFXHZ3xayu7ohTAEqpaKRJohexOsRfjz9KO6/ZBxfbK3g7D/9h1XbKiIdllKqj9IE0QvNOnogL1x3As3GcP6DH/PaCp0yXCnV/TRB9FKj8tKYd8MURg5M4/tPLeGOV1ZSVd8Y6bCUUn2IJoheLCclnqeuOZarJg/m8YVbOO2eD3hz1Y5Ih6WU6iM0QfRy8TFefn7WSF783gmk+2KZ/fhivvfEYkoq6yMdmlKql9ME0UeMK8zg1Run8OPpR/Lu2p1M/cP7PLFwC83NfaMbs1Iq/DRB9CGxXg/Xn3I4b9x8EmMK0vifl1dy4cOf8GVJVaRDU0r1Qpog+qDB2Uk8cfWx/OHCo9m0q5oz7v+Qe95cR32jP9KhKaV6EU0QfZSIcP6EfN6+5WTOGjOQ+9/dwMz7P2ThptJIh6aU6iVcTRAiMl1E1onIBhG5Lcj+eBF51tn/qYgMdrYPFpE6EVnmXB5yM86+LCs5nnu+OZbHr55Ek99w8SMLuW3uCipqtUusUqpjriUIEfECfwZmACOAS0Sk7SIGVwN7jDGHA38Efhewb6MxZqxzuc6tOKPFicNyeOPmk7ju5KE8v7iYU+9ZwKvLt9FX5uJSSnU/N88gJgEbjDGbjDF7gWeAs9uUORt41Ln9AnCq6DSlrkmM83LbjKOYd8NkBqYncuPTS/nOPz+neE9tpENTSvVAbiaIPKAo4H6xsy1oGWNME1ABZDn7hojIUhF5X0ROdDHOqDNyYBovXT+ZO84cwadflXHaPR/wq3+tZvW2ykiHppTqQdxcMCjYmUDb+oz2ymwHCo0xpSIyAXhZREYaY/b7BhOR2cBsgMLCwm4IOXp4PcJ3pgzh9FH9+e38NTz2yWb+/tFXDB+Qyvnj8zh7bB45KfGRDlMpFUFuJohioCDgfj6wrZ0yxSISA6QBZcZWjDcAGGMWi8hG4AhgvwUfjDGPAI+AXQ/CjRfR1+WlJ/KnS8ezp2Yvr67YxtwlW7nrtTX89vW1nDQsm/Mn5DN1eD8SYjuejlwp1fe4mSA+B4aJyBBgK3AxcGmbMvOAK4FPgAuAd40xRkRysInCLyKHAcOATS7GGvUykuL41vGD+dbxg9mws4oXl2zlpaVbueGppaQkxHDmmIFcMCGP8YUZupqdUlHC1RXlRGQmcC/gBeYYY34tIncCi4wx80QkAXgcGAeUARcbYzaJyPnAnUAT4Ad+box5taPn6tUryvVQ/mbDwk2lzF1czOsrd1DX6Gdwlo/zxudz7rg8CjJ9kQ5RKdVFuuSo6rLqhib+vXIHcxcX84kz2O7YIZmcPz6fGaP7k5IQG+EIlVKHQhOE6lbFe2p5eelW5i7Zyle7a0iI9TBxUCaj89MYk5fGqLw08jMStSpKqV5AE4RyhTGGpUXlvLJ0K4u/3sO6HVU0+u3nKcMXy+j8dMbkpTE6P43ReWkMSEvQpKFUD9NRgnCzkVr1cSLC+MIMxhdmANDQ5GfdjipWFFfwRXEFK7ZW8OD7G/E7U45nJ8cxOi9tv8TRLzUhki9BKdUBTRCq28THeBmTn86Y/PTWbfWNftZsr+SLrRWtieP9L9fTskxFbko8Y/LTOGZwJlOGZTO8fyoej55lKNUTaIJQrkqI9TKuMINxzlkGQO3eJtZsr2xNGMuKy3l7zU54HbKS4jjh8GxOPDybKcOyGZieGMHolYpumiBU2PniYpgwKJMJgzJbt5VU1vPR+t18tMFeXl1ux1QelpPkJIscjjssU3tLKRVG2kitehxjDOtKqvho/W4+XL+bT78qpb6xGa9HGFeQzpRh2Zw4LJuj89OJ8eqSJkp1hfZiUr1aQ5OfxVv28J8Nu/lo/W5WbK3AGEiJj+HYw7I4cVg2YwvSOTw3maR4PSlWqjM0Qag+pbx2Lx9vLOXD9bv5aMMuisrqWvflpScyrF8yw3KTGdYvhWG5yRyem6xVU0q1Q7u5qj4l3RfHzNEDmDl6AABFZbWs3l7J+pIq1u+sZn1JNZ9sLKWhqbn1mAFpCa0JoyV5HJ6bTFqiJg6l2qMJQvV6BZk+CjJ9nD6yf+s2f7OhqKzWJoydVawvsddPfmrbM1r0S41nWG4KR/ZPYfiAVI7qn8KwfsnEx+jstUppglB9ktcjDM5OYnB2EqeN6Ne6vbnZsLW8ji8DzjZs4tjSmjhiPMLQnGSGD0jhqAGpDB+QyvABKeSm6KA+FV00Qaio4vFI6xnHqcP3JQ5/s+Gr3TWs3VHJmu2VrNlexadflfHysn1LmGQnx3FUf5sshjuJY2hOMnEx2pNK9U2aIJTCnnEc7jRonzlmYOv28tq9rNle5SSNStbsqOTRT7aw12nfiPXas410n23LMMZZNtGAwbTeN8Y41y37990HGJieYKctGZTB6Lw0XaBJ9QiaIJTqQLovjuOHZnH80KzWbU3+Zr7aXcPq7ZWs3VHF2u2V1DT4QewaugKIBwQPItgLQss8hSJiyzjlDbBmexVvrCoBbBXXiIGpjC/MYFxhOuMLM3R2XBUR2s1VqR5iV1UDy4rKWfL1HpZ+vYflRRXUNfoByE6Ob00W4wrTGZOfhi8utN93xhjKaxvZVd3AzsoGdlXXs6uqYd+luoH+qYlMHZ7LiUfkkKxjSaKKjoNQqhdq8jezdkcVS4vKWbplD0u+3sPm0lrAVokNH5DCuIIMxg9KJzHWu98X/q6qBnY693dXN7ROwx4oPsZDbmo82cnxbNpVQ0VdI3FeD8celsmpR+Vy6vB+umpgFNAEoVQfUVodeJZRzvKicmr2+lv3i0BWUjy5KfHkBF6S7XXg9uT4mNZqqyZ/M4u27OGdNSW8s2Ynm3bXAHBkvxROHW6TxdiCdLw6026fowlCqT7K32xYv7MKf7MhJyWeTF9ct8xPtWlXNe+u3cnba0r4fPMe/M2GrKQ4vnFULlOH5zJlWNeqomr3NlFavZfd1Q2UVu8lPtZDQYaPgemJ2isszDRBKKUOWUVtIwu+3Mk7a3ayYN1OKuubWquipg7vx6nDc+mXmkBZzb4v/NKaBicB7KWs5XbNXkqd/S1tK215BPqnJpCf6aMgw0dhpo+CzETbNTnDR25KvK4X0s00QSilukV7VVHtifUKWUnxZCXHkZUcT3ZSXOvtLOd2ZlI89Y1+ispqKdpTR3FZLV+X1VK0p5aSyob9Hi8uxkN+eqKTQBKdBOLDF+eloamZ+kY/DU3N9tJyu9FPfcD9wDIttxNiPfRLTaB/agL90xLol5rAgDR7Pys5vkdXrVXWN1JavZch2UmHdLwmCKWUK1qqomr3+u0Xf1I82clxZCbZJJCaENOl7rn1jX62ltftlzyK9tRSVFZH0Z5aymsbD/oYIrZBPiHWS3yMh/gYLwmx9jo+xkN8rIfavX5KKurZWdVAU/P+34lej5CbEn9AAumftm/bwPTEsIxdqdvrZ/X2CpYXVbCiuJwVxRVs2l3D+MJ0Xrx+8iE9pk7Wp5RyxWE5yRyWk+za4yfEehmak8zQdp6jqr6RorI66pv8B375x3pIiPES65WQk1Rzs2F3TQMlFQ3sqKy3l4o6dlQ0UFJZz4Zd1fxnw26qGpoOOHZAWgKDsnwMyU5iUFYSg7N8DMpKYlCWL+QuyYEa/c2s21HF8uJyVhRVsLy4nPU7q1vXeO+XGs+Y/HTOG5/Xui58d9MEoZTqtVISYhkxsPtm5PV4hNyUBHJTEhhNWrvlahqa2FFZT0mFTSLFe+rYXFrDltJa3lpdwu7qvfuVz02JZ7CTLAZnO9fO/ZSEWJqbDZt2V7eeGSwvrmD19srWEfvpvlhG56UxdXg/xuSncXRBOv1S3Z8bTKuYlFKqm1XVN7KltJYtpbVsLq1h8+6a1ts7q/ZvV8lKiqOhqZlq56zEF+dlVF4aR+enMSbfDooszPS5NpJeq5iUUiqMUhJiGZWXxqi8A89Cavc2Ocmjhs3OdYzH03pmMDQnucc0imuCUEqpMPLFxbTOBtzT6YgUpZRSQWmCUEopFZQmCKWUUkFpglBKKRWUJgillFJBaYJQSikVlCYIpZRSQWmCUEopFVSfmWpDRHYBW7rwENnA7m4Kxw0aX9dofF2j8XVNT45vkDEmJ9iOPpMgukpEFrU3H0lPoPF1jcbXNRpf1/T0+NqjVUxKKaWC0gShlFIqKE0Q+zwS6QAOQuPrGo2vazS+runp8QWlbRBKKaWC0jMIpZRSQWmCUEopFVRUJQgRmS4i60Rkg4jcFmR/vIg86+z/VEQGhzG2AhF5T0TWiMgqEbkpSJlTRKRCRJY5lzvCFV9ADJtF5Avn+Q9Y41Ws+533cIWIjA9jbEcGvDfLRKRSRG5uUyas76GIzBGRnSKyMmBbpoi8JSLrneugK86LyJVOmfUicmUY4/u9iKx1/n4viUh6O8d2+FlwMb5fiMjWgL/hzHaO7fD/3cX4ng2IbbOILGvnWNffvy4zxkTFBfACG4HDgDhgOTCiTZnrgYec2xcDz4YxvgHAeOd2CvBlkPhOAf4V4fdxM5Ddwf6ZwOuAAMcBn0bw770DOwgoYu8hcBIwHlgZsO1/gduc27cBvwtyXCawybnOcG5nhCm+aUCMc/t3weIL5bPgYny/AH4Uwt+/w/93t+Jrs/8PwB2Rev+6eommM4hJwAZjzCZjzF7gGeDsNmXOBh51br8AnCpurRTehjFmuzFmiXO7ClgD5IXjubvZ2cBjxloIpIvIgAjEcSqw0RjTldH1XWaM+QAoa7M58HP2KHBOkENPB94yxpQZY/YAbwHTwxGfMeZNY0yTc3chkN/dzxuqdt6/UITy/95lHcXnfHdcBDzd3c8bLtGUIPKAooD7xRz4BdxaxvkHqQCywhJdAKdqaxzwaZDdx4vIchF5XURGhjUwywBvishiEZkdZH8o73M4XEz7/5iRfg/7GWO2g/1hAOQGKdNT3sfvYM8IgznYZ8FNNzhVYHPaqaLrCe/fiUCJMWZ9O/sj+f6FJJoSRLAzgbZ9fEMp4yoRSQbmAjcbYyrb7F6CrTI5GngAeDmcsTkmG2PGAzOA74vISW3294T3MA6YBTwfZHdPeA9D0RPex58CTcCT7RQ52GfBLQ8CQ4GxwHZsNU5bEX//gEvo+OwhUu9fyKIpQRQDBQH384Ft7ZURkRggjUM7vT0kIhKLTQ5PGmNebLvfGFNpjKl2bs8HYkUkO1zxOc+7zbneCbyEPZUPFMr77LYZwBJjTEnbHT3hPQRKWqrdnOudQcpE9H10GsXPBC4zToV5WyF8FlxhjCkxxviNMc3AX9t53ki/fzHAecCz7ZWJ1PvXGdGUID4HhonIEOcX5sXAvDZl5gEtvUUuAN5t75+juzn1lX8H1hhj7mmnTP+WNhERmYT9+5WGIz7nOZNEJKXlNrYxc2WbYvOAbzm9mY4DKlqqU8Ko3V9ukX4PHYGfsyuBV4KUeQOYJiIZThXKNGeb60RkOvATYJYxpradMqF8FtyKL7BN69x2njeU/3c3TQXWGmOKg+2M5PvXKZFuJQ/nBdvD5kts74afOtvuxP4jACRgqyU2AJ8Bh4UxtinYU+AVwDLnMhO4DrjOKXMDsArbI2MhcEKY37/DnOde7sTR8h4GxijAn533+AtgYphj9GG/8NMCtkXsPcQmqu1AI/ZX7dXYdq13gPXOdaZTdiLwt4Bjv+N8FjcAV4Uxvg3Y+vuWz2FLz76BwPyOPgthiu9x57O1AvulP6BtfM79A/7fwxGfs/2fLZ+5gLJhf/+6etGpNpRSSgUVTVVMSimlOkEThFJKqaA0QSillApKE4RSSqmgNEEopZQKShOEUj2AM8vsvyIdh1KBNEEopZQKShOEUp0gIpeLyGfOHP4Pi4hXRKpF5A8iskRE3hGRHKfsWBFZGLCuQoaz/XAReduZMHCJiAx1Hj5ZRF5w1mJ4MlwzCSvVHk0QSoVIRIYD38ROsjYW8AOXAUnYuZ/GA+8DP3cOeQz4iTFmDHbkb8v2J4E/Gzth4AnYkbhgZ/C9GRiBHWk72fUXpVQHYiIdgFK9yKnABOBz58d9InaivWb2Tcr2BPCiiKQB6caY953tjwLPO/Pv5BljXgIwxtQDOI/3mXHm7nFWIRsMfOT+y1IqOE0QSoVOgEeNMbfvt1HkZ23KdTR/TUfVRg0Bt/3o/6eKMK1iUip07wAXiEgutK4tPQj7f3SBU+ZS4CNjTAWwR0ROdLZfAbxv7BofxSJyjvMY8SLiC+urUCpE+gtFqRAZY1aLyP9gVwHzYGfw/D5QA4wUkcXYVQi/6RxyJfCQkwA2AVc5268AHhaRO53HuDCML0OpkOlsrkp1kYhUG2OSIx2HUt1Nq5iUUkoFpWcQSimlgtIzCKWUUkFpglBKKRWUJgillFJBaYJQSikVlCYIpZRSQf1/WoraqNdiqPYAAAAASUVORK5CYII=\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "plt.plot(history.history['loss'])\n",
    "plt.plot(history.history['val_loss'])\n",
    "plt.title('model loss')\n",
    "plt.ylabel('loss')\n",
    "plt.xlabel('epoch')\n",
    "plt.legend(['train', 'test'], loc='upper left')\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<tensorflow.python.keras.engine.sequential.Sequential at 0x160f9763ba8>"
      ]
     },
     "execution_count": 38,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "metadata": {},
   "outputs": [],
   "source": [
    "digit = x_train[42421]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "metadata": {},
   "outputs": [],
   "source": [
    "digit = np.reshape(digit, (1,784))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(1, 784)"
      ]
     },
     "execution_count": 41,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "digit.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([[8.0673600e-29, 3.1871572e-24, 4.1984503e-22, 3.6193227e-27,\n",
       "        1.0000000e+00, 1.5909599e-20, 3.5118411e-25, 2.7405312e-23,\n",
       "        2.1068382e-25, 5.2487059e-23]], dtype=float32)"
      ]
     },
     "execution_count": 42,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.predict(digit)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 43,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([4], dtype=int64)"
      ]
     },
     "execution_count": 43,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.predict_classes(digit)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 44,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([[8.0673600e-29, 3.1871572e-24, 4.1984503e-22, 3.6193227e-27,\n",
       "        1.0000000e+00, 1.5909599e-20, 3.5118411e-25, 2.7405312e-23,\n",
       "        2.1068382e-25, 5.2487059e-23]], dtype=float32)"
      ]
     },
     "execution_count": 44,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.predict_proba(digit)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## MLP for binary classification"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "metadata": {},
   "outputs": [],
   "source": [
    "from tensorflow.keras.datasets import imdb\n",
    "\n",
    "(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[1,\n",
       " 14,\n",
       " 22,\n",
       " 16,\n",
       " 43,\n",
       " 530,\n",
       " 973,\n",
       " 1622,\n",
       " 1385,\n",
       " 65,\n",
       " 458,\n",
       " 4468,\n",
       " 66,\n",
       " 3941,\n",
       " 4,\n",
       " 173,\n",
       " 36,\n",
       " 256,\n",
       " 5,\n",
       " 25,\n",
       " 100,\n",
       " 43,\n",
       " 838,\n",
       " 112,\n",
       " 50,\n",
       " 670,\n",
       " 2,\n",
       " 9,\n",
       " 35,\n",
       " 480,\n",
       " 284,\n",
       " 5,\n",
       " 150,\n",
       " 4,\n",
       " 172,\n",
       " 112,\n",
       " 167,\n",
       " 2,\n",
       " 336,\n",
       " 385,\n",
       " 39,\n",
       " 4,\n",
       " 172,\n",
       " 4536,\n",
       " 1111,\n",
       " 17,\n",
       " 546,\n",
       " 38,\n",
       " 13,\n",
       " 447,\n",
       " 4,\n",
       " 192,\n",
       " 50,\n",
       " 16,\n",
       " 6,\n",
       " 147,\n",
       " 2025,\n",
       " 19,\n",
       " 14,\n",
       " 22,\n",
       " 4,\n",
       " 1920,\n",
       " 4613,\n",
       " 469,\n",
       " 4,\n",
       " 22,\n",
       " 71,\n",
       " 87,\n",
       " 12,\n",
       " 16,\n",
       " 43,\n",
       " 530,\n",
       " 38,\n",
       " 76,\n",
       " 15,\n",
       " 13,\n",
       " 1247,\n",
       " 4,\n",
       " 22,\n",
       " 17,\n",
       " 515,\n",
       " 17,\n",
       " 12,\n",
       " 16,\n",
       " 626,\n",
       " 18,\n",
       " 2,\n",
       " 5,\n",
       " 62,\n",
       " 386,\n",
       " 12,\n",
       " 8,\n",
       " 316,\n",
       " 8,\n",
       " 106,\n",
       " 5,\n",
       " 4,\n",
       " 2223,\n",
       " 5244,\n",
       " 16,\n",
       " 480,\n",
       " 66,\n",
       " 3785,\n",
       " 33,\n",
       " 4,\n",
       " 130,\n",
       " 12,\n",
       " 16,\n",
       " 38,\n",
       " 619,\n",
       " 5,\n",
       " 25,\n",
       " 124,\n",
       " 51,\n",
       " 36,\n",
       " 135,\n",
       " 48,\n",
       " 25,\n",
       " 1415,\n",
       " 33,\n",
       " 6,\n",
       " 22,\n",
       " 12,\n",
       " 215,\n",
       " 28,\n",
       " 77,\n",
       " 52,\n",
       " 5,\n",
       " 14,\n",
       " 407,\n",
       " 16,\n",
       " 82,\n",
       " 2,\n",
       " 8,\n",
       " 4,\n",
       " 107,\n",
       " 117,\n",
       " 5952,\n",
       " 15,\n",
       " 256,\n",
       " 4,\n",
       " 2,\n",
       " 7,\n",
       " 3766,\n",
       " 5,\n",
       " 723,\n",
       " 36,\n",
       " 71,\n",
       " 43,\n",
       " 530,\n",
       " 476,\n",
       " 26,\n",
       " 400,\n",
       " 317,\n",
       " 46,\n",
       " 7,\n",
       " 4,\n",
       " 2,\n",
       " 1029,\n",
       " 13,\n",
       " 104,\n",
       " 88,\n",
       " 4,\n",
       " 381,\n",
       " 15,\n",
       " 297,\n",
       " 98,\n",
       " 32,\n",
       " 2071,\n",
       " 56,\n",
       " 26,\n",
       " 141,\n",
       " 6,\n",
       " 194,\n",
       " 7486,\n",
       " 18,\n",
       " 4,\n",
       " 226,\n",
       " 22,\n",
       " 21,\n",
       " 134,\n",
       " 476,\n",
       " 26,\n",
       " 480,\n",
       " 5,\n",
       " 144,\n",
       " 30,\n",
       " 5535,\n",
       " 18,\n",
       " 51,\n",
       " 36,\n",
       " 28,\n",
       " 224,\n",
       " 92,\n",
       " 25,\n",
       " 104,\n",
       " 4,\n",
       " 226,\n",
       " 65,\n",
       " 16,\n",
       " 38,\n",
       " 1334,\n",
       " 88,\n",
       " 12,\n",
       " 16,\n",
       " 283,\n",
       " 5,\n",
       " 16,\n",
       " 4472,\n",
       " 113,\n",
       " 103,\n",
       " 32,\n",
       " 15,\n",
       " 16,\n",
       " 5345,\n",
       " 19,\n",
       " 178,\n",
       " 32]"
      ]
     },
     "execution_count": 46,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "train_data[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 47,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "1"
      ]
     },
     "execution_count": 47,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "train_labels[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 48,
   "metadata": {},
   "outputs": [],
   "source": [
    "# word_index is a dictionary mapping words to an integer indice\n",
    "word_index = imdb.get_word_index()\n",
    "# we reverse it, mapping integer indices to words\n",
    "reverse_word_index = dict([(value, key) for (key, value) in word_index.items()])\n",
    "# we decode the review; note that our indices were offset by 3\n",
    "# because 0, 1 and 2 are reserved indices for \"padding\", \"start of sequence\", and \"unknown\".\n",
    "decoded_review = ' '.join([reverse_word_index.get(i - 3, '?') for i in train_data[0]])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "\"? this film was just brilliant casting location scenery story direction everyone's really suited the part they played and you could just imagine being there robert ? is an amazing actor and now the same being director ? father came from the same scottish island as myself so i loved the fact there was a real connection with this film the witty remarks throughout the film were great it was just brilliant so much that i bought the film as soon as it was released for ? and would recommend it to everyone to watch and the fly fishing was amazing really cried at the end it was so sad and you know what they say if you cry at a film it must have been good and this definitely was also ? to the two little boy's that played the ? of norman and paul they were just brilliant children are often left out of the ? list i think because the stars that play them all grown up are such a big profile for the whole film but these children are amazing and should be praised for what they have done don't you think the whole story was so lovely because it was true and was someone's life after all that was shared with us all\""
      ]
     },
     "execution_count": 49,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "decoded_review"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 50,
   "metadata": {},
   "outputs": [],
   "source": [
    "def vectorize_sequences(sequences, dimension=10000):\n",
    "    results = np.zeros((len(sequences), dimension))  # create an all-zero matrix of shape (len(sequences), dimension)\n",
    "    for i, sequence in enumerate(sequences):\n",
    "        results[i, sequence] = 1.  # set specific indices of results[i] to 1s\n",
    "    return results\n",
    "\n",
    "# our vectorized training data\n",
    "x_train = vectorize_sequences(train_data)\n",
    "# our vectorized test data\n",
    "x_test = vectorize_sequences(test_data)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 51,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(10000,)"
      ]
     },
     "execution_count": 51,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "x_train[0].shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 52,
   "metadata": {},
   "outputs": [],
   "source": [
    "# our vectorized labels:\n",
    "y_train = np.asarray(train_labels).astype('float32')\n",
    "y_test = np.asarray(test_labels).astype('float32')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 53,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "1.0"
      ]
     },
     "execution_count": 53,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "y_train[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 54,
   "metadata": {},
   "outputs": [],
   "source": [
    "model = Sequential()\n",
    "model.add(Dense(16, activation='relu', input_shape=(10000,)))\n",
    "model.add(Dense(16, activation='relu'))\n",
    "model.add(Dense(1, activation='sigmoid'))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 57,
   "metadata": {},
   "outputs": [],
   "source": [
    "from tensorflow.keras import optimizers\n",
    "\n",
    "model.compile(optimizer=optimizers.RMSprop(lr=0.001),\n",
    "              loss='binary_crossentropy',\n",
    "              metrics=['accuracy'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 58,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Model: \"sequential_2\"\n",
      "_________________________________________________________________\n",
      "Layer (type)                 Output Shape              Param #   \n",
      "=================================================================\n",
      "dense_8 (Dense)              (None, 16)                160016    \n",
      "_________________________________________________________________\n",
      "dense_9 (Dense)              (None, 16)                272       \n",
      "_________________________________________________________________\n",
      "dense_10 (Dense)             (None, 1)                 17        \n",
      "=================================================================\n",
      "Total params: 160,305\n",
      "Trainable params: 160,305\n",
      "Non-trainable params: 0\n",
      "_________________________________________________________________\n"
     ]
    }
   ],
   "source": [
    "model.summary()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 59,
   "metadata": {},
   "outputs": [],
   "source": [
    "x_val = x_train[:10000]\n",
    "partial_x_train = x_train[10000:]\n",
    "\n",
    "y_val = y_train[:10000]\n",
    "partial_y_train = y_train[10000:]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 60,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Train on 15000 samples, validate on 10000 samples\n",
      "Epoch 1/20\n",
      "WARNING:tensorflow:From C:\\Users\\grigo\\Anaconda3\\envs\\tf2\\lib\\site-packages\\tensorflow_core\\python\\ops\\nn_impl.py:183: where (from tensorflow.python.ops.array_ops) is deprecated and will be removed in a future version.\n",
      "Instructions for updating:\n",
      "Use tf.where in 2.0, which has the same broadcast rule as np.where\n",
      "15000/15000 [==============================] - 5s 358us/sample - loss: 0.5725 - accuracy: 0.7891 - val_loss: 0.4527 - val_accuracy: 0.8654\n",
      "Epoch 2/20\n",
      "15000/15000 [==============================] - 2s 154us/sample - loss: 0.3684 - accuracy: 0.8917 - val_loss: 0.3507 - val_accuracy: 0.8720\n",
      "Epoch 3/20\n",
      "15000/15000 [==============================] - 2s 150us/sample - loss: 0.2672 - accuracy: 0.9177 - val_loss: 0.3022 - val_accuracy: 0.8851\n",
      "Epoch 4/20\n",
      "15000/15000 [==============================] - 2s 145us/sample - loss: 0.2075 - accuracy: 0.9339 - val_loss: 0.2782 - val_accuracy: 0.8915\n",
      "Epoch 5/20\n",
      "15000/15000 [==============================] - 2s 148us/sample - loss: 0.1685 - accuracy: 0.9477 - val_loss: 0.2778 - val_accuracy: 0.8894\n",
      "Epoch 6/20\n",
      "15000/15000 [==============================] - 2s 148us/sample - loss: 0.1397 - accuracy: 0.9561 - val_loss: 0.2999 - val_accuracy: 0.8810\n",
      "Epoch 7/20\n",
      "15000/15000 [==============================] - 2s 144us/sample - loss: 0.1172 - accuracy: 0.9649 - val_loss: 0.2978 - val_accuracy: 0.8824\n",
      "Epoch 8/20\n",
      "15000/15000 [==============================] - 2s 146us/sample - loss: 0.0982 - accuracy: 0.9723 - val_loss: 0.3115 - val_accuracy: 0.8839\n",
      "Epoch 9/20\n",
      "15000/15000 [==============================] - 2s 144us/sample - loss: 0.0840 - accuracy: 0.9763 - val_loss: 0.3213 - val_accuracy: 0.8840\n",
      "Epoch 10/20\n",
      "15000/15000 [==============================] - 2s 153us/sample - loss: 0.0694 - accuracy: 0.9823 - val_loss: 0.3940 - val_accuracy: 0.8697\n",
      "Epoch 11/20\n",
      "15000/15000 [==============================] - 2s 151us/sample - loss: 0.0583 - accuracy: 0.9869 - val_loss: 0.3678 - val_accuracy: 0.8819\n",
      "Epoch 12/20\n",
      "15000/15000 [==============================] - 2s 139us/sample - loss: 0.0481 - accuracy: 0.9889 - val_loss: 0.3985 - val_accuracy: 0.8748\n",
      "Epoch 13/20\n",
      "15000/15000 [==============================] - 2s 140us/sample - loss: 0.0395 - accuracy: 0.9910 - val_loss: 0.4252 - val_accuracy: 0.8755\n",
      "Epoch 14/20\n",
      "15000/15000 [==============================] - 2s 153us/sample - loss: 0.0306 - accuracy: 0.9935 - val_loss: 0.4607 - val_accuracy: 0.8739310 - \n",
      "Epoch 15/20\n",
      "15000/15000 [==============================] - 2s 141us/sample - loss: 0.0244 - accuracy: 0.9949 - val_loss: 0.5177 - val_accuracy: 0.8749\n",
      "Epoch 16/20\n",
      "15000/15000 [==============================] - 2s 137us/sample - loss: 0.0181 - accuracy: 0.9969 - val_loss: 0.5422 - val_accuracy: 0.8669\n",
      "Epoch 17/20\n",
      "15000/15000 [==============================] - 2s 143us/sample - loss: 0.0137 - accuracy: 0.9985 - val_loss: 0.5750 - val_accuracy: 0.8687\n",
      "Epoch 18/20\n",
      "15000/15000 [==============================] - 2s 148us/sample - loss: 0.0109 - accuracy: 0.9988 - val_loss: 0.6154 - val_accuracy: 0.8674\n",
      "Epoch 19/20\n",
      "15000/15000 [==============================] - 2s 143us/sample - loss: 0.0100 - accuracy: 0.9985 - val_loss: 0.6639 - val_accuracy: 0.8643\n",
      "Epoch 20/20\n",
      "15000/15000 [==============================] - 2s 147us/sample - loss: 0.0048 - accuracy: 0.9998 - val_loss: 0.6887 - val_accuracy: 0.8655\n"
     ]
    }
   ],
   "source": [
    "history = model.fit(partial_x_train,\n",
    "                    partial_y_train,\n",
    "                    epochs=20,\n",
    "                    batch_size=512,\n",
    "                    validation_data=(x_val, y_val))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 61,
   "metadata": {},
   "outputs": [],
   "source": [
    "history_dict = history.history"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 62,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAYIAAAEGCAYAAABo25JHAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjEsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy8QZhcZAAAYkElEQVR4nO3dfbBcd13H8fcnKWG4UtpCrlqb5N4AgZngoG2vGfABUZ5SdBLlMTGM5UEzKLEiPhAnTgnRjFJGYdCMGqSAcDEUEIhOIWABHZXW3GIoJDH0NiTtpaW9LYXCRClpv/5xziXbzdmHm7O/3bN7Pq+Znbvnd367++3p5nz3/J6OIgIzM6uvJYMOwMzMBsuJwMys5pwIzMxqzonAzKzmnAjMzGruvEEHsFjLly+PycnJQYdhZjZUbr755nsjYrxo39AlgsnJSWZmZgYdhpnZUJF0stU+Nw2ZmdWcE4GZWc0lTQSS1ks6JmlW0vaC/W+TdCh/fEXSN1PGY2ZmZ0vWRyBpKbAHeB4wBxyUtD8ijizUiYjfaaj/W8ClqeIxM7NiKa8I1gGzEXE8Ih4E9gEb29TfDPxDwnjMzKxAykRwCXBHw/ZcXnYWSRPAauAzLfZvlTQjaWZ+fr7ngZqZDYOdO9O8b8pEoIKyVkudbgI+HBEPFe2MiL0RMRURU+PjhcNgzcxG3pvfnOZ9UyaCOWBlw/YK4M4WdTfhZiEzs4FImQgOAmskrZa0jOxkv7+5kqSnAhcBn08Yi5nZUNq5E6TsAWee97KZKFkiiIjTwDbgAHAUuC4iDkvaJWlDQ9XNwL7wHXLMzM6ycydEZA8487yXiSDpEhMRcT1wfVPZ1U3bO1PGYGZm7XlmsZnZkHjTm9K8rxOBmVmflG3OGcbho2Zm1iDV8M+ynAjMzGrOicDMLKF+DP8sS8M2anNqaip8YxozG0bSmWGg/f9s3RwRU0X7fEVgZlZzTgRmZn2SavhnWU4EZmZ9UqV+gUZOBGZmNedEYGZWc04EZmY150RgZlZzTgRmZjXnRGBmVnNOBGZmXarq8M+ynAjMzLpU1dVDy3IiMDOrOScCM7M2hmH10LK8+qiZWZcGuXpoWQNbfVTSeknHJM1K2t6izsskHZF0WNIHUsZjZmZnOy/VG0taCuwBngfMAQcl7Y+IIw111gB/CPxURNwv6QdTxWNmVlZVVw8tK+UVwTpgNiKOR8SDwD5gY1OdXwf2RMT9ABFxT8J4zMxKGaV+gUYpE8ElwB0N23N5WaOnAE+R9B+SbpS0vuiNJG2VNCNpZn5+PlG4Zmb1lDIRqKCsuZvlPGAN8GxgM/B3ki4860UReyNiKiKmxsfHex6omVmdpUwEc8DKhu0VwJ0FdT4eEd+LiK8Cx8gSg5mZ9UnKRHAQWCNptaRlwCZgf1OdjwE/ByBpOVlT0fGEMZmZWZNkiSAiTgPbgAPAUeC6iDgsaZekDXm1A8B9ko4AnwV+PyLuSxWTmdXbqHb2llWLCWXT07BjB9x+O6xaBbt3w5YtiQI0s8oa5glhZbWbUJZsHkFVTE/D1q1w6lS2ffJktg1OBmZmUIO1hnbsOJMEFpw6lZWb2eirw1pBZY1809CSJcWXghI8/HAPAzOzynPT0ADWGqqCVasWV25mVjcjnwh274axsUeWjY1l5WZWL6O6VlBZI58ItmyBvXthYiK7LJyYyLbdUWxWP+4XKDbyo4YgO+n7xG9mVmzkrwjMzKw9JwIzGxpu2knDicDMhsab3zzoCEaTE4GZWc05EZhZpXlmcHojP7PYzEZHnWcGl1XrmcVmZtaeE4GZDQ3PDE7DicDM+qZsu777BdJwIjCzvvHwz2pyIjAzqzknAjNLysM/q8/DR82sbzz8c3AGNnxU0npJxyTNStpesP+VkuYlHcofv5YyHjMzO1uyZaglLQX2AM8D5oCDkvZHxJGmqh+MiG2p4jCz6vDwz2pKeUWwDpiNiOMR8SCwD9iY8PPMrOLcL1BNKRPBJcAdDdtzeVmzF0u6RdKHJa0seiNJWyXNSJqZn59PEauZWW2lTAQqKGvuJvonYDIing78C/DeojeKiL0RMRURU+Pj4z0O08ys3lImgjmg8Rf+CuDOxgoRcV9EfDfffCdwecJ4zMysQMpEcBBYI2m1pGXAJmB/YwVJFzdsbgCOJozHzMwKJBs1FBGnJW0DDgBLgWsj4rCkXcBMROwHrpK0ATgNfAN4Zap4zMysmCeUmZnVgO9HYGZmLTkRmJnVnBOBmXXNE8JGkxOBmXXN9xMYTbVKBP41Y2Z2tlolAv+aMVs8309g9NVq+KjXQjcrx/+Ghleth4/614yZWXvJZhZXxc6dZ076/jVjVo7vJzCaRv6KwMx6x1fSo6lWicC/ZszMzlarROBfM2ZmZ6tVIjCrO/8YsiJOBGY14rk0VsSJwMys5pwIzEac59JYJ7WaWWxWd55LU1+1nllsZmbtORGY1Yjn0lgRJwKzGnG/gBVJmggkrZd0TNKspO1t6r1EUkgqbL8ys4xP5JZCskQgaSmwB7gCWAtslrS2oN75wFXATaliMeuFKpyEPQ/AUkh5RbAOmI2I4xHxILAP2FhQ74+Ba4D/SxiLWWk+CduoSpkILgHuaNiey8u+T9KlwMqI+Od2byRpq6QZSTPz8/O9j9SswjwPwFJLmQhUUPb9EcySlgBvA3630xtFxN6ImIqIqfHx8R6GaNZeFU7CO3dmY/8Xxv8vPHcisF5JmQjmgJUN2yuAOxu2zwd+FPicpBPAM4D97jC2KvFJ2OogZSI4CKyRtFrSMmATsH9hZ0R8KyKWR8RkREwCNwIbIsLThs1a8DwASyFZIoiI08A24ABwFLguIg5L2iVpQ6rPNUulCidhX4lYCl5ryMysBrzWUEnT0zA5CUuWZH+npwcdkQ0j/5q3quoqEUh6kqRH58+fLekqSRemDa0apqdh61Y4eTLrJDx5Mtt2MrDF8jwEq6purwg+Ajwk6cnAu4DVwAeSRVUhO3bAqVOPLDt1Kis3MxsF3SaCh/PO318G3h4RvwNcnC6s6rj99sWVmzWqwjwEs066TQTfk7QZuBJYmAX8qDQhVcuqVYsrN2vkeQg2DLpNBK8CngnsjoivSloNvD9dWNWxezeMjT2ybGwsKzczGwXndVMpIo6QrRCKpIuA8yPiz1IGVhVbtmR/d+zIOoonJrIksFBu1q0qzEMwK9LVPAJJnwM2kCWOQ8A88K8R8Yak0RUY5DwC3+/VzIZVL+YRXBARDwAvAt4dEZcDz+1VgFXmzj4zG3XdJoLzJF0MvIwzncW14M4+Mxt13SaCXWRrBt0WEQclPRG4NV1YZmbWL912Fn8I+FDD9nHgxamCqip39pnZKOp2iYkVkj4q6R5Jd0v6iKQVqYOrGjcHmdko6rZp6N1k9xL4EbLbTf5TXmY2NJzIzYp1mwjGI+LdEXE6f7wH8D0jbah40TezYt0mgnslvULS0vzxCuC+lIGZmVl/dJsIXk02dPTrwF3AS8iWnTDrm3Np2vE8ELPOzvkOZZJeHxFv73E8HfkOZfVVdma3Z4ZbnaW6Q1nfl5cwM7PeK5MI1LGCtF7SMUmzkrYX7H+tpC9JOiTp3yWtLRFP5bk5YvF62bTjeSBmxco0Dd0eES1X5Ze0FPgK8DxgDjgIbM5XMl2o87h8DSMkbQB+MyLWt/vcYW4aGvamiZ07yyWzsq8f9uNnNkjn3DQk6duSHih4fJtsTkE764DZiDgeEQ8C+4CNjRUWkkDuBwD/M6+wssMvPXzTrJraJoKIOD8iHlfwOD8iOi1PcQlwR8P2XF72CJJeJ+k24Bryex6MEo9a6R037ZilUaaPoJOiPoSzfvFHxJ6IeBLwRuCPCt9I2ippRtLM/Px8j8NMa9hXLy2byHqZCIflmJkNm3PuI+j4xtIzgZ0R8YJ8+w8BIuJPW9RfAtwfERe0e1/3EQyOh2+aDa9Uw0c7OQiskbRa0jJgE9l6RY2BrWnY/AVGfGlrN22YWRUlSwQRcRrYRnYfg6PAdRFxWNKufIQQwDZJhyUdIpuXcGWqeKqgbNPGoF9fNpE5EZpVU7KmoVSGuWmoLDfNmNm5GlTTkJmZDQEngj6YnobJSViyJPs7Pd39a6s0asfMRpObhhKbnoatW+HUqTNlY2Owdy9s2bK493LTkJmdKzcNDdCOHY9MApBt79gxmHjMzJo5ESR2++2LK2/Ho3bMLAUngsRWtViWr1V5O4MePmpmo8mJILHdu7M+gUZjY1m5mVkVOBEktmVL1jE8MZF11k5MnFtHsZlZKp1WELUe2LLFJ34zqy5fEZiZ1ZwTgZlZzTkRmJnVnBOBmVnNORGYmdWcE4GZWc05EZiZ1ZwTgZlZzTkRmJnVnBPBEChzYxszs068xETFNd/Y5uTJbBu8bIWZ9UbSKwJJ6yUdkzQraXvB/jdIOiLpFkk3SJpIGc8w8o1tzCy1ZIlA0lJgD3AFsBbYLGltU7X/BqYi4unAh4FrUsUzrHp5YxszsyIprwjWAbMRcTwiHgT2ARsbK0TEZyNi4ffujcCKhPEMpV7e2MbMrEjKRHAJcEfD9lxe1sprgE8U7ZC0VdKMpJn5+fkehlh9vrGNmaWWMhGooCwKK0qvAKaAtxbtj4i9ETEVEVPj4+M9DLH6fGMbM0st5aihOWBlw/YK4M7mSpKeC+wAfjYivpswnqHlG9uYWUoprwgOAmskrZa0DNgE7G+sIOlS4G+BDRFxT8JYzMyshWSJICJOA9uAA8BR4LqIOCxpl6QNebW3Ao8FPiTpkKT9Ld7OzMwSSTqhLCKuB65vKru64flzU36+mZl15iUmzMxqzomgBrxWkZm147WGRpzXKjKzTnxFMOK8VpGZdeJEMOK8VpGZdeJEMOK8VpGZdeJEMOK8VpGZdeJEMOK8VpGZdeJRQzXgtYrMrB1fEVhHnodgNtp8RWBteR6C2ejzFYG15XkIZqPPicDa8jwEs9HnRGBteR6C2ehzIrC2PA/BbPQ5EVhbvZiH4FFHZtXmUUPWUZl5CB51ZFZ9viKwpDzqyKz6nAgsKY86Mqs+JwJLyqOOzKovaSKQtF7SMUmzkrYX7H+WpC9IOi3pJSljscHwqCOz6kuWCCQtBfYAVwBrgc2S1jZVux14JfCBVHHYYHnUkVn1pRw1tA6YjYjjAJL2ARuBIwsVIuJEvu/hhHHYgHnUkVm1pWwaugS4o2F7Li9bNElbJc1Impmfn+9JcDYcPOrILL2UiUAFZXEubxQReyNiKiKmxsfHS4Zlw8SjjszSS5kI5oCVDdsrgDsTfp6NoF6MOnIfg1l7KRPBQWCNpNWSlgGbgP0JP89GUNlRRwt9DCdPQsSZPgYnA7MzkiWCiDgNbAMOAEeB6yLisKRdkjYASPoJSXPAS4G/lXQ4VTw2nMqOOnIfg1lnijinZvuBmZqaipmZmUGHYUNiyZLsSqCZBA97rJrViKSbI2KqaJ9nFttIcx+DWWdOBDbS3Mdg1pkTgY009zGYdeZEYCNvyxY4cSLrEzhxYnEzknsxj8FNS1Z1TgRmbZTtY3DTkg0DJwKzNsr2MbhpyYaBE4FZG2X7GHq1RIablywl37PYrIMyq6euWpU1BxWVd8srsFpqviIwS6gXN+Zx85Kl5kRgllAvbszjkUuWmpuGzBIr07QE5ZuX3LRknfiKwKziqjByyVcUo82JwKziBj1yyXMhRp8TgdkQKDM7uuykOF9RjD4nArMRV7ZpyVcUo8+JwGzElW1a8hXF6HMiMKuBMk1Lo3BF4UTSnhOBmbU17FcUVUgklU9EETFUj8svvzzMbHi8//0RY2MR2Wk4e4yNZeXdkB752oWH1N3rJyaKXz8x0Z/4y76+V4CZaHFe9RWBmSU16CuKsk1TZa9IhqGPJGkikLRe0jFJs5K2F+x/tKQP5vtvkjSZMh4zG4xB9lEMOpFUoY+kk2SJQNJSYA9wBbAW2CxpbVO11wD3R8STgbcBb0kVj5kNp7JXFINOJIPuI+lGyiuCdcBsRByPiAeBfcDGpjobgffmzz8MPEeSEsZkZkOozBXFoBPJoEdddSNlIrgEuKNhey4vK6wTEaeBbwFPaH4jSVslzUiamZ+fTxSumY2qQSaSQfeRdCNlIij6ZR/nUIeI2BsRUxExNT4+3pPgzMy6VSaRlH19L+5p0UnKRDAHrGzYXgHc2aqOpPOAC4BvJIzJzGyo9OKeFp2kvB/BQWCNpNXA14BNwK801dkPXAl8HngJ8Jl8vKuZmeXK3tOik2SJICJOS9oGHACWAtdGxGFJu8gmNuwH3gW8T9Is2ZXAplTxmJlZsaR3KIuI64Hrm8qubnj+f8BLU8ZgZmbteWaxmVnNORGYmdWcE4GZWc1p2AbpSJoHTg46jhaWA/cOOog2HF85VY8Pqh+j4yunTHwTEVE4EWvoEkGVSZqJiKlBx9GK4yun6vFB9WN0fOWkis9NQ2ZmNedEYGZWc04EvbV30AF04PjKqXp8UP0YHV85SeJzH4GZWc35isDMrOacCMzMas6JYJEkrZT0WUlHJR2W9NsFdZ4t6VuSDuWPq4veK2GMJyR9Kf/smYL9kvSO/F7Rt0i6rI+xPbXhuByS9ICk1zfV6fvxk3StpHskfbmh7PGSPi3p1vzvRS1ee2Ve51ZJV/YptrdK+p/8/99HJV3Y4rVtvwuJY9wp6WsN/x9f2OK1be9tnjC+DzbEdkLSoRavTXoMW51T+vr9iwg/FvEALgYuy5+fD3wFWNtU59nAPw8wxhPA8jb7Xwh8guzGQM8AbhpQnEuBr5NNdBno8QOeBVwGfLmh7Bpge/58O/CWgtc9Hjie/70of35RH2J7PnBe/vwtRbF1811IHONO4Pe6+A7cBjwRWAZ8sfnfU6r4mvb/OXD1II5hq3NKP79/viJYpIi4KyK+kD//NnCUs2/BWXUbgb+PzI3AhZIuHkAczwFui4iBzxSPiH/j7JsiNd5T+73ALxW89AXApyPiGxFxP/BpYH3q2CLiU5Hd3hXgRrIbPw1Mi+PXjW7ubV5au/jy+6S/DPiHXn9uN9qcU/r2/XMiKEHSJHApcFPB7mdK+qKkT0h6Wl8Dy273+SlJN0vaWrC/m/tJ98MmWv/jG+TxW/BDEXEXZP9YgR8sqFOFY/lqsiu8Ip2+C6lty5uvrm3RtFGF4/czwN0RcWuL/X07hk3nlL59/5wIzpGkxwIfAV4fEQ807f4CWXPHjwF/CXysz+H9VERcBlwBvE7Ss5r2d3Wv6JQkLQM2AB8q2D3o47cYAz2WknYAp4HpFlU6fRdS+mvgScCPA3eRNb80G/h3EdhM+6uBvhzDDueUli8rKFv08XMiOAeSHkX2P2w6Iv6xeX9EPBAR38mfXw88StLyfsUXEXfmf+8BPkp2+d2om/tJp3YF8IWIuLt5x6CPX4O7F5rM8r/3FNQZ2LHMOwZ/EdgSeYNxsy6+C8lExN0R8VBEPAy8s8VnD/S7qOxe6S8CPtiqTj+OYYtzSt++f04Ei5S3J74LOBoRf9Gizg/n9ZC0juw439en+H5A0vkLz8k6Fb/cVG0/8Kv56KFnAN9auATto5a/wgZ5/Jos3FOb/O/HC+ocAJ4v6aK86eP5eVlSktYDbwQ2RMSpFnW6+S6kjLGx3+mXW3z29+9tnl8lbiI77v3yXOB/ImKuaGc/jmGbc0r/vn+pesJH9QH8NNml1y3AofzxQuC1wGvzOtuAw2QjIG4EfrKP8T0x/9wv5jHsyMsb4xOwh2y0xpeAqT4fwzGyE/sFDWUDPX5kSeku4Htkv7JeAzwBuAG4Nf/7+LzuFPB3Da99NTCbP17Vp9hmydqGF76Df5PX/RHg+nbfhT4ev/fl369byE5qFzfHmG+/kGykzG2pYiyKLy9/z8L3rqFuX49hm3NK375/XmLCzKzm3DRkZlZzTgRmZjXnRGBmVnNOBGZmNedEYGZWc04EZjlJD+mRK6P2bCVMSZONK1+aVcl5gw7ArEL+NyJ+fNBBmPWbrwjMOsjXo3+LpP/KH0/Oyyck3ZAvqnaDpFV5+Q8pu0fAF/PHT+ZvtVTSO/M15z8l6TF5/askHcnfZ9+A/jOtxpwIzM54TFPT0Msb9j0QEeuAvwLenpf9Fdly3k8nW/TtHXn5O4B/jWzRvMvIZqQCrAH2RMTTgG8CL87LtwOX5u/z2lT/cWateGaxWU7SdyLisQXlJ4Cfj4jj+eJgX4+IJ0i6l2zZhO/l5XdFxHJJ88CKiPhuw3tMkq0bvybffiPwqIj4E0mfBL5DtsrqxyJfcM+sX3xFYNadaPG8VZ0i3214/hBn+uh+gWztp8uBm/MVMc36xonArDsvb/j7+fz5f5KtlgmwBfj3/PkNwG8ASFoq6XGt3lTSEmBlRHwW+APgQuCsqxKzlPzLw+yMx+iRNzD/ZEQsDCF9tKSbyH48bc7LrgKulfT7wDzwqrz8t4G9kl5D9sv/N8hWviyyFHi/pAvIVoV9W0R8s2f/RWZdcB+BWQd5H8FURNw76FjMUnDTkJlZzfmKwMys5nxFYGZWc04EZmY150RgZlZzTgRmZjXnRGBmVnP/D7jOLrdGY5xuAAAAAElFTkSuQmCC\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "loss_values = history_dict['loss']\n",
    "val_loss_values = history_dict['val_loss']\n",
    "epochs = range(1, len(loss_values) + 1)\n",
    "\n",
    "# \"bo\" is for \"blue dot\"\n",
    "plt.plot(epochs, loss_values, 'bo')\n",
    "# b+ is for \"blue crosses\"\n",
    "plt.plot(epochs, val_loss_values, 'b+')\n",
    "plt.xlabel('Epochs')\n",
    "plt.ylabel('Loss')\n",
    "\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 63,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAYgAAAEGCAYAAAB/+QKOAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjEsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy8QZhcZAAAZDUlEQVR4nO3dfbRldX3f8fcHEHWqIjhTYxhmBhNsxTb14RatiQ8rVERiJcpaFTqpBF1rSpZEYzWKHRsIDW21T1kaSjImVKPTILY1mbqMSFloVls1XBRQQGQgzDCCOkrU6GSpA9/+sfcthzv73jlzzz1nn3vv+7XWXufs3977nu/sOXd/7+9h/3aqCkmS5juq7wAkSdPJBCFJ6mSCkCR1MkFIkjqZICRJnY7pO4Dlsn79+tqyZUvfYUjSinLTTTd9q6o2dG1bNQliy5YtzM7O9h2GJK0oSfYstM0mJklSJxOEJKmTCUKS1MkEIUnqZIKQJHUaW4JIclWSbyb58gLbk+S9SXYnuTXJcwe2nZ/krnY5f1wxStJKtnMnbNkCRx3VvO7cubw/f5w1iA8AZy6y/RXAKe2yDbgSIMkJwCXA84HTgEuSHD/GOCWtUaNeYPs8fudO2LYN9uyBquZ127ZlThJVNbYF2AJ8eYFtvwecN7B+J/A04Dzg9xbab6Hlec97XknSsD784ap166qay2uzrFvXlK+E4zdvfvSxc8vmzcMdPweYrQWuq332QZwI3Dewvq8tW6j8EEm2JZlNMrt///6xBSppOo3yF/j27XDgwKPLDhxoylfC8Xv3Hln5UvSZINJRVouUH1pYtaOqZqpqZsOGzjvFJa1SozaxjHqB7fv4TZuOrHwp+kwQ+4CTBtY3AvcvUi5plemzBjDqBbbv4y+/HNate3TZunVN+XLpM0HsAl7XjmZ6AfDdqnoAuBY4I8nxbef0GW2ZpCnTZyfrqH+Bj3qB7fv4rVthxw7YvBmS5nXHjqZ82SzUOTHqAvwR8ADwY5pawRuAC4EL2+0BrgDuBr4EzAwc+3pgd7tcMMzn2UktTVbfnazL0Un74Q83+yfN67CxT8vxy4FFOqnTbF/5ZmZmytlcpcnZsqX5q3++zZvh3nsPf/xRRzWX9PkSePjhwx8/VwMZbGZat24Mf0WvckluqqqZrm3eSS2tYaM0EfXdyTqRJpY1zgQhrVGj9gFMQyfr1q1NbeXhh5tXk8PyMkFIK1ifo4BWRCerRmKCkHq0kkcBLccF3hrAdLOTWurJqJ2so3YSj3q8Vgc7qaUp1PdUC5O40UormwlC6omjgDTtTBBSTxwFpGlngpBGMEons6OANO2O6TsAaaWa38k8N4oIhrtIz+2zfXvTrLRpU5McjnQUkAlB4+IoJmmJHAWk1cBRTNIYTOKBLVKfTBDSEk3igS1Sn0wQWtP67GSWpp0JQmvWqFNVOIpIq52d1Fqz7GSW7KSWOtnJLC3OBKEVbZQ+BDuZpcWZILRijdqHYCeztDgThFasUWdDtZNZWpyd1FqxRn3ovSQ7qbVK2YcgjZcJQiuWfQjSeJkgtGLZhyCNlwlCvRplmCr4wBtpnHwehHoz6vMUJI2XNQj1ZtRhqpLGywSh3jjVhTTdTBDqjcNUpelmglBvHKYqTTcThHrjMFVpujmKSb3autWEIE0raxAayaj3MUiaXtYgtGTexyCtbtYgtGTexyCtbiYILZn3MUirmwlCS+Z9DNLqZoLQknkfg7S6jTVBJDkzyZ1Jdie5uGP75iTXJ7k1yaeTbBzY9lCSm9tl1zjj1NJ4H4O0uo3tkaNJjga+CrwM2AfcCJxXVbcP7PNR4ONV9cEkPw9cUFX/tN32/ap6wrCf5yNHJenI9fXI0dOA3VV1T1X9CLgaOHvePqcC17fvb+jYrjHzPgZJCxlngjgRuG9gfV9bNugW4Jz2/auBJyZ5Srv+uCSzST6X5Be7PiDJtnaf2f379y9n7GvC3H0Me/ZA1SP3MZgkJMF4E0Q6yua3Z70NeEmSLwIvAb4GHGy3bWqrPf8E+O0kP3XID6vaUVUzVTWzYcOGZQx9bfA+BkmLGeed1PuAkwbWNwL3D+5QVfcDrwFI8gTgnKr67sA2quqeJJ8GngPcPcZ41xzvY5C0mHHWIG4ETklycpJjgXOBR41GSrI+yVwM7wSuasuPT/LYuX2AnwVuR8vK+xgkLWZsCaKqDgIXAdcCdwDXVNVtSS5L8qp2t5cCdyb5KvBUYG4E/TOB2SS30HRe/9vB0U9aHt7HIGkxYxvmOmkOc12anTubPoe9e5uaw+WXex+DtJYsNszV2VzXOJ/HIGkhTrUhSepkgpAkdTJBSJI6mSAkSZ1MEJKkTiaIFc7J9iSNi8NcV7C5yfbm5lOam2wPHLoqaXTWIFYwJ9uTNE4miBXMyfYkjZMJYgVzsj1J42SCWMGcbE/SOJkgVrCtW2HHDti8GZLmdccOO6glLQ9HMa1wTrYnaVysQUiSOpkgJEmdTBCSpE4mCElSJxOEJKmTCUKS1MkEIUnqZILomdN1S5pW3ijXI6frljTNrEH0yOm6JU0zE0SPnK5b0jQzQfTI6bolTbPDJogkFyU5fhLBrDVO1y1pmg1Tg/gJ4MYk1yQ5M0nGHdRa4XTdkqZZqurwOzVJ4QzgAmAGuAb4g6q6e7zhDW9mZqZmZ2f7DkOSVpQkN1XVTNe2ofogqskiX2+Xg8DxwH9L8p5li1KSNFUOex9EkjcB5wPfAn4f+PWq+nGSo4C7gLePN0RJUh+GuVFuPfCaqtozWFhVDyd55XjCkiT1bZgmpk8AD86tJHlikucDVNUd4wpMktSvYRLElcD3B9Z/0JZJklaxYRJEamCoU1U9jHM4SdKqN0yCuCfJm5I8pl3eDNwz7sAkSf0aJkFcCLwQ+BqwD3g+sG2cQUmS+nfYpqKq+iZw7gRikSRNkWHmYnpckjcm+c9Jrppbhvnh7dQcdybZneTiju2bk1yf5NYkn06ycWDb+Unuapfzj+yfJUka1TBNTB+imY/p5cBngI3AXx3uoCRHA1cArwBOBc5Lcuq83f498IdV9TPAZcC/aY89AbiEpjnrNOASJwyUpMkaJkH8dFX9S+AHVfVB4BeAvzvEcacBu6vqnqr6EXA1cPa8fU4Frm/f3zCw/eXAdVX1YFX9JXAdcOYQnylJWibDJIgft6/fSfJ3gOOALUMcdyJw38D6vrZs0C3AOe37VwNPTPKUIY8lybYks0lm9+/fP0RIkqRhDZMgdrTNO+8CdgG3A+8e4riuacHnTx37NuAlSb4IvIRmpNTBIY+lqnZU1UxVzWzYsGGIkCRJw1p0FFM7Id/32maePwOefgQ/ex9w0sD6RuD+wR2q6n7gNe1nPQE4p6q+m2Qf8NJ5x376CD5bkjSiRWsQ7V3TFy3xZ98InJLk5CTH0gyV3TW4Q5L1bRICeCcwNzrqWuCMJMe3tZcz2jJJ0oQM08R0XZK3JTkpyQlzy+EOqqqDNMnlWuAO4Jqqui3JZUle1e72UuDOJF8Fngpc3h77IPCvaJLMjcBlbZkkaUIO+0S5JH/RUVxVdSTNTWPX1xPldu6E7dth717YtKl5nnQfjwy99NJmkaQjsdgT5YZ65OhK0EeC2LkTtm2DAwceKVu3rp/nSiewSv4rJU3QSI8cTfK6rmX5w1x5tm9/dHKAZn379n7iGYW1D0nzDdMH8fcHlhcBlwKvWuyAtWLv3iMrX26XXtrUHNIOCp57v5SL/W/+5nJGJmk1OOImpiTHAR+qqqlKEn00MW3ZAnv2HFq+eTPce+9EQxm5ickmKmltGqmJqcMB4JTRQlodLr+86XMYtG5dU74SLGcNRNLqM0wfxP9MsqtdPg7cCfzJ+EObflu3Nh3Smzc3F9bNm5feQT3qRfmSS5b2mVWP1Bzm3psgJMFww1xfMrB6ENhTVfvGGtUS9DXMdbn03cTT9+ePatRhvg4T1lo1ahPTXuDzVfWZqvo/wLeTbFnG+DQFllIDWU6jXpxH7WS3k1461DAJ4qPAwwPrD7VlGtE09QH0/dfzWr9A933+pS7DJIhj2uc5ANC+P3Z8Ia0dq6kPoK+kNkqCnaYEvdYTpKbTMH0Q1wHvq6pd7frZwJuq6vQJxDc0+yD6tZT4L720+8J4ySVHfpFe6cN8+/58rV2j9kFcCPyLJHuT7AXeAfyz5QxQ/fcB9GE11aCWYppqMFKXwyaIqrq7ql5A83jQZ1XVC6tq9/hDW1tW4kVhmi5woybYPhL0Wk+Qmn7DNDH9a+A9VfWddv144K1V9a4JxDe0ld7EtNKN2kSy1oeZ2sSkvozaxPSKueQA0D5d7qzlCk6CtZ0coP8mxr7Pf9+fr27DJIijkzx2biXJ44HHLrK/1qC+L3Ar3agXyL7vI+n78zUewzQxvZ1m9tb/0hZdAOyqqveMObYjYhOT1rK+R3H1fbyWbqQmpjYR/BbwTJqO6k8Cm5c1wlXAKrJWmr4HGfT9+Tq8YWdz/TrN3dTnAKfTPGNaA6wia9KW40bBUUZR9f35Gr8Fm5iSPAM4FzgP+DbwEeBtVTWVtYe+m5isIq9tfY/C6ruJp+/jtXRLbWL6Ck1t4R9V1c9V1fto5mFSyyqy5qz0GmTfgwz6/nx/Z7stliDOoWlauiHJ+5OcDmQyYa0MVpE1LUa9wPbxPJLl/PxR9T2Ka1otmCCq6mNV9VrgbwOfBt4CPDXJlUnOmFB80tSaphpk3xeotf75K70GuZBhRjH9oKp2VtUrgY3AzcDFY49swvr+C0orjzXI6bGUC/Q0JfhRjSvmw94HsVKM2kltJ5lG4fenX310ki/nbMSjDnIY5d8/6lQbkg7DGuTk9V0DWM4a5LQ2Ua3pBNH3F0yrh9+ZyVvOC/RKTPCTuH7ZxNSyiUBaufr+/V1KE9G0PDBrsSYmE0Sr7y+YpKXr+0bFUfV5o6F9EENYiVVMSY2VnByWw7iuXyaI1lr/gknqz7TeaGiCkKSeTesfqCYISVInE4QkqZMJQpLUyQQhSepkgpAkdTJBSJI6jTVBJDkzyZ1Jdic5ZIrwJJuS3JDki0luTXJWW74lyV8nubldfneccUqSDnXMuH5wkqOBK4CXAfuAG5PsqqrbB3Z7F3BNVV2Z5FTgE8CWdtvdVfXsccUnSVrcOGsQpwG7q+qeqvoRcDVw9rx9CnhS+/444P4xxiNJOgLjTBAnAvcNrO9rywZdCvxSkn00tYdfHdh2ctv09JkkL+r6gCTbkswmmd2/f/8yhi5JGmeCSEfZ/PkGzwM+UFUbgbOADyU5CngA2FRVzwH+OfBfkzxp3rFU1Y6qmqmqmQ0bNixz+JK0to0zQewDThpY38ihTUhvAK4BqKrPAo8D1lfVD6vq2235TcDdwDPGGKskaZ5xJogbgVOSnJzkWOBcYNe8ffYCpwMkeSZNgtifZEPbyU2SpwOnAPeMMVZJ0jxjG8VUVQeTXARcCxwNXFVVtyW5DJitql3AW4H3J3kLTfPTL1dVJXkxcFmSg8BDwIVV9eC4YpUkHconyknSGuYT5SRJR8wEIUnqZIKQJHUyQUiSOpkgJEmdTBCSpE4mCElSJxOEJKmTCUKS1MkEIUnqZIKQJHUyQUiSOpkgJEmdTBCSpE4mCElSJxOEJKmTCUKS1MkEIUnqZIKQJHUyQUiSOpkgJEmdTBCSpE4mCElSJxOEJKmTCUKS1MkEIUnqZIKQJHUyQUiSOpkgJEmdTBCSpE4mCElSJxOEJKmTCUKS1MkEIUnqZIKQJHUyQUiSOpkgJEmdTBCSpE5jTRBJzkxyZ5LdSS7u2L4pyQ1Jvpjk1iRnDWx7Z3vcnUlePs44JUmHOmZcPzjJ0cAVwMuAfcCNSXZV1e0Du70LuKaqrkxyKvAJYEv7/lzgWcBPAv8ryTOq6qFxxStJerRx1iBOA3ZX1T1V9SPgauDsefsU8KT2/XHA/e37s4Grq+qHVfUXwO7250mSJmScCeJE4L6B9X1t2aBLgV9Kso+m9vCrR3AsSbYlmU0yu3///uWKW5LEeBNEOspq3vp5wAeqaiNwFvChJEcNeSxVtaOqZqpqZsOGDSMHLEl6xNj6IGj+6j9pYH0jjzQhzXkDcCZAVX02yeOA9UMeK0kao3HWIG4ETklycpJjaTqdd83bZy9wOkCSZwKPA/a3+52b5LFJTgZOAf58jLFKkuYZWw2iqg4muQi4FjgauKqqbktyGTBbVbuAtwLvT/IWmiakX66qAm5Lcg1wO3AQeKMjmCRpstJcj1e+mZmZmp2d7TsMSVpRktxUVTNd27yTWpLUac0niJ07YcsWOOqo5nXnzr4jkqTpMM5RTFNv507Ytg0OHGjW9+xp1gG2bu0vLkmaBmu6BrF9+yPJYc6BA025JK11azpB7N17ZOWStJas6QSxadORlUvSWrKmE8Tll8O6dY8uW7euKZektW5NJ4itW2HHDti8GZLmdccOO6glCdb4KCZokoEJQZIOtaZrEJKkhZkgJEmdTBCSpE4mCElSJxOEJKnTqpnuO8l+YE/fcSxiPfCtvoNYhPGNxvhGY3yjGSW+zVXV+czmVZMgpl2S2YXmXJ8Gxjca4xuN8Y1mXPHZxCRJ6mSCkCR1MkFMzo6+AzgM4xuN8Y3G+EYzlvjsg5AkdbIGIUnqZIKQJHUyQSyTJCcluSHJHUluS/Lmjn1emuS7SW5ul9/oIc57k3yp/fzZju1J8t4ku5PcmuS5E4ztbw2cm5uTfC/Jr83bZ6LnMMlVSb6Z5MsDZSckuS7JXe3r8Qsce367z11Jzp9gfP8uyVfa/7+PJXnyAscu+l0YY3yXJvnawP/hWQsce2aSO9vv4sUTjO8jA7Hdm+TmBY6dxPnrvK5M7DtYVS7LsABPA57bvn8i8FXg1Hn7vBT4eM9x3gusX2T7WcCfAgFeAHy+pziPBr5OcxNPb+cQeDHwXODLA2XvAS5u318MvLvjuBOAe9rX49v3x08ovjOAY9r37+6Kb5jvwhjjuxR42xD//3cDTweOBW6Z//s0rvjmbf8PwG/0eP46ryuT+g5ag1gmVfVAVX2hff9XwB3Aif1GtSRnA39Yjc8BT07ytB7iOB24u6p6vTu+qv4MeHBe8dnAB9v3HwR+sePQlwPXVdWDVfWXwHXAmZOIr6o+VVUH29XPARuX+3OHtcD5G8ZpwO6quqeqfgRcTXPel9Vi8SUJ8I+BP1ruzx3WIteViXwHTRBjkGQL8Bzg8x2b/0GSW5L8aZJnTTSwRgGfSnJTkm0d208E7htY30c/ie5cFv7F7PscPrWqHoDmFxj4mx37TMt5fD1NjbDL4b4L43RR2wR21QLNI9Nw/l4EfKOq7lpg+0TP37zrykS+gyaIZZbkCcB/B36tqr43b/MXaJpM/h7wPuCPJx0f8LNV9VzgFcAbk7x43vZ0HDPRsdBJjgVeBXy0Y/M0nMNhTMN53A4cBHYusMvhvgvjciXwU8CzgQdomnHm6/38AeexeO1hYufvMNeVBQ/rKDuic2iCWEZJHkPzn7izqv7H/O1V9b2q+n77/hPAY5Ksn2SMVXV/+/pN4GM0VflB+4CTBtY3AvdPJrr/7xXAF6rqG/M3TMM5BL4x1+zWvn6zY59ez2PbIflKYGu1DdLzDfFdGIuq+kZVPVRVDwPvX+Bz+z5/xwCvAT6y0D6TOn8LXFcm8h00QSyTtr3yD4A7quo/LrDPT7T7keQ0mvP/7QnG+DeSPHHuPU1n5pfn7bYLeF07mukFwHfnqrITtOBfbn2fw9YuYG5EyPnAn3Tscy1wRpLj2yaUM9qysUtyJvAO4FVVdWCBfYb5LowrvsE+rVcv8Lk3AqckObmtUZ5Lc94n5R8CX6mqfV0bJ3X+FrmuTOY7OM4e+LW0AD9HU327Fbi5Xc4CLgQubPe5CLiNZkTG54AXTjjGp7effUsbx/a2fDDGAFfQjCD5EjAz4RjX0Vzwjxso6+0c0iSqB4Af0/xF9gbgKcD1wF3t6wntvjPA7w8c+3pgd7tcMMH4dtO0Pc99D3+33fcngU8s9l2YUHwfar9bt9Jc6J42P752/SyaUTt3TzK+tvwDc9+5gX37OH8LXVcm8h10qg1JUiebmCRJnUwQkqROJghJUicThCSpkwlCktTJBCEdRpKH8uhZZpdtZtEkWwZnEpWmyTF9ByCtAH9dVc/uOwhp0qxBSEvUPg/g3Un+vF1+ui3fnOT6djK665Nsasufmub5DLe0ywvbH3V0kve38/1/Ksnj2/3flOT29udc3dM/U2uYCUI6vMfPa2J67cC271XVacDvAL/dlv0OzZTpP0MzUd572/L3Ap+pZqLB59LcgQtwCnBFVT0L+A5wTlt+MfCc9udcOK5/nLQQ76SWDiPJ96vqCR3l9wI/X1X3tBOqfb2qnpLkWzTTR/y4LX+gqtYn2Q9srKofDvyMLTRz9p/Srr8DeExV/VaSTwLfp5mx9o+rnaRQmhRrENJoaoH3C+3T5YcD7x/ikb7BX6CZF+t5wE3tDKPSxJggpNG8duD1s+37/0sz+yjAVuB/t++vB34FIMnRSZ600A9NchRwUlXdALwdeDJwSC1GGif/IpEO7/F59IPrP1lVc0NdH5vk8zR/bJ3Xlr0JuCrJrwP7gQva8jcDO5K8gaam8Cs0M4l2ORr4cJLjaGbY/U9V9Z1l+xdJQ7APQlqitg9ipqq+1Xcs0jjYxCRJ6mQNQpLUyRqEJKmTCUKS1MkEIUnqZIKQJHUyQUiSOv0/feTZwsXJzI4AAAAASUVORK5CYII=\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "plt.clf()   # clear figure\n",
    "acc_values = history_dict['accuracy']\n",
    "val_acc_values = history_dict['val_accuracy']\n",
    "\n",
    "plt.plot(epochs, acc_values, 'bo')\n",
    "plt.plot(epochs, val_acc_values, 'b+')\n",
    "plt.xlabel('Epochs')\n",
    "plt.ylabel('Accuracy')\n",
    "\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 64,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Train on 25000 samples\n",
      "Epoch 1/4\n",
      "25000/25000 [==============================] - 3s 133us/sample - loss: 0.4354 - accuracy: 0.8249\n",
      "Epoch 2/4\n",
      "25000/25000 [==============================] - 2s 86us/sample - loss: 0.2537 - accuracy: 0.9093\n",
      "Epoch 3/4\n",
      "25000/25000 [==============================] - 2s 92us/sample - loss: 0.1978 - accuracy: 0.9292s - loss:\n",
      "Epoch 4/4\n",
      "25000/25000 [==============================] - 2s 92us/sample - loss: 0.1656 - accuracy: 0.9402\n",
      "25000/1 [================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================] - 6s 226us/sample - loss: 0.3024 - accuracy: 0.8819\n"
     ]
    }
   ],
   "source": [
    "model = Sequential()\n",
    "model.add(Dense(16, activation='relu', input_shape=(10000,)))\n",
    "model.add(Dense(16, activation='relu'))\n",
    "model.add(Dense(1, activation='sigmoid'))\n",
    "\n",
    "model.compile(optimizer='rmsprop',\n",
    "              loss='binary_crossentropy',\n",
    "              metrics=['accuracy'])\n",
    "\n",
    "model.fit(x_train, y_train, epochs=4, batch_size=512)\n",
    "results = model.evaluate(x_test, y_test)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 65,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[0.29992582138061524, 0.88188]"
      ]
     },
     "execution_count": 65,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "results"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 66,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([[0.15637922],\n",
       "       [0.9997442 ],\n",
       "       [0.78029215],\n",
       "       ...,\n",
       "       [0.09402665],\n",
       "       [0.06056795],\n",
       "       [0.5271289 ]], dtype=float32)"
      ]
     },
     "execution_count": 66,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.predict(x_test)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 67,
   "metadata": {},
   "outputs": [],
   "source": [
    "del x_train, x_test"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## MLP for regression"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "https://keras.io/datasets/#boston-housing-price-regression-dataset\n",
    "http://www.cs.toronto.edu/~delve/data/boston/bostonDetail.html\n",
    "\n",
    "The data comprises 13 features. The 13 features in the input data are as follow:\n",
    "\n",
    "* Per capita crime rate.\n",
    "* Proportion of residential land zoned for lots over 25,000 square feet.\n",
    "* Proportion of non-retail business acres per town.\n",
    "* Charles River dummy variable (= 1 if tract bounds river; 0 otherwise).\n",
    "* Nitric oxides concentration (parts per 10 million).\n",
    "* Average number of rooms per dwelling.\n",
    "* Proportion of owner-occupied units built prior to 1940.\n",
    "* Weighted distances to five Boston employment centres.\n",
    "* Index of accessibility to radial highways.\n",
    "* Full-value property-tax rate per USD10,000.\n",
    "* Pupil-teacher ratio by town.\n",
    "* 1000 * (Bk - 0.63) ** 2 where Bk is the proportion of blacks by town.\n",
    "* % lower status of the population.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 69,
   "metadata": {},
   "outputs": [],
   "source": [
    "from tensorflow.keras.datasets import boston_housing\n",
    "\n",
    "(train_data, train_targets), (test_data, test_targets) =  boston_housing.load_data()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 70,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(404, 13)"
      ]
     },
     "execution_count": 70,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "train_data.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 71,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(404,)"
      ]
     },
     "execution_count": 71,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "train_targets.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 72,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(102, 13)"
      ]
     },
     "execution_count": 72,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "test_data.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 73,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([[1.23247e+00, 0.00000e+00, 8.14000e+00, 0.00000e+00, 5.38000e-01,\n",
       "        6.14200e+00, 9.17000e+01, 3.97690e+00, 4.00000e+00, 3.07000e+02,\n",
       "        2.10000e+01, 3.96900e+02, 1.87200e+01],\n",
       "       [2.17700e-02, 8.25000e+01, 2.03000e+00, 0.00000e+00, 4.15000e-01,\n",
       "        7.61000e+00, 1.57000e+01, 6.27000e+00, 2.00000e+00, 3.48000e+02,\n",
       "        1.47000e+01, 3.95380e+02, 3.11000e+00],\n",
       "       [4.89822e+00, 0.00000e+00, 1.81000e+01, 0.00000e+00, 6.31000e-01,\n",
       "        4.97000e+00, 1.00000e+02, 1.33250e+00, 2.40000e+01, 6.66000e+02,\n",
       "        2.02000e+01, 3.75520e+02, 3.26000e+00]])"
      ]
     },
     "execution_count": 73,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "train_data[:3]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 74,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([15.2, 42.3, 50. ])"
      ]
     },
     "execution_count": 74,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "train_targets[:3]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 75,
   "metadata": {},
   "outputs": [],
   "source": [
    "mean = train_data.mean(axis=0)\n",
    "train_data -= mean\n",
    "std = train_data.std(axis=0)\n",
    "train_data /= std\n",
    "\n",
    "test_data -= mean\n",
    "test_data /= std"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 76,
   "metadata": {},
   "outputs": [],
   "source": [
    "def build_model():   \n",
    "    model = Sequential()\n",
    "    model.add(Dense(64, activation='relu', input_shape=(train_data.shape[1],)))\n",
    "    model.add(Dense(1))\n",
    "    model.compile(loss='mean_squared_error', optimizer='adam', metrics=['mae'])\n",
    "    return model"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 80,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "processing fold # 0\n",
      "processing fold # 1\n",
      "processing fold # 2\n",
      "processing fold # 3\n"
     ]
    }
   ],
   "source": [
    "k = 4\n",
    "num_val_samples = len(train_data) // k\n",
    "all_scores = []\n",
    "for i in range(k):\n",
    "    print('processing fold #', i)\n",
    "    # prepare the validation data: data from partition # k\n",
    "    val_data = train_data[i * num_val_samples: (i + 1) * num_val_samples]\n",
    "    val_targets = train_targets[i * num_val_samples: (i + 1) * num_val_samples]\n",
    "\n",
    "    # prepare the training data: data from all other partitions\n",
    "    partial_train_data = np.concatenate(\n",
    "        [train_data[:i * num_val_samples],\n",
    "         train_data[(i + 1) * num_val_samples:]],\n",
    "        axis=0)\n",
    "    partial_train_targets = np.concatenate(\n",
    "        [train_targets[:i * num_val_samples],\n",
    "         train_targets[(i + 1) * num_val_samples:]],\n",
    "        axis=0)\n",
    "\n",
    "    # build the Keras model (already compiled)\n",
    "    model = build_model()\n",
    "    # train the model (in silent mode, verbose=0)\n",
    "    model.fit(partial_train_data, partial_train_targets,\n",
    "              epochs=10, batch_size=1, verbose=0)\n",
    "    # evaluate the model on the validation data\n",
    "    val_mse, val_mae = model.evaluate(val_data, val_targets, verbose=0)\n",
    "    all_scores.append(val_mae)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Scores varies due to small fold sizes"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 81,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[2.9735675, 3.0163267, 2.9951043, 3.3399837]"
      ]
     },
     "execution_count": 81,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "all_scores"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 82,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "3.0812457"
      ]
     },
     "execution_count": 82,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "np.mean(all_scores)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 83,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "processing fold # 0\n",
      "processing fold # 1\n",
      "processing fold # 2\n",
      "processing fold # 3\n"
     ]
    }
   ],
   "source": [
    "all_mae_histories = []\n",
    "for i in range(k):\n",
    "    print('processing fold #', i)\n",
    "    # prepare the validation data: data from partition # k\n",
    "    val_data = train_data[i * num_val_samples: (i + 1) * num_val_samples]\n",
    "    val_targets = train_targets[i * num_val_samples: (i + 1) * num_val_samples]\n",
    "\n",
    "    # prepare the training data: data from all other partitions\n",
    "    partial_train_data = np.concatenate(\n",
    "        [train_data[:i * num_val_samples],\n",
    "         train_data[(i + 1) * num_val_samples:]],\n",
    "        axis=0)\n",
    "    partial_train_targets = np.concatenate(\n",
    "        [train_targets[:i * num_val_samples],\n",
    "         train_targets[(i + 1) * num_val_samples:]],\n",
    "        axis=0)\n",
    "\n",
    "    # build the Keras model (already compiled)\n",
    "    model = build_model()\n",
    "    # train the model (in silent mode, verbose=0)\n",
    "    history = model.fit(partial_train_data, partial_train_targets,\n",
    "                        validation_data=(val_data, val_targets),\n",
    "                        epochs=200, batch_size=1, verbose=0)\n",
    "    mae_history = history.history['val_mae']\n",
    "    all_mae_histories.append(mae_history)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 84,
   "metadata": {},
   "outputs": [],
   "source": [
    "average_mae_history = [np.mean([x[i] for x in all_mae_histories]) for i in range(200)]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 85,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAYIAAAEGCAYAAABo25JHAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjEsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy8QZhcZAAAgAElEQVR4nOy9eXibV5m/fz+2NlvyviVx7Dh7k7RNk6ZpSlq6Al0oTIGBMqwFpsNvmKFlYAYG+A4MszAMUNYZOoUCBdrCMC1QKNCN0pUmTdLszr4n3vdVsqzz++NdLNuyLKeR5UTPfV26LL86kh69enU+51nOOWKMQVEURclecjJtgKIoipJZVAgURVGyHBUCRVGULEeFQFEUJctRIVAURclyPJk2YKqUl5eburq6TJuhKIpyVrF58+ZWY0xFosfOOiGoq6tj06ZNmTZDURTlrEJEjk70mIaGFEVRshwVAkVRlCxHhUBRFCXLUSFQFEXJclQIFEVRshwVAkVRlCxHhUBRFCXLSZsQiEhARDaKyDYR2SUi/5ygjV9EfiYiB0Rkg4jUpcuevY09fOWxvbT3RdL1FoqiKGcl6fQIwsA1xpiVwEXA9SKybkybDwIdxphFwNeAL6XLmEMtvXz76QM0dg2m6y0URVHOStImBMai1/7Xa9/G7oLzZuA++/7/AdeKiKTDnlDAmkTdG46m4+UVRVHOWtKaIxCRXBHZCjQDTxhjNoxpUg0cBzDGRIEuoCzB69wuIptEZFNLS8tp2RLyW0LQp0KgKIoyirQKgTFm2BhzETAXWCsi549pkmj0P27vTGPMPcaYNcaYNRUVCddMmhRHCHpUCBRFUUYxLVVDxphO4I/A9WMeOgHUAIiIBygC2tNhgxMaUo9AURRlNOmsGqoQkWL7fh5wHbBnTLNHgPfZ998G/MEYM84jOBM4HkHvoAqBoihKPOlchno2cJ+I5GIJzv8aY34jIl8ANhljHgHuBX4sIgewPIFb02VM0KehIUVRlESkTQiMMduBVQmO/1Pc/UHgz9NlQzw5OULQl6uhIUVRlDFk1cziUMCjoSFFUZQxZJUQBP0enUegKIoyhqwSggIVAkVRlHFklRCEAioEiqIoY8kqIQj6PJosVhRFGUNWCUEo4KFHk8WKoiijyC4h0ByBoijKOLJOCPrCUdI0eVlRFOWsJLuEIOAhGjOEo7FMm6IoijJjyC4h8OueBIqiKGPJTiHQhLGiKIpLdgqBegSKoiguKgSKoihZTnYJQUBDQ4qiKGPJLiFQj0BRFGUcKgSKoihZTjq3qqwRkadFpF5EdonIHQnalIjIL0Rku4hsTLC5/RnFDQ2pECiKorik0yOIAh83xiwD1gEfEZHlY9p8GthqjLkQeC/wjTTaQ543lxzRDewVRVHiSZsQGGMajDFb7Ps9QD1QPabZcuApu80eoE5EqtJlk4gQ9OvCc4qiKPFMS45AROqw9i/eMOahbcBb7DZrgXnA3ATPv11ENonIppaWlldli25OoyiKMpq0C4GIhICHgDuNMd1jHv4PoEREtgJ/C7yCFVIahTHmHmPMGmPMmoqKildlT9CvexIoiqLE40nni4uIF0sE7jfGPDz2cVsYbrPbCnDYvqUN3aVMURRlNOmsGhLgXqDeGHPXBG2KRcRn//sh4NkEXsMZpSDgpXtgKJ1voSiKclaRTo9gPfAeYIcd+gGrSqgWwBhzN7AM+JGIDAO7gQ+m0R4AyoM+Djb3pvttFEVRzhrSJgTGmOcBmaTNn4DF6bIhERWFflp6wxhjsJwWRVGU7CarZhYDVIT8RKIxugc0T6AoigLZKAQFfgBaegczbImiKMrMIGuFoLknnGFLFEVRZgZZJwSVjkegQqAoigJkoRBUhAKACoGiKIpD1glBYZ4HnydHhUBRFMUm64RARKgI+VUIFEVRbLJOCMBKGLf0qhAoiqJANguBegSKoiiACoGiKErWk51CEPLT1hdhaDiWaVMURVEyTlYKQWWhNZegrTeSYUsURVEyT1YKQUVIJ5UpiqI4ZKcQ6HpDiqIoLlkpBNXFeQD8bkcjxpgMW6MoipJZ0rlDWY2IPC0i9SKyS0TuSNCmSER+LSLb7Da3pcueeCoLA/z1VQv5+eYT3Pt8WnfGVBRFmfGk0yOIAh83xiwD1gEfEZHlY9p8BNhtjFkJXAV8NW7ryrTyidcv5drzKvnP3+8lqtVDiqJkMWkTAmNMgzFmi32/B6gHqsc2Awrs/Y1DQDuWgKSdnBzhqqUVRIZjdPTrHsaKomQv05IjEJE6YBWwYcxD38bat/gUsAO4wxgzbnguIreLyCYR2dTS0nLG7Cqzq4fa+rR6SFGU7CXtQiAiIeAh4E5jTPeYh98AbAXmABcB3xaRwrGvYYy5xxizxhizpqKi4ozZVha0olA6n0BRlGwmrUIgIl4sEbjfGPNwgia3AQ8biwPAYeC8dNoUT1nIFoI+FQJFUbKXdFYNCXAvUG+MuWuCZseAa+32VcBS4FC6bBpLWdCZYayhIUVRshdPGl97PfAeYIeIbLWPfRqoBTDG3A38C/BDEdkBCPBJY0xrGm0aRVGel9wc0dCQoihZTdqEwBjzPFbnnqzNKeD16bJhMnJyhNKgT5PFiqJkNVk5sziesqCPVvUIFEXJYlQIQj7NESiKktWoEAT9tGvVkKIoWYwKQcinyWJFUbKarBeC8pCfnnCUwaHhTJuiKIqSEbJeCJzZxRoeUhQlW8l6ISjVZSYURclyJhQCEfmHuPt/Puaxf0+nUdOJLjynKEq2k8wjuDXu/j+Oeez6NNiSEcpD6hEoipLdJBMCmeB+ov/PWtQjUBQl20kmBGaC+4n+P2sJ+nLxe3LUI1AUJWtJttbQShHpxhr959n3sf8PpN2yaUJEKA/5adHZxYqiZCkTCoExJnc6DckklYV+WnpUCBRFyU6mVD4qIkEReZeIPJougzJBVUGApu7BTJuhKIqSESYVAhHxicificj/Ag3AdcDdabdsGqkq9NPUrR6BoijZSbJ5BK8Tke9jbR/5NuDHQLsx5jZjzK8ne2ERqRGRp0WkXkR2icgdCdr8vYhstW87RWRYREpfzQc6HSoLA3QNDOkyE4qiZCXJPILHgIXA5caYd9udf2wKrx0FPm6MWQasAz4iIsvjGxhjvmyMucgYcxHWXIVnjDHtU/sIr57KAquEtFm9AkVRspBkQnAx8BLwpIg8ISIfBFJOIBtjGowxW+z7PUA9UJ3kKe8EHkz19c8kVYVWEVRTj+YJFEXJPiYUAmPMK8aYTxpjFgKfB1YBPhH5nYjcPpU3EZE6+/kbJng8H2u28kMTPH67iGwSkU0tLS1TeeuUcIVAE8aKomQhKVUNGWNeMMb8DdaI/uvAZam+gYiEsDr4O40x3RM0uxl4YaKwkDHmHmPMGmPMmoqKilTfOmWqCq3QkCaMFUXJRiacRyAiqyd4qAX4ViovLiJeLBG43xjzcJKmt5KhsBBAUZ4XnyeHZvUIFEXJQpLNLN4E7MLq+GH0+kIGuCbZC4uIAPcC9caYu5K0KwKuBN6disHpQETsElIVAkVRso9kQvBx4K3AAPBT4BfGmN4pvPZ64D3ADhHZah/7NFALYIxx5iLcAjxujOmbiuFnGmtSmYaGFEXJPpItMfE14GsiMh+roucpETkK/LsxZutEz4t7/vOksEqpMeaHwA9TNThdVBb62dPYk2kzFEVRpp1Jk8XGmMPAr4DHgbXAknQblQkqCwK0qEegKEoWkixZvAAriftm4DhWeOjfjDHnZCC9qjBATzhKXzhK0J8sYqYoinJukazHOwBsx/IGurFi+39t5YAhWQL4bMQpIW3uCTNfhUBRlCwiWY/3BUY2oAlNgy0ZxZlU1tA1wPzyYIatURRFmT6SJYs/P412ZJw5xXkANHSek5EvRVGUCZnSfgTnMrOLLI/gVOdAhi1RFEWZXlQIbALeXMqCPk51qUegKEp2oUIQx+ziAA1d6hEoipJdTFoeIyJ+rBnGdfHtjTFfSJ9ZmWFOUR5H2jI6wVlRFGXaScUj+BXWXIIo0Bd3O+eYU5ynyWJFUbKOVArm5xpjrk+7JTOA2UXWpLLuwSEKA95Mm6MoijItpOIRvCgiF6TdkhmAlpAqipKNpCIElwObRWSviGwXkR0isj3dhmWCOcVaQqooSvaRSmjohrRbMUNwPIJTWjmkKEoWkcrqo0eBYqztJG8Giu1j5xyVBQFyc0Q9AkVRsopJhUBE7gDuByrt209E5G/TbVgmyM0RZhUGNEegKEpWkUpo6IPApc4OYiLyJeBPTLJvsYjUAD8CZgEx4B5jzDcStLsK+DrgBVqNMVdO5QOcaWYXBTipHoGiKFlEKkIgwHDc/8OksPMY1ryDjxtjtohIAVbC+QljzG73hUWKgf8GrjfGHBORyinYnhbmluTx8pGOTJuhKIoybaQiBD8ANojIL+z//wxrU/qkGGMagAb7fo+I1APVwO64Zn8BPGyMOWa3a56C7WlhfnmIX249xUBkmDxfbqbNURRFSTupJIvvAm4D2oEO4DZjzNen8iYiUgesAjaMeWgJUCIifxSRzSLy3gmef7uIbBKRTS0tLVN56ymzoMLai+Bw6zk5eVpRFGUcybaqLDTGdItIKXDEvjmPlRpj2lN5AxEJAQ8BdxpjuhO8/8XAtUAe8CcReckYsy++kTHmHuAegDVr1hjSyMIKaw+eQ629LJ9TmM63UhRFmREkCw09ALwR2MzITmVg5QcMsGCyFxcRL5YI3G+MeThBkxNYCeI+oE9EngVWAvsStJ0WnN3JDrWoR6AoSnaQbIeyN9p/55/OC4u1ufG9QH2S/Y1/BXxbRDyAD7gU+NrpvN+ZIs+XS3VxHgdbejNphqIoyrSRyjLUTxljrp3sWALWA+8BdojIVvvYp4FaAGPM3caYehH5PbAdq8T0e8aYnVP9EGeaBRVB9QgURckakuUIAkA+UC4iJYyUjBYCcyZ7YWPM86RQZmqM+TLw5ZSsnSYWVoT4+abjGGOwHBtFUZRzl2QewV8Bd2J1+psZ6dS7gf9Ks10ZZUFFkL7IMM09YaoKA5k2R1EUJa0kyxF8A/iGiPytMSbpLOJzjQXlVuXQweZeFQJFUc55Js0RGGO+JSLnA8uBQNzxH6XTsEyysNKqHDrY2sdrFpVn2BpFUZT0kkqy+HPAVVhC8FusZamfx1pH6JykqiCA35PDMd2/WFGULCCVjWnehjXhq9EYcxtWnb8/rVZlmJwcobY0n6Nt/Zk2RVEUJe2kIgQDxpgYEBWRQqCZFCaTne3MK8vnWLsKgaIo5z6pCMEme5XQ72JVD20BNqbVqhlATaklBMakdUULRVGUjJNKsviv7bt325O/Co0x5+SexfHMK82nPzJMS2+YygKtHFIU5dwl2YSy1ckeM8ZsSY9JM4N5ZVbl0PH2fhUCRVHOaZJ5BF+1/waANcA2rEllF2ItJ315ek3LLLVl+QAcbevn4nmlGbZGURQlfUyYIzDGXG2MuRo4Cqw2xqwxxlyMta/AgekyMFPMLclDBK0cUhTlnCeVZPF5xpgdzj/2onAXpc+kmYHfk8vswoBWDimKcs6TylaV9SLyPeAnWPsQvBuoT6tVM4TasnyO6qQyRVHOcVLxCG4DdgF3YC1Ct9s+ds4zrzTIsfaBTJuhKIqSVlIpHx3E2iwmoxvGZILasnxae8P0haME/ak4T4qiKGcfE3oEIvK/9t8dIrJ97G2yFxaRGhF5WkTqRWSXiNyRoM1VItIlIlvt2z+9uo9zZplnVw5pnkBRlHOZZMNcp+N+42m+dhT4uDFmi4gUAJtF5AljzO4x7Z5ztsWcacwrteYSHG3rZ9ls3cheUZRzk2T7ETTYf4+ezgvbz3deo0dE6oFqrBzDWUFtqeMRaMJYUZRzl2Qzi3uwqoTGPQQYY0zKQ2QRqcOaf7AhwcOXicg24BTwCWPMrgTPvx24HaC2tjbVt33VFOV7KcrzamhIUZRzmmQeQcGZeAMRCQEPAXcaY7rHPLwFmGeM6RWRG4FfAosT2HIPcA/AmjVrpnUVuHlluhy1oijnNqmUjwIgIpUiUuvcUnyOF0sE7jfGPDz2cWNMtzGm177/W8ArIjNqS7DaUl2OWlGUc5tJhUBE3iQi+4HDwDPAEeB3KTxPgHuBemPMXRO0mWW3Q0TW2va0pWz9NDCvLJ+THQNEh2OZNkVRFCUtpOIR/AuwDthnjJmPtVvZCyk8bz3wHuCauPLQG0XkwyLyYbvN24Cddo7gm8CtZoZtAFBbmk80ZjjVOZjw8V2nunjrd17kK4/tnWbLFEVRzgypzJIaMsa0iUiOiOQYY54WkS9N9iRjzPNYieVkbb4NfDtFWzNCrV1Ceqy9312R1GHTkXZuveclojFDriT9qIqiKDOWVDyCTjvh+yxwv4h8A2uOQFbgTCo7mqCE9MWDbURjhkvqSugeHALgD3ua+Odfjyt8UhRFmbGkIgRvBgaAjwG/Bw4CN6fTqJnErMIAPk8OxxJUDp3o6KeiwE9NST49g5Y2Pr6riftfOqZbXCqKctaQbB7Bt4EHjDEvxh2+L/0mzSxycoQF5UG2HOsY99jJzgHmluRREPDQY3sE3YNDRIZjhKMxAt7c6TZXURRlyiTzCPYDXxWRIyLyJRE55/cgmIi3rK7m5SMd7D41ehrEiY4B5pbkUxDw0huOYoyhe8DyDLoGhjJhqqIoypRJtkPZN4wxlwFXAu3AD+wF5P5JRJZMm4UzgHesqSXPm8sPXjjMd589xLee2s9wzHAqziOIGeiPDLu5gm4VAkVRzhJSWYb6KPAl4Esisgr4PvA5IGviHkX5Xm5ZXc0DG44B4M0V3nTRHIaGjbWlpV0c1TMYdQXAEQRFUZSZTioTyrwicrOI3I81kWwf8Na0WzbD+NDl81lSFeLmlZYAPLG7CYDq4jxCAUtPewaH3JCQhoYURTlbSJYsfh3wTuAmYCPwU+B2Y0xWLsW5oCLE4x+7kpOdA/x62yl+t7MRgLkl+RzvsCqKugejdNvVQ06uQFEUZaaTLDT0aeABrBVB26fJnhnPnKIAZUEfm49aVURzS/LoGogA0NQ9yHDMKhvV0JCiKGcLyZLFVxtjvqsiMBoR4cK5RQCUh/wEvLkUBLwAnOwY2d+4q1+FQFGUs4OUVx9VRrhwbjEA1SV5ABTYOYKTnSNCoB6BoihnCyoEp8HKGssjmOsKgeURnOgYmX2sOQJFUc4WVAhOgwuqLY/AEYKgL5ccsSaYOWS6aqi1N0xrbzijNiiKcnaQyuqjyhgqCvzc9faVrJ1fClh5g5Df44aGKgr8GQ8N/cP/bQfg+++/JKN2KIoy81EhOE3esnruqP8LAl5XCKxKoswKQUPXIL5cXRpbUZTJSVtoSERqRORpe1mKXSJyR5K2l4jIsIi8LV32pBsnYQzWJLNMewQ9g0OEo7qrmqIok5NOjyAKfNwYs0VECoDNIvKEMWZ3fCMRycVawuKxNNqSdgrthHHQl0tZ0JfxZHFvOIonRz0CRVEmJ20egTGmwRizxb7fA9QD1Qma/i3WBvfN6bJlOnA8gsI8L4V5XroHh4jFMrMngTGGnsGoegSKoqTEtFQNiUgdsArYMOZ4NXALcPckz79dRDaJyKaWlpZ0mfmqcIUg4KUoz4sx0BvJjFcwMDTMcMwwODSckfdXFOXsIu1CYG9z+RBwpzGme8zDXwc+aYxJ2mMZY+4xxqwxxqypqKhIl6mvCmcuQVGe1w0TZWop6l57vSP1CBRFSYW0Vg2JiBdLBO43xjycoMka4KdibfxeDtwoIlFjzC/TaVc6GAkNeSjMs+53DQwxt2T6bXEWvhscGsYYg31+FUVREpI2IRCr97kXqDfG3JWojTFmflz7HwK/ORtFAEY8gsKAlSOAzM0udrbNjBkYGjb4PCoEiqJMTDpDQ+uB9wDXiMhW+3ajiHxYRD6cxvfNCKOSxU5oKEkJ6UObT7D9RGdabOkZHBGgcFTzBEr28X+bT2S8hPtsIm0egTHmeSDloagx5v3psmU6GEkWeyiyPQJnUlk4OowxuJvZG2P4zC93cP2KWXz91lVn3Jbe8IgQDA7FKAic8bdQlBnLyc4BPvHzbfzL0Pm8Z928TJtzVqBrDZ0hxpaPwkiy+KMPvsKt97zklpO29IYZHIrR2D2YFlt64kZC6hEo2YZTLNHao2ttpYoKwRnCzRHkeSnwexCxhGA4ZnjhQBtbj3fy6+2nADjebi1F0dSdngs1PjQ0OKSVQ0p20WeXbbf1qRCkigrBGaKmJB+fJ4eFFSFycoTq4jz2NvWwv7mH3nAUb67wlcf3EonG3OWqG7sGMebMTzrTHIGSzfSHrWu+tSeSYUvOHlQIzhCzigLs/PwbuHieVS96xeJyXjzQxsuHrQ3ePnvTco63D/C7nQ0ca7OEYGBo2C31PJOoR6BkM+oRTB0VgjOIzzNyOq9cUkFPOMoPXjhCadDHu9fNI+jLZcvRDneze7D2OT7TaI5AyWb6HSHoVY8gVVQI0sRrFpWTmyMcau1jVU0xuTnC+dVFbDvRxfH2Abz2EtGNXekQgrjQkHoESpbR54SGdGOmlFEhSBOFAS8X11photV2uOjCuUXsbujmcGsfF1Rb212mo3KoNxwl32eVqqpHkFkaugZ4YndTps3IKhyPoHswSkSXWUkJFYI08tol5QCsqrW2trxgbjGRqFU2uqbO2t2sOU2hofKQH9AcQaa578Wj/OWPNo3az1pJL45HAJonSBUVgjTyzrW13HndYi6xO/0LbS8AYFFliOJ8b1o8gp7BKOUhH6AeQaZxhP6RbacybEn20B+36q/mCVJDhSCNlIX83HndEry51mmeV5ZPoT3xrKYkn1mFARq7zvyIpSccVY9ghtBix6l/+crJtJQKnw7dg0NsOdaRaTPSRl9kZPCjeYLUUCGYRkSEC+daYaLasnyqCgNpqxoqL7CEQD2CzNLSEyZHYF9TL/UNPZk2B4AHNhzjrd95kcOtfZk2JS30h6Pk2rvztfVG+OiDr/DAhmMZtmpmo0IwzVw6v5TifC+zCgOWRzAFIYhEY5OOKoeGYwwOxdQjmCG09ka4blkVnhzh0R2Th4emkjNq6Bo4rc2HWnrCGAP3v3R0ys89G+iLDFNdnAfAgZZeHtl2ihcOtmbYqpmNCsE081dXLuTJv7uS3ByhqtBPa2+YoeHJO+vecJTLvvgUP3v5eNJ2TuloSb4XT46oR5BBhmOG9r4wS6oKqCsPcrA5+Qh8T2M3a//9KV5JIWxjjOHGbzzH/zxzaMp2dfZb80x+vvkEA5Fz7/roj0SpKPDj9+Tw2K5GADr7NVeQDBWCacbnyXFH61VFAYyxRmhgdQTxK4fG84c9zbT1Rdh6PPnS1c6CWwUBL35PzjnpEfx+ZyMNXQNJ2+w40cXaf3uStinEiHvDUV4+0n5aNv3jw9t5es/obbc7+iPEDJSHfMwuCtAwyWj/ZIf1mbZN8h2DlQfq6B/iYEvvlG3tGhjC58mha2CIX5+DSey+8DBBv4fykJ9DLZb4OuKnJEaFIIPMLrLWh27oGqCtN8wbv/k8N33zuYT7FPx+ZwMAR9uSlyE6a7CH/B4C3txzziMYHBrm/7t/M/e/lDzmW9/QTXNPmCOTnK94frrxGLfe89Komdmp0BuO8uDG4zxRP3q+gJOorCgIWPmgSSYPOoOA/c2Td+7tdjXMZIKYiK6BCKtri5lbksfTe5snf8I08qM/HXGv9dOlPxIl6Mt1K+dAhWAyVAgySE1JPgAnOgY40tZPNGZo7BrkL767YVQJ3EBkmKf3tABwrD15x+aEhgoDnnPSI2jutuLb7ZO4+o4gTmVzklOdgwzHDB19U+s0jthJ146+0TY5i545HkFzzyDRJGFA57vb3zS5ELT1OUIw9WKDroEhivN8LK4MTXo9TTfffe4QD2xMHv6cjL7wMPk+D2W25w1nJjSUSgj3bCVtQiAiNSLytIjUi8guEbkjQZs3i8h2e/eyTSJyebrsmYnMtYXgWFs/x+0f5B3XLaY3HB1VYfLMvmYGhoa5pK6EU10DSUf5zqiyIOAl4M09rWTiTMZJrndNMsJzFvNz9oRIBWcE3zkwtU7D8dLaxghBS69la3mBn1lFAWJmpJw0EY4Q7GvumbQooN1+r6buQXefi1Tp7B+iKM9LbWk+x9r6Z0xZK0BH3xDtE0wCi8UMf/vgK6z4p9+z6guPTxhC649ECfpHPIILqovoiwy/qlnGjV2DrPjcY2w8fHqhw5lOOj2CKPBxY8wyYB3wERFZPqbNU8BKY8xFwAeA76XRnhlHni+XigI/xztGhOD1y2cBsLuhG7CSgj9+6SilQR9/vqYGYywP4kBzT8LyP2dXtMI8Dz5PDuFzbIq9IwSTddZOeOd0hKBrCs8BONI2mUfgZ1ahFQZMtrZUb9h6387+oXGiMhYn9zE0bKZcK981MERxvpea0nx6wtEpf950EYnG6A1H3bDXWL7zzEF+ve0U1y2voqN/iOcPJK4E6otYHkGFXUJ97bJKYOoCH8+x9n4i0RibjqoQTAljTIMxZot9vweoB6rHtOk1I8ORIDBzhibTRE1JHsfbBzje0U9FgZ+FFUGK8rzsPtUFWJUdLxxo42PXLWZBeRCwLsoP3reJm775HC+OKYtrtGPGVYWBCT2CmTQCnCpOnH2ymG/3gDW6nkon53oEk7x2a294VKd/1BaC9rFC0BvG58mhMOBhVlEKQhC3WOBk4aF4oZhKeGhwaJhwNEah7RHA5OHG6cLpqFv7IuOu0Z0nu7jriX288cLZfP0dF1n7fTRantPrv/YM33/+MGCFbyLRGEFfLu9eN4/vvGs1CytCwMRe5Ifu28TXn9yX1DZnQDFZ5dfZyrTkCESkDlgFbEjw2C0isgd4FMsrSPT82+3Q0aaWlpZ0mjrt1Jbmc6y9n2Pt/dSU5CEirJhTyO5T3bT2hvnX3+xm7fxS3nXpPGrLrB/u8/tbOdrWz3DMcNsPXqbe9h7A6hRK8q2wkD+BR7D5aDsXfP5xTnZOPck4E3A9gkk6a8cjmIoQOMsRdE7ynL95YAufeni7+/+RVqsj7eiPjArTtPSGqQj5ERFmF+WNsuv/gsYAACAASURBVD+hzeEoAa/1kzzQnHzyWfsoIUj9u3TOR3G+172e0iUEn39kFx/72daU2zu5mUg0Nmp2MMBLh9oYjhk+d/MKRISlswrY29jDkbZ+9jX1suOkNXDqt5+X7/cwuyiPGy6YTXG+tXtgR4Jr5kBzL0/WN7H56EjJrjGGz/xix6gKMue8TValtaexm+89N/WS3kyTdiEQkRDwEHCnMaZ77OPGmF8YY84D/gz4l0SvYYy5xxizxhizpqKiIr0GTzM1pfk0dA1wuLXPHaEtn13InsYefvLSUboHo/z7LeeTkyNUhPzk+3L5v80nAPjxBy/FGHh4ywn39Rq6BplldzoBby7hMR7Bo9sb6Q1H2X1q3FeRkD/ubZ40Hj+duDmCSTrrHjdHkNrGP9HhmJuAniycdLx9gANxlT1OaChmRienW3sjbpy6JN+Lz5MzqUdQVxakwO9h3yQeQXtfhAK/tVzJqc7UPQJHQIvyvG6xgrN16pnmyfqmKZXjdsQldMeW/TZ2DRLw5rjnc+msAg629LLxcBsAzT3WOXCKLIL26rsAJfnWcxIljH+19SRgfVcOrb0R7t9wjF++ctI95nyvB5t7Mcaw8XC7+57x/PhPR/nXR+vPWGJ596nuKeeAToe0CoGIeLFE4H5jzMPJ2hpjngUWikh5Om2aadSU5hMz1v7FNbYQrKguJByN8d1nD7F+URmLKgsAa4mK2tJ8ugaGmF0U4JK6El6zqIzHdjW5rnRD1yBz7DBEIo/g2f2pVR+BlXi+7Ycv8/WnkrvNxpik1TBnEic01BuOJv2x9YSn5hG090dwohGTVZi09YU52TmAMYb+SJTmnjCLK0P2YyPPbekJu3FqEWFWYSBpGKdnMEpBwMOiqhD7mpJ7BK29YRZUBPF7cqY0O931CPJ8dq29L6VrYdvxTv53U+rVPF0DQ5zoGLBnMafWkcWH28bmSBq7B5lVGEDEWjrivFkFRGPGHRQ5c3GclUfzbZEES/RgvKdnjOEXdmcfLzxOqC8+POect55wlIMtfbzrey/xb4/Wj/sMTunvVHJTE/HHvc3c+M3neGZf+qMg6awaEuBeoN4Yc9cEbRbZ7RCR1YAPaEuXTTMRZ1QGuEKwfLa1SmlfZJh3rq0d1X6e7c6vX1SOiHD9ilkca+93q4waugbcePTYHMGpzpGR7PEUfvztvVbn+MTupoQ/ZmMMb/vOiyz6zO9Y9YUnpjR563SJ7/SSdfJTzRHE72+bLOw0EBlmcMhaxqO9L+JWDDlLjcd3Zq29YXfyIDDpkiK94Sghv4dL6krZcLidbzy5f8JOtL0vQlnIz+yiAKemEOZzRM7pHGtK81O6Fu59/jCf/cXOlEe6TrgyHI2lvB1rfOhm7KqhTd2DVNkJd4DzZhUC8PIRK6TjCEFCjyCY2CPYfLSDEx0DVBfn0d43EtZzvtP46q346+i+F48wNGx4YnfTuJnZzu9rqgl4Ywz//ccD7I8bADizxqcjh5NOj2A98B7gGrs8dKuI3CgiHxaRD9tt3grsFJGtwH8B7zBncybzNHDitDAiCgsrgvg8OZQFfW4VkcO8MithfPkiy3G6bnkVOQKP7WpkIDJMZ/8Qc4qd0NBoj+A52xsI+T2pCYH9wznRMcCexvEj1J5wlE1HO1haVUBPOMorx8aX8339yX28OEF1x1QxxtDcHXbXkRnbYTf3DLLJDkX0THEeQXzlTbIfcfz69ic7B9zR42p7EyJnJBuLGdr7IqOFoCgwSdVQlIKAl0+8filvWV3N157cN+EovL0vQlnQx6yi5F4GjC4OiM8RwEiOajKOtfcTGY65cyYmIz706HTSkxEfGhpbQtrYPegOcAAWVATdXf4C3hw6+oes3ILjEfhGPIKgLxdPjoy7Xp7b30qOwDsuqSEaM+614nynnf1DbsioeyCK396K9uebjyNi5SP+EDebvK037OZuJsszjeVExwD/+fu9/OhP1vpPO0508adD1pg4HQtTjiWdVUPPG2PEGHOhMeYi+/ZbY8zdxpi77TZfMsassB+7zBjzfLrsmanMKgy4F3RNqdXBeXJzeO+6eXzsdUtG7YMMcH51EXneXNbbQlAe8rOmrpTHdo0su+CUKvo9oz2CZ/e3Ulng57KFZaN+/Hsbe8YtjwCjR7eP7xq/y5YTpnnvZfPIEdyEnUN7X4SvP7mfn2xIvrhZNMUOpr0vQmQ4xtJZVqisK64ccHBomPfeu5H3fX8jxhg3R5CyR2ALQWWBP+mPOD5Je7JjgMOtjkdgCYFzzlp6wwzHzKjZrbOLLI9gorFOz2CUUMAq+/3qn6+kPOQblcR0MMbQ1hehNORjTlFeUnHZfqKTJZ/9He/63ktsPNweV148IgQnOwcmDe05A4dEA4JE7I4rYEgUS09ER18Ej7NqaNx5NsbQ1B12r2sAb26OWw101RKrPLS1NzziEfhHPAIRoTjfNy5ZfKCll5rSfNfLdjr9o3G/jf120r5rYIj55UFCfg+DQzFuPH82FQX+UUt0xM8In+i6O9rWxz3PHhx3DThLx2yzVxX43vOHCPk9lAZ9NKcopK8GnVmcYXJzhDnFeXhyRipLAD77xuW8e928ce1vvnA2Gz5zrRt7BrhySQV7Gnvc8NDsYic0NOIRHG7t4+k9zVy5pIJ5pfkc7+gnOhzj7/53K2/4+rN84L6Xx128TqdXWeDnifrGcbY4YY755UEWVoTYOUYInERhsuWXv/2H/Vzyb09y1Vf+yO92JF9awHk/RwjiZwB/4Te72dPYQ19kmKbuMFHbzU81VusIwaLKUNLkeHwHdbJzgP3NPVQU+N1Ev5VrMPzzr3eRmyOsnV/mtq8qDBCJxkZ1SC09YX6z3epMegaH3ASwiLCgIsRBe62czz+yi288uR+wPIdINEZZ0MfsYktchidIKO461c3QsGHXqW7+4f+20TUwhAju+9SU5jMcM0mryPrCUfdz701VCE51u55b6h7BEJUFVkFEfGjIGe3Hh4Zg5Dp4/Yoq932caqN4jwAsD6hrIMLmox08ZS8FcrC5l0UVIcqC1m/JCW0eaetnkZ3zcUI93YNDFOZ5WVhheeTXLqvkpgtm84e9za73GS8E3QNDxGKGDYfaRnX69714lH//7Z5xgyZHCOobuukZHOKJ3U286aI51JTmn90egZI6taX5zC3Jc9dQT4aIUBjwjjq2xt4T+bd2R+oIiuMR9EeifPjHm/F5crjjusXUluUzOBTjyfomHt5yklW1xRhjzXCOxxGCt108l50nu8dtt+iMRGcVBbiguogdJ7swxvBUfRODQ8PuLMwjbX2jlsyI57vPHaa6JI9FlSH+9dH6pDOhnR/EeXYH4Izcd5/q5oENx9yErVPiVx7y0ROOplR10dobwefJYW5JXlIvIn6y04mOAbYd72Tl3GLyfLnkeXNp743wwMZj/HZHI3//hqUsn1PotnfWloqP6f/PMwf5mwdeoaUnTDgaIxSX5FxYEeJQSy+xmOGhzSf4+WYrTOR8L6VBP7OL8hiOmQlzD845e+9ldRxp6+dkxwBFeV5y7Gvt/DlWPuovvrvB3Vt5OGZGhQ6Px33vqXgEkWiM/c09vHaJVeGXqhB09kcoCfooDfpGeV7x11k8739NHZ+5cZnbaTf3hOkPj/cIAIrzvHT0DfHF39bziZ9vIzoc41BrH4sqQ5TZXpvjERxr62Pt/FIKAh43ad89YM3GXlgRQsQafN28cg6RaMw9bweaetzfcGf/EM/ub+Ed97zkhngAth63PLxHto5e7G/r8U5yc4ShYcOP/nSU/sgw1yytpKrAT3O3egRZwSevP48vvuXC037+yppivLnCU3usC3J20YhHEDNW0mlfcw/fuHUVc0vy3VzET146Ro5Y7w9wtH10eKa9P4I3V3j7mhoAfrejkQPNvaz/jz9Q39DtdjJVhQHOry6iuSfMgxuP88H7NvHfTx/g5SPteHMFYxKPJAeHhukaGOINy2fxhTev4GTnAHf+dCuf/eWOUeWZDs5ubs5I0En+Pb67ERG487olwMgorrokH2NGSkmT0dpj1fwX5/uSzkB1OqjZRQH2NHZzsKWPi2qszrQ06KO9P8IPXzjC6tpibr9iwajn1iSYwPWSXf7o2FwQiBeCIB39Q2w70UlPOMqJjgGaewbd0XlZyOcmqf84weJxTd1hykM+d5vUDYfb3UQxwPI5hTzwl5dSEPDw0QdfoXtwiLufOchVX/mjO5fBKS+tKc1jb1PisuODLb08uPEYkWiM+gbLC1m3oBSfJyfl0EZ7f4SSfB9lIf+onE38dRbPqtoS/vK1C6gssI639IRH5hGM8wh8NPUMsv1EFx12Jx2JxlgYJwRtfWG6Bobo6B+iriyfJVUFbuWQIwQfuHw+X7zlAspCflbXFlNdnOeGh/Y397JsthO2HHLLep/Za+XmItEYO+3cyW+2N7gDlKHhGDtPdnH9+VY+8LvPHcKXm8NlC8usxQpTDK29GlQIZgDnVxdx2cKyyRtOQMCby4o5RQwOxdzJZGB5BGBVR8wvD3KlPUJzOqTnD7Ry4dxiLrA7ibErm3b0WT/MuvIg51cX8psdDdzz7EFOdg6w8XA7jd2DFNvvd8Fc6zX+7dHdAPzgxSPsPNnFGy+cAyQeSTojxcpCP69ZWM5NF87m97sa+clLx/jhi4fHtW/sGkAEFpSHyJGROOwTu5u4uLbE/RE6nercEssz6h4c4vc7G+ibYIlvsGL65SEfRXleuyoosWfS1meJ49JZBa7Hc1GN5ZGVBn0cauljf3Mv15xX6Y66HersmeHO0iDdg0NuUvWA7cWE4ry9BXYYIn6/41eOdbpeSVnQx/LZhSyqDPGrrYmXk3aqbRzP5GTnAMV5oz3K1yws58tvW8nA0DA/23icH7xwhOGYGVe18rplszjePjBuqfTuwSHe/4ON/OPDO3j9157hXd/bgN+Tw5q6UioL/FPwCIYoCfooG+sRdCf2CBycjry5Z9D1PPN9YzyCfC+HWvqI2LkQZ1+PRZUhSvNHPALHK64tDbK4MjSqCqgw4OX86iJutSv5RIQ3rpzNc/tb6eiLWEIwq5CgL5eugSH3cz+73yqWqG/oJhKNccP5s2jsHnRDp3sbewhHY7xhxSyqCv109g9xyfwSgn6P+3+61wxTIThHuNgOD8XnGZxZqjtPdbHITqzBSAcJ8NolFe7a7YlCQ6V26d1NF8xh2/FOt+76UEsvjV0jCbzlswsRsUpe375mLj2DUWIGbllVTcjvGTX72cEZKTojum/duoo9/3I91y2r4pl9LeMSaic6Bqgs8OPz5FCU56Wzf4hTnQPsOtXNdcurqLRtcUJDzufccqyDD/9ki1tzHs8f9jRx34tH7MlffreaZqLcQntfmNKgj+riPJyIkyOCJUGfm+xbU1c67rkhv4fKAr8rBJuOtLuvcdDucMaGhsAaPXpzBW+usOVYh1u5VBr0ISK8eeUcNh5u51BLLz/fdHxUSaMjBLOLAq4nUDhGCJzPsHJuEV9+bC+tvWEunFvEL7ee5FTnAMfb+wn5PaxbYH2m+DkOxhj+8aEdnOoc5NM3nkfQ7+GyhWU8+tErqC7Oo6LAn3KyuL0vQkm+l7Kgb1SOoLFrEBErV5UIb24OpUGfmyPw5ea4+4Q7lOSPfOY8by5P1Vse1KLKEJ7cHEryvbT1ht3JgfPK8llcVUBbX4Tm7kH6IsOjPCmHmy+cQzRm+Nwju2jpCbO4KuRem45XYy2JPujmAT7++qXkeXN51A7lvmIfX1VTzEU1lofnDNqcazpVMT1dVAjOEda4QjAyanI8gs7+ITeOCpYHUVVo/aheu9iqPppXlu/+CBw6bFcd4KYLZgMQjRlmFQY42NI3qrY76PfYiTcf//ym87lySQWeHOHieSWcN6uAPQkSxi12B+EkvnNyhIA3lyuXlHO8fWDcXgJbj3dyQbX1Q7FCOENu4u+6ZVWE/B7yfbnuKM4Jgb10yBp5HUqwPMBXHtvH5x7Zxf6mHspD/gknHzlY4uin2haZBfbaUACl+V6MAU+OsNLem3osdeVBt0LqpUPt+OwOy6lOiQ8NzS3Jx5ebY3UwlQWsmFPEK0c7R0JDdpLzTRdZXtfN33qev/+/7fz05ZG9Gpq6w1QVWstcOB5Tcf5IJVM871o3j8hwjCVVIf7rL1YTM9b8gePt/dSU5rNstuVVPLev1Q1r1Df08OiOBu64djG3v3Yhj370Cr773jXu9ZaqRzBsl28W5/soDVkegTMQaOoepCzoH9e5x+O8T384Sv6Y/ED8Z55fHuTSBaVEY4aqQr+bbysL+Wnrjbjez7yyfOaXW9ePk9gtyvOMe90VcwpZUB7kkW2nWD67kDetrKYwz+t6BE7V3/P7W9l6vJNKez2xVbXFbD9hve62452UBn3MLclzq8+uWlrpfi5IvfLqdFEhOEdwPYLiOCHwjny9C+M8ArAS1AUBjzsCmZegnrwtziOoLcvnNQvLuOWial6zsIyDLb00dg+6ggLwr392Pv/9rtXk+XL5z7ddyH0fWEvQ7+G82QXUN3Tzx73NoyqLmuNCQ/E4ScZn42ZUtvdFONTa535Oa9QV4Yn6ZhaUB92Op6ow4L6u01k7cwsOjSlRbe+LsLuhm9wcIRozlBf4KM5zJh+NFoKByPBI2WbQ61bEOOcPrOQt2CW+vvGdEcD8sqAruBsOtXFRTTGlQZ8rXvEeQW6OUGd3RudXF1qdx8lONh/pIM+b677HvLIga+db8fjifK9bcjo0HKOtL+x6XM5ExUQdGsCbVs7hoppiPnbdEmpK83nTyjk8uPEY9Q3d1JTkUV2cx9KqAr725D6u/8az9AwOuatx3rKqOuFrWh7BxELQ2DXIXY/vZduJToyxxLQs6CMyHHNDUNYcgsTewNj36YsME/SN/3yOp3fxvBIutjvb+MFRWdBHW1+YA829duWSh9pSKzTndNiJPCkR4b/etZoff3Atj370cmbZnlf3wBAtvWFW1xZTFvTx0JYTbDzczkU1xYiInX/oIRazKrrOry5CRHj3unn84LZLWFJlibYz0GpKc8JYheAcobIwwB3XLuaWVXPdY45HAKMveoAPXbGAz960DI89yppXFqSxe3BULLKjL0JJcOTiv/9Dl/LVt69kQUWQhq5BWntH13ZfuqCMSxdYuY6qwoA712HZ7EJ6wlHe/4OX+cAPX3ZLHZu7w+TIyMjWYV5ZkLqy/FFT67fYnZsjBMX5Xk52DPCng61ct7zKbRdfVltjC4FT1jfW4/nTQStR+8W3XEBhwMPSWYVuh9HZH3F/qI1dg6z74lN8/4UjIx5BQiGwnut4Z4mYXxGktTfCyc4Bdp7q5tIFpVZC0P6hx3sEYOVDAFbMKWJ1bQmDQzGe2tPMh66YP6rdve9bw3OfvIb1i8rdiX2tvdYmPk5s3fUI8hJ7BAFvLr/8yHpusL2/v7pyAf2RYU51DVJbmk9OjvCrv1nP529ezr6mXp7d18qWox1UFvhHhRvjqSwI0Nk/xK+2nuTWe/7E0HAMYwy/3dHA3/98G1d95Wm++YcD/L9f7gSwcwROOafl+TR2DY66zhJR4XgEkei4/ED8Z76krsS9huLDpeUhP629EV482Mol860Q2NySPERwBy+JQkNgXd9XLK5wl7+wSlWt0FBlQYC3X1LDCwfaONk54L730lkF9EWGOdzWx/6mHlbYOZyQ38PVtjcA8UKQXo8g8dBAOSv52OuWjPo/EO8RjBGCN6wYO2M5397roJ9FlQUMxwydA0NuIg1wL3THuzDG2nd5Mm48fzZH2/rJEeHuZw7y/IFWrlxSQXPPIOUhf8Ky2dcuqeDnm6zN1fN8uWw51oEnR7jQjscX53n5oz3Cv27ZiBA4rnRujoyrMjnZYW3q4wjkCwdbCfk9vGVVNbesqsabm+OWTf7ilZP8bmcjf/XaBTR1D9I1MMTTe5pp77Vm9Doj5zevHBkJOx5BovyAQ509M/ze5w4zHDNctbSSnSe7qLenUITGCMHCyiDssjyCRRUFXLesirddPNetMHEosEMcq2tLeHR7A03dg27ZpeO1OaGdiTq0sZw3q5Brz6vkqT3NboFBwGst73zXE/v4495mNh/r4OJ5Je61MRbn+/jCr3fT1hfhmb0t9Iaj3PmzrRTlebnpgjmEo8P8Zrt1AkryfQzbIaG2vgh15UGaugfdDnQiHCHY09DjLikRz8qaIlbVFnP10kpCAQ/VxXlctnBkWbOykI8jbX0YMxIuDXhzmVUYYPvJiT2CRBTleekciNAzGKU85Ocf3rCUd6+bx97GbtbZAyWn8u3X204RjRlXCMZSku/Fmytp9whUCM5hnA5vVmFgVMghEc5SF0fbLCHoGhiyXPUEP6p4UZlspAbWKO/TNy4jHB3mwY3HeGjzCVsIwuPCQg5vWjmHH/3pKD99+Ri3rZ/P5qMdrKguciuinJhvSb6X1bUjo3Kn8y8IeAj5PeTmCMMxw/zyIIdb+zje3u8u4vfigVYunV/qekUARbZH8Ptd1gS6/3n2kPt6m462MzgUozTow5NrzcmIZ+38UtYvKuM1iyauAHMqgR7ceIyqQj+raopHVcMU+Ed3Ntcuq2Lr8U5WzLE++/fet2bC14aRNY9eOdYBWJ2zExo6b1YB739NHdcsq5zo6eP4yDWLeGZfC+dXj3RUntwcrlhcwWO7GukejPLedXUTPt/x0Nr6IohYAnuyc4AFFUGe+NiV5OYIu091jxKC+KW4a0ry6OgfcifsTURlQYDIcIzDbX189o3Lxj0+tySfX/z1evf/Fz51zajHy4J+d9HByxePrHBcW5rPBrs6LFUBLcrz0tobYThmqCiw8jPVxXmuFwm4c16c4osV9nyOsYgIlQUBmtPsEWho6BzG+UGNDQslYl7piBDASL18otHVvLJ8nEH82FF3MvyeXG5eOZvHdjXSMzhEc/dI/Hosa+pKWVtXyj3PHqI/EmXbiU43tgsjP8qrz6sc1ZE7I9DCgNeefGcJoDOCdpaEONbWz5G2fl6zaPRitwW2eBgDH7p8PlcsLqemNI/P3bzC3f85kTiCdZ7v/9C6cRP+4qktzUcEBoaGecOKWeTEeS65OTLKiwNrhH//h9a5AjgZK+YU4svNYcuxTjfB6Ly+JzeHz79pxbh8UTJW15aw7XOv5+J5o72cK5dWuIvJrU4yWne+31mFAf5ibS2/39XI1uOdvO+yOtcTXD6nkJWOp5fvZVFliFmFAZ7Z18If7fDgFYuTLz/vdLKfvmEZ15xXlbRtIpwS1IUVwVEd9ry4tcBSFYLifJ8b/oxfYiSegoCVZzra1k/Ql+v+/hJRVehP+1wCFYJzGMcjSEUISoM+Qn4PLx1qIxKNxc1eHX8h+z257ghtotruiXjr6rmEozEe29VkeQQTlAQC/PXVC2noGuSmbz7P4FCMS+pGOhwnlv+6ZaN/9I6H4cTanR/v9SscIejleHs/7//hRnyeHK4bMzoWEfc577y0lh99YC1PfOxKrlo60hGVTSAEqRDw5jLHLvF1bHK8qpDfM2GIJVX8nlzOry5ky9EOmroH8eTIq7IXrIqwsVxlJ/R9uTmjvIWxVJdYy6fctr6Ot6+pYThmCPpyecvq0cnl21+7kHll+VTaFU5Xn1fBc/taeWJ3E1WFfje/MRHXLavkVx9ZPy53kirO4oBjBcdZ5BFIKvDxxIeQKpJc384M+WWzC8fNOYknPoeULlQIzmGcafZj8wOJEBHecUkNj+9u4o3fes4tZyyZoNRwQUUIb66MyiGkwkU1xVQU+PnDnia7omXiH8qVSypYO7/U2jHqxmWj8hqXLSzjumVVXLl09A+3qmAkNATWjzLgzeGC6iJK8r3sPtXNrfe8RFtvhPs/dOmoH7pDRcjPJXUl9nICVklrecjvuvMTeQSpsqAiSEm+l7V2UtLJs4xNFJ8ua+pK2X6iyy1XTNbJnC6VhdayIhfVFI8qShhLadDH05+4ir+8YgEXzi1i7fxS3r++zs1pONx04Wye+fur3de6amklPeEoT+xu4uqllZMKpCc3h5V2Rc7p4Iz8rxszsHByI77cnHHe2kQUpSgES2whmCg/4LCgwgprOhMY04HmCM5hakvzuevtK8clFifi/71xOZctKOMvf7yJ//rDAWDiTu+mC2ZTFvRNuZMREa5YXM5vtjdgDFQkCS2JCP/7V5clfOy8WYUJ4+WOR+CM3uYU5RHw5JKTI9SVB/mlPQP35x++jEsmSOp++y9WjUvaAly6oJT9zb1uGOF0+ccbltE9OOSGtOI9gjPBe9bN44cvHuGFA22jqprONPe892JyUuh4a+LCHhN9n2NZv6gcb6619s5VS1PPaZwuy2YX8vwnr2ZuyegQjROyKcxL3VuLn7ldEZpYCJZWOUKQOD/g8FdXLuS3Oxr5mwe28JuPXj5hOPXVoB7BOYyI8JbVc8etu5KM65ZX8bplVZyyK04mEoK3XjyXL//5ytOy67WLK4jYq6Im8whOhwrXI7B+jF98ywX897tXA9ZkIoA/v3juhCIAsLiqYNQMbYdbVlWzurZ4XGcxVZbPKXSrR2BECM6UR1BTms9t6+tGvXY6mF2UN6Uc0VRwNujx5grrkyTfzySJvlfHU0i1YghGPAKR5N7j5YvLuXppxaiwYyIKA16+8+7VdA8OuSvQnmnSuUNZjYg8LSL1IrJLRO5I0OZdIrLdvr0oIqfXsyhnlNvWW3HWfF9uyknKqXD54pEE7ZkWgsKAh4KAZ2Sv4KDPjf9eUlfKrMIAn7rhvNN67YvnlfLwX68/4+ek2N7P+Ex5BAAfuXoRlQX+lPJDM5V/uP48/uMtF44LI00nxfk+CgOelBPFQNxMc9+oQoaxlIf8/OC2te4yEsk4b1YhP/7gpXz2puUp2zEV0hkaigIfN8ZsEZECYLOIPGGM2R3X5jBwpTGmQ0RuAO4BLk2jXnPQlQAACGxJREFUTUoKrFtQyrLZhfSG07NpfXnIz4o5hew61Z3Sj2AqiAgP/uU6d5e2eN65tpZ3rKlJS8z81SAiLCgPMiuBF3K6FAa8/OETVxHwnL1O/0Vxa+9kkmWzCymfwoDFEYJk+YHTIZkX+2pJmxAYYxqABvt+j4jUA9XA7rg2L8Y95SVgLkrGERG+9c5Vo1aAPNNcc14lB1t6k8ZQT5fzqyeOuc40EXD40QfXnnFP40x6GNnM3e++eErXjRNGKk/DtZ0upuVKEZE6YBWwIUmzDwK/m+D5twO3A9TW1iZqopxh0h1S+MjVi/izVdXjtuLMVtKRAFTODInm0iQjN0dGhSfPBtIuBCISAh4C7jTGJNzVQkSuxhKCyxM9boy5BytsxJo1a7Jqc/tzlYA3d0oTmxTlbOJTN5znzhM4G0irEIiIF0sE7jfGPDxBmwuB7wE3GGPaErVRFEU5m3jXpeP3G5/JpLNqSIB7gXpjzF0TtKkFHgbeY4zZly5bFEVRlIlJp0ewHngPsENEttrHPg3UAhhj7gb+CSgD/tuerBE1xiRfVUtRFEU5o6Szauh5nOUPJ27zIeBD6bJBURRFmRwt2VAURclyVAgURVGyHBUCRVGULEeFQFEUJctRIVAURclyxJiza6KuiLQARzNtRxLKgdZMG5EEte/VMdPtg5lvo9r36jhd++YZYxKueX3WCcFMR0Q2zeS5EGrfq2Om2wcz30a179WRDvs0NKQoipLlqBAoiqJkOSoEZ557Mm3AJKh9r46Zbh/MfBvVvlfHGbdPcwSKoihZjnoEiqIoWY4KgaIoSpajQnCaiEiNiDwtIvUisktE7rCPf15ETorIVvt2YwZtPCIiO2w7NtnHSkXkCRHZb/8tyaB9S+PO01YR6RaROzN5DkXk+yLSLCI7444lPGdi8U0ROSAi20VkdYbs+7KI7LFt+IWIFNvH60RkIO483p0h+yb8PkXkH+3zt1dE3pBu+5LY+LM4+444S+dn6BxO1Lek7zo0xujtNG7AbGC1fb8A2AcsBz4PfCLT9tl2HQHKxxz7T+BT9v1PAV/KtJ22LblAIzAvk+cQeC2wGtg52TkDbsTaZ1uAdcCGDNn3esBj3/9SnH118e0yeP4Sfp/272Ub4AfmAweB3EzYOObxrwL/lMFzOFHfkrbrUD2C08QY02CM2WLf7wHqgerMWpUSbwbus+/fB/xZBm2J51rgoDEmo7PGjTHPAu1jDk90zt4M/MhYvAQUi8js6bbPGPO4MSZq//sSMDedNiRjgvM3EW8GfmqMCRtjDgMHgLVpM84mmY32zopvBx5Mtx0TkaRvSdt1qEJwBhCROmAVsME+9De2i/b9TIZeAAM8LiKbReR2+1iVMaYBrAsOqMyYdaO5ldE/vplyDmHic1YNHI9rd4LMDwY+gDU6dJgvIq+IyDMickWmjCLx9zkTz98VQJMxZn/csYydwzF9S9quQxWCV4mIhICHgDuNMd3Ad4CFwEVAA5abmSnWG2NWAzcAHxGR12bQlgkRER/wJuDn9qGZdA6TkWgHvozVY4vIZ4AocL99qAGoNcasAv4OeEBECjNg2kTf54w6fzbvZPSAJGPnMEHfMmHTBMemdB5VCF4FIuLF+qLuN8Y8DGCMaTLGDBtjYsB3mQZXdyKMMafsv83AL2xbmhy30f7bnCn74rgB2GKMaYKZdQ5tJjpnJ4CauHZzgVPTbBsAIvI+4I3Au4wdOLZDLm32/c1YMfgl021bku9zxpw/ABHxAG8BfuYcy9Q5TNS3kMbrUIXgNLFjifcC9caYu+KOx8fmbgF2jn3udCAiQREpcO5jJRR3Ao8A77ObvQ/4VSbsG8OoUdhMOYdxTHTOHgHea1dtrAO6HNd9OhGR64FPAm8yxvTHHa8QkVz7/gJgMXAoA/ZN9H0+AtwqIn4RmW/bt3G67YvjOmCPMeaEcyAT53CivoV0XofTmQ0/l27A5Vju13Zgq327EfgxsMM+/ggwO0P2LcCqyNgG7AI+Yx8vA54C9tt/SzN8HvOBNqAo7ljGziGWIDUAQ1gjrQ9OdM6wXPL/whol7gDWZMi+A1gxYuc6vNtu+1b7u98GbAFuzpB9E36fwGfs87cXuCFT37F9/IfAh8e0zcQ5nKhvSdt1qEtMKIqiZDkaGlIURclyVAgURVGyHBUCRVGULEeFQFEUJctRIVAURclyVAgUxUZEhmX0aqifOoOvXRe/2qWizCQ8mTZAUWYQA8aYizJthKJMN+oRKMok2OvTf0lENtq3RfbxeSLylL2Y2lMiUmsfrxJrX4Bt9u019kvlish37TXmHxeRPLv9R0Vkt/06P83Qx1SyGBUCRRkhb0xo6B1xj3UbY9YC3wb+//buWJfBKAzj+P/ViEgkJIwkFpOECFdgdQEiJrHowoQbsBNhMZhcgFEiIhIhBqNVbCQ6dOjSiDyGc0RFSwdl+J7f0tM3zZee6T2np9/z7eTaHin+d4IU9Lab67vAhaRJUu79Xa6PAfuSxoEq6a5VSNnyU/k6K52anFkrvrPYLIuImqS+JvUHYFbSfQ4De5I0GBEVUlzCS64/ShqKiGdgWFK94RqjwKmksfx+E+iWtBURJ0ANOAaOJdU6PFWzT7wjMGuPWoxbfaaZesP4lY8zujlSVsw0cJtTMM3+jBuBWXvmG16v8/iK9EAdgEXgMo/PgDJARJS+y6+PiC5gRNI5sAEMAF92JWad5JWH2YfeyA8tz04kvf+FtCcibkiLp4VcWwUOI2IdeAaWcn0NOIiIZdLKv0xKu2ymBBxFRD8pRXJbUvXXZmTWBp8RmP0gnxHMSKr893cx6wT/NGRmVnDeEZiZFZx3BGZmBedGYGZWcG4EZmYF50ZgZlZwbgRmZgX3Bm1jSKXZYgqnAAAAAElFTkSuQmCC\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "import matplotlib.pyplot as plt\n",
    "\n",
    "plt.plot(range(200)[10:], average_mae_history[10:])\n",
    "plt.xlabel('Epochs')\n",
    "plt.ylabel('Validation MAE')\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}