L5.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# L5\n",
    "\n",
    "Ref: C. Bishop \"Machine Learning\", Ch.1-3\n",
    "\n",
    "Na tych ćwiczeniach omówimy:\n",
    "    * bias-variance dillema,\n",
    "    * modele i estymatory,\n",
    "    * ewaluację modelów,\n",
    "    * regularyzację i jej związek z rozumowaniem Bayesowskim. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "# importy, przydatne funkcje\n",
    "\n",
    "import numpy as np\n",
    "from matplotlib import pyplot as plt\n",
    "from sklearn.linear_model import LinearRegression\n",
    "%matplotlib inline\n",
    "\n",
    "# np.vander(x, degree + 1)\n",
    "# przyjmuje listę liczb x\n",
    "# zwraca tabelę po zmianie zmiennych na wielomian stopnia x\n",
    "# można sobie przetestować dla lepszego zrozumienia\n",
    "\n",
    "def f(size):\n",
    "    '''\n",
    "    zwraca dwie listy przykładowych danych (x i y) o długości 'size'\n",
    "    w tym wypadku przykładowa prawdziwa funkcja to y(x) = 2 * sin(1.5 * x)\n",
    "    '''\n",
    "    x = np.linspace(0, 4.5, size)\n",
    "    y = 2 * np.sin(x * 1.5)\n",
    "    return (x,y)\n",
    "\n",
    "def sample(size):\n",
    "    '''\n",
    "    zwraca dwie listy przykładowych danych (x i y) o długości 'size'\n",
    "    podobnie jak f, ale z dodanym szumem\n",
    "    uwaga - współrzędna x jest \"losowana\" z rozkładu jednostajnego\n",
    "    (dla naszych zastosowań nie robi to większej różnicy, ale porządni informatycy\n",
    "    mogą chcieć zastąpić linspace przez prawdziwe losowanie)\n",
    "    '''\n",
    "    x = np.linspace(0, 4.5, size)\n",
    "    y = 2 * np.sin(x * 1.5) + np.random.randn(x.size)\n",
    "    return (x,y)\n",
    "\n",
    "def fit_polynomial(x, y, degree):\n",
    "    '''\n",
    "    zwraca nauczony model regresji z wielomianową zmianą zmiennych\n",
    "    (x,y): dane treningowe\n",
    "    degree: stopień wielomianu\n",
    "    '''\n",
    "    # To juz umiemy sami zaimplementować!\n",
    "    model = LinearRegression()\n",
    "    model.fit(np.vander(x, degree + 1), y)\n",
    "    return model\n",
    "\n",
    "def apply_polynomial(model, x):\n",
    "    '''\n",
    "    zwraca predykcję nauczonego modelu regresji z wielomianową zmianą zmiennych\n",
    "    x: dane do predykcji\n",
    "    '''\n",
    "    degree = model.coef_.size - 1 # wyciągamy stopień wielomianu z modelu\n",
    "    y = model.predict(np.vander(x, degree + 1))\n",
    "    return y\n",
    "\n",
    "f_x, f_y = f(50) # tym narysujemy sinusa"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Koncept: dane to losowa próbka\n",
    "\n",
    "* Dane pochodzą z pewnego rozkładu prawdopodobieństwa (łącznego).\n",
    "* Nie znamy tego rozkładu, chcemy się go nauczyć.\n",
    "* Rozkład nie zmienia się w czasie (a więc nasza wiedza z teraz będzie aktualna zawsze).\n",
    "\n",
    "<img width=400 src=\"figures/L5/the-seventh-seal-chess-game.jpg\">"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[<matplotlib.lines.Line2D at 0x7fb99c10a2d0>]"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAgkAAAFkCAYAAACq4KjhAAAABHNCSVQICAgIfAhkiAAAAAlwSFlz\nAAAPYQAAD2EBqD+naQAAIABJREFUeJzt3Xl8VNX5x/HPARTUCm5E4y5xAauiiWsT0SriWiqJUuOG\nuIBYtWLrgq3FvXXfrStWReM6WAVRVCpIVPSXqNSKWI1rjUFQERRE4Pz+eEKFeAlZ5s65M/N9v17z\nijO5M/c5XibzzFme47z3iIiIiDTVIXQAIiIikkxKEkRERCSSkgQRERGJpCRBREREIilJEBERkUhK\nEkRERCSSkgQRERGJpCRBREREIilJEBERkUhKEkRERCRSxpIE59wI59wS59w1mTqniIiItF1GkgTn\n3C7AScCbmTifiIiItF/sSYJz7mfAaOBE4Ou4zyciIiLpkYmehJuBJ733EzNwLhEREUmTTnG+uHPu\nCGBHYOcWHr8usD/wIbAgvshERERyThdgc+AZ7/3sdLxgbEmCc25j4DpgP+/9Dy182v7A/XHFJCIi\nkgeOAh5IxwvF2ZNQAnQHapxzrvGxjkAf59ypQGfvvW/ynA8BRo8eTa9evWIMLXOGDx/OtddeGzqM\ntMiltoDak2S51BZQe5Isl9oyffp0jj76aGj8LE2HOJOE54Dtmzz2d2A68NeIBAEahxh69epFcXFx\njKFlTrdu3dSWhFJ7kiuX2gJqT5LlUluWkbbh+tiSBO/9t8Dbyz7mnPsWmO29nx7XeUVERCQ9Ml1x\nMar3QERERBIo1tUNTXnv98nk+URERKTttHdDzCorK0OHkDa51BZQe5Isl9oCak+S5VJb4uCi5w+G\n4ZwrBmpqampycSKJiIhIbGpraykpKQEo8d7XpuM11ZMgIiIikZQkiIiISCQlCSIiIhJJSYKIiIhE\nUpIgIiIikZQkiIiISCQlCSIiIhJJSYKIiIhEUpIgIiIikZQkiIiISCQlCSIiIhJJSYKIiIhEUpIg\nIiIikZQkiIiISCQlCSIiIhJJSYKIiIhEUpIgIiIikZQkiIiISCQlCSIiIhJJSYKIiIhEUpIgIiIi\nkZQkiIiISCQlCSIiIhJJSYKIiIhEUpIgIiIikZQkiIiISCQlCSIiIhJJSYKIiIhEUpIgQTQ0NFBW\nVkZRURFlZWXMnDkzdEgiItKEkgQJoqKigurqaurq6qiurqa8vDx0SCIi0oSSBAmivr6+2fsiIhJe\nrEmCc+5k59ybzrk5jbeXnHMHxHlOyQ6FhYXN3hcRkfA6xfz6nwDnAO813j8O+Idzbkfv/fSYzy0J\nlkqlKC8vp76+nsLCQlKpVOiQRESkiViTBO/9uCYP/ck5NwzYHVCSkMcKCgqYMmVK6DBERKQZcfck\n/I9zrgMwEFgdeDlT5xUREZG2iT1JcM5thyUFXYC5wADv/Ttxn1dERETaJxOrG94BegO7AX8D7nXO\n9czAeUVERKQdYu9J8N4vAuoa79Y653YFfgcMW9Fzhg8fTrdu3ZZ7rLKyksrKytjiFBERyRZVVVVU\nVVUt99icOXPSfh7nvU/7izZ7QueeBz7y3h8f8btioKampobi4uKMxiUiIpLNamtrKSkpASjx3tem\n4zVj7Ulwzl0KjMeWQq4JHAXsBfSL87wiIiLSfnEPN6wP3AsUAnOAaUA/7/3EmM8rIiIi7RR3nYQT\n43x9ERERiY/2bhAREZFIShJEREQkkpIEERERiaQkQURERCIpSRAREZFIShJEREQkkpIEERERiaQk\nQURERCIpSRAREZFIShJEREQkkpIEERERiaQkQURERCIpSRAREZFIShJEREQkkpIEERERiaQkQURE\nRCIpSRAREZFIShJEREQkkpIEERERiaQkQURERCIpSRAREZFIShJEREQkkpIEERERiaQkQURERCIp\nSRAREZFIShJEREQkkpIEERERiaQkQURERCIpSRAREZFIShJEREQkkpIEERERiaQkQURERCIpSchj\nDQ0NlJWVUVRURFlZGTNnzgwdkoiIJIiShDxWUVFBdXU1dXV1VFdXU15eHjokERFJkFiTBOfcCOfc\nq865b5xzDc65Mc65reM8p7RcfX19s/dFRCS/xd2TsCdwI7Ab0BdYBZjgnFst5vNKCxQWFjZ7X0RE\n8lunOF/ce3/Qsvedc8cBM4ESYEqc55aVS6VSlJeXU19fT2FhIalUKnRIIiKSILEmCRHWAjzwZYbP\nKxEKCgqYMkW5moiIRMtYkuCcc8B1wBTv/duZOq+0j/fwxRcwfbrdPvwQnINOnWCVVZb/uex/b7QR\n7LQTbLBB6BaIiEhbZbIn4RZgW6B0ZQcOHz6cbt26LfdYZWUllZWVMYUmS5bARx/9mAy8886P//1l\nY79Px46wySbQoQMsWgQ//LD8z6X/vXjxj69bWAjFxZYwLP252WaWaIiISNtUVVVRVVW13GNz5sxJ\n+3mc9z7tL/qTkzh3E/ArYE/v/cfNHFcM1NTU1FBcXBx7XPlu8WKYPBkefhhSKVhaJmH11aFnT+jV\ny25L/3vLLWHVVVf+uksTjtpau73+uv1saLDfr722JQu77AIDB9p/K2kQEWmf2tpaSkpKAEq897Xp\neM3YexIaE4RfA3s1lyBIZixaZInBI4/8mBhsuikccwz07Qvbbgsbb2y9BW3VoQNssYXdKip+fLy+\nfvnEYdQouPxy+PnP4dhj4aijbJhCRESSIdYkwTl3C1AJ9Ae+dc6t3/irOd77BXGeO1s0NDRQUVGx\n3AqDgoKCtJ6jucRg4ED7Rp+Jb/KFhXDwwXZbGtezz8K998LIkXDuubDvvhZXeTn87GfxxyQiIisW\nd52Ek4GuwAvAZ8vcBsZ83qwRZ9XDuXPhL3+xnoF994WnnrIP4KlTbQLiVVfBrruG6+rv1AkOPBCq\nquDzz+HOO21Ow6BBsP761rvw7LPLz3EQEZHMibtOgso+r0QcVQ/nzoWbbrIkYN48OP54GDw4cz0G\nbdGtm8V5/PGWwNx/v/Uw3HefzYm49FIYMCC58YuI5CJ9iAeWzqqHS3sONt8cLrgAjjgC3nsP/va3\nsD0GrbX55vDHP9oKi+pqGxqpqIDdd4eJE0NHJyKSP5QkBJZKpSgtLaVHjx6Ulpa2qerhipKDm2+2\nJYvZyjn4xS/gmWfg+eftsX33hf33h5qasLGJiOSDTFdclCbaU/Ww6bDCiSfa5L9sTgxWZJ994JVX\nYMwY62XYeWebdHnxxbC1tgwTEYmFehKy1NixNlafSz0HK+OcrXr417/grrvgpZdsyebQofDf/4aO\nTkQk9yhJyDKzZ9sKhV/9Cnr3hnffzf3koKlOnWyC43/+A1dcAY89BlttZb0qS5aEjk5EJHcoScgi\nqZQVHho7Fu65B8aNsxLH+apLFzjzTHj/fVu9cdppNl/hk09CRyYikhuUJGSBmTNt/L2iAvbYA95+\n22oIZMtqhbh162a9Kc88Y3tNbL89jB5tm1OJiEjbKUlIMO+t0NC228I//wkPPmi9Ce1YJZnT+vWz\n+QqHHGJDMocfDrNmhY5KRCR7KUlIqPp6Kx505JG2p8Lbb8NvfqPeg5VZe23rRXj4YXjhBdhuO3jy\nydBRiYhkJyUJCTR2rPUevPKK9Rw8+CB07x46quxy+OHWq7DzztC/vy0P/eab0FGJiGQXJQkJsmQJ\nXHKJfajttZf1HgwYEDqq7FVYaL0Id9wBDz0EO+xgFRxFRKRllCQkxNy5cNhhcP75VvsglYJ11gkd\nVfZzznoRpk2zja5++Uu4++7QUYmIpFdDQwPHH3982l9XFRcT4D//gUMPtaV7//iH9SRIem2xhe37\ncOqpVmPhrbesxkLHjqEjExFpv4qKCt588820v656EgIbP952Z1y0CF59VQlCnFZdFW67Da6/Hq67\nzv5fz5kTOioRkfZLxw7CUZQkBOI9/PWvcPDBsOeeliD07Bk6qtznHJx+uiVn1dVWd+L990NHJSLS\nPu3ZQbg5ShICmDfPljOOGAF/+pMNMXTrFjqq/NKvH0ydaj04u+5qyyVFRLJVKpWid+/eaX9dJQkZ\nVldn2x+PH297Dlx0EXTQVQhim21smelOO8F++8Htt4eOSESkbQoKChg1alTaX1cfTxn0xhvWvT1/\nvn04lZeHjkjWWccStqFD7Xb66da7ICIiShIyZsoU2Htv2HRTePll26hJkmGVVWwHyVtusdvBB9uS\nVBGRfKckIQOeftrGwHfaCZ5/HtZbL3REEmXYMJgwwXp5+vWDr74KHZGISFhKEmL20EO21K5vX3jq\nKejaNXRE0px99rFE7t137b+/+CJ0RCIi4ShJiNEdd0Blpa1keOwxWG210BFJS+y8s612qK+3IaLP\nPgsdkYhIGEoSYnLFFTBkCJxyCtxzj417S/bYfnuYPNk2herTBz76KHREIiKZpyQhzby3+gfnnGM1\nEG68UUscs9XWW8OLL9o13XNPK58tIpJP9PGVRosXW8/BX/8KV18NF19sFf4ke22+ufUorLGG9Sj8\n+9+hIxIRyRwlCWnyww9wzDFWkOeuu+DMM0NHJOmy0UYwaRIUFNgW3rW1oSMSEckMJQlpsHgxHHss\nPPooPPyw7TIouaWgAP75Tygqsu2mX3opdEQiIvFTktBOS5bYBMWHH4aqKqioCB2RxGWddeDZZ6F3\nb6ujoP0eRCTXKUloB+/hjDPg7rttBYMShNzXtasVx9pjDzjkENskSkQkVylJaCPv4bzzbPXCrbfC\n0UeHjkgyZfXV4fHHrUfhwAPhX/8KHZGISDyUJLTRpZfaKoZrrrHhBskva6wB48bBZpvZ0MN774WO\nSEQk/ZQktMG118L559sSx+HDQ0cjoay1FjzzjA1B9O0Ln34aOiIRkfRSktBKt99uyxvPPRf++MfQ\n0UhoBQXw3HM2/LTfftrrQURyS6xJgnNuT+fcE865/zrnljjn+sd5vriNHg0nnwynnw6XXaZCSWI2\n2cRWPXz5JRxwAMyZEzoiEZH0iLsnYQ3gDeC3gI/5XLF67DEYNMhqIFx7rRIEWd7WW9s203V18Ktf\nwXffhY5IRKT9Yk0SvPdPe+//7L1/HMjaj9Xx43/czfG227QXg0Tr3du2A6+pseWwCxeGjkhEpH30\ncbcSr70Ghx1mS93uuQc6dgwdkSTZHnvY8siJE21Z7OLFoSMSEWk7JQnNqKuzgjk77AAPPqjtnqVl\n9tvP/r2kUjB0qE1qFBHJRp1CBxBl+PDhdOvWbbnHKisrqayszFgMs2db70HXrvDEE7Daahk7teSA\nAQNg1Cibx7LJJjByZOiIRCSXVFVVUVVVtdxjc2KYNe18hr7mOOeWAId6759o5phioKampobi4uKM\nxBVl/nz7NjhjBrz8Mmy5ZbBQJMtddpktlf373y1hEBGJS21tLSUlJQAl3vu07FebyJ6EkJYssR0d\na2tt1z8lCNIeI0bYsNWJJ1qPwj77hI5IRKTlYk0SnHNrAFvy48qGHs653sCX3vtP4jx3W/3hDzaW\nnErBbruFjkaynXPwt7/Bxx9DebltMb3ttqGjEpFctGBB+l8z7omLOwOvAzVYnYSrgVrgwpjP2ybX\nX281EG64AX7969DRSK5YZRV45BHrSTjoIPj889ARiUiuWbIknrlPcddJmOS97+C979jkdnyc522L\nxx6zfRjOOgt++9vQ0Uiu6dbNNoRauNCKLX37beiIRCSXjBxpJeLTTUsgsS7go4+GgQNtZ0eROGy6\nKYwdC9Onw1FHqYaCiKTH6NFwySVw2mnpf+28TxLefRf694ddd7UZ6KqmKHEqLoaHHoInn4Tf/z50\nNCKS7aqr4YQTYPDgeFZQ5fVH4hdfWC2E7t1hzBjo0iV0RJIPDj4YbrzR5sDccEPoaEQkW9XVwaGH\nwu67w623xrOnUN4ugVy40Orrz5sHU6fCOuuEjkjyySmnwAcfwBlnwGabaaKsiLTOnDk2v6lbN1uN\nt+qq8ZwnL5ME7+2P9NSpVgth881DRyT56PLLLVGorIRJk2CXXUJHJCLZYNEi23Dws8+s4N+668Z3\nrrwcbrjhBrjrLtvR8Re/CB2N5KsOHeC++2xvkEMPtTe8iMjKDB9uKxkefRR69oz3XHmXJEyYAGee\naZPGjjsudDSS71ZbzebDOGf7PcRRDEVEcsdNN9ntlltg333jP19eJQkzZtgyx/33t65ekSQoLLTt\npadNgyFDtGukiER7+mn43e+sJ2HIkMycM2+ShK++skkeG24IVVXQsWPoiCSUhoYGysrKKCoqoqys\njJkzZ4YOiZ13tl0j77sPrrkmdDQikjT//rfNQzjoILjyysydNy8mLi6d5DF7tk1WbLILteSZiooK\nqqurAairq6O8vJwpU6YEjsomME6bBmefbfs7HHhg6IhEJAm++AIOOcQm2T/wQGa/5OZFkvD738PE\niTYfQbs6Sn19fbP3Q7rkEnjrLTjiCEto456UJCLJ9sMP9iX3229tFdSaa2b2/Dk/3HD77baa4cYb\ntU2vmMLCwmbvh9SxI9x/P2y0kdVO+Oqr0BGJSEhnnQUvvmgrGTbdNPPnz+kkYdIk26zplFNg2LDQ\n0UhSpFIpSktL6dGjB6WlpaRSqdAhLadrV3jiCetirKzUHg8i+eqee6wy6/XXQ58+YWLI2eGGDz6w\niop9+sB114WORpKkoKAgEXMQmrPllvDww3DAAXDOOXDVVaEjEpFMevVVGDrU9mUI+SU3J3sSvv3W\numrXWgseeQRWWSV0RCKt17evrXS4+mr7RiEiyZaulVOffw7l5bDTTnDzzfHsydBSOdeT4L1lXnV1\n2pNBst9pp/1YP2GbbWwjFxFJpnSsnFq4EA47DJYsgcceg86d44i05XKuJ+Hqq20r3r//HX7+89DR\niLSPc/ZNYpddrCKjSjeLJFc6Vk6dfjq89ppt2rThhumKrO1yKkl47jkbvz33XMvERHJB5872jaJj\nR/t3vXBh6IhEJEp7V07ddpvdbr45Ob2GOZMkfPihrS3v29fWmovkkvXXt0Shpsa2lxaR5GnPyqnq\nahtePOUUOPHEGINspZyYkzB/vk3y6NpVJZcld+22m9X7GDrUhh8GDw4dkYgsq60rpz791Fbj7b47\nXHttDIG1Q9YnCd7bH8133rF9tTVRUXLZkCE2XjlsGGy/ve35ICLZa8EC+5K7yiq2Gm/VVUNHtLys\nH2646SbbFOfOO6F379DRiMTvxhthhx3sD8sXX4SORkTaynsbXpg2zbaMX3/90BH9VFYnCZMm2ZaZ\nZ54JRx4ZOhqRzOjSxeYnLFhg83AWLQodkYi0xe23w91322TFpPYKZm2S8OmnMHCgVVS8/PLQ0Yhk\n1iabWEXGSZNgxIjQ0YhIa02dahMVhw2DQYNCR7NiWZkkLFhgkzw6d7aaCJ2yfmaFSOvtvbftK3/V\nVZYwiEh2mDnTPsNKSpK/bUDWfbx6D6eeCm++aUtGuncPHZFIOGecYTXejz8ett0WttsudEQi0pxF\ni2yY8IcfbGfHpE1UbCrrehLuvBPuugtuvdWyMJF85py9J4qKrCLj11+HjkhEmnPeeTB5svX+bbRR\n6GhWLquShNdes16EYcPguONCRyOSDGusYSVcZ82CY46xmu8ikjyPPmpDhFdcAXvtFTqalsmaJGHW\nLBvD2Wmn5BWbEAmtqAgeeADGjYOLLgodjYg0NX26FUAbONBW5WWLrEgSFi+2JY4LFlgmFnpXLJEk\nOvBAuPBCSxLGjw8djYgs9c03Nhy46aY2XB5y6+fWyookYeRIeP55ePBB2Hjj0NGIJNcf/wgHHQRH\nHQUffBA6GpHMa2hooKysjKKiIsrKypg5c2bQeLy3icWffWbDgj/7WdBwWi3xScITT8Cll8Jll8E+\n+4SORqR94v4D1qGDVSBde23bMXL+/LS+vEjiVVRUUF1dTV1dHdXV1ZSXlweN58orrfjZvffCNtsE\nDaVNEp0kvPeeTcQaMADOPjt0NCLtl4k/YGuvbX+U3n7bJvqK5JP6+vpm72fS889bsbMRI+DQQ4OF\n0S4ZSRKcc791zn3gnJvvnHvFObfLyp7z3XdWm3799a1sZTaN4YisSKb+gO24I/ztbzBqlC2RFMkX\nhYWFzd7PlE8+sXoI++4LF18cJIS0iD1JcM79BrgaGAnsBLwJPOOcW29Fz1m6s+P779sYTrducUcp\nkhmZ/AN23HH2Pjr1VPi//4vtNCKJkkqlKC0tpUePHpSWlpJKpTIew/ffw+GHw+qr26qjjh0zHkLa\nZKLi4nDgNu/9vQDOuZOBg4HjgSuinvDIIzB6tP3PVQU5ySWpVIry8nLq6+spLCyM/Q/Y9ddDba3N\nT6ipgXXXjfV0IsEVFBQwZcqUoDEMHw6vvw5TpsB6K/w6nB1iTRKcc6sAJcBlSx/z3nvn3HPAHit6\n3uWXL+Kkk76jsnL1OMMTybhM/wHr3NmWDRcX24qHceOy+1uNSNLdd58N9d12G+yy0oH15It7uGE9\noCPQ0OTxBmCDFT/tX7z11oHxRSWSRzbdFKqqYMIEFVoSidO0aTbEd9xxcNJJoaNJj1CrGxzgV/zr\nc2lo+DRjwYjkuv32g0susSRh3LjMnz9pa9dF0u3rr22y/TbbwC235M5k+7jnJMwCFgPrN3m8gJ/2\nLiz3tK++Wkz//v3/90hlZSWVlZUxhCiSH849F155BY4+2uYn9OiRuXMvXfoJUFdXR3l5efBxY5F0\nWbIEjj0WZs+2HrvVVov/nFVVVVRVVS332Jw5c9J+Hud9M1/o03EC514Bpnrvf9d43wEfAzd4769s\ncmwxUNO7d28mTJhAQUFBrLGJ5Juvv4add4Y114SXXsrMHzOAoqIi6urq/ne/R48evP/++5k5uUjM\nLrvMqp2OHQsHHxwujtraWkpse+QS731tOl4zE8MN1wBDnHPHOud6ArcCqwN/X9ETRo0apQRBJAZr\nrWXLimfMsN1UY/6O8D9JWbsukm7PPQfnn2+3kAlCXGJfAum9f7ixJsJF2LDDG8D+3vsv4j63iPzU\nDjvA7bdbNdPdd4eTT47/nJle+imSCR9/DJWV0Lev7TGUizJRJwHv/S3ALZk4l4is3NFHw9SpcPrp\ntv36brvFe74krF0XSafvv7f6I7lQMKk5id67QUTic/XVNj/hsMNAiw1EWueMM+DNN22flFwuUqYk\nQSRPrbqqVTdduNBqzC9aFDoikexw771w661w002WaOcyJQkieWyjjeChh2DyZJudLSLNe/11K5g0\neDCceGLoaOKnJEEkz+29N1x+OVxxhXWdiki02bOtYNLPfw4335w7BZOak5GJiyKSbGeeaRMZBw+2\nP4A9e4aOSCRZFi+GI4+EuXPhhRcyV2MkNPUkiAjOwV13wcYb2zelefNCRySSLCNHWk2EBx+EzTYL\nHU3mKEkQEcCqMKZS8MkncMIJmSu0JJJ0jz8Ol15qlRX79g0dTWYpSRCR/+nZE/7+d3j4Ybj22tDR\niIQ3Y4bty1BRAWefHTqazFOSICLLqaiAs86yP4iTJoWORiScuXNt+G2jjeDuu/NjomJTShJE5Ccu\nuwz22gsOP9yGH0Tyjfdw/PH273/MGBuOy0dKEkTkJzp1sglaq61m36Tmzw8dkUhmXXUVPPoo3HNP\nfq/2UZIgIpG6d7dvUG+9ldkdI0VCe/55OPdcuw0YEDqasJQkAA0NDZSVlVFUVERZWRkzVcheBIDi\nYrjjDvs2ddNNoaMRid/HH1uZ8n32gUsuCR1NeCqmBFRUVFBdXQ1AXV0d5eXl2rFOpNHRR0NNDQwf\nbttM77VX6IhE4rFggU3cXWMNqKrK3Z0dW0M9CUB9fX2z90Xy3ZVXQp8+NpHx449DRyOSft7DkCE2\nvPbYY7DeeqEjSgYlCUBhYWGz90XyXadOthGUJjJKrrruOrjvPrjzTigpCR1NcihJAFKpFKWlpfTo\n0YPS0lJSqVTokEQSZ+lExn//WxMZJbc8+yz84Q9WH+Soo0JHkyyakwAUFBRoDoJICyydyHjMMfZt\n67TTQkck0j7vvQe/+Q306wd/+UvoaJJHSYKItIomMkqumDsXfv1rm3/wwAOaqBhFww0i0mqayCjZ\nbskS6xH79FN44glYe+3QESWTkgQRabWmExm/+y50RCKtc+GFlhzcf39+V1RcGSUJItIm3bvbFrpv\nvw2DB2sio2SPxx6Diy6y7Z8POSR0NMmmJEFE2mynnWzZ2MMP2x9dkaSbNg0GDbLJiueeGzqa5FOS\nICLtUlFh5WsvuMCSBZGkmjXLJiputRXcdVd+bv3cWlrdICLtdt55NuwwaBBssQXsskvoiESW98MP\nMHAgzJsHL7xgpZdl5dSTIJIn4tzIzDn7Zta7t31T++9/0/bSImkxfDi8+KJt/7zZZqGjyR5KEkTy\nxNKNzOrq6qiurqa8vDytr9+li01k7NQJ+vfXigdJjhtugJtvtp1MVdejdZQkiOSJTGxktsEGtqzs\nnXds6GHJkrSfQqRVxo61XoTf/x6GDg0dTfZRkiCSJzK1kdmOO9ra80cftcmMIqG8/joccYQNgV1x\nRehospOSBJE8kcmNzA491OrgX3wxVFXFdhqRFfrvf60GQq9eMHo0dNCnXZtodYNInsj0RmbnnPNj\noaUePWC33TJ2aslz8+bBr35lezE88QSsvnroiLKXcisRiYVztmNkSYn1LHzySeiIJB8sXgxHHmm7\nO44bBzGNquUNJQkiEpvOnWHMGPt50EHw9dehI5Jc9/vfw1NPWWGv7bcPHU32iy1JcM6d55yrds59\n65z7Mq7ziEiyFRTA+PE2RnzoofD996Ejklx1881w/fVw441wwAGho8kNcfYkrAI8DPwtxnOISBbo\n1QuefBKmToVjj9XSSEm/p56C00+35Y7DhoWOJnfENnHRe38hgHNuUFznEJHsUVoKDzwAhx0GG24I\n11yj2vmSHm++aRs2HXIIXHll6Ghyi+YkiEjGDBhgVe+uu86SBJH2+uQTSw623tqS0I4dQ0eUW7QE\nUkQyatgw+PRT+MMfrEehsjJ0RJKtZs2Cfv2sFPiTT2rTpji0qifBOfcX59ySZm6LnXNbxxWsiOSG\nSy6xuQmEmY2iAAAS60lEQVSDBsHEiaGjkWw0d66tmPnyS5gwwRJOSb/W9iRcBdy9kmPq2hjL/wwf\nPpxu3bot91hlZSWV+sohkhOcgzvvhIYGW/Hw4ou2g6RIS3z/vQ1dzZhh2z5vtVXoiDKvqqqKqibl\nTOfMmZP28zjvfdpfdLkT2MTFa73367Tg2GKgpqamhuLi4ljjEpHw5s6FvfeG+np4+WVt4Ssrt3ix\nTVIcNw6eeQb69AkdUXLU1tZSUlICUOK9r03Ha8ZZJ2ET51xvYDOgo3Oud+NNo0YiAsCaa9of+y5d\nbF37l6qoIs3wHk4+2bYkf+ghJQiZEOfqhouAWmAk8LPG/64FSmI8p4hkmQ02sG+Es2ZZvf1vvw0d\nkSTVeefZMNWoUdC/f+ho8kNsSYL3frD3vmPEbXJc5xSR7LTVVtajMG2aJQrffRc6Ikmaq66Cv/7V\nls4ee2zoaPKH6iSISCLsuqtVzZs61SalLVgQOiJJirvvhrPOgj/+0SoqSuYoSRCRxNhzT1vvPnmy\nVWZcuDB0RBLa44/DiSfC0KFw8cWho8k/ShJEJFH22Qf+8Q949lmbxf7DD6EjklAmToQjjoCKCtu8\nSWW8M09JgogkTr9+kErZPIWjjoJFi0JHJJn23HNWbnmvveC++1RuORQlCSKSSAcfDI88AmPGWGXG\nxYtDRySZ8vTTliDsvbf1KnXuHDqi/KUkQUQS69e/tk17HnzQxqW1xXTLNTQ0UFZWRlFREWVlZcyc\nOTN0SC0ydqxd9379LEHs0iV0RPlNSYKIJNrhh1t38z33WCGd1iYK2fph2V4VFRVUV1dTV1dHdXU1\n5eXloUNaqTFjoLzcepEefVQ9CEmgXSBFJPGOPNImMA4eDKuuCjfe2PJJbEs/LAHq6uooLy9nypQp\nMUabDPX19c3eT5pHH7UdQQcMgPvvh1VWCR2RgJIEEckSgwbZksghQ6w34cYbWzaZLds+LNOlsLCQ\nurq65e4nVVUVHHOMrWa55x7b+lmSQZdCRLLGSSdBhw6WKHzxBYwevfIu6Wz6sEynVCpFeXk59fX1\nFBYWkkqlQocU6b774LjjLEm46y6tYkgaJQkiklVOOAHWXdfWzx94oBXb6dp1xcdny4dluhUUFCR+\nWGXUKJuQesIJcNttlgBKsihJEJGsc+ihMGGCbfKz994wfjysv370sdnwYZmPbrvNJqIOGwY33aQE\nIal0WUQkK/XpY+WbP/8cSkthmREFSTDv4YILLEE47TSrpKgEIbl0aUQka+2wA1RX24fML34Bb7wR\nOiJpzvff29yDCy+Eyy6D669XqeWkU5IgIlltiy1gyhTYeGMr4fvCC6EjkiizZkHfvrbU8aGHYMQI\nJQjZQEmCiGS9ggL45z9tu+n997d9HyQ5ZsyA3Xe3ny+8AAMHho5IWkpJgojkhDXXtJK+AwZYlcZb\nbw0dkYAlBXvsYUWwpk61ZEGyh5IEEckZnTvbXg+//a3Nmh86FBYsCB1V/rr3XtuDobgYXnrJhoYk\nuyhJEJGc0qED3HAD3HGHVe/bc0/46KPQUeUX7+H8861K5qBBtkR1rbVCRyVtoSRBRHLSiSfayodZ\ns+yb7DPPhI4oPyxYYHttXHIJXH453H679mHIZkoSRCRnlZRATQ3stptVZ7zoIm03Had33rGlqI8/\nbqsYzj5bKxiynZIEEclp66xjExovuMBuhxwCX34ZOqrc4r1VUCwuhvnzbf5BRUXoqCQdlCSISM7r\n0AH+/Gd46imbYV9SArW1oaPKDbNnQ3m5VVA89ljrudlpp9BRSbooSRCRvHHAAZYcrLeedYvfdVfo\niLLb889b1cvJk2HMGFt2uvrqoaOSdFKSICJ5ZbPN4MUXbdb9iSdaYZ/6+tBRZZeFC22+wX77Qc+e\nMG2abboluUdJgojknS5dbAz9wQdh0iTo1cu+BWtS48rNmGG9MNddZ6sXnn0WNtoodFQSFyUJIpK3\nfvMbmD7dKjQOGwZlZfDWW6GjSqYlS6z2RHExzJ0LL78MZ52lHRxznS6viOS1ddaxD79Jk+Crr2zS\n3Xnn2Sx9MVOmWDnlIUOsBkJtrU3+lNynJEFEBOjTx7aa/vOf4eqrYbvtrCs9n9XVWS/LnntaT8Kk\nSZZQrbFG6MgkU5QkiIg06tzZygn/61+w6aa278DRR8PMmaEjy6yvv7ahhF69bFjh3nvh1VctkZL8\noiRBRKSJrbeGiRPh7rtt34Ett4Rzz839VRCLFsHNN1t7b7kF/vQnePddOOYYzT3IV7rsIiIRnIPj\njrNSw8OG2YfmFltY0aD33gsdXXp5b4WmdtgBTjsN+veH//zHelVU9yC/KUkQEWlG9+621O/jj2Hk\nSCsatM02cMQR8PrroaNrn3nz4M47bW+Lgw+GDTawiomjRsGGG4aOTpJASYKISAustRaMGAEffmhd\n8q+9ZssBDzgAXnjBvo1ni9pa6xEpLLQVC927w7hxVkFRJZVlWbElCc65zZxzdzrn6pxz3znn/uOc\nu8A5p01DRSRrrbaafcDOmAFVVfD55/DLX8Iee1hBpk8/DR1htLlzbdvmnXe25Ytjx8KZZ1rSM24c\nHHSQdmyUn4qzJ6En4ICTgG2B4cDJwKUxnlNEJCM6dfpxyGH8eFhzTTj1VNhkE+thGDnSehtCVnFc\ntMhWJwwZYr0Gw4bZzyeesOTgwgttFYfIijifwT4y59wfgJO991uu4PfFQE1NTQ3FxcUZi0tEJB2+\n+gqeftq+pY8fb/c32MC2pz7kEOjbN94aA19+Ca+8Yls1v/SS7Xj53Xew8cZwwgl222ST+M4vYdXW\n1lJiVa5KvPdp2ee0UzpepBXWArSTu4jkpLXXhspKuy1aBNXVljA8+aRNEOzc2fY9KCqCzTdf/lZY\n2PJlht7D99/DRx/9mBBUV1uJaYCCAjvPBRfYz912s54PkdbK2D8b59yWwKnAmZk6p4hIKJ06wV57\n2e3KK21J4dix9mH+xhvw+OMwa9aPx6+6qnX9b765/fTe5hF88439XPb2zTeWhIDNI9h+ezvPiBGW\nFPToofkFkh6tHm5wzv0FOKeZQzzQy3v/7jLP2Qh4AZjovR/azGsXAzV9+vShW7duy/2usrKSysrK\nVsUqIpJk8+ZZb8CHH8IHH9jPDz+05ZYdO9o8hzXXhK5df/zvZW+FhbDrrtDkz6XkgaqqKqqqqpZ7\nbM6cOUyePBnSONzQliRhXWDdlRxW571f1Hj8hsA/gZe894NX8tqakyAiOaOhoYGKigrq6+spLCwk\nlUpRUFAQOizJUYmYk+C9nw3MbsmxjT0IE4HXgONbey4RkWxWUVFBdXU1AHV1dZSXlzNlypTAUYm0\nXGxzEpxzhdgQw4fA2UCBaxwk8943xHVeEZGkqG+y2UPT+yJJF+fExX5Aj8bbJ42POWzOQscYzysi\nkgiFhYXU1dUtd18km8RWTMl7f4/3vmOTWwfvvRIEEckLqVSK0tJSevToQWlpKalUKnRIIq2ilbMi\nIjEpKCjQHATJatrgSURERCIpSRAREZFIShJERCStGhoaKCsro6ioiLKyMmbOnBk6JGkjJQkiIpJW\nS+tD1NXVUV1dTXl5eeiQpI2UJIiISFqpPkTuUJIgIiJp1bQehOpDZC8tgRQRkbRKpVKUl5cvt2eF\nZCclCSIiklaqD5E7NNwgIiIikZQkiIiISCQlCSIiIhJJSYKIiIhEUpIgIiIikZQkiIiISCQlCSIi\nIhJJSYKIiIhEUpIgIiIikZQkiIiISCQlCSIiIhJJSYKIiIhEUpIgIiIikZQkiIiISCQlCSIiIhJJ\nSYKIiIhEUpIgIiIikZQkiIiISCQlCSIiIhJJSYKIiIhEUpIgIiIikZQkiIiISCQlCSIiIhJJSULM\nqqqqQoeQNrnUFlB7kiyX2gJqT5LlUlviEGuS4Jz7h3PuI+fcfOfcZ865e51zhXGeM2ly6R9gLrUF\n1J4ky6W2gNqTZLnUljjE3ZMwETgc2BooB4qAR2I+p4iIiKRBpzhf3Ht//TJ3P3HO/RUY45zr6L1f\nHOe5RUREpH0yNifBObcOcBRQrQRBREQk+WLtSQBo7D04FVgdeBk4pJnDuwBMnz497rAyZs6cOdTW\n1oYOIy1yqS2g9iRZLrUF1J4ky6W2LPPZ2SVdr+m89617gnN/Ac5p5hAP9PLev9t4/DrAOsBmwEjg\nG+99ZKLgnDsSuL9VAYmIiMiyjvLeP5COF2pLkrAusO5KDqvz3i+KeO5GwCfAHt77qSt47f2BD4EF\nrQpMREQkv3UBNgee8d7PTscLtjpJaNfJnNsUSwD29t5PztiJRUREpNViSxKcc7sAuwJTgK+ALYGL\ngO7Adt77H2I5sYiIiKRFnKsb5mO1EZ4D3gHuAN7AehGUIIiIiCRcRocbREREJHto7wYRERGJpCRB\nREREImU8SXDO/dY590Hjpk+vNE5wbO74w51z0xuPf9M5d2CmYm2J1rTHOTfIObfEObe48ecS59x3\nmYx3RZxzezrnnnDO/bcxrv4teM7ezrka59wC59y7zrlBmYi1JVrbHufcXstckyXLXKeCTMXcTGwj\nnHOvOue+cc41OOfGOOe2bsHzEvfeaUtbEv6+Obnx/+2cxttLzrkDVvKcxF2XpVrbniRfm6Ya/+0t\ncc5ds5LjEnt9ltWS9qTj+mQ0SXDO/Qa4GiuqtBPwJvCMc269FRy/B/AANulxR+Bx4HHn3LaZibh5\nrW1PoznABsvcNos7zhZaA5tY+lusIFaznHObA2OB54HewPXAnc65/eILsVVa1Z5GHtiKH69Nofd+\nZjzhtcqewI3AbkBfYBVggnNutRU9IcHvnVa3pVFS3zefYMXlShpvE4F/OOd6RR2c4OuyVKva0yip\n1+Z/Gr+8nYT9jW7uuKRfH6Dl7WnUvuvjvc/YDXgFuH6Z+w74FDh7Bcc/CDzR5LGXgVsyGXca2zMI\n+DJ03C1o1xKg/0qOuRyY1uSxKuCp0PG3sT17AYuBrqHjbUF71mtsU1kzxyT6vdPKtmTF+2aZeGcD\ng7P5urSiPYm/NsDPgBnAPsA/gWuaOTbx16eV7Wn39cnkBk+rYJnp80sf89aK54A9VvC0PRp/v6xn\nmjk+Y9rYHoCfOec+dM597JxLXIbaCruT0GvTDg54wzn3mXNugnPuF6EDWoG1sF6PL5s5JrHvnSZa\n0hbIgveNc66Dc+4IftynJkq2XJeWtgeSf21uBp703k9swbHZcH1a0x5o5/XJ5HDDekBHoKHJ4w1Y\nF0iUDVp5fCa1pT0zgOOB/tiOmB2Al5yVq842K7o2XZ1znQPE0171wFCgAqvv8QnwgnNux6BRNeGc\nc8B1wBTv/dvNHJrk9w7QqrYk+n3jnNvOOTcX+B64BRjgvX9nBYdnw3VpTXuSfm2OwIYNRrTwKYm+\nPm1oT7uvT+y7QLaAo+Vjxm05PtNWGJ/3/hVsiMIOdO5lYDowBJvXkO1c488kX59I3jYke3eZh15x\nzhUBw7Euu6S4BdgWKG3Dc5P23mlRW7LgffMONi9nLSzJvNc516eZD9amknZdWtyeJF8b59zGWBK6\nn29fAb9EXJ+2tCcd1yeTScIsbMx3/SaPF/DTzG2pz1t5fCa1pT3L8d4vcs69jpWszjYrujbfeO8X\nBognDq/Stg/jWDjnbgIOAvb03tev5PAkv3da25blJO19420zu7rGu7XOuV2B3wHDIg5P9HWBVrfn\nJ89N0LUpwbYBqGnstQLr/e3jnDsV6Nw4RLysJF+ftrRnOW25PhkbbmjMfGqAfZc+1tjQfYGXVvC0\nl5c9vtF+ND8+lhFtbM9ynHMdgO2wru5sE3Vt+pGAa5NGO5KQa9P4ofpr4Jfe+49b8JTEvnfa0Jam\nz0/6+6YDsKIht8Rel2Y0157lJOzaPAdsj72Pezfe/g8YDfRewQdqkq9PW9qznDZdnwzPyhyI7elw\nLNATuA2bOdu98ff3Apctc/wewELgTGAb4AJsC+ltQ88wbWN7zsf+wW2BLZmsAr4FeiagLWs0/qPb\nEZttfkbj/U0af/8X4J5ljt8cmIetctgGOKXxWvUN3ZY2tud32LhdEfBzrFvvB2yvkdBtuQXbJG1P\n7FvO0luXZY65JxveO21sS5LfN5cCZdiysu0a/10tAvZp/H22/U1rbXsSe21W0L7lVgNky/umHe1p\n9/UJ0ahTsO2i52PZ2c7L/G4iMKrJ8RXYGNl8YBqwf+gL09b2ANcAHzQe+xnwJLBD6DY0xrYX9mG6\nuMltVOPv7wYmRjynprE9/wGOCd2OtrYHOKuxDd8CX2CrVvqEbkdjbFHtWAwcu6J/a42PJe6905a2\nJPx9cyfWNT8f66qeQOMHajZdl7a2J8nXZgXtm8jyH6pZdX1a2550XB9t8CQiIiKRtHeDiIiIRFKS\nICIiIpGUJIiIiEgkJQkiIiISSUmCiIiIRFKSICIiIpGUJIiIiEgkJQkiIiISSUmCiIiIRFKSICIi\nIpGUJIiIiEik/weuXN+gUzkg3QAAAABJRU5ErkJggg==\n",
      "text/plain": [
       "<matplotlib.figure.Figure at 0x7fb99c10a210>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "# Przykładowe dane, z których próbujemy się nauczyć prawdziwego rozkładu prawdopodobieństwa\n",
    "x, y = sample(16)\n",
    "plt.plot(x, y, 'k.')\n",
    "plt.plot(f_x, f_y)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[<matplotlib.lines.Line2D at 0x7fb97050c310>]"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAgkAAAFkCAYAAACq4KjhAAAABHNCSVQICAgIfAhkiAAAAAlwSFlz\nAAAPYQAAD2EBqD+naQAAIABJREFUeJzt3Xd8VFX6x/HPoQjqKjZGYzexYUMTewK4iNhREnWNDUEF\nsa3oWnDXRV117b0XXLHEOroKFlRWMFHRX6Kyrogro2KJQVARFETI+f3xhDXESUiZO/fOzPf9es1r\nmMmde5/DzWSeOfec5zjvPSIiIiJNdQo7ABEREYkmJQkiIiKSlJIEERERSUpJgoiIiCSlJEFERESS\nUpIgIiIiSSlJEBERkaSUJIiIiEhSShJEREQkKSUJIiIiklTakgTn3GjnXL1z7rp0HVNERETaLy1J\ngnNuF+Ak4L10HE9EREQ6LvAkwTn3O+BB4ETg+6CPJyIiIqmRjp6EW4FnvfeT0nAsERERSZEuQe7c\nOXcksCOwcyu3XxvYF/gUWBRcZCIiIlmnO7Ap8KL3fm4qdhhYkuCc2xC4AdjHe/9LK1+2L/BQUDGJ\niIjkgKOBh1OxoyB7EoqAnkC1c841PNcZ6OucOw3o5r33TV7zKcCDDz5Ir169AgwtfUaNGsX1118f\ndhgpkU1tAbUnyrKpLaD2RFk2tWX69Okcc8wx0PBZmgpBJgkvA9s3ee4fwHTgiiQJAjRcYujVqxeF\nhYUBhpY+PXr0UFsiSu2JrmxqC6g9UZZNbWkkZZfrA0sSvPc/Ah80fs459yMw13s/PajjioiISGqk\nu+Jist4DERERiaBAZzc05b3vn87jiYiISPtp7YaAlZeXhx1CymRTW0DtibJsaguoPVGWTW0Jgks+\nfjAczrlCoLq6ujobB5KIiIgEpqamhqKiIoAi731NKvapngQRERFJSkmCiIiIJKUkQURERJJSkiAi\nIiJJKUkQERGRpJQkiIiISFJKEkRERCQpJQkiIiKSlJIEERERSUpJgoiIiCSlJEFERESSUpIgIiIi\nSSlJEBERkaSUJIiIiEhSShJEREQkKSUJIiIikpSSBBEREUlKSYKIiIgkpSRBREREklKSICIiIkkp\nSRAREZGklCSIiIhIUkoSREREJCklCSIiIpKUkgQRERFJSkmCiIiIJKUkQURERJJSkiAiIiJJKUmQ\nUNTV1VFSUkJBQQElJSXMnj077JBERKQJJQkSirKyMqqqqkgkElRVVVFaWhp2SCIi0oSSBAlFbW1t\ni49FRCR8gSYJzrmTnXPvOefmNdxed87tF+QxJTPk5eW1+FhERMLXJeD9fw6cB3zc8Ph44J/OuR29\n99MDPrZEWDwep7S0lNraWvLy8ojH42GHJCIiTQSaJHjvJzR56i/OuZHA7oCShBwWi8WorKwMOwwR\nEWlB0D0J/+Oc6wQcAawCvJGu44qIiEj7BJ4kOOe2w5KC7sB8YLD3/sOgjysiIiIdk47ZDR8CvYHd\ngNuBcc65rdNwXBEREemAwHsSvPdLgETDwxrn3K7AH4GRzb1m1KhR9OjRY7nnysvLKS8vDyxOERGR\nTFFRUUFFRcVyz82bNy/lx3He+5TvtMUDOvcK8Jn3fliSnxUC1dXV1RQWFqY1LhERkUxWU1NDUVER\nQJH3viYV+wy0J8E5dxnwPDYVcjXgaKAfMDDI44qIiEjHBX25YV1gHJAHzAOmAQO995MCPq6IiIh0\nUNB1Ek4Mcv8iIiISHK3dICIiIkkpSRAREZGklCSIiIhIUkoSREREJCklCSIiIpKUkgQRERFJSkmC\niIiIJKUkQURERJJSkiAiIiJJKUnIZXV1UFICBQV2P3t22BGJiEiEKEnIZWVlUFUFiYTdl5aGHZGI\niESIkoRcVlvb8mMREclpShJyWV5ey49FRCSnBb1UtERZPG6XGGprLUGIx8OOSEREIkRJQi6LxaCy\nMuwoREQkonS5QURERJJSkiAiIiJJKUkQERGRpJQkiIiISFJKEkRERCQpJQkiIiKSlJIEkXTSehki\nkkGUJIikk9bLEJEMoiRBJJ20XoaIZBAlCSLppPUyRCSDqCyzSDppvQwRySBKEkTSSetliEgG0eUG\nERGRTFdXB8OGpXy3ShIkHJoKKCKSOmVl8N57Kd+tkgQJh6YCioikTkAzpZQkSDg0FVBEJHUCmiml\nJEHCoamAIiKpE49D794p362ShBxWV1dHSUkJBQUFlJSUMDud4wLicSguhvx8u9dUQBGR9ovFYOzY\nlO9WUyBzWFlZGVVVVQAkEglKS0upTNf0PE0FFBGJvEB7Epxzo51zbznnfnDO1TnnnnLObRnkMaX1\napuMA2j6WEREclvQlxv6ADcDuwEDgK7AROfcygEfV1ohr8k4gKaPRUQktwV6ucF7f0Djx86544HZ\nQBGgvuaQxeNxSktLqa2tJS8vj7jGBYiISCPpHpOwBuCBb9N8XEkiFoulbwyCiIhknLQlCc45B9wA\nVHrvP0jXcaVjvIdvvoHp0+326afgHHTpAl27Ln/f+N8bbAA77QTrrRd2C0REpL3S2ZNwG7ANULyi\nDUeNGkWPHj2We668vJzy8vKAQpP6evjss1+TgQ8//PXf3zb0+3TuDBttBJ06wZIl8Msvy98v+/fS\npb/uNy8PCgstYVh2v8kmlmiIiEj7VFRUUFFRsdxz8+bNS/lxnPc+5Tv9zUGcuwU4GOjjvZ/VwnaF\nQHV1dTWFhYWBx5Xrli6FKVPgscesTMGyMgmrrAJbbw29etlt2b833xxWWmnF+12WcNTU2O2dd+y+\nrs5+vuaalizssgsccYT9W0mDiEjH1NTUUFRUBFDkva9JxT4D70loSBAOAfq1lCBIeixZYonB44//\nmhhsvDEceywMGADbbAMbbmi9Be3VqRNstpndysp+fb62dvnEYexYuPJK2HZbOO44OPpou0whIiLR\nEGiS4Jy7DSgHBgE/OufWbfjRPO/9oiCPnSnq6uooKytbboZBLBZL6TFaSgyOOMK+0afjm3xeHhx4\noN2WxfXSSzBuHIwZA+efD3vvbXGVlsLvfhd8TCIi0rxALzc45+qx2QxNDfXej0uyfc5dbjh41105\n7+23yQNqgSt22YXxb72Vkn3Pnw+33AI33mhd/RtvDIcfnt7EoLXmzYMnn7SEYfJku+RRVmYJQ//+\nNh5CRESal3GXG7z3WhtiBcZMm8bODf8uAC6aNq3D+1yWHFxzDSxYAMOGwdCh0UsMGuvRw+IcNsxm\nUDz0kCUMDzxgYyIuuwwGD45u/CIi2Ugf4iFrWuOwIzUP58+Hv/8dNt0ULroIjjwSPv4Ybr8ddt01\ncz5gN90U/vxnm2FRVWU9IGVlsPvuMGlS2NGJiOQOJQkh69lkac+mj1ujueTg1lttymKmcg723BNe\nfBFeecWe23tv2HdfqK4ONzYRkVygJCFkKz377HJLJq/07LOtfm22JgfJ9O8Pb75p4xZmzYKdd4Y/\n/AE++ijsyEREspeShLAtWzJ55ky7b+XMhvHj7Vp9ticHjTlnsx7+/W+49154/XWbsjliBHz5ZdjR\niYhkHyUJGWbuXBvxf/DB0Lu3fZPO9uSgqS5dbIDjf/8LV11lvQtbbGGDNevrw45ORCR7KEnIIPG4\nFR4aPx7uvx8mTLASx7mqe3c46yzrhBk6FE4/3cYrfP552JGJiGQHJQkZYPZsq21QVgZ77AEffGAV\nCjNltkLQevSw3pQXX7S1JrbfHh580BanEhGR9lOSEGHeQ0WFXXf/17/gkUesNyGvI/Mks9jAgTZe\n4aCD7JLM4YfDnDlhRyUikrmUJERUba0VDzrqKFtT4YMPbDS/eg9atuaa1ovw2GPw6quw3XbQhgkj\nIiLSiJKECBo/3noP3nzTeg4eeQR69gw7qsxy+OHWq7DzzjBoEJx4IvzwQ9hRiYhkFiUJEVJfD5de\nah9q/fpZ78HgwWFHlbny8qwX4e674dFHYYcdrIKjiIi0jpKEiJg/Hw47DC680GofxOOw1lphR5X5\nnLNehGnTbAns3/8e7rsv7KhERFKrrq6OYcOGpXy/gS7wJK3z3//CoYfa1L1//tN6EiS1NtvM1n04\n7TSrsfD++1ZjQatLikg2KCsr47333kv5ftWTELLnn7fVGZcsgbfeUoIQpJVWgjvvtKWzb7jB/q/n\nzQs7KhGRjqutrQ1kv0oSQuI9XHEFHHgg9OljCcLWW4cdVfZzDs44w5KzqiqrOzFzZthRiYh0TF5A\nc+OVJIRgwQKbzjh6NPzlL3aJoUePsKPKLQMHwtSp1oOz6642XVJEJFPF43F6t2MV4RVRkpBmiYQt\nf/z887bmwCWXQCedhVBstZVNM91pJ9hnH7jrrrAjEhFpn1gsxtixY1O+X308pdG771r39sKF9uFU\nWhp2RLLWWpawjRhhtzPOsN4FERFRkpA2lZWw116w8cbwxhu2UJNEQ9eutoLkbbfZ7cADbUqqiEib\n1NVBSQkUFNj97NlhR9RhShLS4IUX7Br4TjvBK6/AOuuEHZEkM3IkTJxovTwDB8J334UdkYhklLIy\nGxGdSNh9FnQXK0kI2KOP2lS7AQPguedg9dXDjkha0r+/JXIffWT//uabsCMSkYzRdBpiQNMS00lJ\nQoDuvhvKy20mw5NPwsorhx2RtMbOO9tsh9pau0T01VdhRyQiGaHpNMQsWLJXSUJArroKhg+HU06B\n+++3696SObbfHqZMsUWh+vaFzz4LOyIRibx4HIqLIT/f7uPxsCPqMCUJKea91T847zyrgXDzzZri\nmKm23BJee83OaZ8+Vj5bRKRZsZiNUp850+5jsbAj6jB9fKXQ0qXWc3DFFXDttfC3v1mFP8lcm25q\nPQqrrmo9Cv/5T9gRiYikj5KEFPnlFzj2WCvIc++9cNZZYUckqbLBBjB5sn0p6NcPamrCjkhEJD2U\nJKTA0qVw3HHwxBPw2GO2yqBkl1gM/vUvm/78+9/D66+HHZGISPCUJHRQfb0NUHzsMaiosGmykp3W\nWgteegl697Y6ClrvQUSynZKEDvAezjwT7rvPZjAoQch+q69uxbH22AMOOsgWiRIRyVZKEtrJe7jg\nApu9cMcdcMwxYUck6bLKKvD009ajsP/+8O9/hx2RiEgwlCS002WX2SyG666zyw2SW1ZdFSZMgE02\nsUsPH38cdkQiIqmnJKEdrr8eLrzQpjiOGhV2NBKWNdaAF1+0SxADBsAXX4QdkYhIailJaKO77rLp\njeefD3/+c9jRSNhiMXj5Zbv8tM8+WutBRLJLoEmCc66Pc+4Z59yXzrl659ygII8XtAcfhJNPhjPO\ngMsvV6EkMRttZLMevv0W9tsP5s0LOyIRkdQIuidhVeBd4FTAB3ysQD35JAwZYjUQrr9eCYIsb8st\nbZnpRAIOPhh++insiEREOi7QJMF7/4L3/q/e+6eBjP1Yff75X1dzvPNOrcUgyfXubcuBV1fbdNjF\ni8OOSESkY/RxtwJvvw2HHWZT3e6/Hzp3DjsiibI99rDpkZMm2bTYpUvDjkhEpP2UJLQgkbCCOTvs\nAI88ouWepXX22cd+X+JxGDHCBjWKiGSiLmEHkMyoUaPo0aPHcs+Vl5dTXl6ethjmzrXeg9VXh2ee\ngZVXTtuhJQsMHgxjx9o4lo02gjFjwo5IRLJJRUUFFRUVyz03L4BR086n6WuOc64eONR7/0wL2xQC\n1dXV1RQWFqYlrmQWLrRvgzNmwBtvwOabhxaKZLjLL7epsv/4hyUMIiJBqampoaioCKDIe5+S9Woj\n2ZMQpvp6W9GxpsZW/VOCIB0xerRdtjrxROtR6N8/7IhERFov0CTBObcqsDm/zmzId871Br713n8e\n5LHb609/smvJ8TjstlvY0Uimcw5uvx1mzYLSUltiepttwo5KRLLRokWp32fQAxd3Bt4BqrE6CdcC\nNcDFAR+3XW680Wog3HQTHHJI2NFItujaFR5/3HoSDjgAvv467IhEJNvU1wcz9inoOgmTvfedvPed\nm9yGBXnc9njySVuH4Zxz4NRTw45Gsk2PHrYg1OLFVmzpxx/DjkhEssmYMVYiPtU0BRLrAj7mGDji\nCFvZUSQIG28M48fD9Olw9NGqoSAiqfHgg3DppXD66anfd84nCR99BIMGwa672gh0VVOUIBUWwqOP\nwrPPwtlnhx2NiGS6qio44QQYOjSYGVQ5/ZH4zTdWC6FnT3jqKejePeyIJBcceCDcfLONgbnpprCj\nEZFMlUjAoYfC7rvDHXcEs6ZQzk6BXLzY6usvWABTp8Jaa4UdkeSSU06BTz6BM8+ETTbRQFkRaZt5\n82x8U48eNhtvpZWCOU5OJgne2x/pqVOtFsKmm4YdkeSiK6+0RKG8HCZPhl12CTsiEckES5bYgoNf\nfWUF/9ZeO7hj5eTlhptugnvvtRUd99wz7GgkV3XqBA88YGuDHHqoveFFRFZk1CibyfDEE7D11sEe\nK+eShIkT4ayzbNDY8ceHHY3kupVXtvEwztl6D0EUQxGR7HHLLXa77TbYe+/gj5dTScKMGTbNcd99\nratXJAry8mx56WnTYPhwrRopIsm98AL88Y/WkzB8eHqOmTNJwnff2SCP9deHigro3DnsiCQsdXV1\nlJSUUFBQQElJCbNnzw47JHbe2VaNfOABuO66sKMRkaj5z39sHMIBB8DVV6fvuDkxcHHZII+5c22w\nYpNVqCXHlJWVUVVVBUAikaC0tJTKysqQo7IBjNOmwbnn2voO++8fdkQiEgXffAMHHWSD7B9+OL1f\ncnMiSTj7bJg0ycYjaFVHqa2tbfFxmC69FN5/H4480hLaoAcliUi0/fKLfcn98UebBbXaauk9ftZf\nbrjrLpvNcPPNWqZXTF5eXouPw9S5Mzz0EGywgdVO+O67sCMSkTCdcw689prNZNh44/QfP6uThMmT\nbbGmU06BkSPDjkaiIh6PU1xcTH5+PsXFxcTj8bBDWs7qq8Mzz1gXY3m51ngQyVX332+VWW+8Efr2\nDSeGrE0SPvnEKir27Qs33BB2NBIlsViMyspKZs6cSWVlJbFYLOyQfmPzzeGxx2wu9HnnpWindXVQ\nUgIFBXYfgQGbIpLcW2/BiBG2LkOYX3KzMkn48Ufrql1jDXj8cejaNeyIRNpuwACb6XDttfaNosPK\nymw1mETC7ktLU7BTEVkmVTOnvv7a3p477QS33hrMmgytlXUDF723zCuR0JoMkvlOP/3X+glbbWUL\nubRb0wGaERqwKZINUjFzavFiOOwwqK+HJ5+Ebt2CiLT1sq4n4dprbSnef/wDtt027GhEOsY5+yax\nyy5WkbFDpZubDtCM0IBNkWyQiplTZ5wBb79tizatv36qImu/rEoSll2/Pf98y8REskG3bvaNonNn\n+71evLidO4rHobgY8vPtPmIDNkUyXUdnTt15p91uvbWDvYYplDWXGz791OaWDxhgc81Fssm661qi\n0LevLS99223t2EksBhEoGiWSreLxOKWlpdTW1pKXl9emmVNVVXZ58ZRT4MQTAwyyjbIiSVi40AZ5\nrL66Si5L9tptN6v3MWKEXX4YOjTsiESksWUzp9rqiy9sXPHuu8P11wcQWAdkfJLgvf3R/PBDW1db\nAxUlmw0fbtcrR46E7be3NR9EJHMtWmRfcrt2tdl4K60UdkTLy/gxCbfcYovi3HMP9O4ddjQiwbv5\nZthhB/vD8s03YUcjIu3lvV1emDbNloxfd92wI/qtjE4SJk+2JTPPOguOOirsaETSo3t3G5+waJGN\nw1myJOyIRKQ97roL7rvPBitGtVcwY5OEL76AI46wgVxXXhl2NCLptdFGVpFx8mQYPTrsaESkraZO\ntYGKI0fCkCFhR9O8jEwSFi2yQR7dullNhC4ZP7JCpO322svWlb/mGksYRCQzzJ5tn2FFRdFfNiDj\nPl69h9NOg/fesykjPXuGHZFIeM4802q8DxsG22wD220XdkQi0pIlS+wy4S+/2MqOURuo2FTG9STc\ncw/cey/ccYdlYSJtlkULHTln74mCAqvI+P33YUckIi254AKYMsV6/zbYIOxoViyjkoS337ZehJEj\n4fjjw45GMlaWLXS06qpWPHHOHDj2WKv5LiLR88QTdonwqqugX7+wo2mdjEkS5syxv+077RS9YhOS\nYbJwoaOCAnj4YZgwAS65JOxoRKSp6dOtANoRR9isvEyREUnC0qU2xXHRIsvEwl4VSzJcli50tP/+\ncPHFliQ8/3zY0YjIMj/8YJcDN97YLpeHufRzW2VEkjBmDLzyCjzyCGy4YdjRSMbL4oWO/vxnOOAA\nOPpo+OSTsKMRSb+6ujpKSkooKCigpKSE2SGPOfLeBhZ/9ZX9qfnd70INp80inyQ88wxcdhlcfjn0\n7x92NJIVli10NHOm3cdiaTt00H/AOnWyCqRrrmkrRi5cmNLdi0ReWVkZVVVVJBIJqqqqKA15zNHV\nV1vxs3HjYKutQg2lXSKdJHz8sQ3EGjwYzj037GhEOi4df8DWXNP+KH3wgQ30FckltU3GGDV9nE6v\nvGLFzkaPhkMPDS2MDklLkuCcO9U594lzbqFz7k3n3C4res1PP9mg83XXtbKVmXQNR6Q56foDtuOO\ncPvtMHasTZEUyRV5TcYYNX2cLp9/bvUQ9t4b/va3UEJIicCTBOfcH4BrgTHATsB7wIvOuXWae82y\nlR1nzrRrOD16BB2lSHqk8w/Y8cfb++i00+D//i+ww4hESjwep7i4mPz8fIqLi4mHMObo55/h8MNh\nlVVs1lHnzmkPIWXSUXFxFHCn934cgHPuZOBAYBhwVbIXPP44PPig/eeqgpxkk3g8TmlpKbW1teTl\n5QX+B+zGG6GmxsYnVFfD2msHejiR0MViMSorK0ONYdQoeOcdG/K0TrNfhzNDoEmCc64rUARcvuw5\n7713zr0M7NHc6668cgknnfQT5eWrBBmeSNql+w9Yt242bbiw0GY8TJiQ2d9qRKLugQfsUt+dd8Iu\nK7ywHn1BX25YB+gM1DV5vg5Yr/mX/Zv3398/uKhEcsjGG0NFBUycqEJLIkGaNs0u8R1/PJx0UtjR\npEZYsxsc4Jv/8fnU1X2RtmBEst0++8Cll1qSMGFC+o8ftbnrIqn2/fc22H6rreC227JnsH3QYxLm\nAEuBdZs8H+O3vQvLvey775YyaNCg/z1TXl5OeXl5ACGK5Ibzz4c334RjjrHxCfn56Tv2sqmfAIlE\ngtLS0tCvG4ukSn09HHcczJ1rPXYrrxz8MSsqKqioqFjuuXnz5qX8OM77Fr7Qp+IAzr0JTPXe/7Hh\nsQNmATd5769usm0hUN27d28mTpxILI1FbkRywfffw847w2qrweuvp+ePGUBBQQGJROJ/j/Pz85k5\nc2Z6Di4SsMsvt2qn48fDgQeGF0dNTQ1Ftjxykfe+JhX7TMflhuuA4c6545xzWwN3AKsA/2juBWPH\njlWCIBKANdawacUzZthqqgF/R/ifqMxdF0m1l1+GCy+0W5gJQlACnwLpvX+soSbCJdhlh3eBfb33\n3wR9bBH5rR12gLvusmqmu+8OJ58c/DHTPfVTJB1mzYLychgwwNYYykaBX25oi2WXG6p796Zw4sS0\n1tQXyTWnn27TtF57DXbbLexoRDLLzz9Dnz5QV2e1SKJQgyRTLze03Xvv2TBREQnMtdfa+ITDDgNN\nNhBpmzPPtI+qJ5+MRoIQlGgmCQAhLsohkgtWWsmqmy5ebDXmlywJOyKRzDBuHNxxB9xyiyXa2Sy6\nSYIGNokEboMN4NFHYcoUG50tIi175x0rmDR0KJx4YtjRBC+aSULv3jYEW0QCt9decOWVcNVV1nUq\nIsnNnWtXwrfdFm69NXsKJrUkHQs8td3YsRq0KJJGZ50FU6fat6Ntt4Wttw47IpFoWboUjjoK5s+H\nV19NX42RsEWzJ0FE0so5uPde2HBD+6a0YEHYEYlEy5gxVhPhkUdgk03CjiZ9lCSICGBVGONx+Pxz\nOOGE9BVaEom6p5+Gyy6zyooDBoQdTXopSRCR/9l6a/jHP+Cxx+D668OOJgvU1UFJCRQU2L3mmmac\nGTNsXYayMjj33LCjST8lCSKynLIyOOcc+4M4eXLY0WS4sjKoqoJEwu5V/yWjzJ9vp2yDDeC++3Jj\noGJTShJE5Dcuvxz69YPDD7fLD9JOTeu9qP5LxvAehg2z3/+nnrLLcblISYKI/EaXLjZAa+WV7ZvU\nwoVhR5ShmtZ7Uf2XjHHNNfDEE3D//bk920dJgogk1bOnfYN6//30rhiZVeJxKC6G/Hy7V/2XjPDK\nK3D++XYbPDjsaMKlJAGoq6ujpKSEgoICSkpKmK3BRSIAFBbC3Xfbt6lbbgk7mgwUi0FlJcycafeq\n/xJ5s2ZZmfL+/eHSS8OOJnzRLKaUZmVlZVRVVQGQSCQoLS2lsrIy5KhEouGYY6C6GkaNsmWm+/UL\nOyKRYCxaZGNNV10VKiqgc+ewIwqfehKA2iaDiZo+Fsl1V18NffvaQMZZs8KORiT1vIfhw+3y2pNP\nwjrrhB1RNChJAPKaDCZq+lgk13XpYgtBaSCjZKsbboAHHoB77oGiorCjiQ4lCUA8Hqe4uJj8/HyK\ni4uJa3CRyG8sG8j4n/9oIKNkl5degj/9yeqDHH102NFEi8YkALFYTGMQRFph2UDGY4+1b1unnx52\nRCId8/HH8Ic/wMCB8Pe/hx1N9ChJEJE20UBGyRbz58Mhh9j4g4cf1kDFZHS5QUTaTAMZJdPV11uP\n2BdfwDPPwJprhh1RNClJEJE2azqQ8aefwo5IpG0uvtiSg4ceyu2KiiuiJEFE2qVnT1tC94MPYOhQ\nDWSUzPHkk3DJJbb880EHhR1NtClJEJF222knmzb22GP2R1ck6qZNgyFDbLDi+eeHHU30KUkQkQ4p\nK7PytRddZMmCSKjq6qCkBAoK7L5Rmf05c2yg4hZbwL335ubSz22l2Q0i0mEXXGCXHYYMgc02g112\nCTsiyVllZdBQZp9EwgbNVFbyyy9wxBGwYAG8+qqVXpYVU0+CSI4IciEz5+ybWe/e9k3tyy9TtmuR\ntmlaVr/h8ahR8NprtvzzJpuEEFeGUpIgkiOWLWSWSCSoqqqitLQ0pfvv3t0GMnbpAoMGacaDhKRp\nWf28PG6hr4DvAAAVx0lEQVS6CW691VYyVV2PtlGSIJIj0rGQ2Xrr2bSyDz+0Sw/19Sk/hEjL4nEo\nLob8fCguZvzJ4xk1Cs4+G0aMCDu4zKMkQSRHpGshsx13tLnnTzxhgxlF0ioWg8pKmDmTd26u5MiT\n1+CQQ+Cqq8IOLDMpSRDJEelcyOzQQ60O/t/+BhUVgR1GpFlffmk1EHr1ggcfhE76tGsXzW4QyRHp\nXsjsvPN+LbSUnw+77Za2Q0uOW7AADj7Y1mJ45hlYZZWwI8pcyq1EJBDO2YqRRUVw6KClfL5LadK5\n6yKptHQpHHWUre44YcJvxzFK2yhJEJHAdOsGTz0F3ebN5oD/u5jvE3NtDnuKZ1aILHP22fDcc1bY\na/vtw44m8wWWJDjnLnDOVTnnfnTOfRvUcUQk2mIxeL7nEL5kAw7laX5mpd/OZRdJgVtvhRtvhJtv\nhv32Czua7BBkT0JX4DHg9gCPISIZoNcmP/EsBzOV3TiOcdSvt37YIUmWee45OOMMK5o0cmTY0WSP\nwJIE7/3F3vsbgX8HdQwRyRDxOMXFjofXPYsnOIyzt3tRq0ZKyrz3ni3YdNBBcPXVYUeTXTS7QUSC\n1zB3fTBwy+1wyimrsOGWdv1YpCM+/9ySgy23hIcfthkNkjpKEkQkrUaOhC++gD/9CdZfH8rLw45I\nMtWcOTBwoJUCf/ZZLdoUhDZdbnDO/d05V9/CbalzbsugghWR7HDppXDccVa6edKksKORTDR/Phxw\nAHz7LUycaAmnpF5bexKuAe5bwTaJdsbyP6NGjaJHjx7LPVdeXk65vnKIZAXn4J57oK7OqjO+9pqt\nICnSGj//DIMHw4wZtuzzFluEHVH6VVRUUNGknOm8efNSfhznAx495JwbAlzvvV+rFdsWAtXV1dUU\nFhYGGpeIhG/+fNhrL5sR+cYbWsJXVmzpUhukOGECvPgi9O0bdkTRUVNTQ1FREUCR974mFfsMsk7C\nRs653sAmQGfnXO+Gm64aiQgAq61mf+y7d7d57d+qooq0wHs4+WRbkvzRR5UgpEOQdRIuAWqAMcDv\nGv5dAxQFeEwRyTDrrWffCOfMsXr7P/4YdkQSVRdcYJepxo6FQYPCjiY3BFknYaj3vnOS25Sgjiki\nmWmLLaxHYdo0SxR++insiCRqrrkGrrgCrrvOBr1KemjtBhGJhF13tap5U6faoLRFi8KOSKLivvvg\nnHPgz3+2ioqSPkoSRCQy+vSx+e5TpsBhh8HixWFHJGF7+mk48UQYMQL+9rewo8k9ShJEJFL694d/\n/hNeeslGsf/yS9gRSVgmTYIjj4SyMlu8ybmwI8o9ShJEJHIGDoR43MYpHH00LFkSdkSSbi+/bOWW\n+/WDBx5QueWwKEkQkUg68EB4/HF46imrzLh0adgRSbq88IIlCHvtZb1K3bqFHVHuUpIgIpF1yCG2\naM8jj9h16fr6sCPKHHV1dZSUlFBQUEBJSQmzZ88OO6RWGT/ezvvAgZYgdu8edkS5TUmCiETa4Ydb\nd/P991shnbYmCpn6YdlRZWVlVFVVkUgkqKqqorS0NOyQVuipp6C01HqRnnhCPQhRoFUgRSTyjjrK\nBjAOHQorrQQ339z6QWzLPiwBEokEpaWlVFZWBhhtNNTW1rb4OGqeeMJWBB08GB56CLp2DTsiAfUk\nmLo6KCmBggK7z5FvGiKZZMgQuPNOG+V+6qmtH6OQaR+WqZKXl9fi4yipqLBZDEccYZeXlCBEh3oS\nwObXNHzTIJGw/q4c+KYhkmlOOgk6dYLhw+Gbb+DBB1fcJZ2Xl0cikVjucS6Ix+OUlpZSW1tLXl4e\n8Xg87JCSeuABOP54OPZYuPdezWKIGiUJYEvQtfRYRCLjhBNg7bXtm+f++1uxndVXb377TPmwTLVY\nLBb5yypjx9qA1BNOsF6iTurbjhwlCQB5edaD0PixiETWoYfCxIm2yM9ee8Hzz8O66ybfNhM+LHPR\nnXfaQNSRI+GWW5QgRJVOC1jVluJiyM+3+xz5piGSyfr2tfLNX39tb9vGeb5El/dw0UWWIJx+uo0x\nUYIQXTo1ALGYjUGYOdPuY7GwIxKRVthhBxtO1KkT7LknvPtu2BFJS37+2cYeXHwxXH453HijSi1H\nnZIEEclom21muf2GG1oJ31dfDTsiSWbOHBgwwKY6PvoojB6tBCETKEkQkYwXi8G//mXLTe+7r64Y\nRs2MGbD77nb/6qs21VEyg5IEEckKq61mJX0HD7YqjXfcEXZEApYU7LGHFcGaOtWSBckcShJEJGt0\n62bFeE491UbNjxgBixaFHVXuGjfO1mAoLITXX7dLQ5JZlCSISFbp1AluugnuvtvWe+jTBz77LOyo\ncov3cOGFViVzyBCborrGGmFHJe2hJEFEstKJJ9rMhzlz7Jvsiy+GHVFuWLTI1tq49FK48kq46y6V\nWc5kShJEJGsVFUF1Ney2m1VnvOQSLTcdpA8/tKmoTz9tsxjOPVczGDKdkgQRyWprrWUDGi+6yG4H\nHQTffht2VNnFe6ugWFgICxfa+IOysrCjklRQkiAiWa9TJ/jrX+G552yEfVER1NSEHVV2mDvX1sQ7\n+WQ47jjrudlpp7CjklRRkiAiOWO//Sw5WGcd6xa/996wI8psr7xiVS+nTIGnnrJpp6usEnZUkkpK\nEkQku9XVQUkJFBRASQmbrDyb116zUfcnnmiFfbTwa9ssXmzjDfbZB7beGqZNs0W3JPsoSRCR7FZW\nZtMcEgm7Ly2le3e7hv7IIzB5MvTqZd+CNahxxWbMsF6YG26w2QsvvQQbbBB2VBIUJQkikt2adhM0\nevyHP8D06VahceRI63B4//00x5ch6uut9kRhIcyfD2+8AeecoxUcs51Or4hkt7y8Fh+vtZZ9+E2e\nDN99Z4PuLrjARumLqay0csrDh1sNhJoaG/wp2U9Jgohkt3gcioshP9/um1n9qW9fW2r6r3+Fa6+F\n7bazrvRclkhYL0ufPtaTMHmyJVSrrhp2ZJIuShJEJLvFYvZVeOZMu4/Fmt20WzcrJ/zvf8PGG9u6\nA8ccA7NnpzHeCPj+e7uU0KuXXVYYNw7eessSKcktShJERJrYckuYNAnuu8/WHdh8czj//OyfBbFk\nCdx6q7X3ttvgL3+Bjz6CY4/V2INcpdMuIpKEc3D88VZqeORI+9DcbDMrGvTxx2FHl1reW6GpHXaA\n00+HQYPgv/+1XhXVPchtShJERFrQs6dN9Zs1C8aMsaJBW20FRx4J77wTdnQds2AB3HOPrW1x4IGw\n3npWMXHsWFh//bCjkyhQkiAi0gprrAGjR8Onn1qX/Ntv23TA/faDV1+1b+OZoqbGekTy8mzGQs+e\nMGGCVVBUSWVpLLAkwTm3iXPuHudcwjn3k3Puv865i5xzWjRURDLWyivbB+yMGVBRAV9/Db//Peyx\nhxVk+uKLsCNMbv58W7Z5551t+uL48XDWWZb0TJgABxygFRvlt4LsSdgacMBJwDbAKOBk4LIAjyki\nkhZduvx6yeH552G11eC002CjjayHYcwY620Is4rjkiU2O2H4cOs1GDnS7p95xpKDiy+2WRwizXE+\njX1kzrk/ASd77zdv5ueFQHV1dTWFhYVpi0tEJBW++w5eeMG+pT//vD1ebz1bnvqgg2DAgGBrDHz7\nLbz5pi3V/PrrtuLlTz/BhhvCCSfYbaONgju+hKumpoYiq3JV5L1PyTqnXVKxkzZYA9BK7iKSldZc\nE8rL7bZkiS0VMX48PPusDRDs1s3WPSgogE03Xf6Wl9f6aYbew88/w2ef/ZoQVFVZiWmwUhB77gkX\nXWT3u+1mPR8ibZW2Xxvn3ObAacBZ6TqmiEhYunSBfv3sdvXVNqVw/Hj7MH/3XXj6aZgz59ftV1rJ\nuv433dTuvbdxBD/8YPeNbz/8YEkI2DiC7be344webUlBfr7GF0hqtPlyg3Pu78B5LWzigV7e+48a\nvWYD4FVgkvd+RAv7LgSq+/btS48ePZb7WXl5OeXl5W2KVUQkyhYssN6ATz+FTz6x+08/temWnTvb\nOIfVVoPVV//1341veXmw667Q5M+l5ICKigoqKiqWe27evHlMmTIFUni5oT1JwtrA2ivYLOG9X9Kw\n/frAv4DXvfdDV7BvjUkQkaxRV1dHWVkZtbW15OXlEY/HibVQFlqkIyIxJsF7PxeY25ptG3oQJgFv\nA8PaeiwRkUxWVlZGVVUVAIlEgtLSUiorK0OOSqT1gqyTkIddYpgFnAvEnHPrOufWDeqYIiJRUttk\nsYemj7NWXR2UlNgIzZKS3FshK4sEWSdhIJAP9Ac+B74CahvuRUSyXl5eXouPs1ZZmY3QTCTsvrQ0\n7IiknQJLErz393vvOze5dfLedw7qmCIiURKPxykuLiY/P5/i4mLi8XjYIaVH0x6TXOlByUKaOSsi\nEpBYLJabYxDy8qwXofFjyUhKEkREJLXicbvEUFtrCUKu9KBkISUJIiKSWrEY5GIPShbSUtEiIpJS\ndXV1lJSUUFBQQElJCbM1uyFjKUkQEZGUWlYfIpFIUFVVRalmN2QsJQkiIpJSOVsfIgspSRARkZTK\n2foQWUhJgohINgqx6mHO1ofIQprdICKSjZZVPQSrWVBamrYZBzlbHyILqSdBRCQbqeqhpICSBBGR\nbNR0HIDGBUg76HKDiEg2UtVDSQElCSIi2UhVDyUFdLlBREREklKSICIiIkkpSRAREZGklCSIiIhI\nUkoSREREJCklCSIiIpKUkgQRERFJSkmCiIiIJKUkQURERJJSkiAiIiJJKUkQERGRpJQkiIiISFJK\nEkRERCQpJQkiIiKSlJIEERERSUpJgoiIiCSlJEFERESSUpIgIiIiSSlJEBERkaSUJASsoqIi7BBS\nJpvaAmpPlGVTW0DtibJsaksQAk0SnHP/dM595pxb6Jz7yjk3zjmXF+QxoyabfgGzqS2g9kRZNrUF\n1J4oy6a2BCHonoRJwOHAlkApUAA8HvAxRUREJAW6BLlz7/2NjR5+7py7AnjKOdfZe780yGOLiIhI\nx6RtTIJzbi3gaKBKCYKIiEj0BdqTANDQe3AasArwBnBQC5t3B5g+fXrQYaXNvHnzqKmpCTuMlMim\ntoDaE2XZ1BZQe6Ism9rS6LOze6r26bz3bXuBc38HzmthEw/08t5/1LD9WsBawCbAGOAH733SRME5\ndxTwUJsCEhERkcaO9t4/nIodtSdJWBtYewWbJbz3S5K8dgPgc2AP7/3UZva9L/ApsKhNgYmIiOS2\n7sCmwIve+7mp2GGbk4QOHcy5jbEEYC/v/ZS0HVhERETaLLAkwTm3C7ArUAl8B2wOXAL0BLbz3v8S\nyIFFREQkJYKc3bAQq43wMvAhcDfwLtaLoARBREQk4tJ6uUFEREQyh9ZuEBERkaSUJIiIiEhSaU8S\nnHOnOuc+aVj06c2GAY4tbX+4c256w/bvOef2T1esrdGW9jjnhjjn6p1zSxvu651zP6Uz3uY45/o4\n555xzn3ZENegVrxmL+dctXNukXPuI+fckHTE2hptbY9zrl+jc1Lf6DzF0hVzC7GNds695Zz7wTlX\n55x7yjm3ZSteF7n3TnvaEvH3zckN/7fzGm6vO+f2W8FrIndelmlre6J8bppq+N2rd85dt4LtInt+\nGmtNe1JxftKaJDjn/gBcixVV2gl4D3jRObdOM9vvATyMDXrcEXgaeNo5t016Im5ZW9vTYB6wXqPb\nJkHH2UqrYgNLT8UKYrXIObcpMB54BegN3Ajc45zbJ7gQ26RN7WnggS349dzkee9nBxNem/QBbgZ2\nAwYAXYGJzrmVm3tBhN87bW5Lg6i+bz7HissVNdwmAf90zvVKtnGEz8sybWpPg6iem/9p+PJ2EvY3\nuqXton5+gNa3p0HHzo/3Pm034E3gxkaPHfAFcG4z2z8CPNPkuTeA29IZdwrbMwT4Nuy4W9GuemDQ\nCra5EpjW5LkK4Lmw429ne/oBS4HVw463Fe1Zp6FNJS1sE+n3ThvbkhHvm0bxzgWGZvJ5aUN7In9u\ngN8BM4D+wL+A61rYNvLnp43t6fD5SecCT12xzPSVZc95a8XLwB7NvGyPhp839mIL26dNO9sD8Dvn\n3KfOuVnOuchlqG2wOxE9Nx3ggHedc1855yY65/YMO6BmrIH1enzbwjaRfe800Zq2QAa8b5xznZxz\nR/LrOjXJZMp5aW17IPrn5lbgWe/9pFZsmwnnpy3tgQ6en3ReblgH6AzUNXm+DusCSWa9Nm6fTu1p\nzwxgGDAIWxGzE/C6s3LVmaa5c7O6c65bCPF0VC0wAijD6nt8DrzqnNsx1KiacM454Aag0nv/QQub\nRvm9A7SpLZF+3zjntnPOzQd+Bm4DBnvvP2xm80w4L21pT9TPzZHYZYPRrXxJpM9PO9rT4fMT+CqQ\nreBo/TXj9myfbs3G571/E7tEYRs69wYwHRiOjWvIdK7hPsrnJylvC5J91OipN51zBcAorMsuKm4D\ntgGK2/HaqL13WtWWDHjffIiNy1kDSzLHOef6tvDB2lTUzkur2xPlc+Oc2xBLQvfxHSvgF4nz0572\npOL8pDNJmINd8123yfMxfpu5LfN1G7dPp/a0Zzne+yXOuXewktWZprlz84P3fnEI8QThLdr3YRwI\n59wtwAFAH+997Qo2j/J7p61tWU7U3jfeFrNLNDyscc7tCvwRGJlk80ifF2hze37z2gidmyJsGYDq\nhl4rsN7fvs6504BuDZeIG4vy+WlPe5bTnvOTtssNDZlPNbD3sucaGro38HozL3uj8fYN9qHl62Np\n0c72LMc51wnYDuvqzjTJzs1AInBuUmhHInJuGj5UDwF+772f1YqXRPa90462NH191N83nYDmLrlF\n9ry0oKX2LCdi5+ZlYHvsfdy74fZ/wINA72Y+UKN8ftrTnuW06/ykeVTmEdiaDscBWwN3YiNnezb8\nfBxweaPt9wAWA2cBWwEXYUtIbxP2CNN2tudC7BduM2zKZAXwI7B1BNqyasMv3Y7YaPMzGx5v1PDz\nvwP3N9p+U2ABNsthK+CUhnM1IOy2tLM9f8Su2xUA22Lder9ga42E3ZbbsEXS+mDfcpbdujfa5v5M\neO+0sy1Rft9cBpRg08q2a/i9WgL0b/h5pv1Na2t7IntummnfcrMBMuV904H2dPj8hNGoU7Dlohdi\n2dnOjX42CRjbZPsy7BrZQmAasG/YJ6a97QGuAz5p2PYr4Flgh7Db0BBbP+zDdGmT29iGn98HTEry\nmuqG9vwXODbsdrS3PcA5DW34EfgGm7XSN+x2NMSWrB1LgeOa+11reC5y7532tCXi75t7sK75hVhX\n9UQaPlAz6by0tz1RPjfNtG8Sy3+oZtT5aWt7UnF+tMCTiIiIJKW1G0RERCQpJQkiIiKSlJIEERER\nSUpJgoiIiCSlJEFERESSUpIgIiIiSSlJEBERkaSUJIiIiEhSShJEREQkKSUJIiIikpSSBBEREUnq\n/wHKGCNZKGvgFgAAAABJRU5ErkJggg==\n",
      "text/plain": [
       "<matplotlib.figure.Figure at 0x7fb9705a8350>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "# Inny zbior danych, ale pochodzący z tego samego rozkładu!\n",
    "prev_x, prev_y = x, y\n",
    "x, y = sample(16)\n",
    "plt.plot(prev_x, prev_y, 'k.', color='black')\n",
    "plt.plot(x, y, 'k.', color='r')\n",
    "plt.plot(f_x, f_y)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[<matplotlib.lines.Line2D at 0x7fb970337f90>]"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAgkAAAFkCAYAAACq4KjhAAAABHNCSVQICAgIfAhkiAAAAAlwSFlz\nAAAPYQAAD2EBqD+naQAAIABJREFUeJzs3Xd8jef/x/HXnWHEXqlNpapGjVipxKo9aiSovWuU0qBG\nFbGpEdQIitrrK0bVaqtGIi1iVEutGEGE2jEjuX9/XPUjMoycc+5zTj7PxyOPfnPu+9z3O99vvzmf\n3Nd1fS5N13WEEEIIIV7mYHQAIYQQQlgnKRKEEEIIkSApEoQQQgiRICkShBBCCJEgKRKEEEIIkSAp\nEoQQQgiRICkShBBCCJEgKRKEEEIIkSApEoQQQgiRICkShBBCCJEgsxYJmqb10DTtqKZpd/772qdp\nWl1z3lMIIYQQpqGZc+8GTdMaADHAmf9e6gh8BZTWdf2E2W4shBBCiGQza5GQ4A017QYwQNf1RRa9\nsRBCCCHeiJOlbqRpmgPQAnABQix1XyGEEEK8HbMXCZqmlUAVBWmAe0BTXdf/SeTcbEAd4DzwyNzZ\nhBBCCDuSBigIbNd1/YYpLmj24QZN05yA/EBmwAf4DKiSUKGgaVprYLlZAwkhhBD2rY2u6ytMcSGz\nP0nQdf0pEPbft4c0TasA9AV6JnD6eYBly5ZRtGhRc0ezCF9fX/z9/Y2OYRL29LOA/DzWzJ5+FpCf\nx5rZ089y4sQJ2rZtC/99lpqCxeYkvMABSJ3IsUcARYsWxd3d3XKJzChTpkzys1gp+Xmslz39LCA/\njzWzp5/lBSYbrjdrkaBp2lhgKxAOZADaAFWB2ua8rxBCCCGSz9xPEt4BlgC5gDvAn0BtXdd3mvm+\nQgghhEgmsxYJuq53Nef1hRBCCGE+sneDmbVq1croCCZjTz8LyM9jzezpZwH5eayZPf0s5mDxjotJ\n0TTNHQgNDQ21x4kkQgghhNkcOnSIsmXLApTVdf2QKa4pTxKEEEIIkSApEoQQQgiRICkShBBCCJEg\nKRKEEEIIkSApEoQQQgiRICkShBBCCJEgKRKEEEIIkSApEoQQQgiRICkShBBCCJEgKRJSsMjISLy8\nvHBzc8PLy4tr164ZHUkIIYQVkSIhBfPx8SE4OJiwsDCCg4Px9vY2OpIQQggrIkVCChYREZHk90II\nIVI2KRJSsFy5ciX5vRBCiJTNyegAwjiBgYF4e3sTERFBrly5CAwMNDqSEEIIKyJFQgrm6upKUFCQ\n0TGEEEJYKRluEEIIIUSCpEgQQgghRIKkSBBCCCFEgqRIEEIIIUSCpEgQQgghRIKkSBBCCCFEgqRI\nEEIIIUSCpEgQQgghRIKkSBCGmRA0gQYrGrDtzDZ0XTc6jhBCiJdIkSAMcerGKYb9NozDEYept7we\nJQNK8sORH3j89LHR0cxKtucWQtgSKRKEIQb+PJDcGXJzts9ZdnXYRcHMBem0sRMFpxdk/N7x3Hx4\n0+iIZiHbcwshbIkUCcLifjv3GxtPbmRCjQmkdU5L1YJV+bHVj5zodYJP3v+EkbtHks8/H3229iHs\nVpjRcU1KtucWQtgSKRKERcXExtBvRz888nrQskTLOMc+yP4B8z6Zx0Xfiwz4aAArjq2g8HeFab62\nOX9c+sOgxKYl23MLIWyJFAnCopYcXcKRq0eYWnsqmqYleI5rOldGVh/JRd+LzKo/i6NXj+KxwAOv\nhV6sP7GemNgYC6c2ncDAQDw9PSlUqBCenp6yPbcQwqpp1jSrXNM0dyA0NDQUd3d3o+MIE4t6EsX7\n371PlQJVWNVs1Wu/L1aP5ceTPzI5ZDJBF4N4L+t79PPoR4fSHXBxdjFjYiGEsB2HDh2ibNmyAGV1\nXT9kimvKkwRhMd8Gf8vNhzeZUHPCG73PQXOg8QeN2dtpL793+Z0yOcvQe2tv8vvnZ/hvw4mMijRT\nYiGEsA2RkZF07tzZ5NeVIkFYRPidcCbvm4yvhy8FMxd86+tUzFuRNc3XcOaLM7T5sA1TQ6ZSYFoB\nPtv0GSeunzBdYCGEsCE+Pj4cPXrU5NeVIkFYxNCdQ8mQOgNDKg8Bkt8v4N0s7zK93nTCfcPxq+bH\nT6d/otjsYjRc0ZBd53dJcyYhRIpirpVSUiQIsztw+QBL/1zK6OqjyZg6I2C6fgFZ0mZhsNdgzvU9\nxw+Nf+DCnQtUX1ydcvPLsfLYSqJjok35owghhFUy10opKRKEWem6Tr8d/SjhWoLOZZ6Pl5m6X0Bq\np9R0KN2BP3v8yfa228mWNhutA1vjNsONqSFTufv4brKuL4QQ1iwwMJBSpUqZ/LpSJAizWndiHUEX\ng5haeypODk7//7q5+gVomkZtt9rsaLeDI92PUP3d6gz+ZTD5/PPx1Y6vCL8TbpL7CCGENXF1dWXh\nwoUmv64UCcJsHj99zMCfB1K/cH1qudWKc8wS/QJK5SzF4iaLOdf3HD3L9WT+ofkUmlGItoFtORxx\n2OT3E0IIeyNFgjCb7/Z/x8U7F5lca3K8Y66urgQFBXH27FmCgoJwdXU1W448GfMwoeYEwn3DmVxL\n9Vpwn+dOtx+7me2eQghhD6RIEGZx/f51Ru8ZTY9yPSiao6jRcQDIkDoDfT36cqbPGabUnsL8Q/P5\n6dRPRscSQgirZdYiQdO0IZqm7dc07a6maZGapq3XNO19c95TWAe/XX5oaPhV8zM6SjxODk74evhS\ns1BNem/tzYPoB0ZHEkIIq2TuJwmVge+AikBNwBnYoWlaWjPfVxjo+PXjzA2dy7Aqw8jukt3oOAnS\nNI3Z9WcTcS+CsXvGGh1HCCGsklmLBF3X6+u6vlTX9RO6rh8DOgL5gbLmvK8w1oAdAyiQuQC9K/Q2\nOkqSCmcrzBCvIUzaN4nj148bHUcIIayOpeckZAZ04KaF7yssZPuZ7Ww9s5Vva35LaqfURsd5pUFe\ngyiYuSA9f+opXRqFEOIlTq8+xTQ0tS/wNCBI13X5s83GXL8OR4/C6dPq+1SpwNk57peD01P6HO9P\nyUyVcU/rja5DIrtBW400TmmY3WA2tZbWYsnRJXQo3cHoSEIIYTUsViQAs4FigOerTvT19SVTpkxx\nXmvVqhWtWrUyUzTxTGwsnDkDR46oouDIEfV15Yo67uio/hkTk8Cbyy6AT/6GeQco5KuRMydUqvT8\ny90dUlvhw4WahWrSqkQrBvw8gIbvNySbSzajIwkhRJJWrlzJypUr47x2584dk99Hs8QjVk3TZgKf\nAJV1Xb+YxHnuQGhoaCju7u5mzyWUkydh0SLYvRuOHYP799XruXND6dJQqpT6Z+nS4OamCoXYWHj6\nFKKj4ckTuHn/LhWXv0fVPPUYX2Exp07Bvn3qa/9+ePhQPX0oVw4++kgVDZ6e8M47xv7sz1yNusoH\nMz+gebHmzG803+g4Qgjxxg4dOkTZsmUByuq6fsgU1zT7k4T/CoTGQNWkCgRhWffvw9q1sGABBAVB\nlixQrx74+DwvDHLkSPz9Dg7qQz9VKkiXDiaGjuPB0yimNxpL3ozw/vvQsKE6NzpaPZUICVFFw9q1\nMGWKGopo2BD69IEaNYwdmsiZPifjaoyj15ZedCzdEc/8r3zgJYQQds/cfRJmA22A1sB9TdPe+e8r\njTnvKxKm63DgAHTvDrlyQadOkCYNrFyphhOWL4cBA6BmzaQLhJedu3UO/9/9+arSV+TNmDfecWdn\n9QThiy/UvS5cgPBwmDtX/edataB4cZg9G6KiTPgDv6HuZbtTPnd5evzUQ3aPFEIIzL+6oQeQEdgF\nXHnhq4WZ7ytecOMGzJihng5UqABbtsCXX0JYGPz8M7RsqYqFtzX418FkS5uNgZ4DX/s9efPCZ5+p\n+Q67dkGxYqqIyJMHfH3VvAhLc3RwJKBhAMevH2fa79MsH0AIIayMufskOOi67pjA1xJz3teWREZG\n4uXlhZubG15eXly7ds1k146Kgq+/Vh+8/furIYAtW+D8eRg1Ct59N/n32Be+jzV/r2FcjXGkS5Xu\njd+vaVC1Kvzvf3DuHHz+OSxdqrI2aADbt6v5D5binsudLyp8gd9uPy7cvmC5GwshhBWSvRsM5uPj\nQ3BwMGFhYQQHB+Pt7Z3sa+o6LFsGRYqAvz8MHAiXL6sP4nr1nq9QSK5YPRbf7b6UyVmG9qXaJ/t6\n+fPD+PFqKOL779UQSN264OEBh0wyBef1jKo+isxpMtN3W1/L3VQIIayQFAkGi4iISPL7N3XwoFo1\n0K6dWkHwzz/qqYE5Nllc9dcq9l/ez9Q6U3HQTPevUtq00LmzKgx27lQrI8qXV8MQ9+6Z7DaJypg6\nI9PrTmfjyY1s/Gej+W8ohBBWSooEg+XKlSvJ71/XtWvQtauac3DvnvpwXbsWChQwRcr4HkY/ZPAv\ng2nyQROqFaxmlntoGlSvroqF8ePVRMeiRSEwUD0tMSefoj7Ue68eX2z9gqgnBs6mFEIIA0mRYLDA\nwEA8PT0pVKgQnp6eBAYGvtH7o6PVkELhwurD87vv4PBh9eFqTlNDpnI16irf1vzWvDdCrY4YOBCO\nH4cyZdQyzUaN1NwKc9E0jZn1Z3L9wXVG7R5lvhsJIYQVkyLBYK6urgQFBXH27FmCgoJwfYNxgd9+\ng5Il1bLFNm3g1Cno1QuczNz94mrUVcYHjad3hd4UzlbYvDd7QcGCsGkTrFunCqHixeHbb1WhZA6F\nshRiWJVhTA2ZyrHIY+a5iRBCWDEpEmxQbKyaZ1CjBmTPrh7Hz56t/rMlDNs5jNROqRlWZZhlbvgC\nTQNvbzhxArp1gyFDVLvnffvMc78BlQbwfrb36fFTD2J1Cy6zEEIIKyBFgo3591+oXx/8/GDECNVj\noFQpy93/6NWjLDi8AL+qfmRJm8VyN35JhgxqmOXAAdXjwcsLJkww/VyFVI6pmNNgDvvC97Hw8ELT\nXlwIIaycFAk2ZP9+9VfzwYOwbZsqEky1nPF16LpOvx39KJytMD3K9bDcjZPg7g6//w5Dh6qnCp9+\navqujVULVqV9qfYM/Hkg1+9fN+3FhRDCikmRYAN0HWbNUn8t58mjxuNr17Z8js2nNrPz3E4m15qM\ns6Oz5QMkwtERRo9WcxW2blUbSJ09a9p7TKo1CYCvfv7KtBcWQggrJkWClYuKgtatoXdv1Y1w927I\nl8/yOaJjohnw8wBqvFuDhu83tHyA1+DtrZ4qPHqk+ips3266a7umc2VizYksPrqY3ed3m+7CQghh\nxaRIsGLHj6u+B5s3w+rVMG2a2nXRCAEHAzh94zRTak9BM3K7xlcoXlzNU/DwUHM3Jk403TyFLu5d\n+CjvR/T8qSdPYp6Y5qJCCGHFpEiwUitXqgLBwUHNQWhh4JZYtx7ewm+3H13KdKFUTgvOknxLmTPD\njz/C4MHqq2VLtTV2cjloDgQ0DODUjVNM2Tcl+RcUQggrJ0WCldF1tbyxdWto2hT++EPtwWCk0XtG\n8/jpY0Z/PNrYIG/A0RHGjlVdJ3/6Sc1TCAtL/nVLvlMSXw9fRu0ZRdgtE1xQCCGsmBQJVkTX1W6N\nI0aoD7glSyDdm2+saFKnb5xm5v6ZDPEaQs70OY0N8xaaNVPzFB48gHLlVAOq5BpRbQQ5XHLQe0tv\ndHP3hxZCCANJkWAlYmLU3gv+/molw9dfq8ZBRhv4y0Byps9Jv4/6GR3lrZUooeYplC2rdsHcsiV5\n10ufKj3f1fuOrWe2EnjizdpoCyGELZEiwQo8fqzW9y9eDEuXqlUM1mDX+V1s+GcDE2pOIK1zWqPj\nJEuWLGoCaN260KQJbNiQvOs1/qAxjYo0os+2Ptx7bIGtKYUQwgBSJBjs/n21WdHmzWqDprZtjU6k\nxMTG0G97PyrkqUDLEi2NjmMSqVOrOQpNmqhhiNWrk3e9GXVncPvRbYb/Ntw0AYUQwspIkWCg27dV\nU6TgYPUIvFEjoxM9t/TPpRy+ehj/Ov44aPbzr4mzM6xYoSaGtm6t5n28rQKZC+BX1Y8Z+2dwOOKw\n6UIKIYSVsJ/f/jbm2jW1nfOJE/Drr/Dxx0Ynei7qSRRf//o1LYq3oFK+SkbHMTknJ1i0CDp3ho4d\nYd68t7/Wlx5fUixHMbpv7k5MbIzJMgohhDWQIsEAFy9C5cpw9Srs2QMVKxqdKK5JwZO4+fAmE2tO\nNDqK2Tg6wty5av5H9+7w3Xdvdx1nR2cCGgRw4MoB5oUmo9oQQggrJEWChZ06pfZgiI6GoCA1896a\nXLp7iUn7JvGlx5cUzFzQ6Dhm5eCgioP+/aFPH5g06e2u45nfk65lujLk1yFERkWaNqQQQhhIigQL\nunBBDSukTw9794Kbm9GJ4vv6169Jnyo9X1f+2ugoFqFpqjj45hsYOFBtFPU2JtScgLOjM/139Ddt\nQCGEMJAUCRZy/bqapJg6NezcqXZztDYHrxxk6Z9LGV19NBlTZzQ6jsVomioOxoyB4cPVttNv2iMp\nm0s2JtWaxPJjy/k17FfzBBVCCAuTIsEC7t5VTXzu3IEdOyCnFTYu1HWdftv7UTxHcbq4dzE6jiGG\nDoXJk2HcOPj22zd/f4dSHahSoAo9f+rJo6ePTB9QCGHVIiMj8fLyws3NDS8vL65du2Z0pGSTIsHM\nHj1S6/LPnFFbF1vjEANA4IlA9l7cy9Q6U3FycDI6jmH694dhw9TGUEuXvtl7NU1jToM5nLt9jm+D\n36LKEELYNB8fH4KDgwkLCyM4OBhvb2+jIyWbFAlmFBMDbdpASIjalbCUlW6g+PjpYwb+MpB679Wj\ntltto+MYbuRI6NJFLZHcvv3N3lssRzG+qvQV4/aO4/SN0+YJKISwShEREUl+b4ukSDATXYcePWDj\nRlizRi15tFbf7f+OC7cvMLn2ZKOjWAVNg4AA1cLZx0dt1f0mvqnyDbky5KLXll6yAZQQKUiuXLmS\n/N4WSZFgJkOHwvffw8KF8MknRqdJ3PX71xm9ZzTdy3anWI5iRsexGk5OsGqVWqLaoAGcPfv673Vx\ndmFW/Vn8HPYzq/9OZu9nIYTNCAwMxNPTk0KFCuHp6UlgoO1vACdFghn4+8P48TBlCrRvb3SapI3b\nOw4Av2p+xgaxQunSqT01MmeGOnVUl8zXVb9wfXyK+uC73Zfbj26bL6QQwmq4uroSFBTE2bNnCQoK\nwtXV1ehIySZFgoktWQL9+qmJb/2sfHfl+0/us/DIQnqX702OdDmMjmOVsmdX8xLu31dPFKKiXv+9\n0+pOI+pJFN/s/MZ8AYUQwoykSDChzZvVZLeuXdUyOmu38q+V3Ht8j25luxkdxaoVLAhbt8LJk2r3\nyOjo13tf3ox5GV19NLMPzObglTec2CCEEFZAigQT2b8fmjdXOznOmaMmv1m7gIMB1C9cnwKZCxgd\nxeqVLg3r16tGWF27vn6zpd4VelMqZynZAEoIYZOkSDCBK1dUL4QyZdQ2xE420GbgwOUDhEaE0rNc\nT6Oj2IwaNdRw0pIl8PVrdq12cnAioEEAhyMOM/vAbPMGFEIIE5MiIZkePlQFgqMjBAZCmjRGJ3o9\nAQcDyJ8pP3Xfq2t0FJvSsqWakDphAsx+zc/8inkr0qNcD4buHMqVe1fMG1AIIUxIioRk0HXo1g2O\nHYMNG6yz3XJCbj28xcq/VtLNvRuODo5Gx7E5/fqpXSP79oXdu1/vPeNqjCOtc1p8t/uaN5wQQpiQ\nFAnJMGUKLFsGixZB2bJGp3l9S/9cSnRsdIrdo8EUpkyBKlXUPJSLF199fuY0mfGv48+av9ew7cw2\n8wcUQqQ45mjeJkXCW9qyRW0t/PXX6hG0rdB1nYCDATT9oCk509vIow8r5OQEq1eDiws0baqGnV6l\nVYlW1Hi3Br229OJh9Gu8QQgh3sCCwwtMfk0pEt7CP/9Aq1bQsKHaYtiW7LmwhxP/npAJiyaQPbsa\nZjpxQg07vaqI1zSNWfVncenupf9vYiWEEKZw8t+TzD803+TXlSLhDd26pZY55s2rhhocbOy/wYDQ\nAIpkK0K1gtWMjmIXSpdWrbeXLYNp0159fpHsRRjkOYhJ+yYRdivM/AGFEHYvVo+l2+Zu5Exn+qfD\nNvYRZ6ynT+HTT+Hff2HTJsiY0ehEbyYyKpJ1x9fRo1wPNFto5GAjWrZUQ08DBsAvv7z6/EGeg8iR\nLgf9d/Q3fzghhN1bdHgRey7sYWjloSa/tlmLBE3TKmuatknTtMuapsVqmtbInPczt4EDVTOdtWvB\nzc3oNG9u0ZFFODo40r6UlW8oYYPGjYOaNVURee5c0uemS5WOSbUmseGfDfwS9hpVhRBCJCIyKpIB\nPw+gQ6kOVMhbweTXN/eThHTAEaAXYNN75i5apDZu8vdXTXVsTUxsDHND59KyREuyps1qdBy74+gI\nK1dCliyqb8b9+0mf/2nxT6mcvzJ9t/UlOuY1+zwLIcRLvtz+JU4OTkyuPdks1zdrkaDr+jZd14fr\nur4BsNnn2yEh0KOHasfbu7fRad7OjrM7OH/7PD3K9jA6it3KmlVNZDx7Vu3hkdRERk3TmF53Oieu\nn2DOwTmWCymEsBtbTm9h1V+r8K/jT3aX7Ga5h8xJeIVr19SmPuXLw6xZtrEnQ0LmHJxD6ZylqZDH\n9I+jxHMlSqi2zWvWwLffJn1umVxl+Mz9M0bsGsH1+9ctE1AIYReinkTx+U+fU6tQLdp82MZs95Ei\nIQmxsdCundr1b80aSJXK6ERv5+Kdi/x0+id6luspExYtwNsbvvkGhgyBba/omzTm4zHous6w34ZZ\nJpwQwi6M+G0E1+5fI6BhgFl/r0uRkITx4+Hnn2H5csid2+g0b29+6HzSOaej9YetjY6SYowcCQ0a\nqH4aSU1kzJEuByOrjWRe6DyOXD1iuYBCCJsVeiWUaX9Mw6+aH4WyFDLrvTRztHFM8EaaFgs00XV9\nUxLnuAOhVapUIVOmTHGOtWrVilatWpk55XO7dqkJikOHwqhRFrutyUXHRJN/Wn68P/BmVoNZRsdJ\nUW7fBnd3yJED9u5N/ElUdEw0peeWJlvabOzuuFue9gghEvU09ikV5lfgxv4bfHjtQxy053/r37lz\nhz179gCU1XX9kCnuZ5WbGvv7++Pu7m7Y/SMj1V+AVarAiBGGxTCJTSc3cTXqKj3KyYRFS8ucWbVu\n9vRU7bsnJzL52NnRmWl1plF7WW3WHl9Li+ItLBtUCGEzpv8+nSNXj/DHqD8on6d8nGOHDh2irIk3\nEjJ3n4R0mqaV0jSt9H8vFfrv+3zmvG9yxMRAmzZqZvqKFWppmy2bc3AOnvk8+fCdD42OkiKVLw8T\nJ6oNoTZvTvy8Wm61aFykMQN2DOBB9APLBRRC2Izzt88zfNdw+lTsE69AMBdzz0koBxwGQlF9EqYA\nh4CRZr7vWxs7VjVMWr4ccuUyOk3ynLpxil/P/SpPEQz25ZfwySfQoQNcupT4eVNqTyHyfiTfBr9i\nWYQQIsXRdZ2eP/UkW9psjK6e8KZB5pg9YO4+Cbt1XXfQdd3xpa/O5rzv29q5E/z81BCDLTZMetnc\ng3PJljYbzYo1MzpKiqZp8MMPkC6dGsZ6+jTh89yyutHPox8Tgydy4fYFi2YUQli31X+vZtuZbcyq\nP4sMqTMkeM7335v+vrK64T9Xr0Lr1qo4+OYbo9Mk38Poh/xw9Ac6le5EGqc0RsdJ8bJmVR0ZQ0KS\nnufydeWvyZImC1/9/JXlwgkhrNrNhzfpu60vzYo145MinyR4TnAwzJtn+ntLkYCah9C6tfqLb9ky\n25+HALD2+FpuPrxJt7LdjI4i/uPpCWPGqKW1O3YkfE6G1BmYWHMia4+vZdf5XRbNJ4SwTgN/Hsjj\np4+ZUXdGgsdv31afYSVKmP7eUiSg1rTv3q3+0nvnHaPTmEbAwQBqFapF4WyFjY4iXjBwINSqpZp0\nRUQkfE6bkm3wyOtB3219eRqbyNiEECJF2HV+FwsOL2BizYnkyhB/opyuQ/fucOeO2mjO1FJ8kfDz\nz+qvu5EjoVo1o9OYxtGrRwm5FCITFq2QgwMsXar+2bateooV7xzNgRl1Z/Bn5J/MD51v+ZBCCKvw\n6Okjum/ujmc+Tz4r+1mC5yxapDoCz5tnnsn2KbpIiIhQyx1r1VLr2O1FwMEAcmfIzSfvJzx2JYzl\n6qqW1+7apVbTJKR8nvJ0Kt2Jb377hpsPb1o0nxDCOozbO45zt84x75N5cZomPXPyJHzxBXTpAi3M\n1F4lxRYJsbHQqVPcv+zswb3H91h2bBldy3TF2dHZ6DgiEdWrw/Dh6gnWrl0JnzOuxjiiY6IZ8ZuN\nd/QSQryxv6/9zYSgCQzxGkKxHMXiHX/8WK2WypcPpk83Xw47+Wh8czNnwvbtammaq6vRaUxn+bHl\nPIh+kOijKWE9vvlGdfVs3RquJ7AJZM70ORledThzDs7hr2t/WT6gEMIQsXos3TZ3o1CWQgypPCTB\nc4YMgb//VnPp0qUzX5YUWSQcO6YmkPXpA3XrGp3GdHRdJ+BgAJ+8/wl5M+Y1Oo54BUdH1bTr6VP1\nVCuhRih9KvbBLasbfbf1xVL7rAghjDUvdB77wvcxt+HcBJewb9sG/v4wYQKUKWPeLCmuSHj0SM1D\nKFxYtcu1J79f+p2jkUdlwqINyZ0bFi6En36CuXPjH0/lmAr/Ov7sPLeTDf9ssHxAIYRFXbl3hUG/\nDKJrma5ULVg13vHISNW9tV496NvX/HlSXJEwZIia7LF8OaSxsx5DAaEBvJv5XWq71TY6ingDDRtC\njx7Qr5/6d/Nl9QvXp9579ei/oz+Pnj6yfEAhhMX02dqHtE5p+bZW/PbssbGqQHjWxdUSc+lSVJGw\nYwdMm6aeIJQsaXQa07rx4Aar/1pN97LdE5wFK6zb5MmQN69aFhkdHf+4fx1/wu+GM2XfFMuHE0JY\nxMZ/NrLuxDqm151OlrRZ4h2fNk3NpVuyxHJz6VLMp8m//6oKrFYtNRfB3iw+uphYPZbOZaxyWwzx\nCunSqadbhw/DqFHxjxfJXoS+FfsyLmgcl+4msUuUEFbicMRh6Rr6Bu4+vkuvLb2oX7h+gtvFh4bC\n4MHQvz/UtuDD4hRRJOg6dO2q/kKz1CMaS4rVYwk4GECzYs3IkS6H0XHEWypfXm0wNm6c6sP+smFV\nhpE+VXrudRZwAAAgAElEQVQG/TLI4tmEeFODfhlE09VNuf3ottFRbMI3O7/h1qNbzK4/G03T4hy7\nf1+tgipZ0jxdFZNiZx+XCfv+e9i4Uf0zd26j05jeb+d+4/TN0/Qs19PoKCKZBg8GDw/Vtvnu3bjH\nMqXJxPga41lxbAXBFxOoIoSwEjGxMfxx+Q9uP7qNf4i/0XGs3h+X/mDm/pmMqT6GApkLxDs+YIDa\nZn7FCkiVyrLZ7L5IOHUKvvwSPvsMmjQxOo15BIQGUDxHcbzyexkdRSSTk5Nq7nX9esIzlzuW7ki5\n3OXos60PMbEJ9HQWwgocv36cu4/v4pHXA//f/bnx4IbRkaxWdEw0n/34Ge653Pmi4hfxjm/dCgEB\nat7S++9bPp9dFwnR0Wq5Y548ak2pPYq4F8GGfzbQo1yPeI+ohG0qVAhmzFBDY+vWxT32bF+HQxGH\nWHRkkSH5hHiVkEshOGqOrPRZSawey+R9k42OZLWmhEzh+PXjzP9kPk4OTnGO3bihWi7XratWQBnB\nrosEPz84ckRNCDNnRyojLTi8gFSOqWhXsp3RUYQJdewI3t7QrRtcuRL32Ef5PqJtybZ8/evXMt4r\nrFLIpRBKvlOSgpkL0qdiH2bsn8G1+9eMjmV1ztw8w8jdI/H18KVMrrhdkXQdPv9ctV9esEAtezSC\n3RYJe/fC+PGqN3758kanMY+Y2Bjmhc6jVYlWZEqTyeg4woQ0TTVXSp1aFQyxsXGPT6w5kQfRDxi1\nO4GlEImIjIzEy8sLNzc3vLy8uHZNfmkL8wgJD6FSvkoADKg0ACcHJyYG2Vn3umTSdZ0em3uQM31O\n/Kr5xTu+cqXa3XHOHGPn0tllkXDvHrRvD15eMMiOJ4JvOb2F8LvhMmHRTmXPrraB/flntdfIi3Jn\nyM3QykP5bv93nLh+4rWu5+PjQ3BwMGFhYQQHB+Pt7W2G1CKlu/nwJidvnOSjvB8BkDVtVnw9fJl9\ncDZX7l15xbtTjqV/LuXXc78yp8Ec0qWK+6j70iXo1Utt4GSu3R1fl10WCf37q4lfixer/vj2as7B\nOZTLXY6yucsaHUWYSZ06aivYQYPUZi4v8v3Il/yZ8uO73fe19nWIiIhI8nshTOH3S78DaljsGV8P\nX9I6pWX83vFGxbIq/z74l37b+9H6w9bUfS/uBkKxsdC5sxoinzXLoIAvsLsiYcsWmD8fpk6Fd981\nOo35nLt1jm1ntslThBRg4kT173KbNvDkyfPX0zilYWrtqWw/u53Npza/8jq5cuVK8nshTGFf+D5c\n07nybubnv4AzpcnEgEoDmHdoHhfvXDQwnXXov6M/sXos/nXiz6ifPVs9PVy0CLLEb7pocXZVJNy8\nqZom1a2rljzas/mH5pMxdUY+Lf6p0VGEmaVNqybf/v13/G6MjYo0omahmvTb0Y/HTx8neZ3AwEA8\nPT0pVKgQnp6eBAYGmjG1SKlCLoXwUd6P4q226lOxDxlTZ2TsnrEGJbMOv4T9wpKjS5hSewqu6eL2\nVj55Uu1Q3Lu36g5sDeyqSOjdGx4+VE2T7Hk14JOYJyw4vIAOpTrEG8sS9qlMGRg+XG0Nu3//89c1\nTWN63emcu3WO6X9MT/Iarq6uBAUFcfbsWYKCgnC1VPN3kWLExMaw//L+/5+P8KL0qdIzyHMQC48s\nJOxWmAHpjPcg+gHdN3enWsFqdCzdMc6xp09VE7V8+axrh2K7KRLWrlWzQWfNUn0R7Nn6E+u5dv8a\n3ct1NzqKsKDBg1Wx0KGDKoafKZajGL3K92L0ntFE3JN5BsI4f137i6gnUf+/suFln5f/nOwu2Rm9\nZ7SFk1mH0btHc/nuZeY2nBvvScu4cXDokGqm5uJiUMAE2EWRcPUq9OwJPj5qNqi9m3NwDlUKVKFY\njmJGRxEW5OysJuOeOwfDhsU95lfNj9SOqRny6xBjwgmBGmpwcnCiXO5yCR53cXZhiNcQlhxdwqkb\npyyczlh/Rv7JpH2TGFZlGO9ni9s68eBBNZQ4dChUqGBQwETYfJGg66rhjKOjWk9qz8MMACeun2D3\nhd0yYTGFKlYMxoxRE3P37n3+epa0WRj78VgWH13MH5f+MC6gSNH2he+jdM7SpHVOm+g53cp2I3eG\n3IzcPdKCyYwVExvDZz9+xgfZP+Arz6/iHHv4UA0zlCkD33xjUMAk2HyRsHgx/PgjzJsHOVLABogB\nBwPI4ZKDph80NTqKMIivL1SqpJosRUU9f72re1dK5yxNn219iNVjE32/EObybNJiUtI4pWFo5aGs\nPLaSv6/9neS59mL2gdkcuHyA+Z/MJ5Vj3B2ahgyB8+dhyRL1tNDa2HSRcPGi2gSnQwdo3NjoNOb3\nIPoBi48upkuZLqR2Sm10HGEQR0e1r8PVq3GbhTk6ODKj7gz2X97P0qNLDcsnUqbr969z5uaZVxYJ\nAJ3LdKZA5gL47fYzfzCDhd8J5+udX9OzXM84vSMAdu+G6dPVfISiRQ0K+Ao2WyTExkKnTpAxI0yb\nZnQay1j11yruPr5Lt7LdjI4iDPbee/Dtt2pN9S+/PH+9coHKfFr8Uwb/Oph7j+8ZF1CkOAk1UUpM\nKsdUDKsyjP8d/x9Hrh4xdzTD6LpOry29yJg6I+NqjItzLCpKNU2qXDnhHV+thc0WCbNnw86dquFE\n5sxGp7GMgIMB1H2vLu9mseMuUeK19ewJH3+sftHcufP89Um1JnHn0R3G7BljXDiR4oRcCiFX+lwU\nyFTgtc5vX6o972V9jxG7Rpg5mXECTwTy46kfmVlvZrz9dQYPVk8DFy4EByv+JLbiaIk7fVo1nPj8\nc6hZ0+g0lhF6JZQDVw7Qo5xB+4UKq+PgoH7B3L6t5ik8ky9TPgZ7Dcb/d39O3zhtXECRooRcCuGj\nfPGbKCXGycGJEVVHsOnkJg5cPmDmdJZ3+9Ftvtj6BU0+aELTonHnkO3cqZbrT5yongpaM5srEmJi\n1ByE3LnV49aUIuBgAPky5qNB4QZGRxFWpEAB8PdXT9Q2v9CZ+atKX5E7Q2767ehnXDiRYjyNfZpo\nE6WktCrRiqLZizJ813AzJTPOkF+GEPUkiu/qfRfn9Xv31NO/atXUH7rWzuaKhKlT4fff1aqGdCmk\n2eCdR3dY8dcKPnP/DEcHO96xSryVzp2hfn3VivzGDfVaWue0TK49mc2nNrPtzDZjAwq792fknzyI\nfvDGRYKjgyN+1fzYdmYb+8L3mSmd5QVdDCIgNIDxNcaTN2PeOMcGDIB//7X+YYZnbCDicydOqCYy\n/fqBp6fRaSxn6Z9Lefz0MV3cuxgdxS5ERkbi5eWFm5sbXl5eXLt2zehIyaJpalOzx4/VjpHP+BT1\noWqBqny57UuiY6KNCyjsXkh4CM4Ozm+1I22zYs340PVDhv027NUn24DHTx/T7cdueOT1iDc8vGOH\nWq4/ebLtbEBoM0XC06dqXXjBgjA6BXX01HWdgIMBNPmgCbkz5DY6jl3w8fEhODiYsLAwgoOD8fb2\nNjpSsuXODTNnqtbka9eq1zRNY0a9GZy+eZqZ+2caG1DYtZBLIZTJVYY0Tmne+L0OmgMjq41k57md\n7Dq/y/ThLGzs3rGcvnmaeQ3nxXnye+cOdOmi5tF1t6GO+jZTJEyZolpXLlqkdsVLKYIuBvH39b9l\nwqIJRUREJPm9rWrVCry91Tjns4cjJd8pSfey3fHb7ce1+7b9xERYr5BLIVTKm/B+Da+jyQdNcM/l\nzrDfhqHrugmTWdbGfzYyes9oRlQdwYfvfBjnWL9+qlBYsMC2OgPbRJFw/LjaAa9fP/jozYa8bF5A\naACFsxbm43c/NjqK3ciVK1eS39sqTVNLg3UdevV6/vro6qNx1BwZ+utQ48IJuxUZFUnYrbDX6o+Q\nGE3TGFVtFEEXg/g57GcTprOcv679Rdv1bfEp6sPXlb+Oc2zLFjUHwd8f8uc3KOBbsvoi4dkwQ6FC\nagOMlOT6/ev87/j/6F62Ow6a1f9PZTMCAwPx9PSkUKFCeHp6EhgYaHQkk3nnHbW06n//gzVr1GvZ\nXLIxqvooFhxeQOiVUGMDCrsTcikE4I0nLb6sfuH6VMxT0SafJtx4cINGKxtRKEshfmjyQ5zf17du\nqUnFdeuqSca2xuo/eSZNgtBQ1YY2JQ0zACw6sggNLd6+4yJ5XF1dCQoK4uzZswQFBeHq6mp0JJNq\n0ULtiNqr1/Nhhx7lelDctTh9t/W1uV/AwrqFhIeQJ0Me8mXKl6zraJrG6Oqj2X95Pz+d/slE6cwv\nOiaa5mubc+/JPTa23Ej6VOnjHO/bF+7fV5OLbWmY4RmrLhL++gv8/NSSkYoVjU5jWbF6LHND59Ki\neAuyuWQzOo6wIc+GHUDNT9B11bhmet3pBIcHs/KvlcYGFHblWRMlU6hZqCaV81dm+G/DbaaY9d3u\ny96Le1nXYh0FMxeMc2zjRli6VO3PkDdvwu+3dlZbJDx9qvZmcHODkSlnR9H/9/PZnwm7FSYTFsVb\ncXVVww7r1j0fdvj43Y9pVqwZX2z9grBbYcYGFHYhOiaag1cOJnuo4ZlnTxMOXz3M+n/Wm+Sa5jQv\ndB6zDsxiVv1ZVClQJc6xGzfUKoaGDaF9e4MCmoBFigRN03ppmnZO07SHmqb9rmla+Ve959tv4dAh\nNcyQ5s1X1di8gNAASr5T0mT/5xMpT4sW0KyZGnaIjFSvzWs4j6xps9JoZSPZAEok29HIozx8+pBK\n+d5+ZcPLqhasSo13azBi1wir3vJ8z4U99NrSi8/LfZ7gpnt9+qjeJXPn2uYwwzNmLxI0TfsUmAKM\nAMoAR4HtmqZlT+w9p0+rYYaBA6FCBXMntD6X7l5i08lN9Cjb47X7oAuRkFmz1C+oZ8MOWdJmYVPL\nTVy8c5F269tZ9S9hYf1CwkNI5ZiKMjnLmPS6o6uP5q9rf7Hm7zUmva6pXLh9AZ81Pnjl92Ja3fjb\nEG/YACtWwIwZqoeJLbPEkwRfYK6u60t0Xf8H6AE8ABKd5+nnB4ULq3+mRN8f+h4XZxfalmxrdBRh\n41xd1fyEwEBYvVq9VjRHUVb4rGDTyU347fIzNJ+wbfsu7aNsrrKkdkpt0ut+lO8j6r1XD79dfjyN\nfWrSaydX1JMoGq1qRIZUGVjbfC3Ojs5xjt+4AT16wCefQFs7+BVu1iJB0zRnoCzw67PXdDUb5Rcg\n0efop06pYYbUpv33ziZEx0Qz/9B82nzYhgypMxgdR9iB5s3VV+/ez4cdGr7fkHE1xjF6z2jW/r3W\n2IDCZoWEh5htSHRU9VGcvHGSFcdWmOX6byNWj6Xjho6E3QpjU6tNZHeJ/0C8Tx948sT2hxmeMfeT\nhOyAIxD50uuRQM7E3tSxI5R/5awF+7T51Gau3LtCz3I9jY4i7MisWWozmZ491bADwCDPQbQq0YqO\nGzty5OoRYwMKmxNxL4ILdy6YbGXDy8rlLkfjIo0ZuXuk1ew9MmbPGNadWMeypsso4Voi3vEXhxns\npEcbTgbdVwMSXd9y6pQvjRplivNaq1ataNWqlblzGW7OwTl45PWgVM5SRkcRdiRHDjXs0Lw5rFql\nWjhrmsb3jb7n5KKTNF7VmAOfHcA1nX31jBDmY6omSkkZVX0UpQJKsfjoYrq6dzXbfV5H4IlARuwa\nwejqo2n8QeN4x18cZmjTxvx5Vq5cycqVcZcz37lzx/Q30nXdbF+AMxANNHrp9R+A9Qmc7w7ooaGh\nekp0+sZpHT/0xUcWGx1F2KnmzXU9a1Zdj4h4/trF2xf1dya9o1deWFl//PSxceGETRmwfYCe3z+/\n2e/TfE1zPb9/fv1R9COz3ysxRyKO6C5jXfTma5rrsbGxCZ7TqpWuZ8mi61euWDjcC0JDQ3XUH+Du\nuok+x8063KDrejQQCtR49pqmpuvXAOxn83ATmRc6jyxpstC8WHOjowg7NWsWODrGHXbIlykfgZ8G\n8sflP/hiyxc208RGGGvfpX0WWaLtV82P8DvhLDi8wOz3Ssj1+9dpvKoxRbIVYVHjRQmuOFu/Xu3A\nak/DDM9YYnXDVKCbpmntNU37AAgAXFBPE8R/Hj19xMLDC+lYuiNpnVNY/2lhMTlywJw5auz0xSeV\nlfJVYk6DOcw7NI85B+cYF1DYhCcxTwi9EmqRIqFYjmK0/rA1Y/eO5WH0Q7Pf70VPYp7QbG0zHj59\nyIaWG0iXKl28c27cUEV3o0aWGWawNLMXCbqurwH6A6OAw0BJoI6u69fNfW9bsu74Om48vEH3sja0\n0biwST4+8OmnarXDi7tkdy7TmT4V+tB3W192nd9lWD5h/Q5HHOZxzGOzTVp82YiqI4iMimRu6FyL\n3O+Zvlv7EhIewroW68ifKeHtG7/4Qq1mCAiwj9UML7NIx0Vd12frul5Q1/W0uq5/pOv6QUvc15bM\nOTiHj9/9mCLZixgdRaQAM2eCs7OaaPXi6MKUOlOoVrAazdY049ytc8YFFFYt5FIIaZzSUDpnaYvc\nr3C2wrQv1Z7xQeO5/+S+Re4558AcAkIDmNNgDl75vRI859kww3ff2d8wwzNWuXdD586dufZs+7oU\n4FjkMYLDg2XZo7CY7NnVXz6bNsHy5c9fd3JwYnWz1WROk5nGqxoT9STKuJDCaoVcCqFsrrKkckxl\nsXsOqzKMmw9vMuvALLPfa9f5XfTZ1oc+FfrQxb1Lguf8+68qshs3htatzR7JMFZZJBw9ehRvb2+j\nY1jMlJAp5Eyfk8ZF4i+rEcJcmjZVv9y++AKuXHn+eta0WdnYciPnbp+j/fr20rpZxBMSHmLS/Rpe\nx7tZ3qVLmS58G/ytWfcdOXfrHM3WNKNqgapMqTMl0fP69IHoaDXHxx6HGZ6xyiIBIOLFwVI79uPJ\nH1l8dDF+Vf3itfcUwtxmzFAbqHXrFnfYobhrcVZ4r2DDPxsYtXuUcQGF1bl09xLhd8MN2XxuaOWh\n3Htyj+l/TDfL9e89vkejVY3InCYzq5utxskh4VZCKWGY4RmrLRJy2ft/88C1+9fo+mNXGr7fMMFd\nxIQwt2zZVPvYn36CJUviHvukyCeM+XgMI3ePZN3xdcYEFFYnJPy/JkoWmrT4onyZ8tG9bHemhEzh\n9qPbJr12rB5L+w3tuXD7AhtbbiSbS7YEz7t+XW0Bbe/DDM9YZZFQqlQpAgMDjY5hVrqu03VTV3Rd\n5/tPvpfdHoVhGjWCdu2gb1+4fDnusSFeQ/i0+Ke039Ceo1ePGhNQWJWQSyEUzFyQnOkT7axvVkO8\nhvDo6SOmhkw16XVH7hrJxn82stx7OcVdiyd6Xq9eEBtrP3szvIpVFgkLFy7E1dW+28POPzSfH0/9\nyIJGC3gn/TtGxxEp3PTp4OICn30Wd9hB0zQWNl5IkWxFaLyqMdfvy8rllC7kkvk2dXoduTLkolf5\nXkz7fRo3HtwwyTXX/r2WUXtGMfbjsXxS5JNEz1u9GtauVS3O30khv7atskiwd6dvnMZ3uy/d3Lsl\n+S+kEJaSJQvMmwdbt8KiRXGPuTi7sKHlBh4+fUjztc2tZrMdYXmPnz7mUMQhQ4sEUJuTxeqxTNo3\nKdnXOhxxmA4bOtCyREsGew1O9LyrV+Hzz9X+Jy1aJPu2NkOKBAuLjomm7fq25M6QO8mZs0JYWsOG\nagdWX18ID497LH+m/AS2CGRf+D76butrSD5hvEMRh3gS88TiKxteliNdDvpU7MN3+78jMurlTYZf\n37X712i8qjHFchRjQaMFiQ776rqah+DkpJ4ipCRSJFjY2L1jCb0SyrKmy0ifKr3RcYSIw98fMmSA\nrl3jDjsAeOb3ZHaD2cw5OIeAgwHGBBSG2he+j7ROaSn5TkmjozCg0gCcHJyYGDzxrd7/JOYJPmt8\neBLzhA0tN+Di7JLouUuXqp4ic+eqHiMpiRQJFvT7pd8Zs2cMw6oMo2LeikbHESKezJlh/nzYsQO+\n/z7+8a7uXeldvjdfbP2C3ed3Wz6gjYmMjMTLyws3Nze8vLxsvklcyKUQyucpbxXLtbOmzYqvhy9z\nDs7hyr0rr37DC3Rdp9dPvdh/eT/rP11P3ox5Ez338mXVE6FtW2jSJLmpbY8UCRYS9SSKtoFtKZe7\nHEOrDDU6jhCJqlcPOneG/v3hwoX4x6fWmUqVAlVotrYZ52+ft3g+W+Lj40NwcDBhYWEEBwfbdJM4\nXdcNn7T4Ml8PX9I6pWXc3nFv9L5ZB2bx/eHvCWgQkORSTl1XT9VcXFRPkZRIigQL6be9H1ejrrK0\n6dJEG3QIYS2mTlVPFTp3Vsu9XuTs6MyaZmvImDqjtG5+hZebwtlyk7jwu+FcuXfFqoqETGkyMaDS\nAOYfms/FOxdf6z2/hv3Kl9u+xNfDl05lOiV57oIFsG2beqqWJYspEtseKRIsYNPJTcw/NB//Ov4U\nzlbY6DhCvFKmTLBwIezcqTaDelk2l2xsbLmRsFthdNzQUVo3J+LlpnC23CTOyCZKSelTsQ8ZU2dk\nzJ4xrzz37M2ztPhfC2oUqsG3tb5N8twLF6BfP1Uo169vqrS2R4oEM7sadZUum7rQqEgjurp3NTqO\nEK+tZk21nfSgQfDPP/GPl3AtwbKmy1h3Yt1r/YJOiQIDA/H09KRQoUJ4enradJO4kEshuGVxwzWd\ndfWwSZ8qPYM8B7HoyCLCboUlet7dx3dptKoR2dJmY5XPqiSf6MbGquIgc2b1VC0lkyLBjHRdp8um\nLjhoDsz/ZL50VRQ2Z+JEyJ8fOnSAp0/jH2/8QWNGVx/NiF0jWH9iveUDWjlXV1eCgoI4e/YsQUFB\nNt0kbl/4Pqt7ivDM5+U/J7tL9kT3GYnVY2kb2JZLdy+xseVGsqRNeuwgIEA9RVu4UD1VS8mkSDCj\nuaFz2XJ6CwsbLbS66luI1+HiAosXw8GDMGFCwucMrTyU5sWa0259O45FHrNsQGERD6MfcvjqYaua\nj/AiF2cXhngNYemfSzl141S848N2DmPzqc2s9FlJ0RxFk7zW2bPw1VfQs6d6mpbSSZFgJif/PUm/\n7f3oUbYHDd5vYHQcId6ahwcMGQIjR8KhQ/GPa5rGosaLKJytMI1WNeLfB/9aPqQwq9CIUJ7GPrXa\nIgGgW9lu5M6Qm5G7R8Z5ffVfqxkXNI6JNSdSv3DSkwtiYqBTJ9Vy+dukpyykGFIkmMGzrop5M+Zl\ncu3JRscRItmGD4cSJaB9e3j0KP7xdKnSseHTDdx/cl9aN9uhkPAQ0jmn48N3PjQ6SqLSOKVhaOWh\nrDy2kr+v/Q1A6JVQOm3sRNuSbRlQacArr+HvD0FBqjV5eul1B0iRYBaj94zmcMRhlnkvI12qdEbH\nESLZUqVSW0mfPg3DhiV8ToHMBVjXYh3BF4Px3e5r2YDCrJ41UbL25dudy3SmQOYC+O3242rUVZqs\nbkIJ1xLMazjvlXPC/vwThg5V/UGqVrVQYBsgRYKJ7Qvfx9i9YxlRdQQV8lQwOo4QJvPhhzB6NEyZ\nAnv2JHxO5QKVmVl/JrMOzGJe6DzLBhRmoes6+8L3USmvsfs1vI5UjqkYVmUY/zv+P2ouqUlMbAzr\nP11PWue0Sb7v0SPVUbFIERgjC3XikCLBhO49vke79e2okKcCQyoPMTqOECbXvz9UqqQ2grp3L+Fz\nupXtxuflPqfXll7svbDXovmE6Z2/fZ7I+5FWu7LhZe1Ltee9rO9x5uYZ1n+6njwZ87zyPcOGwcmT\nsGwZpE5tgZA2xCqLhGtRttnf/MttXxIZFcmypsus/rGcEG/D0VGtdrh2TRUMiZlWdxpe+b3wWePD\nhdsJ9HYWNiPkkmqi5JHXw+Akr8fJwYkNn27gtw6/vdYeObt2qadjY8dCSeP3rbI6VlkktA5sbXOb\nx6w/sZ6FRxYyve503LK6GR1HCLNxc1O/VOfPhy1bEj7H2dGZtc3Xki5VOpqsbsL9J/ctG1KYTEh4\nCIWzFia7i+1sf1jctfhrPfm4c0dNxq1SRW2RLuKzyiLBLYsbNZbUYGrIVPSX96u1QhH3Ivjsx89o\n8kETOpfpbHQcIcyuWzeoWxe6dIEbNxI+J7tLdja13MTpG6fptLGTTfx/WcQXcinEZoYa3lTv3qpQ\nWLxYPSUT8VllkTCrwSz6f9Sf/jv603JdS6veQOZZV0UnB6fXmkErhD3QNLX5zePH8Pnnare8hHz4\nzocsbbqUtcfXMnbvWMuGFMl2/8l9jlw9YtX9Ed7WmjVqDsLMmVCggNFprJdVFglODk5MrDWR/zX/\nH1tOb6HC/Aqc/Pek0bESNOfgHLae2crCxgvJkS6H0XGEsJjcuWH2bPXLdunSxM9rWrQpI6uNZNhv\nw1h3fJ3lAopkO3jlIDF6DJXyWf/Khjdx+TL06AHNmqlVDSJxVlkkPONTzIcDnx1AR6f8/PIEnrCu\nzVH++fcf+u/oz+flPn9lJy8h7FHLltCuHfTqpdrZJuabKt/wafFPab62OUN+GSLNlmxEyKUQMqTK\nQPEcxY2OYjLPNm9Kk0bt0SAPf5Nm1UUCwAfZP2B/1/3Uea8OPmt8GPzLYJ7GJrDTjIU9iXlCm8A2\nFMhUgEm1JxkdRwjDzJwJrq7Qpg1EJ/LZ76A5sNx7OeNrjGdyyGQ8F3py5uYZywYVbyzkUggV8lTA\n0cF+Buxnz4YdO1RXxWzZjE5j/ay+SADIkDoDa5qtYVKtSUzaN4k6y+pw/f51QzON3DWSPyP/ZJn3\nMlycXQzNIoSRMmaE5cvVJlCjEt6EDwBHB0cGeQ1iX+d93Hp0i9IBpfnhyA8yodFK6bpOSHiIzc1H\niIyMxMvLCzc3N7y8vLh27fmS+n/+UZs39eoFdeoYGNKG2ESRAGoTmQGVBvBLu184FnkM93nu7L+8\n35AsQReDmBA8Ab+qfpTLXc6QDEJYEw8P8PODceMS78b4TPk85Tnc/TAtireg08ZOtFzXklsPb1kk\np3h9YbfCuP7gus2tbPDx8SE4OJiwsDCCg4Px9vYG4MkTNf+gQAHZvOlN2EyR8Ez1d6tzqPsh8mTI\nQ7Gn0vAAACAASURBVOVFlZkXOs+if4ncfXyXduvb4ZHXg0Fegyx2XyGs3ZAh4OmpfhHfesVnfvpU\n6VnYeCGrm61m+5ntlAooJd0ZrYytNVF6JiIiIsHvR46Eo0fVigYXefj72myuSADImzEvuzvupkuZ\nLnTf3J2um7ryMPqhRe7dd1tf/n3wL0ubLpWuikK8wNFR/QK+e1fNHH+d2r1F8Rb82fNPCmYuSLXF\n1Ri2c5hMarQS+8L38UH2D8iaNqvRUd5Irly54n2/cyeMH6+edpWTh79vxCaLBIDUTqmZ3WA2PzT+\ngRV/rcBrkRfnb5836z3XHV/HD0d+YEbdGRTKUsis9xLCFuXPD/PmqWWRixe/5nsy5ee3Dr8xstpI\nxgeNp/KiyoTdCjNvUPFKIZdsbz4CQGBgIJ6enhQqVAhPT0/mzg2kTRuoXh0GDzY6ne2x2SLhmQ6l\nO6iJUA9vUXZeWbaf2W6W+1y5d4Vum7vhXdSbjqU7muUeQtiDFi3UBlC9e8OZ11zA4OjgyDdVviGo\ncxDXH1yndEBplv25zKw5ReKinkTxZ+SfNlkkuLq6EhQUxNmzZ9mzJ4ivvnIlJkb18pCuim/O5osE\ngDK5ynCw20Eq5qlIveX1GLNnDLF6rMmuH6vH0mljJ1I5pmJuw7nSVVGIV5gxA3LmhNatE18WmRCP\nvB4c7n6YJh80od36drQJbMOdR3fMF1Qk6MDlA8TqsTY3afFl/v6wdat6qpU7t9FpbJNdFAkAWdNm\nZXPrzQyvOpxhvw2jyaom3H502yTXnrV/FjvO7mBR40U2tcmJEEbJkAFWrIDDh2HEiDd7b8bUGVnS\ndAkrvFew+dRmSs8tzb7wfeYJKhIUcimEjKkzUixHMaOjvLUDB9Rk2gEDoF49o9PYLrspEkA1bPGr\n5sfmVpvZe3Ev5eeX51jksWRd8/j14wz8ZSC9y/em7nt1TZRUCPtXoYLqmzBhgtqO9021+rAVR3sc\nJXeG3FReVBm/XX5W0UgtJQi5FELFPBVx0GzzI+LuXdUNtHRptQW0eHu2+W/AKzR4vwEHPzuIi7ML\nHgs8WHls5Vtd51lXxYKZCzKx1kQTpxTC/g0cqLbhbd06Eg+PhBvcJKVg5oLs7rib4VWGM3rPaKr+\nUNXsE5RTumdNlGx1vwZdh+7d4fp1WLUKUqUyOpFts8siAcAtqxshXULwLupN68DW9N3a942XVo34\nbQR/XfuL5d7LpauiEG/B0VFNGLt2zYc//ojf4OZ1ODk4MaLaCPZ03MPlu5cpFVDqrQt/8Wqnb57m\nxsMbNjlpEVS75VWr1CqbQrIILdnstkgAcHF2YUmTJcysN5PZB2dTfXF1Iu5FvPqNwN4Le5kYPJFR\n1UbhnsvdzEmFsF/58kH27Ak3uHkTnvk9OdrjKA0KN6B1YGvar2/P3cd3TRVT/CckXDVRqpi3osFJ\n3tyJE/DFF9ClixpuEMln10UCqHbOvSr0YnfH3Zy7fQ73ee6v7Ox259Ed2q1vh2d+TwZ6DrRQUiHs\n13vvxW9w8zYypcnEcu/lLGmyhPX/rKfM3DL8cekPU0QU/wm5FEKxHMXInCaz0VHeyMOHqjAoUACm\nTzc6jf0wW5GgadrXmqYFa5p2X9O0m+a6z+uqlK8Sod1CeT/b+3y85GOm/z490XbOfbb14ebDmyxp\nssSudj8TwiiBgYFUquRJmjSFcHb2JCDg7bd91zSNdqXacaT7EXK45MBzoSdj9owhJjbGhIlTLltt\nojRgAJw8CatXQ7p0RqexH+Z8kuAMrAHmmPEebyRn+pz80u4X+lTow5fbv6RNYBvuP7kf55y1f69l\nydElfFfvO97N8q5BSYWwL66urgQHBxEWdpasWYPo21c1uEkOt6xu7O20lyFeQxj+23CqL67OxTsX\nTRM4hbr7+C7HIo/ZXJEQGKi2gJ42DT780Og09sVsRYKu6yN1XZ8OJG8Nook5Ozozpc4UVjdbzaaT\nm/BY4MHpG6cBuHz3Mt03d6dZsWa0L9Xe4KRC2J9cudSksl27VB/95HJ2dGb0x6PZ1XEX52+fp1RA\nKdb8vSb5F06h9l/ej45uUysbwsLUHAQfH7WqQZiW3c9JSEyL4i34o+sfPIl5Qrn55djwzwY6buxI\nGqc0BDQIkK6KQphJtWowZoz62rrVNNesUqAKR3scpbZbbT7936d03tiZqCdRprl4ChISHkLmNJkp\nkr2I0VFey4MH4O0N2bLB/Pkgv7ZNL8UWCQDFXYuzv+t+Pn73Y5qubsovYb/wQ5MfyOaSzehoQti1\nQYOgfn21rfRFE40QZEmbhVU+q1jYaCFr/l5DmbllOHD5gGkunkKEXArBI6+HTTRR0nXo1g1On4b1\n6yFLFqMT2ac32utY07TxwKAkTtGBorqun0pOKF/f/2vvzuOjKvK9j3+KhF0Ia8YgiiTgKKDsyhLA\nBeLIgCggEHlGVK64MFe4buM4js6IAw8zo4I43uuOzoMB0YgIomGRJUmDCCMq4mUJCgEMq4EBIZCc\n549qNGAnpJPT3aeb7/v16ldMp06dX1k59C916lT9FwkJCae8l56eTnp6elWqDSihVgKZwzJ5dtWz\nAKSlpLl+DhE5VbVqdv2ETp3gpptgxQp3Fr0xxnBbx9tIvSCVmzNvpserPZhw1QQe7PGgJiGfQYlT\nwsr8lYzvNj7SoVTItGkwYwZkZJyd8xAyMjLIyDh1vZDCQvf3OTFlzfAPWNiYxsCZ/szOcxznx7VT\njTGjgGccxznjpuTGmE7AmjVr1tCpk9YmEIl1q1dDz55w1112Uyg3FRUX8fjHjzM5ZzJ9LuzDP2/8\nJ83rN3f3JDHk671fc8k/LiHr/2TRL6VfpMMp1/LlcPXVMG4cPPVUpKPxjrVr19K5c2eAzo7jrHWj\nzqDGlBzH2ec4zsYzvLS4uohUSNeudqe+adPgLZfnG9aIq8GkvpNYfMtiNu3bRJ/pfbT4Ujlyt+di\nMJ5fRGnHDjv61KsXTNZq+SEXynUSzjfGtAdaAHHGmPb+l55gFZEf3XOPXQRn9Gj7nLvbrmp5Fctv\nW87eI3u5c96dZa6PcrbzbffRNrEt9WvWj3QoZTp2zD7FUKOGXQ8hPqgb5lIZoZyd8gSwFngcOMf/\n32uBziE8p4hEGWPsOvvNm9sPgEOH3D9HcsNkXhzwIjO/nMkr/3rF/RPEAF++jx7Nvf3o47hxdvvx\nd96BxMRIR3N2COU6Cbc5jhMX4LU8VOcUkehUr579h3/bNvvEQ1UXWgpkeLvh3NHpDu5dcC/rd693\n/wRRrPBoIV/t+Yru53t3EaVXXoEXXrCLJl1+eaSjOXt4/zkXETkrtGljh5DnzYNHHgnNOab8agrJ\nDZMZ/vZwjhw/EpqTRKFVO1bh4Hh2pcVPPrG3pcaMsbelJHyUJIiIZ1x3nZ2t/te/wvTp7tdfp3od\nZg2dRd6BPMZ/GB2P+oWDb7uPRrUbcVHjiyIdys/s3m1vQ3Xs6P4TMHJmShJExFPGjYM77rB/NWZn\nu19/28S2PHvds7y09iVmfTnL/RNEodz8XLo17+a5lWZPnIDhw6GoCN5+G2rWjHREZx8lCSLiKcbA\nc8/Z9RNuvBG2bnX/HKM7jmZEuxGMmTeGvAN57p8gipQ4JazKX+XJWw333WcX2nrrLTuxVcJPSYKI\neE6NGvYvx4QEGDgQDrq8vIExhhcGvECTOk0Y/vZwioqL3D1BFNmwZwOFxwo9t6nTlCl2/Yxp06BP\nn0hHc/ZSkiAintS4sZ3EmJ8P6enuP/FQv2Z9Zg2dxbrv1vHI4hDNlIwCvnwf1Uw1Lj/PO48MvPOO\nHUV46CG4++5IR3N2U5IgIp518cV2qPmjj+wHhtu6NOvC5L6Tecr3FPM3znf/BFHAt93HpYmXck6N\ncyIdCgC5ufYx2GHDYNKkSEcjShJExNPS0uzQ89NPw8svu1//+G7j+XXrXzNqzih2HNzh/gk8zpfv\n88x8hE2b4Prr7XLd06fbjcAkstQFIuJ5Y8faYee774alS92t2xjD9BumUyu+FiMzR1JcEoKVnDxq\n/w/72bB3gycWUdqzxz4C26QJzJkDtWpFOiIBJQkiEgWMgalT7QS2IUNg82Z3629SpwkzBs9gxbYV\nPLn8SXcr97BV+asAIj6ScOSInaB66BAsWACNzrhnsISLkgSgoKCA1NRUUlJSSE1NZffu3ZEOSURO\nU706zJ4NTZtCv352N0A39bmwD4/1fownlj/Bsm+WuVu5R/nyfTSp04RWjVpFLIbiYjsH4YsvYP58\naNkyYqFIAEoSgCFDhpCTk0NeXh45OTkMHjw40iGJSAANG0JWlv1g6dvXDlG76dHej9K7RW9uzryZ\nvUf2ulu5B52cjxDJRZTuvx/ee88uyd2lS8TCkDIoSQB27dpV7vci4h0XXACLF8OBA3DttVBY6F7d\ncdXimDF4BkXFRdw659aY3la6uKQ44osoTZlibyP94x8wYEDEwpByKEkAkpKSyv1eRLyldWs7orB1\nK/z613D4sHt1N6vXjNdveJ35m+bzzMpn3KvYY9bvWc+hokMRm7R4ci2E3/0O7rorIiFIBShJADIz\nM+nZsyfJycn07NmTzMzMSIckImdw2WV2kttnn8HgwXDsmHt192/dn/u738/Dix5m9Y7V7lXsIb7t\nPuJMHF2bdQ37ubOyYORIuy/DxIlhP70EQUkCkJiYSHZ2Nlu2bCE7O5vExMRIhyQiFdCtG8ydC8uW\nwc032w2B3DLxmol0OLcDI94ZQeFRF+9peIQv38dlv7iMujXqhvW8WVl2LYS+fbUWQjRQ94hIVLv6\navvUw9y58B//ASUl7tRbI64GM4fOZO+Rvdw5786Ym5/gy/eFfb+Gjz76KUF45x3t6hgNlCSISNQb\nOBDeeMO+xo0Dtz7Pkxsm8+KAF5m1fhav/OsVdyr1gH1H9rFx38awTlr88EMYNMg+vqoEIXrERzoA\nERE3pKfbxXjuvNPuHvmkS2siDW83nMVbF3Pvgnvp3rw7bRPbulNxBK3MXwkQtkmLH34IN9xgE4S3\n31aCEE00kiAiMWPMGPjb3+Avf4HJk92rd8qvppDcMJlhbw/jyPEj7lUcIbnbc0msm0jLBqFfuehk\ngpCWpgQhGilJEJGY8sAD8Mc/wsMP269u3HqoU70Os4bOYuuBrYz/cHzVK4ywcC2iVDpBmD1bCUI0\nUpIgIjHniSfsiMKTT9rRBTeeemib2JZnr3uWl9a+xKwvZ1W9wgg5UXKCT3Z8EvL5CAsW2DkIShCi\nm+YkiEhMeuABSEyE22+H3bth5kyoXbtqdY7uOJrFWxdzx/t30KVZF1IapbgTbBh9uftLDh8/HNIn\nGxYssCMI116rBCHaaSRBRGLWLbfYRyMXLbJ/0R44ULX6jDG8MOAFmtZtyoh3RlBUXOROoGHk2+4j\nvlo8XZqFZqOEuXN/ShA0ByH6KUkQkZjWv7/d6+Grr6B376rvHlm/Zn1mDZ3Fuu/W8ftFv3cnyDDy\n5fvocG4Halev4rDKaRwH/v53myAMGGAThBo1XD2FRICSBBGJed26QU6O3QyqRw/4+uuq1delWRcm\n953M0yufZv7G+e4EGSa523Ndn49QVASjR8ODD9oJo7NnK0GIFUoSROSscPHFkJsL9epBz56walXV\n6hvfbTwDLhrAqDmj2HGwisMTYbL78G62HNjiapKwZ49dQXHGDLuY1cSJWmo5lqgrReSs0bw5rFgB\nbdrY5ZwXLKh8XcYYXhv0GrXiazEycyTFJcXuBRoibi+itH49XHGFHZn5+GP4zW9cqVY8REmCiMS0\ngoICUlNTSUlJITU1lePHd5OVZVf/GzgQnnuu8mspNKnThDeHvMmKbSuYsHyCu4GHgG+7j6RzkmiR\n0KLKdX3wAXTvDuecA6tX29s4EnuUJIhITBsyZAg5OTnk5eWRk5PD4MGDqV3bTqz77W/hP//TbjW9\nf3/l6u/dojeP93mcCcsnsPSbpa7G7jZfvo/u51dtESXHgWeesQnWlVfauR4tqp5ziEcpSRCRmLZr\n166A38fHw5QpMGcOLF8OHTpAdnblzvGHXn+gd4vejMwcyZ7De6oackgcLz7O6p2rqzQfoajI7o1x\n331w//3w7rt2jofELiUJIhLTkpKSyv1+0CD47DO48ELo08eu0lgc5PSCuGpxzBg8g6LiIm5971ZK\nHJf2q3bR5wWfc+T4kUonCd9+a2/RTJ8Or70Gf/0rxMW5G6N4j5IEEYlpmZmZ9OzZk+TkZHr27Elm\nZubPypx/PixZAo8+Co89Zmfr79wZ3Hma1WvG6ze8zgebPmDKyikuRe8eX76P6tWq07lZ56COKymB\n//5vaNcO8vLsmhO33hqaGMV7lCSISExLTEwkOzubLVu2kJ2dTWJiYsBy8fHw5z/bZGHjRmjfHuYH\nuQRC/9b9ub/7/Ty86GFW71jtQvTu8eX76JjUkVrxtSp8zObN9imQe+6BkSPt0wy9eoUwSPEcJQki\nIqVceSWsW2cf7RswwN5/P3as4sdPvGYiHZM6Mvzt4RQeLQxZnMHybffRo3nFHkEoLraTEy+7DLZt\ns8ta/8//QP36IQ5SPEdJgojIaZo0gffftx+Uzz1nE4YlSyp2bI24GmQMyWDfD/sYM28Mjht7VVdR\nwb8L2Pr91gqtj7BhA6Sm2omJd9wBn38O11wThiDFk5QkiIgEYAyMHw8rV0KtWvaDsn9/+OKLMx+b\n3DCZlwa+xFvr3+LltS+HPtgz8OX7AMqdtHjiBEyaZJ/y2L/fPvExdapdB0HOXkoSRETK0akT+Hx2\nP4JNm+xchdtvh/z88o8b1nYYYzqN4d4P7+WLggpkFiGUuz2X8+qdx/kJ5wf+ea4dLXn0UZsYffaZ\nHU0QUZIgInIGxsDQoXYnyWnTYN48aN0aHnnEbhpVlim/mkKrRq3o9GIner3WiwnLJrAyfyUnSk6E\nL3h+WkSpNMexEzN79bJ7WRw/bkdNJk+G2u5uEClRTEmCiEgFVa8OY8faWf8PPGAXY0pJscPyRUU/\nL1+7em2WjlrKtOum0bROU/7u+zvdX+lO0781ZehbQ3lxzYtsPbA1pDEXFRfx6c5Pf7zVcPw4/POf\ndlLigAH2NsO779rRg65dQxqKRKGQJQnGmBbGmJeNMXnGmCPGmE3GmD8ZY6qH6pwiIuFQvz5MmGCT\nhRtvtE9AXHKJTRpOW+CRxnUac1eXu8gcnsm+h/aRe3su468Yz65/7+Ke+feQ/Gwyrae1Zuz8scz5\neo7rT0Ss+24dR08cpWOTHkydCq1awS23wAUXwLJl9lbDDTdo50YJzIRq5q0x5lpgGPAmsAVoB7wM\nvOE4zkNlHNMJWLNmzRo6deoUkrhERNy2fj386U8wd679S/2qq+Dmm+2eEA0bln1c4dFCPv7mY7K2\nZLEwbyGb928mzsTRrXk3+iX3Iy0lja7ndSW+WnylY5u4+FkeW/Eg9Z8/yMH9NUlPh4cegksvrXSV\n4lFr166lc+fOAJ0dx1nrRp0hSxICnsyYB4C7HMdpVcbPlSSISNQ6cAAyMyEjwz4yGR9vn4hIT7cb\nItWpU/7xeQfyWLhlIQvzFrJ462K+P/o9CTUTuLrl1aSlpJGWkkZyw+Ry6zh+3O7KuGiRfWWfOwLT\nYBtja+Vy3312+WmJTbGQJDwJpDmOc3kZP1eSICIxYdcueOstePNN+OQTqFvXDusPGgRt2ti5DLXK\nWfzwRMkJPt35KQu3LCQrLwvfdh/FTjEpDVN+HGW4quVVJNRswFdf/ZQULFsGhw5BgwZ2tcSPO7Rg\nxKVDef6Gp8LXeImIqE4SjDGtgE+B+xzHebWMMkoSRCTmbN4MM2fahGHDBvueMXZeQOvWcNFFp369\n8EL784MH7dMT338PO/cdJHvHx6zet5DPD2exp2QTxqlGfMEVHP86jfhv00hteTlpfePp29c+ullw\nZCfnPX0es2+azdA2QyP6/0BCLxRJQtA3uowxk4DflVPEAS5xHGdjqWPOAxYAs8pKEEREYlWrVnYN\ngj/8AQoK7HoLJ18bN8KKFfDqq3D0qC1frZrdWOlU9YFBwCBq14amzb+hzqULqdUmix3XTOXfxX9m\nbc36NGh5NQ1Io2FhP9Z9tw4ofxElkfIEPZJgjGkMND5DsTzHcU74yzcDPgZyHce57Qx1dwLW9O7d\nm4SEhFN+lp6eTnp6elCxiohEi5IS2LHDJg6bN9v5DAkJ9rZB6a8JCVCjxqnHFpcUs2bXGrK2ZJG1\nJQtfvo8TJSeoHV+bpnWb8u34byPTKAmZjIwMMjIyTnmvsLCQ5cuXQ7TcbvCPICwBVgO/cc5wMt1u\nEBGpukPHDrH0m6UszFtI+1+0Z3Sn0ZEOScLAE7cbKsoYkwQsBb4BHgISjTEAOI5TEKrzioic7erV\nrMfAXw5k4C8HRjoUiXIhSxKANCDZ/9ruf89g5yzEhfC8IiIi4oKQrbHlOM7rjuPEnfaq5jiOEgQR\nkRhWUFBAamoqKSkppKamsnv37kiHJJWkhThFRMRVQ4YMIScnh7y8PHJychg8eHCkQ5JKUpIgIiKu\n2nXaBhanfy/RQ0mCiIi4KikpqdzvJXqEcuKiiIichTIzMxk8eDC7du0iKSmJzMzMSIcklaQkQURE\nXJWYmEh2dnakwxAX6HaDiIiIBKQkQURERAJSkiAiIiIBKUkQERGRgJQkiIiISEBKEkREYpCWRhY3\nKEkQEYlBWhpZ3KAkQUQkBmlpZHGDkgQRkRikpZHFDVpxUUQkBmlpZHGDkgQRkRikpZHFDbrdICIi\nIgEpSRAREZGAlCSIiIhIQEoSREREJCAlCSIiIhKQkgQREREJSEmCiIiIBKQkQURERAJSkiAiIiIB\nKUkQERGRgJQkiIiISEBKEkRERCQgJQkiIiISkJIEERERCUhJgoiIiASkJEFEREQCUpIgIiIiASlJ\nEBERkYCUJIiIiEhAShJEREQkICUJIiIiEpCSBBEREQlISYKIiIgEpCRBREREAlKSEGIZGRmRDsE1\nsdQWUHu8LJbaAmqPl8VSW0IhpEmCMeY9Y8y3xpgfjDE7jTFvGGOSQnlOr4mlX8BYaguoPV4WS20B\ntcfLYqktoRDqkYQlwE3ARcBgIAWYHeJzioiIiAviQ1m54zhTS3273Rjzf4F3jTFxjuMUh/LcIiIi\nUjVhm5NgjGkEjARylCCIiIh4X0hHEgD8owe/BeoAPmBAOcVrAWzYsCHUYYVNYWEha9eujXQYroil\ntoDa42Wx1BZQe7wsltpS6rOzllt1GsdxgjvAmEnA78op4gCXOI6z0V++EdAIaAE8Dhx0HCdgomCM\nuRmYEVRAIiIiUtpIx3HedKOiyiQJjYHGZyiW5zjOiQDHngdsB7o7jrOqjLqvBb4BjgYVmIiIyNmt\nFnAh8JHjOPvcqDDoJKFKJzPmAmwCcKXjOMvDdmIREREJWsiSBGNMV+ByIBs4ALQCngCaAu0cxzke\nkhOLiIiIK0L5dMMP2LURFgFfAy8Bn2FHEZQgiIiIeFxYbzeIiIhI9NDeDSIiIhKQkgQREREJKOxJ\ngjFmrDFmq3/Tp5X+CY7llb/JGLPBX36dMea6cMVaEcG0xxgzyhhTYowp9n8tMcYcCWe8ZTHG9DLG\nzDXG7PDHdX0FjrnSGLPGGHPUGLPRGDMqHLFWRLDtMcb0KdUnJaX6KTFcMZcT2++NMZ8YYw4aYwqM\nMe8aYy6qwHGeu3Yq0xaPXzd3+f/fFvpfucaYX53hGM/1y0nBtsfLfXM6/+9eiTHm6TOU82z/lFaR\n9rjRP2FNEowxw4GnsIsqdQTWAR8ZY5qUUb478CZ20mMHYA4wxxjTJjwRly/Y9vgVAueWerUIdZwV\nVBc7sXQsdkGschljLgTmAYuB9sBU4GVjTL/QhRiUoNrj5wCt+alvkhzH2R2a8ILSC5gGXAH0BaoD\nWcaY2mUd4OFrJ+i2+Hn1utmOXVyus/+1BHjPGHNJoMIe7peTgmqPn1f75kf+P97uwP4bXV45r/cP\nUPH2+FWtfxzHCdsLWAlMLfW9AfKBh8ooPxOYe9p7PuD5cMbtYntGAfsjHXcF2lUCXH+GMpOBz097\nLwP4INLxV7I9fYBioH6k461Ae5r425RaThlPXztBtiUqrptS8e4DbovmfgmiPZ7vG+Ac4H+Bq4GP\ngafLKev5/gmyPVXun3Bu8FQdm5kuPvmeY1uxCOhexmHd/T8v7aNyyodNJdsDcI4x5htjzDZjjOcy\n1CB0w6N9UwUG+MwYs9MYk2WM6RHpgMrQADvqsb+cMp69dk5TkbZAFFw3xphqxpgR/LRPTSDR0i8V\nbQ94v2/+AbzvOM6SCpSNhv4Jpj1Qxf4J5+2GJkAcUHDa+wXYIZBAzg2yfDhVpj3/C9wOXI/dEbMa\nkGvsctXRpqy+qW+MqRmBeKpqF3AnMAS7vsd2YKkxpkNEozqNMcYAU4Bsx3G+Kqeol68dIKi2ePq6\nMca0M8YcAo4BzwM3Oo7zdRnFo6FfgmmP1/tmBPa2we8reIin+6cS7aly/4R8F8gKMFT8nnFlyodb\nmfE5jrMSe4vCFjTGB2wAxmDnNUQ74//q5f4JyLEbkm0s9dZKY0wK8F/YITuveB5oA/SsxLFeu3Yq\n1JYouG6+xs7LaYBNMt8wxvQu54P1dF7rlwq3x8t9Y4xpjk1C+zlVW8DPE/1Tmfa40T/hTBL2Yu/5\n/uK09xP5eeZ20ndBlg+nyrTnFI7jnDDG/Au7ZHW0KatvDjqOUxSBeELhEyr3YRwSxpjngP5AL8dx\ndp2huJevnWDbcgqvXTeO3cwuz//tWmPM5cA44O4AxT3dLxB0e352rIf6pjN2G4A1/lErsKO/vY0x\nvwVq+m8Rl+bl/qlMe05Rmf4J2+0Gf+azBrjm5Hv+hl4D5JZxmK90eb9+lH9/LCwq2Z5TGGOqAe2w\nQ93RJlDfpOGBvnFRBzzSN/4P1UHAVY7jbKvAIZ69dirRltOP9/p1Uw0o65abZ/ulHOW15xQeWvXi\nLQAAAcRJREFU65tFwKXY67i9//Up8P+A9mV8oHq5fyrTnlNUqn/CPCtzGHZPh1uAi4EXsDNnm/p/\n/gYwsVT57kARcB/wS+BP2C2k20R6hmkl2/NH7C9cS+wjkxnAYeBiD7Slrv+XrgN2tvl4//fn+38+\nCXi9VPkLgX9jn3L4JXCPv6/6RrotlWzPOOx9uxSgLXZY7zh2r5FIt+V57CZpvbB/5Zx81SpV5vVo\nuHYq2RYvXzd/AVKxj5W18/9enQCu9v882v5NC7Y9nu2bMtp3ytMA0XLdVKE9Ve6fSDTqHux20T9g\ns7MupX62BHj1tPJDsPfIfgA+B66NdMdUtj3A08BWf9mdwPvAZZFugz+2PtgP0+LTXq/6f/4asCTA\nMWv87dkE/CbS7ahse4AH/W04DOzBPrXSO9Lt8McWqB3FwC1l/a753/PctVOZtnj8unkZOzT/A3ao\nOgv/B2o09Utl2+PlvimjfUs49UM1qvon2Pa40T/a4ElEREQC0t4NIiIiEpCSBBEREQlISYKIiIgE\npCRBREREAlKSICIiIgEpSRAREZGAlCSIiIhIQEoSREREJCAlCSIiIhKQkgQREREJSEmCiIiIBPT/\nAXBmiE4vhzEpAAAAAElFTkSuQmCC\n",
      "text/plain": [
       "<matplotlib.figure.Figure at 0x7fb970402d90>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "# Tu sie dopasowalismy\n",
    "X_train, y_train = sample(16)\n",
    "overfitted_model = fit_polynomial(X_train, y_train, 15)\n",
    "p_y = apply_polynomial(overfitted_model, X_train)\n",
    "plt.plot(f_x, f_y)\n",
    "plt.plot(X_train, y, 'k.')\n",
    "plt.plot(X_train, p_y)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Bias-variance tradeoff\n",
    "\n",
    "Na wykładzie (notebook o nazwie mum2017_2_regr.ipynb) poznaliśmy tzw. bias-variance dilemma (lub bias-variance tradeoff). Przypomnijmy, o co w tym chodzi.\n",
    "\n",
    "### Model jako zmienna losowa\n",
    "\n",
    "Oznaczmy wszystkie nasze dane treningowe przez\n",
    "\n",
    "$$D = [(\\mathbf{x_1}, y_1), (\\mathbf{x_2}, y_2), \\ldots, (\\mathbf{x_N}, y_N)].$$\n",
    "\n",
    "Jeśli pary $(\\mathbf{x}, y)$ pochodzą z rozkładu łącznego $p(\\mathbf{x}, y)$, to zestawy danych $D$ pochodzą z rozkładu produktowego - produktu $N$ niezależnych rozkładów:\n",
    "\n",
    "$$ p(D) = p(\\mathbf{x_1}, y_1, \\mathbf{x_2}, y_2, \\ldots, \\mathbf{x_N}, y_N) = p(\\mathbf{x_1}, y_1)p(\\mathbf{x_2}, y_2) \\ldots p(\\mathbf{x_N}, y_N) $$\n",
    "\n",
    "Jeśli potraktujemy model regresji liniowej (konkretnie metodę model.fit) jako funkcję, która zwraca wagi $\\mathbf{w}$ na podstawie danych $D$, to w tym sensie model jest zmienną losową. Możemy też od razu myśleć o modelu jako o funkcji, która przyjmuje dane $D$ i zwraca **funkcję** zadaną wzorem $y(\\mathbf{x}) = <\\mathbf{w}|\\mathbf{x}>$.\n",
    "\n",
    "### Ważna (subtelna?) uwaga\n",
    "\n",
    "W praktyce mamy jeden zestaw danych $D$. Ale moglibyśmy mieć inny zestaw danych - powyżej wypisaliśmy formalnie rozkład prawdopodobieństwa na wszystkich możliwych zestawach danych. Dlatego jeśli chcemy ocenić model (model jako algorytm uczenia, nie jako nauczony zestaw wag!), to interesuje nas bardziej jego średnia skuteczność dla wszystkich możliwych zestawów danych $D$, a nie tylko dla tego konkretnego $D$, które posiadamy.\n",
    "\n",
    "### Składowe błędu\n",
    "\n",
    "Zakładamy, że istnieje prawdziwa funkcja $y(\\mathbf{x})$, którą chcemy znaleźć modelem regresji liniowej, obserwując dane $D$. Funkcja nauczona z danych różni się od funkcji prawdziwej, a błąd ma trzy składniki:\n",
    "* bias - jeśli dla różnych $D$ model **średnio** uczy się nieprawdziwej funkcji, to odległość tej średniej od prawdziwej funkcji $y$ nazywana jest biasem,\n",
    "* variance - jeśli dla różnych $D$ model uczy się bardzo podobnych funkcji, to variance jest mała, jeśli natomiast nauczona funkcja bardzo zależy od konkretnego $D$ (czyli model zapamiętuje dane, overfituje, nie rozumie rozkładu prawdopodobieństwa), to variance jest duża,\n",
    "* noise - szum dodany do prawdziwej funkcji.\n",
    "\n",
    "Noise jest od nas niezależny, więc nie możemy go redukować, natomiast, w miarę możliwości, chcielibyśmy zmniejszyć bias i variance do zera. Okazuje się jednak, że znane nam techniki zmniejszania biasu powodują zwiększenie variance i na odwrót. Cała sztuka polega na znalezieniu złotego środka, gdzie **suma** bias + variance jest najmniejsza, a więc nasza predykcja najdokładniejsza."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Ewaluacja \n",
    "\n",
    "Ewaluacja polega na ocenie, jak nauczony model będzie sobie radził na nowych danych, czyli jak dobrze opisuje prawdziwą funkcję $y(\\mathbf{x})$ wszędzie, a nie tylko na $D$. \n",
    "\n",
    "### Funkcja kosztu\n",
    "\n",
    "Wiemy już, że model regresyjny uczy się rozkładów $p(y\\mid \\mathbf{x})$. Wygodnie jest oceniać poprawność modelu jedną liczbą, dlatego też używa się tzw. funkcji kosztu. Najpopularniejszą funkcją kosztu w problemach regresji jest błąd średniokwadratowy - znamy jego związek z estymatorem ML.\n",
    "\n",
    "Funkcję kosztu oznaczamy literą $L$.\n",
    "\n",
    "Ale można też definiować inne funkcje kosztu. Muszą one tylko spełniać następujące warunki:\n",
    "* argumentami $L$ są dwie rzeczy: prawdziwa etykieta $y$ i predykcja modelu,\n",
    "* wartości funkcji $L$ są nieujemnymi liczbami rzeczywistymi,\n",
    "* jeśli predykcja jest poprawna, to koszt powinien wynosić zero,\n",
    "* \"lepiej\" nauczony model powinien średnio mieć niższe wartości funkcji kosztu na nowych danych.\n",
    "\n",
    "Przykład: definiujemy $L(y_{true}, y_{pred}) = (y_{true} - y_{pred})^2$ (błąd średniokwadratowy). Jeśli prawdziwe etykiety to $(1, 3, 4)$, a predykcje to $(2, 4, 4.5)$, to średni błąd wynosi $\\frac13 ((1-2)^2 + (3-4)^2 + (4-4.5)^2)) = \\frac34$.\n",
    "\n",
    "Uwaga: to nie funkcja kosztu mówi, który model jest lepiej nauczony. To my musimy ustalić kryterium \"lepszości\" poprzez definicję funkcji kosztu. Wygląda to jak błędne koło - po co w takim razie w ogóle używać funkcji kosztu? [odpowiedź na zajęciach]\n",
    "\n",
    "### Cel uczenia z funkcją kosztu\n",
    "\n",
    "Naszym celem jest minimalizacja średniej funkcji kosztu, co zapisujemy następująco:\n",
    "\n",
    "$$ \\mbox{Expected loss} = \\mathbb{E}[L] = \\int \\int L(y, f(\\mathbf{x})) p(\\mathbf{x},  y) d\\mathbf{x} dy $$\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Cwiczenie 0 [0 pkt] \n",
    "\n",
    "(Do zrobienia przed przejściem dalej)\n",
    "\n",
    "Jaki ``Expected loss`` będzie miał model \"overfitted_model\"?\n",
    "\n",
    "Hint: mamy możliwość samplowania punktów z rozkładu $p(\\mathbf{x},  y)$"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "$p(\\mathbf{x},  y)$ to prawdziwy rozkład, z którego pochodzą dane. W praktyce nie znamy go, więc nie możemy policzyć tej całki, nawet znając funkcję $f$ (tu $f$ oznacza model.predict).\n",
    "\n",
    "Pytanie: jak w takim razie dobrze **aproksymować** ``Expected loss`` ?"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Założenie i.i.d.\n",
    "\n",
    "Założenie i.i.d. mówi, że:\n",
    "* każda para $(\\mathbf{x}, y)$ jest losowana niezależnie od pozostałych (tak jak np. rzut monetą, nie tak jak np. cena akcji na giełdzie, która zależy bardzo silnie od danych historycznych),\n",
    "* prawdziwy rozkład się nie zmienia.\n",
    "\n",
    "W prostych problemach zawsze zakładamy i.i.d. W trudnych problemach albo zakładamy i.i.d. i mamy nadzieję, że wyniki wciąż będą sensowne (z reguły tak nie jest), albo musimy pokombinować.\n",
    "\n",
    "Póki co wszystko będzie i.i.d."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Aproksymacja Expected loss - Test set\n",
    "\n",
    "Wygenerowanie nowych danych jest kosztowne i czasochłonne [macie Państwo dobre przykłady?], więc nie możemy działać tak, jak w ćwiczeniu 0. Musimy sprytnie wykorzystać tylko te dane, które już posiadamy. Założenie i.i.d. pozwala sensownie estymować ``Expected loss`` w opisany poniżej sposób.\n",
    "\n",
    "Skoro nasze dane są i.i.d., to znaczy że jeśli podzielimy je 2 losowe podzbiory: zbiór treningowy (X_train, y_train) oraz zbiór testujący/testowy (X_test, y_test), to:\n",
    "* każdy z tych zbiorów będzie i.i.d.\n",
    "* oba te zbiory łącznie/wzajemnie będą i.i.d.\n",
    "\n",
    "Jeśli podczas uczenia model zobaczy tylko zbiór treningowy, to średni błąd na zbiorze testującym:\n",
    "\n",
    "$$\\mbox{Empirical loss} = \\frac1N \\sum_{i=1}^{N} L(y_i, f(\\mathbf{x_i})) $$\n",
    "\n",
    "będzie **estymatorem** ``Expected loss``."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Estymator - definicja, jego bias i variance\n",
    "\n",
    "Aby policzyć ``Expected loss`` musielibyśmy znać wszystkie możliwe pary $y_{true}, y_{pred}$ wraz z prawdopodobieństwem ich wystąpienia - takich par jest nieskończenie wiele.\n",
    "\n",
    "Estymator jest funkcją, która przyjmuje skończenie wiele takich par, wylosowanych z rozkładu - listę par oznaczamy $D$. Wartością estymatora jest ``Expected loss`` **estymowany** z danych $D$. Sposób estymacji zadany jest wzorem funkcji.\n",
    "\n",
    "W powyższym przykładzie ``Empirical loss`` zdefiniowany jest na zbiorze danych długości $N$. Formalnie dla różnych $N$ otrzymujemy definicje różnych estymatorów (czyli $N$ jest stałą, a $D$ zmienną). W ćwiczeniu 0. różnica polegała na tym, że mogliśmy bez większych przeszkód zwiększać $N$. \n",
    "\n",
    "Estymator **nie** jest modelem, ale nic nie stoi na przeszkodzie, żeby i tu zobaczyć bias-variance tradeoff. Jest to o tyle ważne, że zawsze chcemy mieć jak najlepszy estymator, aby dobrze ocenić, jak nauczył się nasz model - znowu musimy znaleźć złoty środek.\n",
    "\n",
    "### Estymator jako zmienna losowa\n",
    "\n",
    "Załóżmy, że mamy już nauczony model i teraz chcemy go testować na nowych danych. Oznaczmy te dane znowu przez $D$ - to nie są te same dane, co te użyte przy trenowaniu, ale ich własności są niemalże takie same, dlatego pozostańmy przy tym oznaczeniu.\n",
    "\n",
    "Jeśli pary $(y_{true}, y_{pred}) = (y_{true}, \\mathrm{model.predict}(\\mathbf{x}))$ pochodzą z rozkładu łącznego $p(y, \\mathbf{x})$ (a pochodzą, bo nauczony model jest deterministyczny i jednoznacznie przerabia $\\mathbf{x}$ na $y_{pred}$), to zestawy danych $D$ pochodzą z rozkładu produktowego - produktu $N$ niezależnych rozkładów $p$ (\"true\" i \"pred\" piszę tu w górnym indeksie, żeby na dole było miejsce na numer obserwacji):\n",
    "\n",
    "$$ p(D) = p(y^{true}_1, y^{pred}_1, y^{true}_2, y^{pred}_2, \\ldots, y^{true}_N, y^{pred}_N) = p(y^{true}_1, y^{pred}_1)p(y^{true}_2, y^{pred}_2) \\ldots p(y^{true}_N, y^{pred}_N) $$\n",
    "\n",
    "Skoro $D$ jest wybierane losowo, to estymator jest zmienną losową (w zależności od $D$ ten sam wzór raz wyestymuje lepiej, a raz gorzej). Możemy teraz powtórzyć dla niego rozkład bias-variance-noise.\n",
    "\n",
    "### Składowe błędu\n",
    "\n",
    "Dla nauczonego modelu istnieje prawdziwa średnia wartość funkcji kosztu $L$. Chcemy, aby estymator zwrócił właśnie tę wartość dla dowolnych danych $D$. Niestety estymacja będzie różniła się od wartości prawdziwej, a błąd ma trzy składniki:\n",
    "* bias - jeśli dla różnych $D$ estymator **średnio** estymuje nieprawdziwą wartość całkowitego kosztu, to odległość tej średniej od prawdziwego całkowitego kosztu nazywana jest biasem,\n",
    "* variance - jeśli dla różnych $D$ estymator zwraca bardzo podobne liczby, to variance jest mała, jeśli natomiast estymata bardzo zależy od konkretnego $D$, to variance jest duża,\n",
    "* noise - szum zawarty w liczbach oznaczonych $y^{true}_i$; w $y^{pred}_i$ oczywiście nie ma szumu, bo przypominam, że nauczony model jest deterministyczny.\n",
    "\n",
    "Poniższy komentarz pozostaje bez zmian, ale warto go tu przypomnieć:\n",
    "\n",
    "Noise jest od nas niezależny, więc nie możemy go redukować, natomiast, w miarę możliwości, chcielibyśmy zmniejszyć bias i variance do zera. Okazuje się jednak, że znane nam techniki zmniejszania biasu powodują zwiększenie variance i na odwrót. Cała sztuka polega na znalezieniu złotego środka, gdzie **suma** bias + variance jest najmniejsza, a więc nasza predykcja najdokładniejsza."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Intuicja 1\n",
    "\n",
    "Każda rzutka to ``expected loss`` modelu nauczonego na jednym samplu $D$. Cała tarcza strzelnicza to **jeden** model (jeden algorytm metody model.fit). Środek tarczy to prawdziwa funkcja, której chcemy się nauczyć. Od teraz każdy model będziemy rozważać w tych 4 kategoriach.\n",
    "\n",
    "<img width=350 src=\"figures/L5/bias_variance.png\">\n",
    "\n",
    "## Intuicja 2\n",
    "\n",
    "Do danych sinusoidalnych próbujemy dopasować:\n",
    "1. Wielomian zerowego stopnia (funkcja stała, czyli prosta pozioma).\n",
    "2. Wielomian pierwszego stopnia (prosta).\n",
    "\n",
    "Na rysunkach przedstawione są różne realizacje **tego samego modelu** liniowego w zależności od zmieniających się danych treningowych $D$. Następnie policzono metodą Monte Carlo bias i variance podpunktów 1. i 2. (zakładamy, że noise jest zerowy).\n",
    "\n",
    "Wielomian stopnia 0\n",
    "<img width=450 src=\"figures/L5/b1.png\">\n",
    "\n",
    "Wielomian stopnia 1\n",
    "<img width=450 src=\"figures/L5/b2.png\">\n",
    "\n",
    "Podsumowanie\n",
    "<img width=450 src=\"figures/L5/b3.png\">\n",
    "\n",
    "Widzimy, że wielomian stopnia 1 lepiej dopasowuje się do danych, stąd ma mniejszy bias. Jednakże z drugiej strony odchylenia od średniej są większe - większa variance."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Poziom 1 wtajemniczenia\n",
    "\n",
    "1. Samplujemy punkty z rozkładu sinus + szum. \n",
    "2. Fitujemy regresje liniową jak na L4 \n",
    "3. Wracamy do 1 i rysujemy wynik dla paru iteracji"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[<matplotlib.lines.Line2D at 0x7fb970282c50>]"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAgkAAAFkCAYAAACq4KjhAAAABHNCSVQICAgIfAhkiAAAAAlwSFlz\nAAAPYQAAD2EBqD+naQAAIABJREFUeJzt3Xl8VNX9//HXYXFDQEWj4y5RqiiCibZqIiqouC+TusR9\nqbu/r+LWulXbWre6W3drFdG4daxaVNxwSUStiVqtUJCIC00Dao2oqEDO749PUpIwCZnk3rl3Zt7P\nx2MemMmdez/HyzCfOcvnOO89IiIiIh31iToAERERiSclCSIiIpKWkgQRERFJS0mCiIiIpKUkQURE\nRNJSkiAiIiJpKUkQERGRtJQkiIiISFpKEkRERCQtJQkiIiKSVtaSBOfcec65Zufctdm6poiIiPRc\nVpIE59w2wPHAu9m4noiIiPRe6EmCc25lYCLwC+CrsK8nIiIiwchGT8LNwJPe+xezcC0REREJSL8w\nT+6cOwQYBWzdzeOHAOOA2cD34UUmIiKSd1YANgQme++/COKEoSUJzrl1geuBXb33C7v5snHA/WHF\nJCIiUgAOAx4I4kRh9iSUAmsAtc451/JcX2C0c+40YHnvve/wmtkAEydOZLPNNgsxtOwZP3481113\nXdRhBCKf2gJqT5zlU1tA7YmzfGrLtGnTOPzww6HlszQIYSYJzwMjOjx3DzANuCJNggAtQwybbbYZ\nJSUlIYaWPYMHD1ZbYkrtia98aguoPXGWT21pI7Dh+tCSBO/9t8AHbZ9zzn0LfOG9nxbWdUVERCQY\n2a64mK73QERERGIo1NUNHXnvx2TzeiIiItJz2rshZJWVlVGHEJh8aguoPXGWT20BtSfO8qktYXDp\n5w9GwzlXAtTW1tbm40QSERGR0NTV1VFaWgpQ6r2vC+Kc6kkQERGRtJQkiIiISFpKEkRERCQtJQki\nIiKSlpIEERERSUtJgoiIiKSlJEFERETSUpIgIiIiaSlJkNhqbGykvLyc4uJiysvLmTt3btQhiYgU\nFCUJElsVFRXU1NRQX19PTU0NyWQy6pBERAqKkgSJrYaGhi5/FhGRcClJkNhKJBJd/iwiIuHK6lbR\nIplIpVIkk0kaGhpIJBKkUqmoQxIRKShKEiS2ioqKqK6ujjoMEZGCpeEGERERSUtJgoiIiKSlJEFE\nRETSUpIgIiISgVwoGKckQUREJAK5UDBOSYKIiEgEcqFgnJIEERGRCORCwTjVSRAREYlALhSMU5Ig\nWdfY2EhFRUW7N0ZRUVHUYYmIZFUuFIzTcINkXS5M1hERESUJEoFcmKwjIiJKEiQCuTBZR0REQk4S\nnHMnOefedc41tTxec87tHuY1Jf5SqRRlZWUMHTqUsrKyWE7WERGR8Ccufgr8Eviw5eejgcedc6O8\n99NCvrbEVC5M1hERkZCTBO/9pA5PXeicOxnYFlCSICIiEmNZWwLpnOsDHASsBEzN1nVFRESkZ0JP\nEpxzW2BJwQrAfOAA7/30sK8rIiIivZONnoTpwEhgFaACmOCcG91VojB+/HgGDx7c7rnKykoqKytD\nDVRERCQXVFVVUVVV1e65pqamwK/jvPeBn7TLCzr3HPCh9/7kNL8rAWpra2spKSnJalwiIiK5rK6u\njtLSUoBS731dEOeMok5CH2D5CK4rIiIiGQh1uME593vgaWwp5EDgMGBHYLcwrysiIiK9F/achDWB\nCUACaAL+AezmvX8x5OuKiIhIL4VdJ+EXYZ5fREREwqO9G0RERCQtJQkiIiKSlpIEERERSUtJgoiI\niKSlJCFHNTY2Ul5eTnFxMeXl5cydOzfqkEREJM8oSchRFRUV1NTUUF9fT01NDclkMuqQREQkzyhJ\nyFENDQ1d/iwiItJbShJyVCKR6PJnERGR3srGLpASglQqRTKZpKGhgUQiQSqVijokERHJM0oSclRR\nURHV1dVRhyEiInlMww0iIiKSlpIEERERSUtJgoiIiKSlJCEgKm4kIiL5RklCQFTcSERE8o2ShICo\nuJGIiOQbJQkBUXEjERHJN6qTEBAVNxIRkXyjJCEgKm4kIiL5RsMNIiIikpaSBBEREUlLSYLkNNWn\nEBEJj5IEyWlxrU+h5EVE8oGSBMlpca1PEdfkRUQkE0oSJKfFtT5FXJMXEZFMKEmQnJZKpSgrK2Po\n0KGUlZXFpj5FXJMXEZFMqE6C5LS41qdQcS0RyQdKEkRCENfkRUQkE6EONzjnznPOvemc+9o51+ic\ne8w5NyzMa4qIiEgwwp6TsANwE/AzYBegP/Csc27FkK8rkjEtWxQRaS/U4Qbv/Z5tf3bOHQ3MBUoB\n9cVKrLQuWwSor68nmUxqyEBEClq2VzesAnjgyyxfV2SZtGxRRKS9rE1cdM454Hqg2nv/QbauKz3n\nPcydCx9+aI9Zs+Czz+x3/fq1f/Tt2/7ntdaCzTe3x6qrRtuO7kokEtTX17f7WUSkkGVzdcMtwHCg\nbFkHjh8/nsGDB7d7rrKyksrKypBCK2zNzVBbC++8Y4lA26Tgm2+WHLf22rD++tCnDyxatPRj8WL7\nc+FCaGy0n1tf15owbLGF/Tl8OAwaFE17O6NliyKSK6qqqqiqqmr3XFNTU+DXcd77wE+61EWc+yOw\nD7CD9/6TLo4rAWpra2spKSkJPa5C9tVX8OyzMGkSPP00zJtnH/4bbADFxbDxxvZo/e+hQ2Gllbp/\n/h9+gBkz4J//tMf779ufs2ZZUgKw0Uaw996QTEJ5ufVAiIhIz9TV1VFaWgpQ6r2vC+Kcof+z3JIg\n7Afs2FWCIOHyHj74wJKCSZOgpsa+6Y8YAcceC3vtBT/9KSy/fO+u09jYSEVFRbtv44ccUvS/3y9Y\nANOnW8Lwxhvw2GNw002w+uqw336WMIwd2/s4RESk90LtSXDO3QJUAvsCM9r8qsl7/32a49WTELC3\n34a77rLE4OOPrTdg7FjYc097rL9+sNcrLy//3woBgLKysi5XCHgPb70FqZQ9ZsyAgQOX9DDsvjus\nvHKwMYqI5KNc7Ek4CVvN8FKH548BJoR87YK1eDE8+SRcfz28/DKsuy4ccID1Fuy4I6ywQnjXznSF\ngHOwzTb2uOwymDZtScJw4IEWa0UFnHsubLlleHGLiMjSQl0C6b3v473vm+ahBCEEX39ticEmm1hS\nsGgRPPIIfPQR3HgjjBsXboIAvdvYyDmb0HjhhVBXB/X18NvfQnU1jBwJe+wBL71kvQ8iIhI+7QKZ\nB2bNgjPOsB6Dc86B7beHN9+0D9ef/zy7EwKD3JVxo42sPTNnwsSJMGcO7LwzbLutzWVonQApIiLh\nUJKQw6ZOhf33t56DiRPh//7P5h1MnGjd91Fo3dho1qxZVFdXU1RUtOwXLUP//nDYYfDuu/DUU7Di\nijZfYfhw+NOfbCWFiEi+irJkvJKEHPTJJ1BZaT0GM2fC7bfbc5deajUJ8pVzS4YcXn/dkoTjj7fl\nmVdfDd8vNRVWRCT3tZaMr6+vp6amhmQymbVrK0nIId9+CxdfDJtuClOmwN13w3vv2QdlJjUM8sHP\nfmaTG6dNs8ThvPOsUNPTT0cdmYhIsKIsGa8kIQd4Dw88YMnBFVfYsMKMGXDMMVYAqZD95Ce2xPMf\n/4ANN7RlnQccALNnRx2ZiEgwejMhvLcK/CMm/v7+dygrszH5bbaxgkhXXBG/ksZR22wzeO45eOgh\nm7Q5fDj8/vearyAiuS/ICeGZUpIQUw0NcPTRVgXxm2/ghRese724OOrI4ss5OOggq+h42mlwySVW\nUXLy5KgjExHpuTAmhHeXkoSY8d66z4cNg7/9DW691WoGjBkTdWS5Y+BAuOoqWw2x7rpWtbGiwiZ3\niohI9ylJiJF582xJ4/HHwyGH2MqFk07Sxkc9NXy49cBUVdly0U03heuuU30FEZHuUpIQE089ZV3j\nr70Gf/0r3HknrLpq1FHlPucs4frXv+CEE+DMM608dWNj1JGJiMSfkoSIffcdnHqqfXCVlNiSxv32\nizqq/DNwoJWsfuYZG74ZOdK2yhYRkc4pSYhQba0lBnffDTffbDs1rrVW1FHlt3HjbLnkqFH23+ee\nCz/+GHVUIiLxpCQhAosXw+WX2x4EAwbYN9tTTrGucQnfmmva8M7VV1vvQlkZfPhh1FGJiMSPkoQs\nmz0bdtoJLrjANi+aOtXW+Et29ekDZ51lc0C++gq22sr2vBARkSWUJGTRCy9AaSl8+im8/DJcdhks\nt1zUURW2rbe2npxkEo44Ao48EubPjzoqEZF4UJKQBd7DjTfaGPjWW8Pbb8MOO0QdlbQaOBDuvRfu\nu8+2oC4pscqWIiKFTklCyH74weoenH66PSZN0tLGuDr8cHjnHduKervttFmUiPRclNs7B0lJQoj+\n8x+rlHjffXDPPXDNNSqMFHfFxVBTA6NHw957ww03WE+QiEgmotzeOUhKEkJSW2sbMn30EbzyChx1\nVNQRSXcNHGgFrc46C844w6peLlwYdVQikkui3N45SEoSQlBVBeXlkEjAW2/Bz34WdUSSqb59bf+H\nP/0J/vxn2//hyy+jjkpEckWU2zsHSUlCgBYvhvPOg0MPhQMPtB6EtdeOOirpjWOPheeft82itt3W\nyjuLiCxLlNs7B0kj5AGZPx8qK22y29VX2x4BKo6UH0aPhjfftDkK224LjzwCu+wSdVQiEmet2zvn\nOvUkBGDePJug+OqrVsnvrLOUIOSboUOt8NXPfmZDD7feGnVEIiLhU5LQSx9/bDUPWgskjRsXdUQS\nlsGD4W9/g9NOszLaZ56pbadFJL8pSeiFf/7T6v4vXGjL5kaNijqi9oJcp5sva357q18/2+/hj3+0\nP487DhYtijoqEZFw5FySEJcPq6lTrQdhyBCorrb19XET5DrdfFnzG5RTT7W9HiZOhIMOgu+/jzoi\nESlkjY2NHHvssYGfN+eShDh8WD39NIwdC1tsYUMMcV3ZEuQ63XxZ8xukQw+1egpPP22TGrXng4hE\npaKignfffTfw84aaJDjndnDOPeGcm+Oca3bO7dvbc0b9YXX//bDvvrDrrjB5MqyySlYvn5Eg1+nm\ny5rfoO21l/09ePNNW/GgWgoiEoWwPgvD7kkYALwDnAoEUtw2yg+rG26w+v5HHAF/+YvV+I+zINfp\n5sua3zCMHg0vvQT19fbf//531BGJSKEJ67PQ+SwVpnfONQP7e++f6OKYEqC2traWkpKStMfMnTuX\nZDJJQ0MDiUSCVCpFUVFRSFEb7+HCC21r53PPhSuu0BJHWdr06bDbbja58fnnbdmkiEg2zJ07l912\n2611yKHUe18XxHlzbk5Ca4GKWbNmUV1dHXqC0Nxsy90uuwz+8Ae48spwE4S4TMyUzG26qU1i7d/f\nynK//37UEYlIoSgqKuLuu+8O/Lw5lyRkU3Ozbe5z++1Ww//ss8O/ZhwmZkrPrb++FdVac00benj9\n9agjEhHpOSUJnWhuhhNPhLvusg1+QlhZklbUEzOl94qKbI7C5pvbZMZXX406IhGRnonl3g3jx49n\n8ODB7Z6rrKyksrIyK9dvTRBadwDM5jbPiUSC+vr6dj9L7hk82FY97LMP7LknPPOMFd4SEQlCVVUV\nVVVV7Z5ramoK/Do5N3ExbM3NcMIJcPfdcM89cOSR2b1+FBMzJTzffms1FN56y5KG7bePOiIRyVd1\ndXWUlpZCgBMXQ+1JcM4NADYGWqf6DXXOjQS+9N5/Gua1e6K5GY4/3noP7r3XljpmW77sHCZmwADb\n72HPPW1jqGeftZ0kRUSCFkJHQuhzErYG3gZqsToJ1wB1wG9Cvm7GFi+2Ovz33AMTJkSTIEh+GjAA\nJk2CkSNtA7A334w6IhHJN01NVi4+aKEmCd77l733fbz3fTs8sjQNsHtaE4QJE+xx+OFRRyT5ZuWV\nbRvxESOslsJbb0UdkYjki2++sd7KT0Pony/41Q2LF9vKhfvus8dhh0UdkeSrgQMtURg+3Mp619ZG\nHZFIfKlmTPd8951NkH7vPbj55uDPX9BJQmuC0Lqb36GHRh2R5LtBg2ylw09+YolCXSBTi0Tyj2rG\nLNsPP8ABB9gQ5lNP2aaDQSvYJMF7OPlkSw7uvx+ytLpShEGDbKXDJptYHYV33ok6IpH4Uc2Yri1c\naNvUv/IKPPmkVXkNQ0EmCd5b9cQ777SljoccEnVEkkuC6AZtraNQXGzbjv/jHyEEKpLDtPNs5xYt\nsqHxp5+Gxx6DMWPCu1ZBJgm/+x1cey3cdFN2CyVJfgiqG3SVVWxJ5IYb2tDDzJnBximSy7TzbHrN\nzTZMnkrBww/b0uowxbLiYpiuuw4uvtg2bDrttKijkVwUZDfoqqtaj8Lo0Tb0UF0N663X2whFcp9q\nxizNe9tP6P774YEHYP/9w79mXvYkdNYdfNddcOaZ8KtfwXnnRRyk5Kygu0FXX916FJyzHoVCnMSt\nmewiXfMeTj99yTD5wQdn7cI+Ng+gBPC1tbW+N8rKyjxWvMkDvqyszD/4oPfOeX/KKd43N/fq9FLg\nGhsbfVlZmR86dKgvKyvzjY2NgZx35kzv11zT+6228v6rrwI5Zc5I954VEdPc7P0553gP3t92W+fH\n1dbWtr6HSnxAn8t52ZPQsft31qwGDj/ciiTddJN9Y5Ml9C0uM63doLNmzaK6ujqwvTU23hieew5m\nz7b9Hr77LrPX5/J91Ex2kc5dfjn84Q9w/fW2+WA25WWS0LH7t7ExwT77WBdNn7xsce8UwnrkXPkA\nHTHC1ju//TZUVMCPP3b/tbl8HzWTXSS9O+6ACy6A3/zGhhuyLS8/Mltnxa699lD69Clj9OgUVVXQ\nrwfTNHPlw6U3CuFbXC59gG67LTz+OLz4ovV+LV7cvdfl8n3UTHaRpT36qE1UPO00uOiiaGLIyySh\nqKiIW26pZsGCWWy/fTWTJhWx/PI9O1cufbj0VCF8i8u1D9CxY+Ghh2yZ04kn2qSlZcnl+xjWEI5I\nrnr+easCfMghcMMN0Q2T52WSUF9vu+1ttJFt0ztgQM/PlWsfLj1RCN/icvEDdP/9bYjsT3+Cc85Z\ndqJQCPdRpBC8+aa9/8eOtZ2Joxwmz7s6CXPnWoIwcKBVoxo8uHfnSyQS1NfXt/s53xTCeuRUKkUy\nmaShoYFEIpEzH6BHHmlbwP7f/1nxpQsv7PzYQriPIvlu2jTb0XHLLW24Ybnloo0nr5KE+fNhjz1s\n28zXXoMgeixz9cNF2svlD9D/9/8sUbjoIlhjjezPbhaR7PjkE9tKPpHofS94UPImSWjdDevDD+HV\nV22oIQi5/OEi8dfY2EhFRUW7JDTdePwFF1gv2SmnWPJ7wAERBCsiofn8c0sQ+vWzKqyrrRZ1RCYv\nkoTFi61btrraKtdtuWXUEYl0T+vEWID6+nqSyWTapNQ5WyPd2Gg7lj77rJVyFpHcN3++DTH897/2\nObb22lFHtETOT1xsLVX56KPw4IP6h1NySyYTY/v0gQkToKwM9t0X3nsv7OhEJGytveD/+hc884xt\nIR8nOZ8kXHop3Hwz3HZbdja7EAlSpqsull/etoYdOtR2f/v44zCjE5EwNTfDEUdY78ETT8BWW0Ud\n0dJimSQce+yx3SpadPvt8Otf29bPxx+fhcBEAtaTZYuDBllVxuWXt5U8n3+ehUBFJFDewxlnwF/+\nYr3gO+4YdUTpOd+dKi1Z4pwrAWoBysrKupwwmErBgQfaRK4bb9R+DFJ4PvwQtt/eJum++GI8ZkKL\nSPdceaXtSHzbbcGtWKqrq6O0tBSg1HtfF8Q5Y9mTAF2Pzb78slWi+vnPbTKXEgQpRBtvbLVAPvjA\nEuaFC6OOSES6Y8IESxB+/ev4L2mObZLQ2djsu+/apK3ycvsf3bdvlgMTiZHSUutVe/55+MUvule+\nWUSi88wzcNxx9n695JKoo1m2WCYJI0eOTDs2+/HHViypuNgmb/V0PwaRfLLrrpYwt347EZF4+vvf\nrQd8993h1ltzoxc8lnUS7r777qUKynz5pSUIyy9vk7YGDowoOJEYOuQQ+M9/YPx4q9Z2xhlRRyQi\nbX34Iey1l20H/9BDPduVOAo5EeaCBTbEMHeulVtea62oIxKJnzPOgIaGJYnCwQdHHZGIgBVBGzcO\nVl0VnnwSVlop6oi6L/ZJwuLFcNhhUFdnM7iHDYs6IpH4uvxymDPHKpCuuSbstFPUEYkUtvnzrQfh\nu+9g6lRYffWoI8pMLOcktPLedr97/HHrntl226gjEom3Pn1se+kddrDiYqrKKBKdH3+0OQgzZthK\npA03jDqizGUlSXDOneqc+8g5t8A597pzbpvuvO7KK+GWW2yCxz77hB2lSH5Ybjlb8bDhhjaP59NP\no45IpPA0N9sKhilT4K9/hVGjoo6oZ0JPEpxzBwPXABcDWwHvApOdc112ukyYAOedZ+tITzgh7ChF\n8ktrVcZ+/SxR+OqrqCMSKSznnw/33WefZWPGRB1Nz2WjJ2E8cLv3foL3fjpwEvAdcGxnL5g61daR\nHndcbqwjFQlTY2Mj5eXlFBcXU15e3q2S5WA7yT3zjE1m3H9/+P77kAMVEQD++EfrCb/mGlt5lMtC\nTRKcc/2BUuCF1ue81YF+Htius9edc47tq33bbbmxjlQkTK3bSdfX11NTU0Mymez2azfd1DaOeeMN\nm8zY3BxioCJCKmVz6caPhzPPjDqa3gu7J2F1oC/Q2OH5RqDThYwbbQQPPxz+OtKefkMTyaZMtpNO\np6wMqqpsI5kzz1RVRpGwVFfblgEHHghXXx11NMGIagmkAzr9p2rQoPFUVg5u91xlZSWVlZWBBtH6\nDQ2gvr6eZDLZ5aZSIlFIJBLU19e3+zlT++9vXaCnnALrrQdnnRVkhCIybZrV89luO5uH0Cfkr+BV\nVVVUVVW1e66pqSnw64S6C2TLcMN3QIX3/ok2z98DDPbeH9Dh+BKgtra2lpKSktDialVcXNzuH9+h\nQ4cya9as0K8rkom5c+eSTCZpaGggkUiQSqWWqkjaXRdcAJddBg88AAHn3CIF69//tuRg0CB49VVY\nZZVo4ghjF8hQexK89wudc7XAWOAJAOeca/n5xjCv3R1BfEMTCVtRUVFgPVyXXmrFlo46CoqKYOzY\nQE4rUrCammwFUXOz1UKIKkEISzaGG64F7m1JFt7EVjusBNyThWt3KZVKLfUNTSSfOQd33mn7PBxw\nALzySu6u3xaJ2o8/QkWFbT5YXQ3rrht1RMELPUnw3j/cUhPht8CawDvAOO/9vLCvvSxBfkMTyRX9\n+8Ojj1rJ5j32sCXHuVgJTiQKjY2NVFRU0NDQwPz5Cb76KsVzzxWxxRZRRxaOrFRc9N7f4r3f0Hu/\novd+O+/9W9m4roikt/LKMGmSbTSz++7wxRdRRySSG9ouSZ43r4ahQ5PsuGPUUYUn1ns3iEh41lzT\nii198YWVPf/uu6gjEom/jkuQFy7MbElyrlGSIFLANtnEehTefddWOyxaFHVEIvHWv3/7Ce75PuFd\nSYJIgfvpT22OwqRJcOqpKrYk0pkpU6C+PsUaa5QxdOhQysrK8n7Ce1TFlEQkRvbYA+66C445xmZo\nX3RR1BGJZF/bSYkda5K88w7stx/svHMRTz5ZzXLLRRxslihJEBEAjj7aaihceKFtDnXccVFHJJJd\nnVXh/egjS6SHDbNet0JJEEBJgoi0cf758NlncOKJsNZasNdeUUckkj3p9kmZNw/GjYMBA2z79YED\nIwouIpqTICL/45zt8bDPPrZJzRtvRB2RSNeC3Kiv4yTEoqIEe+9tVRUnT7YqpYVGSYKItNO3r+3t\nUFJiPQnTpkUdkUjnerOVekepVIqyMpuUuP32Zay0UooPPrByy8XFAQadQ5QkiMhSVlwRnnwSEgnY\nbTf49NOoIxJJr7dbqbfVWoX3ww9nsckm1bz6ahGplCXMhUpJgoikteqq1sXat68lCqrKKHHUcYgg\niLoF558P995rj1137fXpcpqSBJECkun47dprw7PPWoKw117wzTdZClSkm9oOEQRRt+DGG+GKK+Da\na7WdOmh1g0hB6WyJV1eGDbMx2Z12gp//HJ54orCWgEm8BblR3wMPwBlnwNlnw/jxgZwy56knQaSA\n9HT8trQUHn/cKs4dfTQ0N4cQnEiEJk2Co46yx5VXRh1NfChJECkgvRm/HTMG7r8fHnzQvm2pfHM4\nglzSJ93z6qvWS7b33nDnndBHn4z/o+EGkQKSSqVIJpPtys5m4uc/h1tugZNPtl0kL7ggpEALWE+G\nhKTn3n7bkoPttoOqKuinT8V29L8ji7qqCy6SDUGM3550EsybZ+Wb11gDTjghoOAECHZJn3Rtxgyr\npjhsmA2nrbBC1BHFj5KELNI3BMkXF14Ic+daj8KQIVBREXVE+SORSFBfX9/uZwneZ5/Z8sYhQ2xi\nbqGVW+4ujbxkkb4hSL5wDm64AQ46CA491JZJdkZj7JkJekmfLO3zz632B8Bzz8Hqq0cbT5ypJyGL\n9A1B8kmfPlZsZv582H9/eOYZGD166ePUg5aZIJf0ydLmz7cdHT//HKqrbWt06Zx6ErJI3xAk3yy3\nHDzyiE362ntvePPNpY9RD5rExfffw3772VyEyZNtLoJ0TT0JWaRvCJJP2k7ELSpK8JOfpNh99yJe\negm23HLJcepBkzhYtMgqKE6dasNjW20VdUS5QT0JItIjbXffe/31Gvr2TbLRRrDLLjB9+pLj1IMm\nUVu8GI49Fv72N3j0Udhhh6gjyh3qSRCRHuk4bDBvXgNvvGHlm3fZxQrUbLSRetAkWs3NcMQRjVRV\nVVBU1MDllyfYZhstP+8u9SSISI+kq964+uo2W3zFFWHsWFtmJhIV7+GUU6CqqgKoYe7cempqakgm\nk1GHljOUJIhIj3Q2jJBIwAsvWBfvLrtYPQWRbPMeTj8dbr8d1lhDk2d7SkmCiPRI6zDCrFmzqK6u\nbtd9u/76lig0NVnBmi+/jDBQKTje206ON91kScKwYT3fs6TQKUkQkVBsvDE8/zzMmQO77w5ffx11\nRFIIvIfzzoNrr4U//tHKhmvybM9p4qKIhGbzzW252Zgxlig88wwMGhR1VJLPLrnEtnq+9lo49VR7\nTpNney6Wuy53AAAV80lEQVS0ngTn3PnOuRrn3LfOOXU2ihSokhKbzDhtmg09fPVV1BFJvrr0Uvjt\nby1JGD8+6mjyQ5jDDf2Bh4FbQ7yGiOSAbbaxOQozZ9pkRs1RyD1B7sERxn4eV10FF11kicK55/b6\ndNIitCTBe/8b7/0NwHthXUNEckdJCUyZArNn2/LIzz+POiLJRNviWb1dRhjkuQCuuw5++Uv49a/h\nggt6dSrpQBMXRSRrRo60RGHOHJunMG9eZq/XjpLRCXIPjiDPddVVcOaZ8Ktf2XwECZaSBBHJqhEj\n4KWXrH7CzjtDY2P3Xxv0N1DpvnTFs6I8l/dw4YXWg3DxxXDZZbaFuQQro9UNzrnLgV92cYgHNvPe\nz+hNUOPHj2fw4MHtnqusrKSysrI3pxWRmBg+3BKFMWOsjPOLL1oRpmXRjpLRSaVSJJNJGhoaSCQS\nvVpG2NtzNTfbxMQbb4Q//MFqIhSaqqoqqqqq2j3X1NQU+HWc9777Bzs3BBiyjMPqvfeL2rzmKOA6\n7/1q3Th/CVBbW1tLSUlJt+MSkdw0c6YlCiuuaInCuut2fXx5eTk1NTX/+7msrExL2wrM4sVW++DP\nf4Zbb4UTT4w6ovioq6ujtLQUoNR7XxfEOTPqSfDefwF8EcSFRUQ22QReftmGHXbc0eYrrL9+58cH\n+W1Wcs+PP8IRR8Bf/gITJsDhh0cdUf4LrZiSc249YDVgA6Cvc25ky68+9N5/G9Z1RSS3DB26JFEY\nPdqKLw0blv5YFcUpXAsWwIEHWs2NRx6BAw6IOqLCEObExd8CdcDFwMot/10HlIZ4TRHJQRtuCK+8\nAiutBGVl8MYbUUckcfLNN7DXXjYk9eSTShCyKcw6Ccd47/umebwS1jVFJHettx5UV1svwpgx8NRT\nUUckcfDf/1qlztpa62XabbeoIyosWgIpIrGx2mq2KdQuu8C++9rkNClcrctkZ8ywXoTy8qgjKjxK\nEkQkVlZc0SamHXccHHusrX/PYBGW5Inp02G77ayOxssvQ6kGqiOhXSBFJHb69YPbboN11rEyu3Pm\n2Jr4vn2jjkyyYcoUSCZh7bVtz48NN4w6osKlngQRiSXnrBb/HXdYwnDQQfD998GdXyWe4+mee2ze\nwTbbwGuvKUGImpIEEYm144+Hxx6ziYzjxgW31bRKPMdLc7OVWT7mGHtMmgQdCu9KBJQkiEjs7buv\ndTu//75NXvv0096fUyWe4+P77+HQQ+H3v7cNm26/Hfr3jzoqASUJIpIjtt/elkh+8w1svbXVVeiN\nIDcskp6bN8+2Dn/8cXj0UTjnHG3UFCdKEkQkZ2y2Gfz977D55vbBcuONPV/5kEqlKCsrY+jQoZSV\nlaUt8ax5C+GaPh223RZmzbIVDBUVUUckHWl1g4jklDXWsKI6v/wlnH46vPWWdU+vuGJm5+lOiefW\neQsA9fX1JJNJlYUOSOsKhnXWsRoIG2wQdUSSjnoSRCTn9OsH11wD999vXdRlZTB7dvDX0byF4Hlv\n9651BUNNjRKEOFOSICI569BDYepUK9279dY2uTFIQc5b0NAFfPGFTUI9+2w480ytYMgFShJEJKeN\nHGlDDiUl9u30mmuCq9DYnXkL3VXoSy6nToWttrI/J02CK6/UCoZcoDkJIpLzhgyBp5+26oxnn21J\nw113wYABvTtvkFtTF+rQRXOzJW7nnw8//Sk8+KBt5iW5QT0JIpIX+vaFK66AO+5o5OGHy1l11WK2\n2io+3fqFuOSydXjh3HPhrLPgpZeUIOQa9SSISF65994KmptraG6Gd96pZ5ttksyaVU2/iP+1S6VS\nJJNJGhoaSCQSvRq6yAWvvQYHHwwLFtjwwp57Rh2R9ISSBBHJKx278T/5pIHtt4d777U6C1EJcugi\nzlqHF847z2ogPPggrLtu1FFJT2m4QUTySsdu/C23TPD11zZp7tprYfHiiAIrADNmwC672PDCuefa\n8IIShNymJEFE8krHFQnPPZfi7bfhlFNsUuPOO1uFPwnODz/Ab38LI0bAxx/Dc8/BZZcR+RCP9J6S\nBBHJK63d+rNmzaK6upqioiJWXNF6EaZMgc8+s2WTt90W3FLJQvbKKzBqFPzud5aEvf++9SZIflCS\nICIFY8cd4d134fDD4eSTbevpjz6KOqrc9OWXcNxx9v90tdXg7bdtF8dMy2NLvClJEJGCMnCg9SI8\n8wxMmwabbmrL8778MurIcoP3MHGi/X/7y19s34xXX4Uttog6MgmDkgQRKUjjxtkuhBdeCHfcAcXF\ncPXV8P33UUcWXzNnwq67whFH2C6c06fDCSdAH32S5C3dWhEpWAMGwEUXwYcfQmUl/OpX9g35gQds\nKV935fu+DB9/bMMzW2xhkz6fegqqqmCttaKOTMKmJEFECt6aa8Itt9iku1Gj4LDDrITwlCnde32+\n7stQXw/HHw8bb2y7bf7mN/DPf8Iee0QdmWSLkgQRkRabbgp//avN2O/XD8aMgb33tuShK/m2L8PM\nmXDMMTBsGDzxhJW7nj3belpWWinq6CSblCSIiHSwww62W+FDD9nkxhEjbAz+0Udh4cKlj8+XfRn+\n9S848khLliZPtsqJH31kEzt7u1mW5CYlCSIiaTgHBx1kScLEiVYw6MADYYMN4Ne/hk8/XXJskFtK\nZ5v38MYbcOihVrZ6yhS48UYbajj9dPUcFDrVwxIR6cJyy9kchcMOg/fes+WT119vNQH23tsm9O22\nW+7ty/DPf9oEzQcftIRggw3g1lvh6KNh+eWjjk7iIrSeBOfcBs65u5xz9c6575xzM51zlzjn+od1\nTRGRMI0YATffDHPm2ETHjz+2SXybbAJXXWUftnH20Udw+eWw5Za2UuHWW23exYsv2qqFE09UgiDt\nhTncsCnggOOB4cB44CTg9yFeU0QkdAMH2gfq22/blshlZTYEUVwMG20Ev/iFLRFsbIw6UmhogJtu\ngu23h6FD4dJLYfPNbULif/4Dd95p+1n07Rt1pBJHoQ03eO8nA5PbPDXbOXc1liicG9Z1RUSyxTnY\nbjt73HQTvPwyvPCCPf70Jztmiy1s0uMuu8Do0TBoUHjxzJsHtbXtH598Av37w+672/DCvvtqEqJ0\nX7bnJKwCqPipiOSdwYPtA3jffe3nhgbrxn/hBXjsMbjhBvu2PmKEjf+vu+7Sj3XW6Xzvg+Zm+O47\n+OYb+PZb+3POnPYJwWef2bGrrAIlJXDwwVBaalUSV1stO/8fJL9kLUlwzm0MnAacma1riohEJZFY\nMuHRexvzf+GFJR/mr7xif/73v+1fN2QIrL22vaY1Gfj2W0sQ0ll1VUsIDj3UEoLSUhtWcC78Nkr+\nyzhJcM5dDvyyi0M8sJn3fkab16wDPA085L2/e1nXGD9+PIMHD273XGVlJZWVlZmGKyISOeesauHG\nGy/9u2+/tR6Bzz5b8pgzx3odBgyAlVfu/M+iIuuVUEJQeKqqqqiqqmr3XFNTU+DXcT7DDdWdc0OA\nIcs4rN57v6jl+LWBKcBr3vtjlnHuEqC2traWkpKSjOISEREpZHV1dZSWlgKUeu/rgjhnxj0J3vsv\ngC+6c2xLD8KLwN+BYzO9loiIiEQntDkJzrkE8BIwG1vNUORa+sS89zFYGCQiIiJdCXPi4m7A0JZH\nawFTh81Z0IpcERGRmAutmJL3/l7vfd8Ojz7eeyUIIiIiOUAbPImIiEhaShJEREQkLSUJIiIikpaS\nBBEREUlLSYKILKWxsZHy8nKKi4spLy9n7ty5UYckbcT1/sQ1Luk5JQkispSKigpqamqor6+npqaG\nZDIZdUjSRlzvT1zjkp5TkiAiS2loaOjyZ4lWXO9PXOOSnlOSICJLSSQSXf4s0Yrr/YlrXNJzWdsq\nWkRyRyqVIplM0tDQQCKRIJVKRR2StBHX+xPXuKTnlCSIyFKKioqorq6OOgzpRFzvT1zjkp7TcIOI\niIikpSRBRERE0lKSICIiImkpSRAREZG0lCSIiIhIWkoSREREJC0lCSIiIpKWkgQRERFJS0mCiIiI\npKUkQURERNJSkiAikqcaGxspLy+nuLiY8vJy5s6dG3VIkmOUJIiI5KmKigpqamqor6+npqaGZDIZ\ndUiSY5QkiIjkqYaGhi5/FlkWJQkiInkqkUh0+bPIsmiraBGRPJVKpUgmkzQ0NJBIJEilUlGHJDlG\nSYKISJ4qKiqiuro66jAkh2m4QURERNIKNUlwzj3unPvYObfAOfdv59wE55wGxURERHJA2D0JLwIH\nAsOAJFAMPBLyNUVERCQAoc5J8N7f0ObHT51zVwCPOef6eu8Xh3ltERER6Z2szUlwzq0GHAbUKEEQ\nERGJv9CTBOfcFc65b4DPgfWA/cO+poiIiPRexkmCc+5y51xzF4/FzrlhbV5yFTAK2BVYDNwXUOwi\nIiISIue9z+wFzg0BhizjsHrv/aI0r10H+BTYznv/RprflwC1o0ePZvDgwe1+V1lZSWVlZUaxioiI\n5KOqqiqqqqraPdfU1MQrr7wCUOq9rwviOhknCb26mHPrA7OBnbz3r6T5fQlQW1tbS0lJSdbiEhER\nyXV1dXWUlpZCgElCaHMSnHPbOOdOdc6NdM6t75wbAzwAzASmhnVdERHpPm0nLV0Jc+LiAqw2wvPA\ndOBO4B2sF2FhiNcVEZFu0nbS0pXQ6iR4798HxoZ1fhER6T1tJy1d0d4NIiIFTNtJS1e0C6SISAHT\ndtLSFSUJIiIFTNtJS1c03CAiIiJpKUkQERGRtJQkiIiISFpKEkRERCQtJQkiIiKSlpIEERERSUtJ\ngoiIiKSlJEFERETSUpIgIiIiaSlJEBERkbSUJIiIiEhaShJEREQkLSUJIiIikpaSBBEREUlLSYKI\niIikpSRBRERE0lKSICIiImkpSRAREZG0lCSIiIhIWkoSREREJC0lCSIiIpKWkgQRERFJS0mCiIiI\npKUkQURERNJSkhCyqqqqqEMITD61BdSeOMuntoDaE2f51JYwZCVJcM4t55x7xznX7JzbMhvXjIt8\n+guYT20BtSfO8qktoPbEWT61JQzZ6km4CvgM8Fm6noiIiPRS6EmCc24PYFfgbMCFfT0REREJRr8w\nT+6cWxO4A9gXWBDmtURERCRYoSYJwJ+BW7z3bzvnNujG8SsATJs2LdyosqipqYm6urqowwhEPrUF\n1J44y6e2gNoTZ/nUljafnSsEdU7nfWbTBJxzlwO/7OIQD2wG7A4cCOzovW92zm0I1AOjvPf/6OTc\nhwL3ZxSQiIiItHWY9/6BIE7UkyRhCDBkGYd9BDwM7N3h+b7AIuB+7/0xnZx7HDAb+D6jwERERArb\nCsCGwGTv/RdBnDDjJKHbJ3ZuXWBQm6fWBiYDFcCb3vt/h3JhERERCURocxK895+1/dk59y22uqFe\nCYKIiEj8ZbviouokiIiI5IjQhhtEREQkt2nvBhEREUlLSYKIiIiklfUkwTl3qnPuI+fcAufc6865\nbZZx/IHOuWktx7/bUuY5NjJpj3PuqJZNrha3/NnsnPsum/F2xjm3g3PuCefcnJa49u3Ga3ZyztU6\n5753zs1wzh2VjVi7I9P2OOd2bHNPmtvcp6JsxdxFbOc55950zn3tnGt0zj3mnBvWjdfF7r3Tk7bE\n/H1zUsv/26aWx2vOud2X8ZrY3ZdWmbYnzvemo5a/e83OuWuXcVxs709b3WlPEPcnq0mCc+5g4Brg\nYmAr4F1gsnNu9U6O3w54ALgTGAX8Ffirc254diLuWqbtadEErNXm0Z1KlNkwAHgHOJVuTDBtKY71\nN+AFYCRwA3CXc27X8ELMSEbtaeGBTVhybxLe+7nhhJeRHYCbgJ8BuwD9gWedcyt29oIYv3cybkuL\nuL5vPsWKy5W2PF4EHnfObZbu4Bjfl1YZtadFXO/N/7R8eTse+ze6q+Pifn+A7renRe/uj/c+aw/g\ndeCGNj87bHfIczs5/kHgiQ7PTcVKPWc19oDacxTwZdRxd6NdzcC+yzjmSuAfHZ6rAp6KOv4etmdH\nYDEwKOp4u9Ge1VvaVN7FMbF+72TYlpx437SJ9wvgmFy+Lxm0J/b3BlgZ+BcwBpgCXNvFsbG/Pxm2\np9f3J2s9Cc65/lhm+kLrc95a8TywXScv267l921N7uL4rOlhewBWds7Nds594pyLXYaagW2J6b3p\nBQe845z7t3PuWefc9lEH1IlVsF6PL7s4JrbvnQ660xbIgfeNc66Pc+4QYCXsgyWdXLkv3W0PxP/e\n3Aw86b1/sRvH5sL9yaQ90Mv7k83hhtWxssyNHZ5vxLpA0lkrw+OzqSft+RdwLLYr5mHY///XnHPr\nhBVkiDq7N4Occ8tHEE9vNQAnYhVBk1i360vOuVGRRtWBc84B1wPV3vsPujg0zu8dIKO2xPp945zb\nwjk3H/gBuAU4wHs/vZPDc+G+ZNKeuN+bQ7Bhg/O6+ZJY358etKfX9yfsXSC7w5FZkaVMj8+2TuPz\n3r+ODVHYgc5NBaYBJ2DzGnKda/kzzvcnLe/9DGBGm6ded84VA+OxLru4uAUYDpT14LVxe+90qy05\n8L6Zjs3LWQVLMic450Z38cHaUdzuS7fbE+d742xrgOuBXb33C3tzKmJwf3rSniDuTzaThM+xMd81\nOzxfxNKZW6v/ZHh8NvWkPe147xc5594GNg44tmzo7N587b3/MYJ4wvAmPfswDoVz7o/AnsAO3vuG\nZRwe5/dOpm1pJ27vG+/9ImyHW4A659xPgdOBk9McHuv7Ahm3Z6nXxujelAJrALUtvVZgvb+jnXOn\nAcu3DBG3Fef705P2tNOT+5O14YaWzKcWGNv6XEtDxwKvdfKyqW2Pb7ErXY+PZUUP29OOc64PsAXW\n1Z1r0t2b3YjBvQnQKGJyb1o+VPcDdvbef9KNl8T2vdODtnR8fdzfN32AzobcYntfutBVe9qJ2b15\nHhiBvY9HtjzeAiYCIzv5QI3z/elJe9rp0f3J8qzMg4AFwJHApsDt2MzZNVp+PwG4rM3x2wE/AmcC\nPwEuwbaQHh71DNMetuci7C/cRtiSySrgW2DTGLRlQMtfulHYbPMzWn5er+X3lwP3tjl+Q+AbbJXD\nT4BTWu7VLlG3pYftOR0btysGNse69RYCO8WgLbcA/8WWD67Z5rFCm2PuzYX3Tg/bEuf3ze+BcmxZ\n2RYtf68WAWNafp9r/6Zl2p7Y3ptO2tduNUCuvG960Z5e358oGnUKMBv7cJ0KbN3mdy8Cd3c4vgIb\nI1sA/AMYF/WN6Wl7gGuBj1qO/TfwJLBl1G1oiW1H7MN0cYfH3S2//zPwYprX1La0ZyZwRNTt6Gl7\ngHNa2vAtMA9btTI66na0xJauHYuBIzv7u9byXOzeOz1pS8zfN3dhXfMLsK7qZ2n5QM2l+9LT9sT5\n3nTSvhdp/6GaU/cn0/YEcX+0wZOIiIikpb0bREREJC0lCSIiIpKWkgQRERFJS0mCiIiIpKUkQURE\nRNJSkiAiIiJpKUkQERGRtJQkiIiISFpKEkRERCQtJQkiIiKSlpIEERERSev/A65C0HiJemCaAAAA\nAElFTkSuQmCC\n",
      "text/plain": [
       "<matplotlib.figure.Figure at 0x7fb9702ea410>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "plt.clf()\n",
    "f_x, f_y = f(50)\n",
    "plt.plot(f_x, f_y)\n",
    "x, y = sample(50)\n",
    "plt.plot(x, y, 'k.')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[<matplotlib.lines.Line2D at 0x7fb9701dcd50>]"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAgkAAAFkCAYAAACq4KjhAAAABHNCSVQICAgIfAhkiAAAAAlwSFlz\nAAAPYQAAD2EBqD+naQAAIABJREFUeJzs3XdcleX7wPHPA6g4ACeK4cK9DRrqwb01F2iCOXLbN3+Z\nWpo2rL5lWmnmtxwNt6KpuFduBc0BjtwDzYXgFlQUOPfvjyctFBXwPGfA9X69zivO4Tz3fR0JznXu\ncd2aUgohhBBCiEc52ToAIYQQQtgnSRKEEEIIkSpJEoQQQgiRKkkShBBCCJEqSRKEEEIIkSpJEoQQ\nQgiRKkkShBBCCJEqSRKEEEIIkSpJEoQQQgiRKkkShBBCCJEqqyUJmqYN1zTNrGnaOGv1KYQQQoiM\ns0qSoGnay0AfYL81+hNCCCHE8zM8SdA0LQ8wG+gN3DC6PyGEEEJYhjVGEn4EliulNlqhLyGEEEJY\niIuRjWuaFgTUAF5K4/MLAM2AM0CCcZEJIYQQmY4rUBJYq5S6aokGDUsSNE3zBsYDTZRSiWm8rBkw\nx6iYhBBCiCzgDWCuJRoyciTBDygERGiapv39mDNQV9O0AUAOpZR65JozALNnz6ZixYoGhmY9gwYN\n4rvvvrN1GBaRmV4LyOuxZ5nptYC8HnuWmV7LkSNH6NKlC/z9XmoJRiYJ64Gqjzw2HTgCjE4lQYC/\npxgqVqyIr6+vgaFZj4eHh7wWOyWvx35lptcC8nrsWWZ6Lf9isel6w5IEpdRt4PC/H9M07TZwVSl1\nxKh+hRBCCGEZ1q64mNrogRBCCCHskKG7Gx6llGpozf6EEEIIkXFydoPBgoODbR2CxWSm1wLyeuxZ\nZnotIK/HnmWm12IELfX1g7ahaZovEBEREZEZF5IIIYQQhomMjMTPzw/ATykVaYk2ZSRBCCGEEKmS\nJEEIIYQQqZIkQQghhBCpkiRBCCGEEKmSJEEIIYQQqZIkQQghhBCpkiRBCCGEEKmSJEEIIYQQqZIk\nQditmJgY/P39KV26NP7+/sTGxto6JCGEyFIkSRB2KzAwkPDwcKKioggPDycgIMDWIQkhRJYiSYKw\nW9HR0U+9L4QQwliSJAi75eXl9dT7QgghjGXVo6KFSI/Q0FACAgKIjo7Gy8uL0NBQW4ckhBBZiiQJ\nwm55enoSFhZm6zCEECLLkukGIYQQQqRKkgQhhBBCpEqSBCGEEEKkSpIEIYQQwgYcoWCcJAlCCCGE\nDThCwThJEoQQQggbcISCcZIkCCGEEDbgCAXjpE6CEEIIYQOOUDBOkgRhdTExMQQGBqb4xfD09LR1\nWEIIYVWOUDBOphuE1TnCYh0hhBCSJAgbcITFOkIIISRJEDbgCIt1hBBCGJwkaJrWX9O0/Zqm3fz7\ntl3TtOZG9insX2hoKCaTCR8fH0wmk10u1hFCCGH8wsVzwDDg5N/33wSWappWQyl1xOC+hZ1yhMU6\nQgghDE4SlFIrH3noI03T3gJqApIkCCGEEHbMalsgNU1zAl4HcgE7rNWvEEIIITLG8CRB07Qq6EmB\nKxAHtFdKHTW6XyGEEEI8H2uMJBwFqgN5gUBgpqZpdZ+WKAwaNAgPD48UjwUHBxMcHGxooEIIIYQj\nCAkJISQkJMVjN2/etHg/mlLK4o0+tUNNWwecVEq9lcr3fIGIiIgIfH19rRqXEEII4cgiIyPx8/MD\n8FNKRVqiTVvUSXACctigXyGEEEKkg6HTDZqmfQmsRt8K6Qa8AdQDmhrZrxBCCCGen9FrEgoDMwEv\n4CZwAGiqlNpocL9CCCGEeE5G10nobWT7QgghhDCOnN0ghBBCiFRJkiCEEEKIVEmSIIQQQohUSZIg\nhBBCiFRJkuCgYmJi8Pf3p3Tp0vj7+xMbG2vrkIQQQmQykiQ4qMDAQMLDw4mKiiI8PJyAgABbhySE\nECKTkSTBQUVHRz/1vhBCCPG8JElwUF5eXk+9L4QQQjwva5wCKQwQGhpKQEAA0dHReHl5ERoaauuQ\nhBBCZDKSJDgoT09PwsLCbB2GEEKITEymG4QQQgiRKkkShBBCCJEqSRKEEEIIkSpJEixEihsJIYTI\nbCRJsBApbiSEECKzkSTBQqS4kRBCiMxGkgQLkeJGQgghMhupk2AhUtxICCFEZiNJgoVIcSMhhBCZ\njUw3CCGEECJVkiQIIYQQIlWSJAiHJvUphBDCOJIkCIdmr/UpJHkRQmQGkiQIh2av9SnsNXkRQoj0\nkCRBODR7rU9hr8mLEEKkhyQJwqGFhoZiMpnw8fHBZDLZTX0Ke01ehBAiPaROgrC6+PvxhJ0NY9+l\nfbi6uOKewx237G6453BPcXPL4YZbdjecnZyf2Ja91qeQ4lpCiMxAkgRhuISkBHac28HG0xvZeGYj\nuy7sIsmchHsOd5LNydxOvP3U66sVrkbXal3pXLUzRd2KWinq52OvyYsQQqSHoUmCpmnDgfZABeAu\nsB0YppQ6bmS/wrYSkxPZdWEXG09vZNOZTWw/t517yfcomKsg9UvWZ0LzCTQo1YDyBcqjaRpJ5iTi\n78dz694t4u7FceveLf3r+3Fcv3uddVHr+GjjRwxbP4wmPk3oWq0r7Sq0I3f23LZ+qUIIkakZPZJQ\nB/gfsOfvvr4Cftc0raJS6q7BfQsrSzInMX3fdEZuHsnFuIt45PCgXsl6jGk8hgalGlDFswpO2uPL\nYFycXMjrmpe8rnlTbbePXx9uJNxgwaEFzDwwky6Lu5Anex46VOpA12pdqV+yfqrtpldMTAyBgYEp\npgg8PT2fu10hhHBUmlLKep1pWkEgFqirlHpsLFbTNF8gIiIiAl9fX6vFJZ6PUoqlx5YyfMNwjl45\nSlCVIAbVHISfl99T1xNkVNT1KGYfmM2sA7M4ee0kxdyL0a16N4aahuKewz3D7fr7+xMeHv7wvslk\nkikDIYTDiIyMxM/PD8BPKRVpiTatvbshL6CAa1buVxgk7GwY/tP8aT+/PS+4vcCePnsICQzhlRde\nMSRBAPDJ58Mn9T7h+IDjbO+5nVZlWzH+j/FUmViFNSfXZLhd2bYohBApWW3hoqZpGjAeCFNKHbZW\nvyLjlILYWDh5Ur+dOgXnz+vfu+V6iAiPEZxxXUah5Bp0uL+W0keasOSExgoXKFIEKlfWb/nyGROf\npmnUKlaLWsVqMcx/GH2W96HFnBa8WeNNxjUdR76c6evYy8uLqKioFPeFEMJISeYkTlw9Aeh/0wA0\ntMfuu7q4UsyjmNXjs9p0g6Zpk4BmgEkplepHtAfTDXXr1sXDwyPF94KDgwkODjY+0CzIbIaICNi3\nT08E/p0UxMf/87yiRaFwuXNcKPMpsS9MJ/ud4hQ+9CV5zgSRnOREcjIkJUFiIsTEQHLyP9c9SBiq\nVNH/W6kSuGd8ZiBVSimm7p3K4N8HkytbLia3mkzbCm3TfH1sbOxj2xZlTYIQwihKKdrMa8OK4yvS\n9Pz1XdfTyKcRACEhIYSEhKT4/s2bN9m6dStYcLrBKkmCpmk/AK2BOkqps095nqxJsJIbN+D332Hl\nSli9Gi5fBicnKFECSpeGMmX024OvS5VSzD7yE++ufZc82fPwcd2P6efXjxwuOVJt/949OH4cDh3S\nbwcP6v89dUpPSgBKlYLXXoOAAPD3BxcLjWtduHWB/iv7s+L4CoKqBDGh+QQK5S5kmcaFEMJCFh9Z\nTMBvAUxsOZHqRaqjlEKhvyc/eG9+cL/3st6YipuY1nbaE9szYk2CHpSBN+AH4Bzgk4bn+gIqIiJC\nCcsym5U6eFCpMWOUqltXKWdnpUCpqlWVGjZMqa1blUpISP3a+HvxqmtoV8WnqP7L+6ubCTef2M+l\nS5eUyWRSPj4+ymQyqZiYmBTfv3NHqchIpWbNUmrAAKW8vfU4ChZUqlcvpVaufHIc6Xu9ZjV7/2yV\nf0x+VfDrgmren/OU2Wx+/oaFEMICbt+/rYp/V1y1mtMqTX+bPtn4ifL4ykMlJD75D2RERIRCX/fn\nqyz1Hm6phlJtHCYC19G3Qhb+1831Cc+XJMHCIiOV+s9/lCpRQv9p58qlVOvWSk2apNRffz37+mNX\njqkqE6uoXF/mUrP3z37m800m04P/SRWgTCbTU59vNiu1a5dSH3ygVLlyeoxubkoFByu1YIFScXFp\nfKFPcCnukurwWwfFp6j289qrS3GXnq9BIYSwgA83fKhy/DeHOnn1ZJqefyj2kOJT1NKjS5/4HCOS\nBKN3N/QH3IHNwMV/3V43uN8sLTkZliyB+vXB1xeWLYM2bWDNGrh6Vb/fvz8UL/70dhYdXsRLP72k\nF0fqvYs3qr3xzL7Tu0NA0+Dll+Grr+DoUX1KYuhQ/euOHaFQIejSBQ4ceGbXqSqcpzALOi5gQccF\nhJ8L59VfXuXYlWMZa0wIISzgxNUTfLP9G4aZhlE6f+k0XVOpUCWqeFZh/qH5BkeXkqFJglLKSSnl\nnMptppH9ZlW3bsH48VC2LLRvry8iXLAATp+GCROgWTNwdX12O4nJiQxZO4QOCzrQvExzdvfZTWXP\nymmK4XkONtI0fUHjRx9BZCRERcHnn0NYGFSvDi1awObN+q6L9OpQqQMRfSPInT03/tP82X1hd/ob\nEUKI56SU4v9W/x9F3Yrygf8H6bq2U+VOLDu2jDuJdwyK7nFyCmQmcOoUvPsueHvD++9D7dqwa5f+\n5tqhQ/oWBF6Mu0jDmQ2ZsGsC45uNZ36H+bjlcEvz9ZY8lbFUKf31nDgBs2fDhQvQoAHUrAmLF/+z\nADKtvN292dZjG+UKlKPBjAb8fur3DMcmhBAZseToEtaeWsv3zb8nZ7ac6bq2U+VOxN+PZ9WJVQZF\n9zhJEhzYjh3Qrp0+cjB7NrzzDvz1l/71yy+nv71Npzfx4pQXiboexZY3tzCw5sCH+3TT6sHBRqdO\nnSIsLMwiWwizZYM33oD9+2HVKsiZU98RUakS/PqrvpMirfLnzM+6ruuoX7I+rea2IuTPkGdfJIQQ\nFnAn8Q7vrn2XlmVb0rpc6zRfFxMTg7+/P81faU7uW7mZGWG9wXhJEhzQ2bMQHKyPGJw4AVOm6I99\n8YVekyC9lFKM3T6WxrMaU8WzCnv77aV2sdqWD/w5ado/Uw5//KEnCX36gI8PfPstJCSkrZ1c2XKx\nuNNi3qj6Bp1DO/P9H98bGrcQQgCM2jaKmPgYJjSfkK4PYIGBgYSHhxMVFcXtnbdZeWIlcffiDIz0\nH5IkOJDbt2HkSKhQATZtgqlT4c8/9TfKXLky1qZSivfXvc97697j/drv83uX3/HMbf8FhF59FUJD\n4cgRPXEYPlwv1LR6ddquz+acjWltpzG09lDeXfsuIzaMeLgvWQghLO3BYsWhpqFpXqz4QIoF4IfA\n7Gxm+fHlFo4wdZIkOAClYO5cPTkYPVqfVjh+HHr00AsgZVSSOYley3oxdsdYvm/+PaMbjzbsvAWj\nlC8Pv/yi734oWRJattQXbZ458+xrNU1jTJMxfNvkW74K+4o+y/uQZE4yOmQhRBajlOKdNe9kaLEi\nPLIA/Aa43XCz2i4HSRLs3O7dYDLpc/IvvwyHD+uJwvOWNE5ISqDjgo7M3D+TWe1n8c6r71gmYBup\nWBHWrYP58/VFm5UqwZdfpm29wpDaQ5jZbiYz9s8g8LdA7ibKKeZCCMtZemwpa06uYXyz8eTKlv5h\n30cXhL/f8n3WnFzDjYQbBkSbkiQJdio6Gt58E155RT8/YcMGfXi9dPpGqVIVdy+OlnNasubkGpYE\nLaFLtS7P36gd0DR4/XW9xsKAAfDpp1C1Kqxd++xru1bvyrKgZayPWk+z2c2Ivx//7IuEEOIZ7iTe\nYeCagbQs25I25dtkqI1HF4T3fLUnicmJLDm6xMLRPk6SBDujlD58Xq4crFgBkybpNQMaNrRM+5dv\nX6bhzIZEREewtstaXiv3mmUatiNubvD11/puCG9vaN4cAgP1xZ1P06JsCzZ028C+S/vouKAjicmJ\n1glYCJFpfbXtKy7FX+L75t+ne7fYk7zg/gJ1StSxypSDJAl25PJlfUtjnz4QFKTvXOjf33IHH527\neY660+ty9uZZNnffTN0SdS3TsJ2qVEkfgQkJ0beLVqgA33339PoKNb1rEtoplA1RG+i9vLcsZhRC\nZNiJqyf4evvXDK09lDL5y1i07U6VO7E+aj1X7lyxaLuPkiTBTqxapQ+Nb9+ul1T++WfIl89y7R+7\ncgzTVBN3E+8S1iOMF71etFzjdkzT9ITr2DHo2xcGD4ZWrfSjrJ+ksU9jZrafycz9Mxm+Ybj1ghVC\nZBpKKQauGYhXHi+G17H835HAioGYlZnQIxkvWJcWkiTY2J078Pbb+huXr6++pbFtW8v2EXExAv9p\n/rjlcCO8ZzhlC5S1bAcOwM1NL1m9Zo0+fVO9un5U9pMEVQlifLPxjAkfI3UUhBDptuP8DlafXM3Y\npmMztFjxWQrnKUzDUg0Nn3KQJMGGIiL0xGDqVPjxR1i5EooUsWwfYWfDaDCjAT75fNj65lZecH/B\nsh04mGbN9O2SNWroXw8dCvfvp/7cgTUHPqyjMO/gPOsGKoRwaJP2TMInnw/tK7Y3rI9OlTux+cxm\nLsVfMqwPSRJsIDlZP/WwZk3InVv/ZPuf/+hD45a05cwWms9ujl9RPzZ020CBXAUs24GDKlxYn975\n9lt9dMFkgpMnU3/u6Maj6Va9G90Wd2ND1AbrBiqEcEhX7lxhwaEF9PPrh5Nm3NtsQMUAnDQnFh5e\naFgfkiRY2Zkz+hHOH36oH160Y4e+x9/SNp7eSIs5LahVrBYrO68kT/Y8lu/EgTk5wZAh+hqQGzfg\nxRf1My8epWkav7T+hUY+jWg/vz17o/daP1ghhEOZvm86CkWPGj0M7Sd/zvw08Wli6JSDJAlWtGED\n+PnBuXOwZQuMGgXZs1u+n3Wn1tFqbivqlKjDsqBlhsyHZRYvvaSP5AQEQNeu0K0bxD1SEj2bczYW\ndFxAhYIVaDGnBVHXo2wTrBDC7pmVmSkRU+hQqQOFchcyvL+gKkGEnQ3j/K3zhrQvSYIVKAUTJuhz\n4C+9BHv3Qp06xvS15uQaWoe0pkHJBiwNWpruo0izIjc3mDEDZs3Sj6D29dUrW/5bnux5WNl5Je45\n3Gk2uxmxt2NtE6wQwq5tiNrAyWsn6e/X3yr9tS3fluzO2VlwaIEh7UuSYLB79/S6BwMH6reVKy27\ntfHfVp1YRdt5bWlSugmLOy3G1cXVmI4yqS5dYN8+/SjqWrUePyyqUO5CrO2ylvj78bSa20qqMgoh\nHjM5YjKVC1WmbI6y+Pv7U7p0afz9/YmNNeaDhYerBy3KtGDeIWMWV0uSYKBLl/RKibNmwfTpMHas\n5QojPWr5seW0m9eOFmVasOj1ReRwyWFMR5lc6dIQHg5168Jrr8H33+sjQQ+UyleK1W+s5tiVY3Re\n1BmzekplJiFElnLh1gWWHl3KWy+9RYcOHR4e7xweHk5AQIBh/QZVCWLXhV1cuHXB4m1LkmCQiAj9\nQKbTp2HrVuje3bi+Fh9ZTOBvgbQp34YFHReQ3dmAhQ5ZiJubXtBqyBB491296mXivyo01yhSg3kd\n5rHi+Ao+3/K57QIVQtiVX/f+Sg6XHHSp1iXl8c7w2H1Leq3ca+R0ycm6U+ss3rYkCQYICQF/f/Dy\ngj174NVXjetr4eGFvL7wddpXbE9IYAjZnLMZ11kW4uysn//w668wbZp+/sO1a/98v2XZlvy3wX/5\nbMtnLDu2zHaBCiHsQpI5iZ8ifuKNqm/g4eqR8nhneOy+JeXJnofXyr3G2qg0nGaXTpIkWFByMgwf\nDp07Q8eO+ghC0aLG9Tf/4HyCFgbRsVJH5gTMkQTBAD17wvr1+mFRNWvq5Z0fGFFnBAEVA+gS2oWj\nV47aLkghhM2tPL6SC3EX6P+SvmDx0eOdQ0ONLZ/cqXInjl85bvF2NXs6wEbTNF8gIiIiAl9fX1uH\nky5xcRAcrC92+/pr/YwASxdH+rdfIn+h7/K+dKnWhWltp+Hs5GxcZ4KoKH2NQnQ0LFgAjRvrj8fd\ni6PmrzVJNiezq88u3HO42zZQIYRNNJ/dnOsJ19nZe6dN+r+beJcCgwpw98e7AH5KqUhLtCsjCRZw\n+bK+QHHbNr2S35AhxiYIY7ePpc/yPrz10ltMbzddEgQr8PHRC1+9+qo+9TBpkv64Ww43lnRawqX4\nS3Rd3FUWMgqRBUVdj2LtqbVW2/aYmpzZclK/ZH2LtytJwnP66y+95sGDAknNmhnXl1KKjzd+zHvr\n3mOE/wh+aPmDoSU/RUoeHrBiBQwYoJfRHjxYP3a6bIGyzAmYw/Jjy/li6xe2DlMIYWVT9kwhr2te\nOlXpZNM4BtcabPE25R3mORw6pNf9T0zUt83VqGFcX2Zl5p3V7/DFti8Y03gMXzb6Eu0ZwxUxMTEW\n26drybYcmYuLft7DDz/o/+3VC5KSoFW5Vnze4HNGbh7J8mPLbR2mEMJK7iXdY+q+qXSv3t3m1W3z\n58xv+UaVUnZzA3wBFRERoZ7k0qVLymQyKR8fH2UymVRMTMwTn2uk7duVypdPqWrVlLp40di+EpMT\nVdfQrkr7VFNT9kxJ83Umk0kBD28mkynDMViyrcxizhylXFyUat9eqbt3lUo2J6t289op96/c1dHL\nR20dnhDCCuYcmKP4FHXk8hGbxnHp0iVVvXr1B3+jfZWF3pcdbiQhMDDQagUqnmT1amjUCKpU0acY\nDNzZQkJSAh1+60DIwRBCAkPo69c3zddacp+uNff8OorOnfV6CqtX64sab8c7MbPdTF5we4F289tx\n694tW4cohDDY5D2TaVCyARUKVrBpHIGBgezfv9/i7RqaJGiaVkfTtGWapl3QNM2saVqb523T1m9W\nc+ZAmzbQpAmsXQt58xrX14Pyv2tPrWVp0NJ0z3dZcp+uNff8OpJWrfT/D3bt0nc8JN52Y3GnxVyM\nu0j3Jd1lIaMQmdjB2INsO7vt4bZHWzLqvdDokYTcwD7gbfQhkOdmyzer77/X6/t37QqLFuk1/o1y\n7e41Gs9szO4Lu1nbZS0ty7ZMdxuW3Kdr7T2/jqRuXdi8Wd8mWbcuuN0vz5yAOSw9upQvt35p6/CE\nEAaZvGcyhXMXpl2FdrYOxbj3QkvNWzzrBpiBNs94zjPXJMTExFh9TYLZrNSIEUqBUkOH6veN9NeN\nv1TViVVVgTEF1J4Le4ztTFjMkSNKFSumVKlSSp06pdTnmz9X2qeaWnNija1DE0JYWNy9OOU2yk2N\nWD/C1qEopfT3RlmTAHh6ehIWFsapU6cICwvD09PT0P7MZn2726hR8M03MGaMsTUQFkYspPTXpTkS\ndYTiG4pTzKWYcZ0Ji6pQAcLCIFs2vSx32/wf0qxMM7os7mLIwStCCNsJ+TOE+Pvx6VonZiRPT0+m\nTp1q8XYdLkmwJrNZP9xnyhS9hv977xnXl1KK0WGj6bi8I0nnkkiamMTe3/faZGGmyLjixfWiWoUL\nQ/16TgwsNosczjkIXhRMkjnJ1uEJISxAKcWkPZNoWbYlJfKWsHU4hpIk4QnMZujXD375RT/gp2dP\n4/q6de8Wgb8FMnzDcPL+mRdmA3f078kuAsfj6amvUahcGTq0LMjwsvPYfm47n2z6xNahCSEsYPfF\n3ey9tJe3XnrL1qEYzsXWAaRm0KBBeHh4pHgsODiY4OBgq/T/IEF4cAKgkcc8H758mPbz23Mp/hJL\nOi3hm3XfEK7CH35fdhE4Jg8PfddD69bwQWd/+kz+kq/CPqBuibo0L9Pc1uEJIZ7DTxE/UdyjuE1/\nl0NCQggJCUnx2M2bNy3ej9UOeNI0zQy0U0o98VxdezjgyWyGvn1h6lSYPh26dTOur98O/UbPpT0p\nmbckoZ1CKVegHLGxsQQEBBAdHY2XlxehoaGGr7sQxrl9W6+hsHuPmWqjW3P89k729d+Ht7u3rUMT\nQmTA7fu3KTK2CO/Veo+R9UfaOpwUIiMj8fPzA0c54EnTtNyaplXXNO1BwWKfv+/b5Wo8sxn69NET\nhBkzjEsQksxJDFk7hE4LO9G6fGt29t5JuQLlAOsvzBTGyp1bP+/Bz9eJPz+bibPKSdDCIBKTE20d\nmhAiAxYeXkj8/Xi61zBwiDmDDBhIMHxNwkvAXiACfVvGWCAS+MzgftMtOVmvwz99OsycqddCMEJM\nfAyNZzZmwq4JjG82nrkBc8mdPbcxnQm7kDs3rFwJNcoXIH7afP44v5OPN31s67CEEBkwbd80GpZq\nSMm8JW0dSgo3b8Lbb1u+XUPXJCiltuAAiyMfJAizZukJwhtvWL6Pu4l3+X7n94wOG03ObDnZ2G0j\ndUrUsXxHwi7lyaMfI96iRW0itnzFGPU+dYrXoVW5VrYOTQiRRqeunWLLX1uY1X6WrUNJIT4eWrbU\nTyO2NLt/AzdacrK+c2HWLP1m6QQh2ZzM1L1TKfu/sny86WO6Ve/Ggf4HJEHIgtzc9EShxt3BuES9\nxhsLu3HupgG/1UJkAvZ48uz0fdNxz+FOQEX72Zp+546+QPrPP+HHHy3ffpZOEh4kCLNn67fOnS3X\ntlKKFcdXUH1ydXot64V/cX+Ovn2UCS0mUCh3Ict1JByKuzusXeNE9agZxF3Nw2szOsn6BCFSYQ+H\n+f1bsjmZGftn0KlyJ5sfCf3AvXvQvr1+dsyqVfqhg5aWZZMEpeCtt/TkYM4csOTuyp3nd1J/Rn1a\nh7TGM7cnu3rvYl6HeZTOX9pynQiH5e4OG1bkp8LB+Ry4spve80bYOiQh7I6tD/N71MbTGzl36xw9\navSwaRwPJCbC66/D1q2wfLle5dUIWTJJUEqvnvjzz/pOhqAgy7R7/OpxOvzWgZq/1uT63eus6ryK\nDd028PILL1umA2EXLDEM6uEB4fNr4n10DDNPfsuEtcsNiFQIx2VvJ89O2zeN8gXKU9O7pk3jAEhK\n0qfGV6+GxYuhYUPj+rLLYkpG++9/Ydw4+N//nq9QUvz9eMLOhrHx9EY2nt5IZHQk3u7eTG87nS7V\nuuDs5Gy5oIXdeDAMChAVFUVAQABhYWHpbidvXtg/eRA+I7bw7uY3qVF4H3Vr2OXuYCGsLjQ09LGa\nMbZyI+HIiJwLAAAgAElEQVQGi48u5rP6n6EZeXhPGpjN+jR5aCgsXAjNDa7n5NBJwp3EO1y5c4Ur\nd65w9c7Vf76+q3/tpDnh7e6Nt7s3xdyL4e3uzcJpLzByZHZGjYIBA9LXX0JSAn+c/+NhUrDzwk6S\nzEl45fGikU8jBrwygKAqQbi6uBrzgoVdsOQwaP78Grs/mkalCTVo8lMQR4ZtxqdEtucNUQiH96Bm\njD2Yd3AeicmJdK1m0N74NFJKP09ozhyYOxfaWeGEaodLEtadWseA1QM4e/MsCUkJj30/h3MO8rvm\n59alW9xPuo85j5nkbMkpnpN7ZGFCCxZj13xviuYpiouTC4qHx1Wn+vWJaycIPxdOQlICBXIWoEGp\nBkxoPoGGpRpSrkA5m2eXwnq8vLyIiopKcf95lPXOz4JO82i/rC4vvz+SIz+MIqvV0IqJiSEwMFAq\njQq7NG3fNJqXaY6Xm+2mPJSCgQP1afLp06FTJ+v06zBJglmZGR02mo82fkQjn0a8/fLbFMxVkIK5\nClIgZ4GHX+fKlos6deo8HA4GeLXuq7zeaxpDPj9Hg7bnqdv6HBdunefcrXOEnQvDrMwAaGgP3+wf\n/foF9xcY1XAUDUs1pGrhqjhpWXI5h8CYYdB2frV5//wovnEaRu2u9Yj4rRmPHF+SqVlqCkcISzt8\n+TC7LuxiYceFNotBKRg2TJ8inzzZ2POEUulc2c0N8AVURESE+rcbd2+otiFtFZ+iPt74sUpKTlJP\n4+Pjo9ArPCpAFSnio1xclOraVank5KdemiVdunRJmUwm5ePjo0wmk4qJibF1SFlSsjlZmSY1V9rQ\nQuqVhhfV7dvpu96Rf46P/s76+PjYOiQhlFJKvbf2PVVgTAF1L+mezWL48kulQKnx45/+vIiIiAe/\nQ77KQu/Ldv9x+GDsQV7++WU2n9nMsqBlfN7g82cuCHx0+DcmxovWrfWdDE52/4qtz972IxvBHguz\nPMpJc2Jx15kUyJeNPSXeICAwmfv30369I/8c7W0luxAAicmJzDowizeqvkF25+w2ieGnn+DDD+Gz\nz/TpBmuz67fM+Qfn8+ovr+Lq4sqevntoXb51mq4LDQ3FZDJRtKgPTk4m6tYNJSQEXDIwueIIby7P\ny972IxvBUd5AC+UuxMKguVBiC+vvf0GXLnrRr7Rw5J/jg99ZHx8fTCaTTVeyC/HAmpNriLkdQ48X\nbVMbYeFCfaHigAHwsY2Oe7HLJCEpOYnBawcTtCiIdhXasaPXDsrkL5Pm6z09PZk4MYy7d09Ru3YY\nK1d6kiNHxmJxlDeX55EVPsU50htovZL1GFl/JOa6n7EoYhP9+ulzks/iyD9HOf1U2KNp+6ZRo0gN\nahSp8ewnW9j69XoV4KAg+P57sNXaeLtcuNh/ZX/+dP6TCc0nMOCVAeneORAVBc2aQalS+jG9uZ/j\nkEVHenPJKHvaj2wUS+9IMNqHdT5ky19biOzxBr+O3kfevJ58883T/1BkhZ+jENYSezuW5ceXM7bp\nWKv3vWuXvr2xUSN9J4Mtp8ntMkk4e/MsmwZtwr94+utMxsbqCYKbm16N6nlXiDvam0tG2NN+ZKM4\n2huos5Mzs9vPpsaUGlQY3pWxH68mb14nPvroyddkhZ+jENYy58AcNDQ6V7XgoT5pcOSIfqJjtWr6\ndEN22yyFeMguk4Q5AXMylCDExUGLFvqxmdu3Y5G95o725iJS54hvoF5uXsxuP5tms5vR5NOv+fjj\nDyhUCPr1s3VkQmRuSimm7ZtGm/JtKJiroNX6PXsWmjYFL6/nHwW3FLtck5CRUxIfnIZ18iSsXatP\nNViCzJUKIz1rYWyT0k0Y7j+cjXxE4KBw/vMfvVa7EMI4kdGR/Bn7p1UPc7pyRU8QXFz097D8+a3W\n9VPZZZKQXsnJ0K0bhIXpp2FVq2briIRIm7QsjP2swWfU9K7JzmJBtO50heBg/eQ3IYQxpu2bhlce\nL5qVaWaV/uLi9CmG69fh99+haFGrdJsmDp8kPChVuXAhzJsHdevaOiIh0i4tC2NdnFyY12EeCUkJ\n3GnehdomM23awJ9/WitKIbKOhKQE5v45l67VuuLiZPyM/INR8GPHYM0aKFvW8C7TxeGThC++gB9/\n1EtVWuOwCyEsKa3bFr3dvZkTMIf1p3+n9rAv8fHRT3/76y9rRClE1rHs2DKuJ1y3Sm0Esxm6dtVH\nwZctgxdfNLzLdLPLJKFnz55pKlo0ZQp88ol+9HOfPlYITAgLS08RoaalmzKy3khG7RjJBz+tJ0cO\nfSfPlStWDFiITG7avmnU8q5FhYIVDO1HKXj3XVi0SB8Fr1fP0O4yTFNpqdJiJZqm+QIRACaT6amr\n0UNDoWNH+M9/YMIE2xWaEMKaks3JtJzbksjoSEKb7SWwsTelSsHGjfaxEloIR3bu5jlKfl+Sya0m\n08fP2E+eY8bABx/oo+CW2rEUGRmJn58fgJ9SKtISbdrlSAI8vWjRli16JaoOHWD8eEkQRNbxoH6C\nq4srH+zpxPKViRw+rCfMiYm2jk4Ix/ZL5C/kypaLoCpBhvYzc6aeIHzyif1vabbbJOFJc7P790Ob\nNuDvr/9DOz/9rCchMp1CuQvxW4ff2HVhF79d+4DQUL2Ea+/eaSvfLIR4XGJyIj9H/kyXql1wy+Fm\nWD9r1kCvXvrv66efGtaNxdhlklC9evVU52b/+ksvllS6tL5XPKPnMQjh6GoVq8W3Tb5l3B/jiPMO\nZebMfz6dCCHSb/nx5UTHR9P/pf6G9bF7tz4C3rw5TJrkGKPgdpkkTJ069bGiRdeu6QlCjhywapVe\ndlmIrOydV9+hQ6UO9FjaA78mJ/juO/j6a30KTgiRPpP3TKaWdy2qF6luSPsnT0KrVlC1Ksyfn7FT\niW3BLpOER929q08xxMbqlaiKFLF1RELYnqZp/NrmVwrnLkyHBR3o9/Zdhg6FQYP0P0JCiLQ5cfUE\n66LWGTaKEBOj70TKl08v+JcrlyHdGMLuk4TkZHjjDYiM1GtZlytn64iEsB/uOdxZ9PoiTlw9wYBV\nA/jqK/33pVs32LzZ1tEJ4Rh+iviJfK756Fipo8XbjovTRxDu3NE/5Ba03lEQFmHXSYJS8M47sHSp\n/smoZk1bRySE/alauCqTWk1i6r6pTN8/lalToU4dvbiYVGUU4ukSkhKYtm8aPWr0IGe2nBZt+/59\nfQ3C8eP6qcQlS1q0eauwSpKgadrbmqad1jTtrqZpf2ia9nJarhszBiZO1Bd4tG5tdJRCOK7uNbrT\n+8XevL3qbQ5f20doqP4HqUULOHfO1tEJYb8WHl7I1btX6evX16Ltms36DoZNm2DJEqhRw6LNW43h\nSYKmaZ2AscBI4EVgP7BW07SnDrrMnAnDh+v7SPta9mcnRKY0ocUEKhasSLt57bjnfJlVq/TFUS1a\nwI0bto5OCPs0ec9kGpZqSPmC5S3a7ogRMGuW/l7WsKFFm7Yqa4wkDAKmKKVmKqWOAv2BO0DPJ12w\nY4e+j7RXL8fYRyqEkZ51nPQDObPlZEnQEu4k3qHDgg4ULHyfNWsgOlqfekhIsHLgQti5P2P+JPxc\nOG+99JZF2/3hB30kfOxYCDK2LpPhDE0SNE3LBvgBGx48pvQ60OuBWk+67v339XO1J092jH2kQhgp\nLcdJP1DcozihnULZcW4HA1cPpEIF/eCYnTv1xYxmsxUDF8LOTd4zmSJ5itC2fFuLtRkaqq+lGzQI\nBg+2WLM2Y/RIQkHAGYh55PEY4IkbGUuVgt9+M34faVo/oQlhS2k5Tvrf/Iv7M6nVJCZHTGbS7kmY\nTBASoh8kM3iwVGUUAiD+fjyzDsyi94u9yeaczSJthoXpRwZ07AjffmuRJm3OVuUcNOCJf6rc3QcR\nHOyR4rHg4GCCg4MtGsSDT2gAUVFRBAQEPPVQKSFswcvLi6ioqBT3n6WXby8OxBzgnTXvUKFgBdq1\na8APP+gHohUrBkOGGBmxEPYv5M8QbifetthBTkeO6PV8atXS1yE4GfwRPCQkhJCQkBSP3bx50+L9\nGHoK5N/TDXeAQKXUsn89Ph3wUEq1f+T5vkBEREQEvr6+hsX1QOnSpVP88fXx8eHUqVOG9ytEesTG\nxhIQEEB0dDReXl6EhoY+VpE0NUnmJFrMacHe6L3s6rMLn3w+fPghjBoFc+eChXNuIRyGUgq/n/x4\nwf0Flgcvf+72Ll7UkwN3d9i2DfLmtUCQGeBwp0AqpRLRj35u9OAxTdO0v+9vN7LvtHj0E1laPqEJ\nYW2enp6EhYVx6tQpwsLC0pQgALg4uTC/w3zyuual7by2xN2L44svoHt3/bZhw7PbECIz2n1xN3sv\n7bXIgsWbN/UdRGazXgvBVgmCUayxu2Ec0FfTtG6aplUAJgO5gOlW6PupQkNDMZlM+Pj4YDKZUj1U\nSghHlj9nfpYFL+OvG3/RdXFXFGZ+/lnfktW+PezbZ+sIhbC+yXsmU8KjBM1KN3uudu7fh8BA/fDB\n1avB29tCAdoRw5MEpdRvwBDgc2AvUA1oppS6bHTfz5LRT2hCOJJKhSoxN3Auy44tY+SmkWTLBgsX\n6iXOW7SAM2dsHaEQ1nP97nXmHZxHX7++ODs5p/v6fy949/b2Z+vWWJYuhSpVDAjWDlil4qJSaqJS\nqqRSKqdSqpZSao81+hVC6F4r9xqjGo3ii21fMP/gfPLkgZUr9YNmmjeHq1dtHaEQ1jFz/0wSzYn0\nerFXhq7/95bky5fD8fEJoF49CwdpR+z67AYhhOUMMw0juEowPZb2IDI6ksKFYc0aPUFo3Vo/gEaI\nzEwpxeSIyQRUDKBwnsIZauPRLciJiU/fkuzoJEkQIot4cLR0pUKVaDuvLedvnadsWX1EYf9+fbdD\nUpKtoxTCOFv+2sLRK0fp75fxI6GzZctaC94lSRAiC8mZLSdLg5bipDnRfHZzrt29xiuv6GsUVq6E\nt9+WYksi85q8ZzLlC5Snfsn6Gbp+0yaIigqlUKGss+BdkgQhspgX3F9gbZe1XIq/ROuQ1txJvEOL\nFvDLL/DTT/DFF7aOUAjLi4mPIfRIKP1f6o/2hHr/T6vCu28ftG0LDRp4cv581lnwLkmCEFlQhYIV\nWNl5Jfsu7aPTwk4kJify5pt6gvDJJ/Drr7aOUAjL+nXvrzg7OdO9evcnPudJ56ScPq3vBCpXTh91\ny57dWlHbniQJQmRRr3q/Sujroaw5uYa+K/qilGLECOjfH/r106cfhMgM7iTe4fud39OtWjfy5cz3\nxOeldk7K5cvQrBnkzg2rVoGbm9HR2hdJEoTIwpqVacb0ttOZvm86H6z/AE3Tj7lt3Vo/pGbnTltH\nKMTTpeWgvl8if+HqnasM8x/21LYeXYTo6enFa6/pVRXXroVMPrOQKlsd8CSEsBNvVHuDy3cuM2jt\nIArnKczgWoOZOxeaNIFWrfRa9BUr2jpKIVL3rIP67iXd45vt39C5amd88vk8ta3Q0NCH56QUKeKF\nq2sou3bBli1QurShL8NuSZIghODdmu8SEx/DkN+HUChXIbpW78ry5VC3LjRtCtu366dHCmFvnnWU\n+sz9M7lw6wLD/Yc/s60HVXiVgh499IPQVq4EK5w3aLdkukEIAcCoRqPoWaMnPZf1ZPWJ1eTLpw+x\nOjvriYJUZRT26GkH9SWZkxgdPpoOlTpQsVDah8NGjIAZM/RbkyYWC9UhSZIgRBbytPlbTdOY0noK\nLcu2pMOCDvxx/g+KFoXff9cThFatID7ehsELkYqnHdQ37+A8oq5HMaLOiDS3N2ECjB4N48bJceoA\nmrKjyimapvkCEREREfhm5fEdIQzi7+//cP4WwGQypZi/BbibeJems5ty+PJhtvXYRqVClYiIgPr1\nwWSCZcuy1hYw4ZjMykzliZUpk78My4OXp+mauXOhSxcYMgS++cbgAA0QGRmJn58fgJ9SKtISbcpI\nghBZyLPmb0GvyrgsaBne7t7Un16f/Zf24+cHS5fqFefefBPMZisFLEQGhR4J5eiVo3xY58M0PX/l\nSujeXb+NGWNwcA5EkgQhspCnzd/+W76c+djYbSPFPYpTf0Z9dp7fScOGMGcOzJsH774r5ZuNkpYt\nfeLplFJ8sfULGpVqRE3vms98/rZt0KEDvPYa/PwzOMk740PyTyFEFvK0+dtHFchVgA3dNlC5UGUa\nz2rM1r+20qEDTJwI//sfjBplxcCzkCdV/RNpt+rEKvbH7Oejuh8987l79+rJQa1aEBICLrLnLwX5\n57CimJgYAgMDiY6OxsvLi9DQ0Exf91vYlwdbvNLKw9WDtV3W0nZeW5rPbs6SoCX079+Uy5fho4+g\nUCHo29fAgLOgtEwJiSdTSvHfrf/FVMxEvRL1nvrc48f1aorlyunTaa6uVgrSgchIghXJJwThiHJn\nz82KzitoWKohrUNas/ToUj76CAYMgLfegkWLbB1h5pLWKSGRuo2nN7Lzwk4+rPPhEw9yAjh/Xt/e\nWKAArF6d9cotp5UkCVYknxCEo3J1cSW0Uyhty7cl8LdA5h+ax/ffw+uvQ+fO+jbJJ5E59vRJz5SQ\neNyX277E18uX5mWaP/E5V67otT8A1q2DggWtFJwDkukGK/Ly8iIqKirFfSEcRXbn7MwNnEuvZb3o\nvKgzdxLvMGNGT+LioF07WLNGr9D4qGeVzRUppXdKSPwj/Gw4m85sIvT10CeOIsTF6Sc6XrkCYWHg\n7W3lIB2MJAlW9O+64A/WJAjhSFycXJjWdhq5XHLRa1kv7iTeYcGCAbz2mr74a/16eOWVlNfICJqw\nli+3fUnlQpVpW6Ftqt9PSIC2bfW1CJs362sRxNNJkmBF8glBZAZOmhMTW02EJPi/1f/HyC9HUvZO\nBcqXX0zz5p5s3gzVqv3zfBlBE9YQcTGC1SdXMydgDk7a4zPpSUl6BcUdO/TpsRdftEGQDkjWJAgh\n0k3TNA58ewA2wzXfa+wsvB0tWztKlYLGjeHo0X+eK3PswhpGhY2iTP4yvF759ce+l5wMPXvCihWw\ncCHUqWODAB2UjCQIITLkUvQliAKuAa3hwI1Idr93geDXXqBxY71ATalSMoImjHco9hChR0L5pfUv\nuDilfFszm6Fr1xhCQgLx9Izmq6+8ePll2X6eVjKSIITIkIfTBgeAqaDyKJoueolRs7aTMyc0aqRv\nMxPCaKPCRlHMvRhdq3dN8bhS8J//QEhIIBBObKxsP08vSRKEEBmSYhrBx0Rk/0jK5i9LhxX16T3x\nZ5KT9akH2fEojLTv0j7mHZzHMNMwsjv/c/KYUjBwIEyZAoUKyeLZjJIkQQiRIQ+mEU6dOkVYWBiV\nS1Zmfbf19PXrywfb+2L66i1uxN2nSRO4ds3W0YrMKNmcTL8V/ahUqBJ9/f4p/akUvPeeXj58yhQo\nV04KVGWUJAlCCIvJ7pydH1r+wM+tf2ZR1FSKDm/IueuXaN4cbt2ydXQis5m8ZzK7LuxiymtTyOac\nDdAThOHDYdw4+OEHvWy4LJ7NOEkShBAW19u3N5u7b+bSvSiyvf0Sh2/ulkRBWNTFuIsM3zCcfn79\nqF2s9sPHP/1UP+p53Dh4+239sUdHvWTRYtoZliRomjZC07RwTdNua5omg41CZDG1itViT989lCrg\nTWKXOuzL9iONm5i5ccPWkYnMYOCageTKlouvGn318LEvvoDPP9eThEGDbBhcJmLkSEI24DdgkoF9\nCCHsWFG3omx5cwu9fXtxt+EA9lZtRJ02p2SNggOy5Bkcz9vWyuMrWXh4IeObjydfznwAfP01fPyx\nnigMHZrh0MSjlFKG3oDuwLU0PtcXUBEREUoIkbmsP7VeFf26pOLDXOqFgPEqJjbZ1iGJdDCZTAp4\neDOZTDZpK/5evCrxXQnVbFYzZTablVJKjRunFCj1yScZDilTiIiIePBv6qss9B4uaxKEEFbRyKcR\nxwb+SecKvbhQ7V1KfV6XP04cT1cbcqKk7VjyDI7naeuzLZ8RczuGia0momkaX38NgwfDBx/o6xGE\nZUmSIISwmjzZ8zCnywRm1t/KPZcYas+qzsi135JsTk7T9Q9OlIyKkqI41vbotsHn2UaY0bb2X9rP\nuB3j+KTuJ5TK68NHH8GwYTByJIwaBU84+FE8B03pw/xpe7KmfQUMe8pTFFBRKfXw44Gmad2B75RS\n+dPQvi8QUbduXTw8PFJ8Lzg4mODg4DTHKoSwb3sP3qHOJx9zu9p3vOj5MrM7TqNSoUpPvaZ06dIp\nDovy8fHh1KlTRocqgNjY2MdOsc3oLoGMtJVsTsY01UT8/Xj29Ilk2HvZmTABvvlGr4mQ1YSEhBAS\nEpLisZs3b7J161YAP6VUpCX6SW+SUAAo8IynRSmlkv51TbqThIiICHx9fdMclxDCMZ04AaagHdyo\n1xMtXxQf1/uYwbUGkytbrlSf7+/vT3h4+MP7JpNJzoXIIibunsjbq95mS/cwZvzXxLRpMGkS9Otn\n68jsR2RkJH5+fmDBJCFdBzwppa4CVy3RsRBClC0LfyyoRf3Ge7nl9ymfqc+YtGcSI+uNpEeNHg8L\n5DwQGhr62CdQkfk9qInQq0ZffhxmYtEimDkTunSxdWSZn5F1EoppmlYdKAE4a5pW/e9bbqP6FEI4\nHh8f2LrRlXx7RuO54Ch++RvQf0V/Kk2sxLyD8zAr88PnSlGcrOndNe/i6uzKuamjWbIEFiyQBMFa\njFy4+DkQCYwE8vz9dSTgZ2CfQggHVLIkbN0KHsml2fH+bGaa9lGhYAWCFwXj95Mfq0+sJj1ToyLz\nWHViFQsOL6DgnvFsW5eP5cuhfXtbR5V1GJYkKKV6KKWcU7ltNapPIYTjKlYMwsKgXDno17Yab3ks\nJ6xHGG7Z3Wg5tyX1Z9Rn+7nttg5TWNHt+7fpv/w/eFxpwrk1Qfz+OzRtauuoshbZAimEsBv588P6\n9foR023awPENJra8uYVVnVdxM+Empqkm2oS0Yef5nbYOVRhMKcVbSwdz/kYMrJzEpo0a/v62jirr\nkSRBCGFXcuaERYugVy/o2RO++kqjeZkWRPaLJCQwhKNXjlLz15q88vMrzNw/k4SkBFuHLAzw3pKv\nmXX4J9y2/UDYstL4yUS1TUiSIISwOy4uMHkyfPYZfPghDBgAyuxEUJUgjrx9hBXBKyiQqwDdl3Sn\n2HfFGLFhBGdvnrV12MJCPpw3h3EHPqDgoU/YP60XVarYOqKsS5IEIYRd0jT45BP46Sc9YXj9dUhI\nAGcnZ1qVa8XqN1ZzfMBxulTtwo+7f6TU96UImB/AxtMb07TIUUo826ehkzYy6nAPisa8yYmfPqVk\nSVtHlLVJkiCEsGt9+sDixbBqFTRrRoqjpssWKMt3zb/jwuALTGw5kRPXTtBoZiMqT6zM/3b+j9jb\nT37jlxLP9sVshr4f/ck3Z9vzQmIDToz7ibx5pc6yrUmSIISwe23awIYNcPAg+PvDuXMpv58nex76\nvdSPA/0PsLn7Zip7Vmbw74PxGutFk1lN+DXyV67fvZ7iGkseWCSeT0ICtOt2np/vtqBoTh8Oj1xI\nLtdsz75QGE6SBCGEQ6hdW98iGR8PL72k11V4lKZp1CtZjwUdF3BpyCUmt5qMWZnps7wPhb8tTOuQ\n1sw5MIe4e3EWPbBIZNzly1Cv2U1WeLSgYAFn9gxahburm63DEn+TJEEI4TAqVoTdu6FyZWjUCCZM\ngCctPyiQqwB9/PqwodsGLgy+wNimY7l29xpdFnfB81tP8vXLR/n25SlZriQmkynVEs+ybsFYR4/C\nq7Xvs7d8e/IUPc/WPmvwcpNkzZ5IkiCEcCiFCsHvv8M778DAgdC9O9y9+/RrvNy8+L9X/4/wnuGc\nGXiGz+t/TvTdaI5VP0Z012jy9M/D/NPzOXUt5YmSsm7BOJs2Qc1aZq7V6YlWLJyVXZZRsVBFW4cl\nHiFJghDC4bi4wNixMGcOLFwIJhOcOZO2a0vkLcH7pvfZ03cPJ/7vBKMbjyZZJTPk9yGU+V8ZKvxQ\ngSFrh7Dx9EYuxlxMca2sW3h+Suk/u6ZNIV+HD7lZYg6zA2ZTp0QdW4cmUiFJghDCYXXuDDt2wPXr\n+jqFDRvSd32Z/GV4t+a7rOu6jqtDrxL6eij+xf0JORhCo5mNOBt0Fl4HXgQ8nm/dgkxdwNWr+iLU\n996DBkMncsZ7NOOajqNj5Y62Dk08gWZPh6ZomuYLRERERODr62vrcIQQDuLqVQgO1pOEr7+GwYP1\nOgsZZVZm9l3ax297f+PHdT8S7xEPGpT2KE2zss1o7NOYBqUakNc1b5rb9Pf3Jzw8/OF9k8lEWFhY\nxoN0MDt2QKdOcDvhHnU/H86SmO8Y+OpAxjcfb+vQMo3IyEj89NKUfkqpSEu06WKJRoQQwpYKFIDV\nq/XqjO+9B3v2wC+/QO4MHkzvpDnh6+WLr5cvo1uO5trda2w6vYn1Uev5Pep3Ju6ZiJPmxMtFX6ax\nT2Ma+zSmlnctcrjkeGKbWXXLpdmsTy+MGAFVGhzGrXVnVl05wrim4xhYc6CtwxPPIEmCECJTcHaG\n0aOhdOkY+vcPZNGiaCpX9mLt2lA8PT2fq+38OfMTWCmQwEqBAJy5cYb1UetZH7WeKRFT+HLbl+R0\nyYl/cX8almpIg5IN8Cvqh4vTP39ivby8iIqKSnE/s7t6VV9YunKlosmISWzLNYRSTqXY2XsnNYrU\nsHV4Ig1kukEIkak8OqxfvLiJU6fCcDHoI5FZmTkQc4D1UevZeHoj285uI/5+PG7Z3ahTog4NSzak\nQakGeGledOzQkejoaLy8vAgNff7kxZ5t3/739IK6TNn3e7HrxnL+89J/+KbpN+TKlsvW4WVKMt0g\nhBDP8Ogw/tmz0dSuDTNm6HUWLM1Jc6JGkRrUKFKD92q/R2JyIhHREWw6vYmNZzby8aaPubvuLnld\n81JvQD06luxIvZL1KFiooOWDsQMPpheGD4fyrdZyz9SdqPvJLAtaRuvyrW0dnkgnSRKEEJnKo8P6\n1bridrUAABIuSURBVKp5cesWvPgijBql11Zwdjau/2zO2ajpXZOa3jUZXmc495LusevCLjae3sim\nM5sYun4o95Pvk881H3VK1KFeiXrUK1GPGkVq4OxkYGBWcPw49O8Pm7Yl8PLw4ex2GU/Tok2Z3na6\nFElyUDLdIITIVGJjYwkICEgxrO/m5smHH8L48frZD9OmQenStonvbuJddl7YyZYzW9jy1xZ2nN9B\nQlIC7jnc8S/u/zBp8PXyJZuzY5xfcO8ejBkDX3ypKOi3lZzt3+H8vaOMaTyGd159BydNdttbgxHT\nDZIkCCGyjC1boEcPiI2Fb7+Ffv2eb6ukJdxLusfui7sfJg3h58K5k3iHnC45eanoS9TyrkXtYrWp\nVawWnrntbw3D1q3QY3AUpz1m4lFnJje001TxrMLs9rOpXqS6rcPLUiRJEEKI5xQXB++/D1OmQJMm\n+n9LlbJ1VP9ITE4kMjqS7ee2s/38draf287FOL3yo08+Hz1h8K5FLe9aVC1cNcUOCms6c+kWXUct\nICx+BpTYRm4XNzpV6Uj3Gt3xL+4vowc2IEmCEEJYyNq10Lu3PqowYIBeYyF/fltH9TilFOdunWPH\nuR3sOL+D7ee2s/fSXpLMSbi6uFKhYAWqeFahcqHK+s2zMiXzljTkTTrZnMz6qA18tnQGO64vBpcE\nKuZozPCW3Qms1F52LdiYJAlCCGFBt2/DuHF6lUYXFz1RGDAAXF1tHdnT3U28S0R0BHsu7uFQ7CEO\nXdZvt+7dAiBXtlxULFiRyp564lAkTxHyuubFI4cHeV3zPry55XBLkUwkm5OJuR3D2ZtnOXfzHOdu\nnXv437M3z3LiahQ37l2FK+WpZu7O1EFd8CtTzFb/DOIRkiQIIYQBYmLgs8/gp5/A21vfBREUBE5p\n/DAeExNDYGCgTWsgKKW4EHfhYdJwMPYghy4f4sjlI8Tdj0v1Gg0N9xzuD8tLX4i7QJI56eH3c2XL\nRTH3YnjmKM7lk8U4sac4nrea88tnr9CypY0Xc4jHSJIghBAGOnoUPvgAli4FPz/45hto0ODZ19n7\nuQz3ku5x895NbiTc4EbCDW4m/PP1g5tC4e3uTXGP4hRzL0Yxj2Jcv5iP0aM1pk+HvHlhyBD9iO5c\nMqtgl6SYkhBCGKhCBViyBLZt0xc3NmwIrVrp5Z6rVHnydfZ+LkMOlxx4unimeXfEiRMwZDjMmqWf\nizF6tF7/IKNnYQjHJctPhRDiEXXq6KcWzp8PR45A1arQqBEsXAiJiY8//9FzGBz1XIZjx6BbNz1Z\nWrtWr5x4+rQ+giAJQtYkSYIQQqRC0+D11/UkYfZsvWBQx45QogR88gmcO/fPc0NDQzGZTP/f3v3H\nyFGeBxz/PlB+FYJJTY4ckEB8QPiNazdtjQ9DAROokNueRcmBGkKUtCFESonaRPmjav4IdRq1KIRi\n0kKIIA1HW+lISNXKCJvI8vGrPUNIUwgohwHDYRNATm2cBttv/5hx2TvP7e3u3ezOnr8faXTa2Xd2\n3sfPzc3jmdn3ZcGCBSxdupTh4eHOdbxJKcFjj8FVV2XDVj/0EHz96zA2lo1O6a2F/Zu3GySpjoMP\nhquvzpYf/Qi+8Y1s5MYbb4TLL4frroNLLump1DMIjfjxj+Gee+Dee7OC4IQT4Lbb4GMfg0OmnvFa\n+5nSriRExAkRcUdEjEXEWxHxXER8KSK6Y5xRSZrkrLPg1lvh5Zdh9Wp44QW47DI4+eTsa5Q1U0ZU\n0vPPw6pVcPbZ2TMWt92WPXexbh389KfZCJQWCKpV5u2GU4EAPgmcDtwAfAq4scR9SlLp3vWu7IT6\nxBPZlMhLl2a3IPr6stEbP/EJGBrKvlrZaePjcMstcO65sGABfPnLcMYZcP/98OqrcPvt2Tc4ypz0\nSt2rtNsNKaU1wJqaVZsi4m/ICoXPl7VfSWqXCFiyJFtuuSWbG2Lt2mz55jezNmeemT30ePHFsGwZ\nHHlkef157TUYHZ24vPgiHHQQXHppdnthxQofQlTj2v1MwlHAG23epySVbt687AS8YkX2enw8u4y/\ndi3cdx/cfHP2v/Wzzsru/x9//L7LccfBYYcVf/6ePfDWW7B9ezZS5Pbt2W2P2oJg8+as7VFHwaJF\ncOWV2XgPy5dXc8hpVV/bioSIOAn4DPC5du1Tkjqlt/edBx5Tyu75r137zsl8/frs55tvTtxu/nw4\n9thsm73FwI4dWYFQ5N3vzgqCq67KCoLFi7PbCp2e3VJzQ9NFQkSsAr5Qp0kCTkspPVuzzXHAvwP/\nlFK6c7p93HDDDcybN2/CusHBQQYHB5vtriR1XAScdFK2TLZjR3ZFYPPmd5aXX86uOhx+OBxxxNQ/\ne3qyqxIWBPufoaEhhoaGJqzbtm3brO+n6WGZI2I+MH+aZmMppV15+2OBh4CHU0rXTvPZDsssSVIL\nKjEsc0rpdeD1RtrmVxDWAf8BfLzZfUmSpM4p7ZmEiOgFfgBsIvs2Q0/k18RSShX4YpAkSaqnzAcX\nLwEW5MveAUyD7JkFv5ErSVLFlTaYUkrprpTSgZOWA1JKFgiSJHUBJ3iSJEmFLBIkSVIhiwRJklTI\nIkGSJBWySJC0jy1bttDf309fXx/9/f1s3bq1011Sjarmp6r9UussEiTtY+XKlYyMjDA2NsbIyAgD\nAwOd7pJqVDU/Ve2XWmeRIGkf4+PjdV+rs6qan6r2S62zSJC0j97e3rqv1VlVzU9V+6XWtW2qaEnd\nY3h4mIGBAcbHx+nt7WV4eLjTXVKNquanqv1S6ywSJO2jp6eHDRs2dLobmkJV81PVfql13m6QJEmF\nLBIkSVIhiwRJklTIIkGSJBWySJAkSYUsEiRJUiGLBEmSVMgiQZIkFbJIkCRJhSwSJElSIYsESZqj\ntmzZQn9/P319ffT397N169ZOd0ldxiJBkuaolStXMjIywtjYGCMjIwwMDHS6S+oyFgmSNEeNj4/X\nfS1NxyJBkuao3t7euq+l6ThVtCTNUcPDwwwMDDA+Pk5vby/Dw8Od7pK6jEWCJM1RPT09bNiwodPd\nUBfzdoMkSSpUapEQEd+LiBciYmdEvBIRd0eEN8UkSeoCZV9JWAdcAZwCDAB9wL+UvE9JkjQLSn0m\nIaV0c83LlyLiK8B9EXFgSml3mfuWJEkz07ZnEiLi14CrgRELBEmSqq/0IiEivhIR24GfAe8Dfr/s\nfUqSpJlrukiIiFURsafOsjsiTqnZ5KvAQmA5sBv49iz1XZIklShSSs1tEDEfmD9Ns7GU0q6CbY8D\nXgKWpJQeK3h/ETC6bNky5s2bN+G9wcFBBgcHm+qrJElz0dDQEENDQxPWbdu2jfXr1wMsTiltnI39\nNF0kzGhnEe8HNgEXpJTWF7y/CBgdHR1l0aJFbeuXJEndbuPGjSxevBhmsUgo7ZmEiPhQRFwfEedE\nxPsj4kLgHuA54JGy9itJapzTSaueMh9c3Ek2NsKDwDPA7cCTZFcR3i5xv5KkBjmdtOopbZyElNJ/\nAReV9fmSpJlzOmnV49wNkrQfczpp1eMskJK0H3M6adVjkSBJ+zGnk1Y93m6QJEmFLBIkSVIhiwRJ\nklTIIkGSJBWySJAkSYUsEiRJUiGLBEmSVMgiQZIkFbJIkCRJhSwSJElSIYsESZJUyCJBkiQVskiQ\nJEmFLBIkSVIhiwRJklTIIkGSJBWySJAkSYUsEiRJUiGLBEmSVMgiQZIkFbJIkCRJhSwSJElSIYsE\nSZJUyCJBkiQVskgo2dDQUKe7MGvmUixgPFU2l2IB46myuRRLGdpSJETEwRHxZETsiYiz27HPqphL\nv4BzKRYwniqbS7GA8VTZXIqlDO26kvBVYDOQ2rQ/SZI0Q6UXCRFxGbAc+DMgyt6fJEmaHb9S5odH\nxDHAPwArgJ1l7kuSJM2uUosE4FvA6pTSExFxQgPtDwV4+umny+1VG23bto2NGzd2uhuzYi7FAsZT\nZXMpFjCeKptLsdScOw+drc+MlJp7TCAiVgFfqNMkAacBlwJXAOenlPZExInAGLAwpfTUFJ99FfCd\npjokSZJqXZ1Sumc2PqiVImE+MH+aZs8D/wxcPmn9gcAu4DsppWun+OwPA5uAXzTVMUmS9m+HAicC\na1JKr8/GBzZdJDT8wRHHA0fWrDoWWAOsBB5PKb1Syo4lSdKsKO2ZhJTS5trXEbGD7NsNYxYIkiRV\nX7tHXHScBEmSukRptxskSVJ3c+4GSZJUyCJBkiQVanuREBHXR8TzEbEzIh6NiA9N0/6KiHg6b//D\nfJjnymgmnoi4Jp/kanf+c09EvNXO/k4lIs6LiPsj4uW8Xysa2OaCiBiNiF9ExLMRcU07+tqIZuOJ\niPNrcrKnJk897epznb59MSIej4ifR8SWiLgvIk5pYLvKHTutxFLx4+ZT+b/ttnx5OCIunWabyuVl\nr2bjqXJuJst/9/ZExE3TtKtsfmo1Es9s5KetRUJEXAn8LfCXwK8DPwTWRMTRU7RfAtwD3A4sBL4L\nfDciTm9Pj+trNp7cNuC9NUsjI1G2w+HAk8D1NPCAaT441r8Ca4FzgJuBOyJieXldbEpT8eQScDLv\n5KY3pbS1nO415TzgFuC3gIuBg4AHIuKwqTao8LHTdCy5qh43L5ENLrc4X9YB34uI04oaVzgvezUV\nT66qufl/+X/ePkn2N7peu6rnB2g8ntzM8pNSatsCPArcXPM6yGaH/PwU7e8F7p+07hGyoZ7b2vdZ\niuca4I1O97uBuPYAK6Zp89fAU5PWDQH/1un+txjP+cBu4MhO97eBeI7OY+qv06bSx06TsXTFcVPT\n39eBa7s5L03EU/ncAEcAPwEuBB4CbqrTtvL5aTKeGeenbVcSIuIgssp07d51KYviQWDJFJstyd+v\ntaZO+7ZpMR6AIyJiU0S8GBGVq1Cb8NtUNDczEMCTEfFKRDwQEed2ukNTOIrsqscbddpU9tiZpJFY\noAuOm4g4ICI+Avwq2YmlSLfkpdF4oPq5uRX4fkppXQNtuyE/zcQDM8xPO283HE02LPOWSeu3kF0C\nKfLeJtu3Uyvx/AT4ONmsmFeT/fs/HBHHldXJEk2VmyMj4pAO9GemxoE/IRsRdIDssusPImJhR3s1\nSUQE8DVgQ0rpv+s0rfKxAzQVS6WPm4g4MyL+B/hfYDXwBymlZ6Zo3g15aSaequfmI2S3Db7Y4CaV\nzk8L8cw4P2XPAtmIoLlBlppt325T9i+l9CjZLYqsYcQjwNPAH5M919DtIv9Z5fwUSik9Czxbs+rR\niOgDbiC7ZFcVq4HTgaUtbFu1Y6ehWLrguHmG7Lmco8iKzLsjYlmdE+tkVctLw/FUOTeRTQ3wNWB5\nSuntmXwUFchPK/HMRn7aWST8jOye7zGT1vewb+W216tNtm+nVuKZIKW0KyKeAE6a5b61w1S5+XlK\n6Zcd6E8ZHqe1k3EpIuLvgN8FzkspjU/TvMrHTrOxTFC14yaltItshluAjRHxm8BngesKmlc6L9B0\nPPtsW6HcLAbeA4zmV60gu/q7LCI+AxyS3yKuVeX8tBLPBK3kp223G/LKZxS4aO+6PNCLgIen2OyR\n2va55dS/P9YWLcYzQUQcAJxJdqm72xTl5hIqkJtZtJCK5CY/qf4e8DsppRcb2KSyx04LsUzevurH\nzQHAVLfcKpuXOurFM0HFcvMgcBbZcXxOvvwn8I/AOVOcUKucn1bimaCl/LT5qcw/BHYCHwVOBf6e\n7MnZ9+Tv3w38VU37JcAvgc8BHwS+RDaF9OmdfsK0xXj+guwX7gNkX5kcAnYAp1YglsPzX7qFZE+b\n/2n++n35+6uAu2ranwhsJ/uWwweBT+e5urjTsbQYz2fJ7tv1AWeQXdZ7G7igArGsBt4k+/rgMTXL\noTVt7uqGY6fFWKp83NwI9JN9rezM/PdqF3Bh/n63/U1rNp7K5maK+CZ8G6BbjpsZxDPj/HQiqE8D\nm8hOro8Av1Hz3jrgzkntV5LdI9sJPAV8uNOJaTUe4Cbg+bztK8D3gbM7HUPet/PJTqa7Jy135u9/\nC1hXsM1oHs9zwB91Oo5W4wH+PI9hB/Aa2bdWlnU6jrxvRXHsBj461e9avq5yx04rsVT8uLmD7NL8\nTrJL1Q+Qn1C7KS+txlPl3EwR3zomnlS7Kj/NxjMb+XGCJ0mSVMi5GyRJUiGLBEmSVMgiQZIkFbJI\nkCRJhSwSJElSIYsESZJUyCJBkiQVskiQJEmFLBIkSVIhiwRJklTIIkGSJBX6P5UNtdQqO94+AAAA\nAElFTkSuQmCC\n",
      "text/plain": [
       "<matplotlib.figure.Figure at 0x7fb97053b690>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "model = fit_polynomial(x, y, 8)\n",
    "p_y = apply_polynomial(model, x)\n",
    "plt.plot(f_x, f_y)\n",
    "plt.plot(x, y, 'k.')\n",
    "plt.plot(x, p_y)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Ćwiczenie 1 [2 pkt]\n",
    "\n",
    "W idealnym świecie mielibyśmy dostęp do procesu generowania danych i moglibyśmy znaleźć optymalny model (a przynajmniej wybrać stopień wielomianu w regresji liniowej) oraz oszacować jego bias i variance.\n",
    "\n",
    "1. Napisz kod, który dla ustalonego stopnia wielomianu ($K$) liczy bias, variance oraz MSE tego modelu (wielkości te estymujemy podobnie jak w ćwiczeniu 0.).\n",
    "\n",
    "2. Dla jakich wartości $K$ można powiedzieć że mamy model \"High variance/low bias\"?\n",
    "\n",
    "3. Jaka wartość $K$ daje minimum błędu MSE?\n",
    "\n",
    "Jeśli macie Państwo problem z wymyśleniem wzoru na powyższe wielkości, proszę jeszcze raz przeczytać ze zrozumieniem sekcję o rozkładzie błędu. Kluczowe jest to, że bias liczymy średnio po różnych zestawach danych $D$ - czym są w tym wypadku dane $D$? Jak zrobić kilkadziesiąt/set różnych takich zestawów? Czy rozmiar danych $D$ może ulegać zmianie? (jeśli nie, to proszę ustawić go np. na 43 lub inną liczbę tego rzędu).\n",
    "\n",
    "Oczekiwany wynik (z dokładnością do wartości) - poziomo $K$, pionowo bias/variance/MSE: \n",
    "\n",
    "<img src=\"figures/L5/L5_1_wynik.png\">\n",
    "\n",
    "Uwagi/wskazówki:\n",
    "\n",
    "* Proszę użyć zakresu K od 0 do 10 (nie od 0 do 15 jak na obrazku)\n",
    "* Proszę użyć zbioru testowego o rozmiarze 100. Zbiór testowy powinien być pobrany bez szumu (z użyciem funkcji \"f\")\n",
    "* Potrzebne wzory można znaleźć też w Bishop - Pattern recognition and Machine Learning, str. 151, 3.45, 3.46, 3.47. Tutaj dla wygody je kopiujemy:\n",
    "\n",
    "$L$ - liczba różnych zbiorów trenujących <br>\n",
    "$N$ - liczba przykładów w zbiorze testującym <br>\n",
    "$h(x_{n})$ - wartość prawdziwa <br>\n",
    "$$ \\overline{y}(x) = \\frac{1}{N} \\sum_{l=1}^{L} y^{(l)}(x) $$\n",
    "$$ bias^2 = \\frac{1}{N} \\sum_{n=1}^{N} \\{ \\overline{y}(x_{n}) - h(x_{n})   \\}^{2}  $$\n",
    "$$ variance = \\frac{1}{N} \\sum_{n=1}^{N} \\frac{1}{L} \\sum_{l=1}^{L} \\{ y^{(l)}(x_n) - \\overline{y}(x_{n}) \\}^{2} $$\n",
    "\n",
    "* Proszę użyc zbiorów trenujących (do uczenia $y^{(l)}$) o rozmiarze 20. Proszę wytrenować $N=200$ takich funkcji.\n",
    "* MSE proszę policzyć \"empirycznie\", czyli dla każdego K wykonując:\n",
    "\n",
    "```\n",
    "model = fit_polynomial(X_train, y_train, k)\n",
    "y_pred = apply_polynomial(model, X_test)\n",
    "mse = ...\n",
    "```"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "# for k in range(0, 10):\n",
    "#     ...\n",
    "#     model = fit_polynomial(...)\n",
    "#     bias = ...\n",
    "#     variance = ...\n",
    "#     mse = ...\n",
    "# Plot"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Poziom 2 wtajemniczenia\n",
    "\n",
    "Ref: https://en.wikipedia.org/wiki/Estimator, http://blog.evjang.com/2016/09/variance-reduction-part1.html\n",
    "\n",
    "Mówiliśmy o błędzie modelu oraz estymatora całkowitego kosztu. Bias-variance dilemma dotyczy **dowolnej** estymacji!\n",
    "\n",
    "Przykłady:\n",
    "\n",
    "* $mean(x_1, \\ldots, x_n) = \\overline{x} = \\frac{1}{n} \\sum x_i$ - estymacja średniej z próby,\n",
    "* $s^2(x_1, \\ldots, x_n) = \\frac{1}{n-1} \\sum (x_i - \\overline{x})^2$ - estymacja wariancji z próby.\n",
    "\n",
    "Wtedy także zachodzi ($\\hat{\\theta}$ - oznaczenie estymatora):\n",
    "\n",
    "$MSE(\\hat{\\theta}(X)) = var(\\hat{\\theta}) +  (B(\\hat{\\theta}))^2$\n",
    "\n",
    "(Uwaga dodatkowa: powyższe estymatory to tzw. estymatory nieobciążone, w ich wypadku można wykazać, że bias wynosi zero, natomiast variance maleje wraz ze wzrostem liczby przykładów w próbie; ale możemy też wziąć obciążony estymator wariancji $s^2(x_1, \\ldots, x_n) = \\frac{1}{n} \\sum (x_i - \\overline{x})^2$ - wtedy średnio podaje on nieprawdziwą wartość, czyli bias $>0$).\n",
    "\n",
    "Estymatorem też są dowolne metody Monte Carlo, np. estymujące prawdopodobieństwo wygrania w Monty Hall lub powierzchnie figury. Podobnie jak w machine learningu, istnieją sposoby zmniejszenia wariancji. Np. w metodach Monte Carlo estymujących wartość funkcji można samplować nie losowe punkty, ale pary punktów na przeciwko siebie względem środka.\n",
    "\n",
    "<img width=300 src=\"figures/L5/mc_target.png\">\n",
    "<img width=300 src=\"figures/L5/mc_norm.png\">\n",
    "<img width=300 src=\"figures/L5/mc_ant.png\">"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Cross validation\n",
    "\n",
    "Wróćmy teraz do rzeczywistości - nie mamy możliwości sztucznego dolosowywania danych, mamy tylko jeden zbiór $D$ i musimy przy jego pomocy nauczyć model oraz wyestymować jego skuteczność.\n",
    "\n",
    "Rozważany wcześniej estymator ``Empirical loss`` ma dużą wariancję, ponieważ rozmiar zbioru testowego (oznaczany zgodnie z powyższymi uwagami przez $N$) jest stosunkowo mały, a w związku z tym jest duża szansa, że \"pechowo\" źle się dobrał. Z drugiej strony zwiększenie rozmiaru zbioru testowego sprawi, że zmniejszy się rozmiar zbioru trenującego, przez co gorzej się nauczymy. \n",
    "\n",
    "Aby zmniejszyć wariancję estymatora, możemy wylosować kilka podziałów i uśrednić. W wypadku cross validation robimy jeden duży podział - dzielimy cały zbiór na $k$ rozłącznych podzbiorów i potem $k$ razy zbiór trenujący składamy z $k-1$ kawałków, a ostatniego używamy jako zbiór testowy. Dzięki temu każdy element $D$ będzie dokładnie raz w zbiorze testowym.\n",
    "\n",
    "<img src=\"figures/L3/K-fold_cross_validation_EN.jpg\">\n",
    "\n",
    "Szczególnym przypadkiem jest podejście leave one out, gdzie zbiór testowy jest zawsze jednoelementowy ($k$ jest równe liczbie przykładów)."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Cwiczenie 2 [1 pkt]\n",
    "\n",
    "Im więcej podziałów w Cross Validation tym mniejczy czy większy variance **estymatora**? A jak zmienia się jego bias? Odpowiedź uzasadnij."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Regularyzacja\n",
    "\n",
    "Przez regularyzację rozumiemy faworyzowanie \"prostszych\" hipotez w ramach danego zbioru hipotez (modelu). Mówiąc inaczej, regularyzacja zwiększa bias kosztem wariancji, a więc jej stosowanie ma sens tylko wtedy, gdy przypuszczamy, że to wariancja jest dominującym składnikiem błędu całkowitego.\n",
    "\n",
    "Przykładami regularyzacji są:\n",
    "* L1/L2 - \"prostsze\" hipotezy to te o małych wagach,\n",
    "* zmniejszenie wymiaru wielomianu w regresji liniowej."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Regularyzacja - podejście \"praktyczne\"\n",
    "\n",
    "Chcemy uniemożliwić regresji dopasowanie wielomianu zbyt idealnie do danych treningowych (patrz wykres overfitted_model). Nie chcemy sztucznie ograniczać wymiaru wielomianu. Sensowne wydaje się ograniczenie norm wag:\n",
    "\n",
    "$$ C(M) = \\sum_i ( f(\\mathbf{x_i}) - y_i)^2 + \\lambda ||\\mathbf{w}||_2^2 $$\n",
    "\n",
    "Ograniczenie wag sprawi, że wyliczony przez regresję wielomian będzie miał łagodniejszy przebieg i tym samym mniej zoverfituje."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Kontury funkcji kosztu\n",
    "\n",
    "Poziomice C(M), osobno dla 2 członów (MSE oraz regularyzacja). Prawy wykres to L1, lewy to L2.\n",
    "\n",
    "<img width=600 src=\"figures/L5/cont.png\">"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Regularyzacja a podejście Bayesowkie\n",
    "\n",
    "W rozumieniu Bayesowskim regularyzacja L1/L2 odpowiada wzięciu a priori rozkładu na wagach $\\mathbf{w}$, który faworyzuje wagi o normie bliskiej zero. Jeśli nasz prior odpowiada rzeczywistości, to błąd na zbiorze testującym będzie niższy niż w przypadku, kiedy nie stosujemy regularyzacji.\n",
    "\n",
    "Faktycznie - w rzeczywistości często opisywane funkcjami zjawiska są wytłumaczalne przez małą ilość zmiennych, dlatego regularyzacja L1 bywa skuteczna. Cały problem polega na tym, że nie wiemy, które cechy są istotne, więc do modelu podajemy jak najpełniejszy opis (długi wektor cech), natomiast model z regularyzacją L1 wybiera za nas (i jednocześnie waży!) te najistotniejsze."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Cwiczenie 3 [1 pkt]\n",
    "\n",
    "Pokaż, że logposterior ($log p(\\theta | X, y)$) dla regresji liniowej ma taką postać jak $C(M)$."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Inne przykłady regularyzacji\n",
    "\n",
    "* Model najbliższych sąsiadów (k-NN)\n",
    "\n",
    "* Estymacja gęstości (szerokość jądra funkcji bazowych)\n",
    "\n",
    "* Dropout w sieciach neuronowych"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 2",
   "language": "python",
   "name": "python2"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 2
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython2",
   "version": "2.7.11"
  },
  "toc": {
   "toc_cell": false,
   "toc_number_sections": true,
   "toc_threshold": 6,
   "toc_window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 0
}