Leçon 3 - Restructuration et validation des données par rapport à un schéma en utilisant Python et whyqd.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# _Leçon 3_: Restructuration et validation des données par rapport à un schéma en utilisant Python et _whyqd_.\n",
    "\n",
    "<div class=\"alert alert-block alert-warning\">\n",
    "    <b>A la fin de la formation, vous pourrez:</b>\n",
    "    <br>\n",
    "    <ul>\n",
    "        <li>Exécuter des techniques d'analyse et de codage, en utilisant le paquet Whyqd data wrangling, pour créer une méthode \n",
    "            structurée, formatée en JSON, pour restructurer les données dans un schéma standard.</li>\n",
    "        <li>Ecrire et utiliser des fonctions modulaires pour valider automatiquement les fichiers de données par rapport à un \n",
    "            schéma défini en utilisant Python.</li>\n",
    "        <li>Appliquer les techniques de publication ouverte des données pour préparer les données, les schémas et les résultats\n",
    "            de validation en vue de leur publication.</li>\n",
    "    </ul>\n",
    "</div>\n",
    "\n",
    "---"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 3.1 Restructuration manuelle et automatisée des données\n",
    "\n",
    "Les progrès de l'automatisation des logiciels semblent si peu exceptionnels qu'il est légitime de se demander pourquoi un ordinateur \n",
    "ne peut pas prendre une feuille de calcul en désordre et la nettoyer pour vous sans aucune supervision. \n",
    "\n",
    "Les systèmes autonomes sont bons pour répéter des tâches structurées, mais moins capables de réaliser des tâches non structurées où \n",
    "le contexte, le sens et l'interprétation sont importants. Un ordinateur ne peut toujours pas vraiment _comprendre_ l'intention \n",
    "derrière une conversation et un récit. Les tableurs sont structurés à la fois visuellement et textuellement mais contiennent \n",
    "souvent peu d'informations dans leur construction pour expliquer pourquoi ils ont été créés ou ce que les données représentent.\n",
    "\n",
    "Cela ne veut pas dire qu'un système informatique ne peut pas - en fin de compte - trouver un sens, mais l'ampleur du travail à \n",
    "accomplir peut être bien plus importante que la valeur de ce travail.\n",
    "\n",
    "![Feuille de calcul tutoriel](images/tutorial-1-2.jpg)\n",
    "\n",
    "L'analyse textuelle, à l'aide de moteurs de recherche comme Google ou Bing, permet d'identifier les termes utilisés dans \n",
    "les en-têtes de tableaux ou les références. Le hachage du fichier (une méthode mathématique de production d'une courte chaîne \n",
    "de caractères à partir du modèle de chaîne du fichier lui-même) peut identifier ce fichier de manière unique et le faire \n",
    "correspondre à l'endroit où des copies exactes peuvent être référencées en ligne.\n",
    "\n",
    "Voici un exemple de hachage :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'a9da3340c48f5dcb0bf6ec3f6c6f46afefc6262f49c2b9ab75983cc44e5c1808'"
      ]
     },
     "execution_count": 1,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import hashlib\n",
    "\n",
    "# Le Conte de deux cités, Charles Dickens (1859)\n",
    "text = \"\"\"It was the best of times, it was the worst of times, it was the age of wisdom, \n",
    "          it was the age of foolishness, it was the epoch of belief, it was the epoch of \n",
    "          incredulity, it was the season of Light, it was the season of Darkness, it was \n",
    "          the spring of hope, it was the winter of despair, we had everything before us, \n",
    "          we had nothing before us, we were all going direct to Heaven, we were all going \n",
    "          direct the other way – in short, the period was so far like the present period, \n",
    "          that some of its noisiest authorities insisted on its being received, for good \n",
    "          or for evil, in the superlative degree of comparison only.\"\"\"\n",
    "\n",
    "# Produire un hachage du texte encodé en sha256\n",
    "hashlib.sha256(text.encode('utf-8')).hexdigest()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Ces connexions - hachage, analyse textuelle - pourraient ensuite être utilisées pour rassembler des métadonnées supplémentaires afin \n",
    "d'aider à l'interprétation automatisée. Un système suffisamment complexe peut faire une approximation raisonnable des données \n",
    "restructurées, avec une explication codée des décisions qu'il a prises.\n",
    "\n",
    "Cela peut être fait. Mais cela _ne devrait pas être nécessaire_ !\n",
    "\n",
    "Tout ce cours existe parce que les données sont délibérément stockées dans des formats non accessibles. Parfois, cela se produit \n",
    "parce que l'on croit sincèrement - mais de manière mal informée - que les données structurées par l'homme sont \"plus faciles\" à lire. \n",
    "Parfois, il s'agit d'un acte délibéré de sabotage : rendre les données inaccessibles tout en permettant de prétendre qu'elles sont \n",
    "techniquement lisibles. \n",
    "\n",
    "Au cas où vous penseriez que c'est une farce, j'ai reçu un jour une impression de 200 pages d'une feuille de calcul scannée au format \n",
    "PDF, dont la police de caractères des données était si petite et tachée qu'elle était presque illisible. Le propriétaire des données \n",
    "avait perdu un procès et avait été obligé de publier.\n",
    "\n",
    "Les professionnels des données doivent travailler avec les données telles qu'elles sont, non pas comme nous le souhaiterions, mais - avant \n",
    "de poursuivre - prendre un moment pour réfléchir au temps et aux efforts qui seraient économisés, à l'ingéniosité qui serait consacrée à\n",
    "des activités plus bénéfiques, si nos données sources étaient d'abord placées dans un format structuré et exploitable par une machine.\n",
    "\n",
    "---\n",
    "\n",
    "## 3.2 Restructuration des données vérifiables avec _whyqd\n",
    "\n",
    "L'avantage de la restructuration dérivée des logiciels est que vous pouvez - avec un minimum d'effort - réutiliser votre code et \n",
    "l'appliquer à d'autres feuilles de calcul qui peuvent avoir des problèmes similaires. Au fil du temps, vous développerez toute une \n",
    "série de scripts pour vous aider. Mieux encore, vous pouvez partager vos scripts avec d'autres personnes pour les aider également et \n",
    "pour prouver que vos données restructurées n'ont pas introduit d'erreurs bizarres.\n",
    "\n",
    "Cette deuxième partie est essentielle pour la probité des données, pour assurer une piste d'audit depuis la source jusqu'à vos données\n",
    "finales utilisées dans l'analyse. Lorsque le travail manuel dans Excel signifie qu'il est souvent impossible de retracer les erreurs \n",
    "sans refaire votre travail, le code peut être lu. Tout le monde peut suivre les décisions prises dans votre code, exécuter ce code\n",
    "et vérifier si la sortie est dérivée de l'entrée et si votre code contient des erreurs.\n",
    "\n",
    "Cependant, tout le monde ne peut pas lire le code. [whyqd](https://whyqd.readthedocs.io/en/latest/) est un paquet Python conçu pour\n",
    "faciliter la restructuration, tout en fournissant un enregistrement vérifiable de la manière dont cette restructuration a été \n",
    "effectuée :\n",
    "\n",
    "> __whyqd__ fournit une méthode intuitive pour restructurer des données désordonnées afin de les rendre conformes à un schéma de \n",
    "métadonnées standardisé. Il aide les gestionnaires de données et les chercheurs qui cherchent à normaliser rapidement et de manière\n",
    "continue les feuilles de calcul en désordre en suivant une série d'étapes simples. Une fois cette opération terminée, vous pouvez\n",
    "importer les données nettoyées dans des systèmes d'analyse plus complexes ou des outils de préparation de données complets.\n",
    "\n",
    "Divulgation complète : j'ai également rédigé et assuré la maintenance du logiciel, qui est utilisé sur [Sqwyre.com](https://sqwyre.com) \n",
    "où nous importons des centaines de fichiers sources de données désordonnés par mois et les restructurons en une seule base de données.\n",
    "\n",
    "Avant d'utiliser ce paquet, vérifions s'il y a eu des mises à jour du code depuis que nous l'avons installé pour la première fois. \n",
    "Dans la leçon 1.2.2, nous avons installé `whyqd`, maintenant nous allons le mettre à jour.\n",
    "\n",
    "Dans votre environnement Anaconda, cliquez à gauche sur la \"flèche\" à côté de \"datascience\" et choisissez `Open Terminal`. Assurez-vous\n",
    "que vous cliquez sur le bon environnement ; pas sur `base` ou `root`, mais sur le nom de l'environnement dans lequel vous travaillez : \n",
    "\n",
    "![Terminal Jupyter](images/jupyter-terminal.JPG \"Jupyter terminal\")\n",
    "\n",
    "Une nouvelle fenêtre s'ouvrira avec une invite de commande. Tapez ce qui suit et entrez.\n",
    "\n",
    "    pip install whyqd -U\n",
    "    \n",
    "![Mise à jour du terminal de Jupyter](images/jupyter-terminal-update.jpg \"Mise à jour du terminal de Jupyter\")\n",
    "\n",
    "Le tutoriel suivant est adapté de la documentation de [whyqd's](https://whyqd.readthedocs.io/en/latest/morph_tutorial.html).\n",
    "\n",
    "### 3.2.1 Création d'un schéma\n",
    "\n",
    "L'objectif de votre schéma est non seulement de définir une structure pour vos données, mais aussi de fournir des références et des \n",
    "informations contextuelles à toute personne qui les utilise. Dans un contexte de recherche, les définitions sont essentielles pour\n",
    "éviter toute ambiguïté, assurer la réplication et instaurer la confiance.\n",
    "\n",
    "L'exigence minimale pour un schéma est qu'il ait un `name`, mais nous allons lui donner un `title` et une `description` également,\n",
    "parce que plus d'informations, c'est mieux."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import whyqd as _w\n",
    "schema = _w.Schema()\n",
    "\n",
    "details = {\n",
    "        \"name\": \"human-development-report\",\n",
    "        \"title\": \"UN Human Development Report 2007 - 2008\",\n",
    "        \"description\": \"\"\"\n",
    "        En 1990, le premier rapport sur le développement humain a introduit une nouvelle approche pour\n",
    "        faire progresser le bien-être de l'homme. Le développement humain - ou l'approche du développement humain - consiste à\n",
    "        l'élargissement de la richesse de la vie humaine, plutôt que simplement de la richesse de l'économie dans laquelle\n",
    "        les êtres humains vivent. Il s'agit d'une approche axée sur les personnes, leurs possibilités et leurs choix.\"\"\"\n",
    "}\n",
    "schema = _w.Schema()\n",
    "schema.set_details(**details)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Définissons les champs dans notre schéma et répétons ensuite la liste pour ajouter chaque champ. Vous devriez voir que cela est \n",
    "équivalent à l'exercice de la leçon 1.2.2. `required`, dans les `constraints`, signifie que cette colonne est nécessaire pour \n",
    "assurer la validation des données de destination."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "fields = [\n",
    "    {\n",
    "        \"name\": \"Country Name\",\n",
    "        \"title\": \"Country Name\",\n",
    "        \"type\": \"string\",\n",
    "        \"description\": \"Official country names.\",\n",
    "        \"constraints\": {\n",
    "            \"required\": True\n",
    "        }\n",
    "    },\n",
    "    {\n",
    "        \"name\": \"HDI Category\",\n",
    "        \"title\": \"HDI Category\",\n",
    "        \"type\": \"string\",\n",
    "        \"description\": \"Human Development Index Category derived from the HDI Rank.\",\n",
    "    },\n",
    "    {\n",
    "        \"name\": \"Indicator Name\",\n",
    "        \"title\": \"Indicator Name\",\n",
    "        \"type\": \"string\",\n",
    "        \"description\": \"Indicator described in the data series.\",\n",
    "    },\n",
    "    {\n",
    "        \"name\": \"Reference\",\n",
    "        \"title\": \"Reference\",\n",
    "        \"type\": \"string\",\n",
    "        \"description\": \"Reference to data source.\",\n",
    "    },\n",
    "    {\n",
    "        \"name\": \"Year\",\n",
    "        \"title\": \"Year\",\n",
    "        \"type\": \"year\",\n",
    "        \"description\": \"Year of release.\",\n",
    "    },\n",
    "    {\n",
    "        \"name\": \"Values\",\n",
    "        \"title\": \"Values\",\n",
    "        \"type\": \"number\",\n",
    "        \"description\": \"Value for the Year and Indicator Name.\",\n",
    "        \"constraints\": {\n",
    "            \"required\": True\n",
    "        }\n",
    "    },\n",
    "]\n",
    "for field in fields:\n",
    "    schema.set_field(**field)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<div class=\"alert alert-block alert-info\">\n",
    "    <p>Un <code>schema</code> est un <b>choix</b>. Sa structure est basée sur les décisions que vous devez prendre. Vous pouvez décider \n",
    "        que vous voulez le faire différemment. Il peut y avoir de bonnes raisons pour une approche différente, et il n'y a pas qu'une \n",
    "        seule façon de définir la manière dont les données doivent être structurées. Ce qui <b>est</b> nécessaire, c'est la clarté, la \n",
    "        cohérence et les métadonnées.\n",
    "    </p>\n",
    "</div>\n",
    "\n",
    "À partir de là, nous pouvons accéder à n'importe quel `field` en l'appelant par son `name` et le modifier ensuite comme il convient. \n",
    "Notez que le logiciel a changé les noms que nous avons mis en minuscules et en remplaçant ` `  par `_` :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'name': 'country_name',\n",
       " 'type': 'string',\n",
       " 'constraints': {'required': True},\n",
       " 'title': 'Country Name',\n",
       " 'description': 'Official country names.'}"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "schema.field(\"country_name\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Nous pouvons également enregistrer notre schéma dans un répertoire spécifique :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "True"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "directory = \"data/lesson-programmatic/\"\n",
    "# vous pouvez également spécifier un nom de fichier facultatif\n",
    "# si vous l'omettez, le nom du fichier sera par défaut le nom du schéma\n",
    "filename = \"human-development-report-schema\"\n",
    "# si le fichier existe déjà, vous devrez spécifier \"overwrite=True\" sinon vous obtiendrez une erreur\n",
    "schema.save(directory, filename=filename, overwrite=True)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 3.2.2 Création d'une méthode\n",
    "\n",
    "`Methods` sont la façon dont vous définissez les étapes que `whyqd` doit effectuer pour restructurer vos données et les aligner avec votre `Schema`. Il n'y a pas \n",
    "beaucoup de codage à faire, mais il y a beaucoup de décisions à prendre. \n",
    "\n",
    "Le seul paramètre obligatoire nécessaire lors de la création d'une méthode, est une référence à notre schéma source (celui que nous avons créé ci-dessus). Nous pouvons\n",
    "proposer également un répertoire de travail. Au cours du processus, `whyqd` créera un certain nombre de fichiers de données de travail provisoires, ainsi que votre JSON\n",
    "et vos données de sortie reformattées. Vous devez lui indiquer où travailler, sinon il déposera simplement tout dans le répertoire \n",
    "d'où vous appelez la fonction.\n",
    "\n",
    "Nous pouvons également, lors de l'initialisation, fournir la liste des sources de données :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<style>pre { white-space: pre !important; }</style>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "### Les importations et paramètres suivants vous permettent d'obtenir un large éventail de résultats pour vos tableaux\n",
    "from IPython.core.display import HTML\n",
    "display(HTML(\"<style>pre { white-space: pre !important; }</style>\"))\n",
    "\n",
    "import numpy as np\n",
    "import whyqd as _w\n",
    "\n",
    "SCHEMA_SOURCE = \"data/lesson-programmatic/human-development-report-schema.json\"\n",
    "DIRECTORY = \"data/lesson-programmatic/\"\n",
    "INPUT_DATA = [\n",
    "    \"data/lesson-spreadsheet/HDR 2007-2008 Table 03.xlsx\"\n",
    "]\n",
    "method = _w.Method(SCHEMA_SOURCE, directory=DIRECTORY, input_data=INPUT_DATA)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Ces données seront copiées dans votre répertoire de travail et renommées en un hash `id` unique (similaire au hash présenté précédemment).\n",
    "\n",
    "<div class=\"alert alert-block alert-info\">\n",
    "    <p><b>La probité des données</b> - la capacité à vérifier les données et la méthodologie jusqu'à la source - est essentielle pour la transparence et la reproduction de la recherche. \n",
    "        Vous pouvez vous retrouver avec des centaines de fichiers de même nom dans un seul répertoire sans beaucoup d'informations sur leur provenance, ou \n",
    "        comment ils ont été créés. Des identifiants uniques, référencés dans votre fichier de méthode, sont un moyen plus utile de vous assurer que vous savez à quoi ils servent.\n",
    "    </p>\n",
    "</div>\n",
    "\n",
    "La classe de méthode fournit une aide à chaque étape. Vous pouvez y accéder de cette manière :"
   ]
  },
  {
   "cell_type": "raw",
   "metadata": {},
   "source": [
    "print(method.help())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**whyqd** provides data wrangling simplicity, complete audit transparency, and at speed.\n",
    "\n",
    "To get help, type:\n",
    "\n",
    "    >>> method.help(option)\n",
    "\n",
    "Where `option` can be any of:\n",
    "\n",
    "    status\n",
    "    merge\n",
    "    structure\n",
    "    category\n",
    "    filter\n",
    "    transform\n",
    "\n",
    "`status` retournera le statut de la  method, et les prochaines étapes les plus probables. Les autres options retourneront la méthodologie et le résultat de l'application de cette option (si applicable). L'`error` presentera la trace d'une erreur et essayera de vous guider pour la résolution du problème.\n",
    "\n",
    "Current method status: `Ready to Merge`\n",
    "\n",
    "_whyqd_ ne fait pas d'hypothèse sur nos données. Nous avons ajouté un seul fichier à la méthode, donc il vous suggère de passer à l'étape suivante. Cependant, nous connaissons nos données et nous savons qu'elles ont besoin d'être préparées.\n",
    "\n",
    "L'[API](https://whyqd.readthedocs.io/) de _whyqd_ décrit toutes les fonctions disponibles mais il est utile de se rappeler we vous travaillez sur vos données de façon symbolique plutot que directement. Les fichiers de données peuvent être extrêmement volumineux et et vous pourriez attendre très longtemps à ne rien faire pendant que Python charge ces données et les restructure selon vos instructions. _whyqd_ garde seulement quelques lignes pour vous donner une idée de à quoi ressemble vos données:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "\n",
      "Data id: 9c221d7a-6cee-4388-ad5d-4555b7011b34\n",
      "Original source: data/lesson-spreadsheet/HDR 2007-2008 Table 03.xlsx\n",
      "\n",
      "====  ===============================================  ============  ============  ============================================================  ============  ============  ============  ============  ============  ============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============\n",
      "  ..  Unnamed: 0                                         Unnamed: 1    Unnamed: 2    Monitoring human development: enlarging people's choices …    Unnamed: 4    Unnamed: 5    Unnamed: 6    Unnamed: 7    Unnamed: 8    Unnamed: 9    Unnamed: 10    Unnamed: 11    Unnamed: 12    Unnamed: 13    Unnamed: 14    Unnamed: 15    Unnamed: 16    Unnamed: 17    Unnamed: 18    Unnamed: 19    Unnamed: 20    Unnamed: 21    Unnamed: 22    Unnamed: 23    Unnamed: 24    Unnamed: 25    Unnamed: 26    Unnamed: 27    Unnamed: 28    Unnamed: 29    Unnamed: 30\n",
      "====  ===============================================  ============  ============  ============================================================  ============  ============  ============  ============  ============  ============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============\n",
      "   0  3 Human and income poverty Developing countries           nan           nan                                                           nan           nan           nan           nan           nan           nan           nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan\n",
      "   1  nan                                                       nan           nan                                                           nan           nan           nan           nan           nan           nan           nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan\n",
      "   2  nan                                                       nan           nan                                                           nan           nan           nan           nan           nan           nan           nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan\n",
      "====  ===============================================  ============  ============  ============================================================  ============  ============  ============  ============  ============  ============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============\n",
      "\n"
     ]
    }
   ],
   "source": [
    "print(method.print_input_data())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Vous pouvez voir le problème que nous avons traité dans la leçon 1.2.2. Il ne semble pas y avoir de données. À ce stade, vous pouvez être tenté de commencer à modifier directement le fichier - comme nous l'avons fait à l'époque - et\n",
    "voir ce que vous pouvez corriger, mais notre objectif n'est pas seulement de disposer de données propres, mais aussi d'un dossier vérifiable sur la manière dont vous êtes passé de la source à la fin, qui puisse démontrer les décisions que vous avez prises, et \n",
    "si vous avez été en mesure de conserver toutes les données sources.\n",
    "\n",
    "_whyqd_ propose un ensemble de `morphs` (transformations) qui vous permettent de restructurer des tables individuelles avant de les fusionner. Voyons tous les types de morphs :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['CATEGORISE', 'DEBLANK', 'DEDUPE', 'DELETE', 'MELT', 'REBASE', 'RENAME']"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "method.default_morph_types"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Si vous voulez savoir ce que fait chacun d'entre eux, obtenez leurs paramètres individuels :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'name': 'CATEGORISE',\n",
       " 'title': 'Categorise',\n",
       " 'type': 'morph',\n",
       " 'description': 'Convert row-level categories into column categorisations.',\n",
       " 'structure': ['rows', 'column_names']}"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# A titre d'exemple :\n",
    "method.default_morph_settings(\"CATEGORISE\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "La façon standard d'écrire un morphing est :\n",
    "\n",
    "    [\"NOM_MORPH\", [rows], [columns], [column_names]]\n",
    "\n",
    "La présence des paramètres - lignes, colonnes, noms_de_colonne - est spécifiée dans la structure du type de morphing.\n",
    "\n",
    "- __rows__ : adresse le numéro de ligne du tableau. Ceux-ci resteront immuables, donc le numéro de ligne est le numéro de ligne.\n",
    "- __columns__: ce sont les noms de colonnes réels à ce point du morphing. Ils sont modifiables et changent au fur et à mesure que vous effectuez le morphing.\n",
    "- __column_names__ : ces noms sont facultatifs, mais vous pouvez fournir des noms de racines qui seront utilisés pour créer de nouvelles colonnes.\n",
    "\n",
    "Lorsque vous ajoutez votre premier morphing, whyqd ajoutera automatiquement  `DEBLANK` et `DEDUPE`. L'ordre exact des morphes se fait par essais et erreurs, mais rien n'est fait de façon definitive et vous \n",
    "peut défaire et refaire selon vos besoins.\n",
    "\n",
    "Quelques outils pour vous aider ... `input_dataframe(id)` renvoie la trame de données complète `pandas` pour vos données sources. Il va également exécuter tous les morphes jusqu'à ce point, vous permettant de voir\n",
    "l'impact de votre commande de morphing. Vous pouvez ensuite explorer vos données et déterminer ce que vous devez faire ensuite. Nous n'avons qu'un seul fichier, et plus tôt nous avons l'`id` créé pour \n",
    "référencer ce fichier :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Unnamed: 0</th>\n",
       "      <th>Unnamed: 1</th>\n",
       "      <th>Unnamed: 2</th>\n",
       "      <th>Monitoring human development: enlarging people's choices …</th>\n",
       "      <th>Unnamed: 4</th>\n",
       "      <th>Unnamed: 5</th>\n",
       "      <th>Unnamed: 6</th>\n",
       "      <th>Unnamed: 7</th>\n",
       "      <th>Unnamed: 8</th>\n",
       "      <th>Unnamed: 9</th>\n",
       "      <th>...</th>\n",
       "      <th>Unnamed: 21</th>\n",
       "      <th>Unnamed: 22</th>\n",
       "      <th>Unnamed: 23</th>\n",
       "      <th>Unnamed: 24</th>\n",
       "      <th>Unnamed: 25</th>\n",
       "      <th>Unnamed: 26</th>\n",
       "      <th>Unnamed: 27</th>\n",
       "      <th>Unnamed: 28</th>\n",
       "      <th>Unnamed: 29</th>\n",
       "      <th>Unnamed: 30</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>3 Human and income poverty Developing countries</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>5 rows × 31 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                         Unnamed: 0 Unnamed: 1 Unnamed: 2  \\\n",
       "0  3 Human and income poverty Developing countries         NaN        NaN   \n",
       "1                                               NaN        NaN        NaN   \n",
       "2                                               NaN        NaN        NaN   \n",
       "3                                               NaN        NaN        NaN   \n",
       "4                                               NaN        NaN        NaN   \n",
       "\n",
       "  Monitoring human development: enlarging people's choices … Unnamed: 4  \\\n",
       "0                                                NaN                NaN   \n",
       "1                                                NaN                NaN   \n",
       "2                                                NaN                NaN   \n",
       "3                                                NaN                NaN   \n",
       "4                                                NaN                NaN   \n",
       "\n",
       "  Unnamed: 5 Unnamed: 6 Unnamed: 7 Unnamed: 8 Unnamed: 9  ... Unnamed: 21  \\\n",
       "0        NaN        NaN        NaN        NaN        NaN  ...         NaN   \n",
       "1        NaN        NaN        NaN        NaN        NaN  ...         NaN   \n",
       "2        NaN        NaN        NaN        NaN        NaN  ...         NaN   \n",
       "3        NaN        NaN        NaN        NaN        NaN  ...         NaN   \n",
       "4        NaN        NaN        NaN        NaN        NaN  ...         NaN   \n",
       "\n",
       "  Unnamed: 22 Unnamed: 23 Unnamed: 24 Unnamed: 25 Unnamed: 26 Unnamed: 27  \\\n",
       "0         NaN         NaN         NaN         NaN         NaN         NaN   \n",
       "1         NaN         NaN         NaN         NaN         NaN         NaN   \n",
       "2         NaN         NaN         NaN         NaN         NaN         NaN   \n",
       "3         NaN         NaN         NaN         NaN         NaN         NaN   \n",
       "4         NaN         NaN         NaN         NaN         NaN         NaN   \n",
       "\n",
       "  Unnamed: 28 Unnamed: 29 Unnamed: 30  \n",
       "0         NaN         NaN         NaN  \n",
       "1         NaN         NaN         NaN  \n",
       "2         NaN         NaN         NaN  \n",
       "3         NaN         NaN         NaN  \n",
       "4         NaN         NaN         NaN  \n",
       "\n",
       "[5 rows x 31 columns]"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Utilisez _id, ou une autre variable, puisque `id` est un terme protégé par Python\n",
    "_id = method.input_data[0][\"id\"]\n",
    "df = method.input_dataframe(_id)\n",
    "df.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Si vous arrivez à un point où vous êtes complètement embrouillé, `reset_input_data_morph(id)` supprimera tous les morphes et vous permettra de recommencer :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [],
   "source": [
    "method.reset_input_data_morph(_id)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Je vous encourage à explorer cet ensemble de données et à voir exactement les décisions prises, mais voici mon approche :\n",
    "\n",
    "- Replaçons le tableau au sommet des données réelles :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [],
   "source": [
    "method.add_input_data_morph(_id, [\"REBASE\", 11])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- Nous pouvons nous débarrasser des lignes en dessous de la 144 jusqu'à la fin du tableau. Celles-ci contiennent des métadonnées que vous pouvez conserver et\n",
    "  publier séparément :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [],
   "source": [
    "# On obtient la valeur du dernier élément de l'index, puis on ajoute 1 pour créer l'intervalle\n",
    "rows = [int(i) for i in np.arange(144, df.index[-1]+1)]\n",
    "method.add_input_data_morph(_id, [\"DELETE\", rows])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- Nommons maintenant les colonnes qui restent en fonction de leur nom d'origine. Notez également que les colonnes de référence n'étaient pas étiquetées auparavant :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [],
   "source": [
    "columns = [\n",
    "    \"HDI rank\",\n",
    "    \"Country\",\n",
    "    \"Human poverty index (HPI-1) - Rank\",\n",
    "    \"Reference 1\",\n",
    "    \"Human poverty index (HPI-1) - Value (%)\",\n",
    "    \"Probability at birth of not surviving to age 40 (% of cohort) 2000-05\",\n",
    "    \"Reference 2\",\n",
    "    \"Adult illiteracy rate (% aged 15 and older) 1995-2005\",\n",
    "    \"Reference 3\",\n",
    "    \"Population not using an improved water source (%) 2004\",\n",
    "    \"Reference 4\",\n",
    "    \"Children under weight for age (% under age 5) 1996-2005\",\n",
    "    \"Reference 5\",\n",
    "    \"Population below income poverty line (%) - $1 a day 1990-2005\",\n",
    "    \"Reference 6\",\n",
    "    \"Population below income poverty line (%) - $2 a day 1990-2005\",\n",
    "    \"Reference 7\",\n",
    "    \"Population below income poverty line (%) - National poverty line 1990-2004\",\n",
    "    \"Reference 8\",\n",
    "    \"HPI-1 rank minus income poverty rank\"\n",
    "]\n",
    "method.add_input_data_morph(_id, [\"RENAME\", columns])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- Nous n'avons pas terminé, mais nous pouvons jeter un coup d'œil rapide sur ce que nous avons réalisé jusqu'à présent :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>HDI rank</th>\n",
       "      <th>Country</th>\n",
       "      <th>Human poverty index (HPI-1) - Rank</th>\n",
       "      <th>Reference 1</th>\n",
       "      <th>Human poverty index (HPI-1) - Value (%)</th>\n",
       "      <th>Probability at birth of not surviving to age 40 (% of cohort) 2000-05</th>\n",
       "      <th>Reference 2</th>\n",
       "      <th>Adult illiteracy rate (% aged 15 and older) 1995-2005</th>\n",
       "      <th>Reference 3</th>\n",
       "      <th>Population not using an improved water source (%) 2004</th>\n",
       "      <th>Reference 4</th>\n",
       "      <th>Children under weight for age (% under age 5) 1996-2005</th>\n",
       "      <th>Reference 5</th>\n",
       "      <th>Population below income poverty line (%) - $1 a day 1990-2005</th>\n",
       "      <th>Reference 6</th>\n",
       "      <th>Population below income poverty line (%) - $2 a day 1990-2005</th>\n",
       "      <th>Reference 7</th>\n",
       "      <th>Population below income poverty line (%) - National poverty line 1990-2004</th>\n",
       "      <th>Reference 8</th>\n",
       "      <th>HPI-1 rank minus income poverty rank</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>14</th>\n",
       "      <td>HIGH HUMAN DEVELOPMENT</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>15</th>\n",
       "      <td>21</td>\n",
       "      <td>Hong Kong, China (SAR)</td>\n",
       "      <td>..</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>1.5</td>\n",
       "      <td>e</td>\n",
       "      <td>..</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16</th>\n",
       "      <td>25</td>\n",
       "      <td>Singapore</td>\n",
       "      <td>7</td>\n",
       "      <td>NaN</td>\n",
       "      <td>5.2</td>\n",
       "      <td>1.8</td>\n",
       "      <td>NaN</td>\n",
       "      <td>7.5</td>\n",
       "      <td>NaN</td>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>3</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17</th>\n",
       "      <td>26</td>\n",
       "      <td>Korea (Republic of)</td>\n",
       "      <td>..</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>2.5</td>\n",
       "      <td>NaN</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>8</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>NaN</td>\n",
       "      <td>&lt;2</td>\n",
       "      <td>NaN</td>\n",
       "      <td>&lt;2</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18</th>\n",
       "      <td>28</td>\n",
       "      <td>Cyprus</td>\n",
       "      <td>..</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>2.4</td>\n",
       "      <td>NaN</td>\n",
       "      <td>3.2</td>\n",
       "      <td>NaN</td>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                  HDI rank                 Country  \\\n",
       "14  HIGH HUMAN DEVELOPMENT                     NaN   \n",
       "15                      21  Hong Kong, China (SAR)   \n",
       "16                      25               Singapore   \n",
       "17                      26     Korea (Republic of)   \n",
       "18                      28                  Cyprus   \n",
       "\n",
       "   Human poverty index (HPI-1) - Rank Reference 1  \\\n",
       "14                                NaN         NaN   \n",
       "15                                 ..         NaN   \n",
       "16                                  7         NaN   \n",
       "17                                 ..         NaN   \n",
       "18                                 ..         NaN   \n",
       "\n",
       "   Human poverty index (HPI-1) - Value (%)  \\\n",
       "14                                     NaN   \n",
       "15                                      ..   \n",
       "16                                     5.2   \n",
       "17                                      ..   \n",
       "18                                      ..   \n",
       "\n",
       "   Probability at birth of not surviving to age 40 (% of cohort) 2000-05  \\\n",
       "14                                                NaN                      \n",
       "15                                                1.5                      \n",
       "16                                                1.8                      \n",
       "17                                                2.5                      \n",
       "18                                                2.4                      \n",
       "\n",
       "   Reference 2 Adult illiteracy rate (% aged 15 and older) 1995-2005  \\\n",
       "14         NaN                                                NaN      \n",
       "15           e                                                 ..      \n",
       "16         NaN                                                7.5      \n",
       "17         NaN                                                1.0      \n",
       "18         NaN                                                3.2      \n",
       "\n",
       "   Reference 3 Population not using an improved water source (%) 2004  \\\n",
       "14         NaN                                                NaN       \n",
       "15         NaN                                                 ..       \n",
       "16         NaN                                                  0       \n",
       "17         NaN                                                  8       \n",
       "18         NaN                                                  0       \n",
       "\n",
       "   Reference 4 Children under weight for age (% under age 5) 1996-2005  \\\n",
       "14         NaN                                                NaN        \n",
       "15         NaN                                                 ..        \n",
       "16         NaN                                                  3        \n",
       "17         NaN                                                 ..        \n",
       "18         NaN                                                 ..        \n",
       "\n",
       "   Reference 5 Population below income poverty line (%) - $1 a day 1990-2005  \\\n",
       "14         NaN                                                NaN              \n",
       "15         NaN                                                 ..              \n",
       "16         NaN                                                 ..              \n",
       "17         NaN                                                 <2              \n",
       "18         NaN                                                 ..              \n",
       "\n",
       "   Reference 6 Population below income poverty line (%) - $2 a day 1990-2005  \\\n",
       "14         NaN                                                NaN              \n",
       "15         NaN                                                 ..              \n",
       "16         NaN                                                 ..              \n",
       "17         NaN                                                 <2              \n",
       "18         NaN                                                 ..              \n",
       "\n",
       "   Reference 7  \\\n",
       "14         NaN   \n",
       "15         NaN   \n",
       "16         NaN   \n",
       "17         NaN   \n",
       "18         NaN   \n",
       "\n",
       "   Population below income poverty line (%) - National poverty line 1990-2004  \\\n",
       "14                                                NaN                           \n",
       "15                                                 ..                           \n",
       "16                                                 ..                           \n",
       "17                                                 ..                           \n",
       "18                                                 ..                           \n",
       "\n",
       "   Reference 8 HPI-1 rank minus income poverty rank  \n",
       "14         NaN                                  NaN  \n",
       "15         NaN                                   ..  \n",
       "16         NaN                                   ..  \n",
       "17         NaN                                   ..  \n",
       "18         NaN                                   ..  "
      ]
     },
     "execution_count": 19,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df = method.input_dataframe(_id)\n",
    "df.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- Si vous regardez les données, vous verrez qu'il y a des lignes qui définissent des catégories pour les données qui apparaissent en dessous. Ici, `HIGH HUMAN DEVELOPMENT` est une `HDI Category` et toutes les\n",
    "  Les lignes entre cette ligne et la catégorie suivante `MEDIUM HUMAN DEVELOPMENT` font partie de cette catégorie. Ce que nous devons faire, c'est \"faire pivoter\" ces lignes dans une colonne et attribuer la catégorie\n",
    "  aux données concernées :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "ename": "ValueError",
     "evalue": "Task morph `CATEGORISE` has invalid structure `['rows', 'column_names']`.",
     "output_type": "error",
     "traceback": [
      "\u001b[1;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[1;31mValueError\u001b[0m                                Traceback (most recent call last)",
      "\u001b[1;32m<ipython-input-20-e976575a9113>\u001b[0m in \u001b[0;36m<module>\u001b[1;34m\u001b[0m\n\u001b[0;32m      2\u001b[0m \u001b[0mhdi_categories\u001b[0m \u001b[1;33m=\u001b[0m \u001b[1;33m[\u001b[0m\u001b[1;34m\"HIGH HUMAN DEVELOPMENT\"\u001b[0m\u001b[1;33m,\u001b[0m \u001b[1;34m\"MEDIUM HUMAN DEVELOPMENT\"\u001b[0m\u001b[1;33m,\u001b[0m \u001b[1;34m\"LOW HUMAN DEVELOPMENT\"\u001b[0m\u001b[1;33m]\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m      3\u001b[0m \u001b[0mrows\u001b[0m \u001b[1;33m=\u001b[0m \u001b[0mdf\u001b[0m\u001b[1;33m[\u001b[0m\u001b[0mdf\u001b[0m\u001b[1;33m[\u001b[0m\u001b[1;34m\"HDI rank\"\u001b[0m\u001b[1;33m]\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0misin\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mhdi_categories\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m]\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mindex\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[1;32m----> 4\u001b[1;33m \u001b[0mmethod\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0madd_input_data_morph\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0m_id\u001b[0m\u001b[1;33m,\u001b[0m \u001b[1;33m[\u001b[0m\u001b[1;34m\"CATEGORISE\"\u001b[0m\u001b[1;33m,\u001b[0m \u001b[0mrows\u001b[0m\u001b[1;33m,\u001b[0m \u001b[1;34m\"HDI category\"\u001b[0m\u001b[1;33m]\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0m",
      "\u001b[1;32m~\\Anaconda3\\envs\\calabar\\lib\\site-packages\\whyqd\\method\\method.py\u001b[0m in \u001b[0;36madd_input_data_morph\u001b[1;34m(self, _id, new_morph)\u001b[0m\n\u001b[0;32m   1128\u001b[0m                         \u001b[0minput_source\u001b[0m \u001b[1;33m=\u001b[0m \u001b[0mself\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0m_get_input_data_morph\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0m_id\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m   1129\u001b[0m                 \u001b[0mdf\u001b[0m \u001b[1;33m=\u001b[0m \u001b[0mself\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0minput_dataframe\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0m_id\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[1;32m-> 1130\u001b[1;33m                 \u001b[0minput_source\u001b[0m\u001b[1;33m[\u001b[0m\u001b[1;34m\"morph\"\u001b[0m\u001b[1;33m]\u001b[0m \u001b[1;33m=\u001b[0m \u001b[0mself\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0madd_morph\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mdf\u001b[0m\u001b[1;33m=\u001b[0m\u001b[0mdf\u001b[0m\u001b[1;33m,\u001b[0m \u001b[0mnew_morph\u001b[0m\u001b[1;33m=\u001b[0m\u001b[0mnew_morph\u001b[0m\u001b[1;33m,\u001b[0m \u001b[0mmorph_methods\u001b[0m\u001b[1;33m=\u001b[0m\u001b[0minput_source\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mget\u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;34m\"morph\"\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0m\u001b[0;32m   1131\u001b[0m                 \u001b[0mself\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0m_set_input_data_morph\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0minput_source\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m   1132\u001b[0m \u001b[1;33m\u001b[0m\u001b[0m\n",
      "\u001b[1;32m~\\Anaconda3\\envs\\calabar\\lib\\site-packages\\whyqd\\method\\method.py\u001b[0m in \u001b[0;36madd_morph\u001b[1;34m(self, df, new_morph, morph_methods)\u001b[0m\n\u001b[0;32m   1251\u001b[0m                 \u001b[1;32mif\u001b[0m \u001b[1;32mnot\u001b[0m \u001b[0mmorph\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mvalidates\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mdf\u001b[0m\u001b[1;33m=\u001b[0m\u001b[0mdf\u001b[0m\u001b[1;33m,\u001b[0m \u001b[1;33m**\u001b[0m\u001b[0mparameters\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m:\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m   1252\u001b[0m                         \u001b[0me\u001b[0m \u001b[1;33m=\u001b[0m \u001b[1;34mF\"Task morph `{morph.name}` has invalid structure `{morph.structure}`.\"\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[1;32m-> 1253\u001b[1;33m                         \u001b[1;32mraise\u001b[0m \u001b[0mValueError\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0me\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0m\u001b[0;32m   1254\u001b[0m                 \u001b[0mmorph_settings\u001b[0m \u001b[1;33m=\u001b[0m \u001b[0mmorph\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0msettings\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m   1255\u001b[0m                 \u001b[0mmorph_settings\u001b[0m\u001b[1;33m[\u001b[0m\u001b[1;34m\"id\"\u001b[0m\u001b[1;33m]\u001b[0m \u001b[1;33m=\u001b[0m \u001b[0mstr\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0muuid\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0muuid4\u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n",
      "\u001b[1;31mValueError\u001b[0m: Task morph `CATEGORISE` has invalid structure `['rows', 'column_names']`."
     ]
    }
   ],
   "source": [
    "# Obtenir les indices des lignes de données catégorielles\n",
    "hdi_categories = [\"HIGH HUMAN DEVELOPMENT\", \"MEDIUM HUMAN DEVELOPMENT\", \"LOW HUMAN DEVELOPMENT\"]\n",
    "rows = df[df[\"HDI rank\"].isin(hdi_categories)].index\n",
    "method.add_input_data_morph(_id, [\"CATEGORISE\", rows, \"HDI category\"])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Hmm, nous avons eu une `ValueError` ce qui signifie que nos `rows` ne sont pas ce à quoi on s'attendait. C'est parce que `pandas` ne renvoie pas une `list` mais un `Int64Index`. Corrigeons cela."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "pandas.core.indexes.numeric.Int64Index"
      ]
     },
     "execution_count": 21,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "type(rows)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [],
   "source": [
    "method.add_input_data_morph(_id, [\"CATEGORISE\", list(rows), \"HDI category\"])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- La plupart de ces colonnes sont en fait des indicateurs et peuvent être pivotées en une colonne `Indicator`avec les `Values` assignées dans une seule colonne. C'est ce qu'on appelle un `MELT` :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>HDI rank</th>\n",
       "      <th>Country</th>\n",
       "      <th>Human poverty index (HPI-1) - Rank</th>\n",
       "      <th>Reference 1</th>\n",
       "      <th>Human poverty index (HPI-1) - Value (%)</th>\n",
       "      <th>Probability at birth of not surviving to age 40 (% of cohort) 2000-05</th>\n",
       "      <th>Reference 2</th>\n",
       "      <th>Adult illiteracy rate (% aged 15 and older) 1995-2005</th>\n",
       "      <th>Reference 3</th>\n",
       "      <th>Population not using an improved water source (%) 2004</th>\n",
       "      <th>...</th>\n",
       "      <th>Children under weight for age (% under age 5) 1996-2005</th>\n",
       "      <th>Reference 5</th>\n",
       "      <th>Population below income poverty line (%) - $1 a day 1990-2005</th>\n",
       "      <th>Reference 6</th>\n",
       "      <th>Population below income poverty line (%) - $2 a day 1990-2005</th>\n",
       "      <th>Reference 7</th>\n",
       "      <th>Population below income poverty line (%) - National poverty line 1990-2004</th>\n",
       "      <th>Reference 8</th>\n",
       "      <th>HPI-1 rank minus income poverty rank</th>\n",
       "      <th>HDI category</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>15</th>\n",
       "      <td>21</td>\n",
       "      <td>Hong Kong, China (SAR)</td>\n",
       "      <td>..</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>1.5</td>\n",
       "      <td>e</td>\n",
       "      <td>..</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>...</td>\n",
       "      <td>..</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>HIGH HUMAN DEVELOPMENT</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16</th>\n",
       "      <td>25</td>\n",
       "      <td>Singapore</td>\n",
       "      <td>7</td>\n",
       "      <td>NaN</td>\n",
       "      <td>5.2</td>\n",
       "      <td>1.8</td>\n",
       "      <td>NaN</td>\n",
       "      <td>7.5</td>\n",
       "      <td>NaN</td>\n",
       "      <td>0</td>\n",
       "      <td>...</td>\n",
       "      <td>3</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>HIGH HUMAN DEVELOPMENT</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17</th>\n",
       "      <td>26</td>\n",
       "      <td>Korea (Republic of)</td>\n",
       "      <td>..</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>2.5</td>\n",
       "      <td>NaN</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>8</td>\n",
       "      <td>...</td>\n",
       "      <td>..</td>\n",
       "      <td>NaN</td>\n",
       "      <td>&lt;2</td>\n",
       "      <td>NaN</td>\n",
       "      <td>&lt;2</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>HIGH HUMAN DEVELOPMENT</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18</th>\n",
       "      <td>28</td>\n",
       "      <td>Cyprus</td>\n",
       "      <td>..</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>2.4</td>\n",
       "      <td>NaN</td>\n",
       "      <td>3.2</td>\n",
       "      <td>NaN</td>\n",
       "      <td>0</td>\n",
       "      <td>...</td>\n",
       "      <td>..</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>HIGH HUMAN DEVELOPMENT</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19</th>\n",
       "      <td>30</td>\n",
       "      <td>Brunei Darussalam</td>\n",
       "      <td>..</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>3.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>7.3</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>...</td>\n",
       "      <td>..</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>NaN</td>\n",
       "      <td>..</td>\n",
       "      <td>HIGH HUMAN DEVELOPMENT</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>5 rows × 21 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "   HDI rank                 Country Human poverty index (HPI-1) - Rank  \\\n",
       "15       21  Hong Kong, China (SAR)                                 ..   \n",
       "16       25               Singapore                                  7   \n",
       "17       26     Korea (Republic of)                                 ..   \n",
       "18       28                  Cyprus                                 ..   \n",
       "19       30       Brunei Darussalam                                 ..   \n",
       "\n",
       "   Reference 1 Human poverty index (HPI-1) - Value (%)  \\\n",
       "15         NaN                                      ..   \n",
       "16         NaN                                     5.2   \n",
       "17         NaN                                      ..   \n",
       "18         NaN                                      ..   \n",
       "19         NaN                                      ..   \n",
       "\n",
       "   Probability at birth of not surviving to age 40 (% of cohort) 2000-05  \\\n",
       "15                                                1.5                      \n",
       "16                                                1.8                      \n",
       "17                                                2.5                      \n",
       "18                                                2.4                      \n",
       "19                                                3.0                      \n",
       "\n",
       "   Reference 2 Adult illiteracy rate (% aged 15 and older) 1995-2005  \\\n",
       "15           e                                                 ..      \n",
       "16         NaN                                                7.5      \n",
       "17         NaN                                                1.0      \n",
       "18         NaN                                                3.2      \n",
       "19         NaN                                                7.3      \n",
       "\n",
       "   Reference 3 Population not using an improved water source (%) 2004  ...  \\\n",
       "15         NaN                                                 ..      ...   \n",
       "16         NaN                                                  0      ...   \n",
       "17         NaN                                                  8      ...   \n",
       "18         NaN                                                  0      ...   \n",
       "19         NaN                                                 ..      ...   \n",
       "\n",
       "   Children under weight for age (% under age 5) 1996-2005 Reference 5  \\\n",
       "15                                                 ..              NaN   \n",
       "16                                                  3              NaN   \n",
       "17                                                 ..              NaN   \n",
       "18                                                 ..              NaN   \n",
       "19                                                 ..              NaN   \n",
       "\n",
       "   Population below income poverty line (%) - $1 a day 1990-2005 Reference 6  \\\n",
       "15                                                 ..                    NaN   \n",
       "16                                                 ..                    NaN   \n",
       "17                                                 <2                    NaN   \n",
       "18                                                 ..                    NaN   \n",
       "19                                                 ..                    NaN   \n",
       "\n",
       "   Population below income poverty line (%) - $2 a day 1990-2005 Reference 7  \\\n",
       "15                                                 ..                    NaN   \n",
       "16                                                 ..                    NaN   \n",
       "17                                                 <2                    NaN   \n",
       "18                                                 ..                    NaN   \n",
       "19                                                 ..                    NaN   \n",
       "\n",
       "   Population below income poverty line (%) - National poverty line 1990-2004  \\\n",
       "15                                                 ..                           \n",
       "16                                                 ..                           \n",
       "17                                                 ..                           \n",
       "18                                                 ..                           \n",
       "19                                                 ..                           \n",
       "\n",
       "   Reference 8 HPI-1 rank minus income poverty rank            HDI category  \n",
       "15         NaN                                   ..  HIGH HUMAN DEVELOPMENT  \n",
       "16         NaN                                   ..  HIGH HUMAN DEVELOPMENT  \n",
       "17         NaN                                   ..  HIGH HUMAN DEVELOPMENT  \n",
       "18         NaN                                   ..  HIGH HUMAN DEVELOPMENT  \n",
       "19         NaN                                   ..  HIGH HUMAN DEVELOPMENT  \n",
       "\n",
       "[5 rows x 21 columns]"
      ]
     },
     "execution_count": 23,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df = method.input_dataframe(_id)\n",
    "df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Sélectionnez toutes les colonnes à \"melt\"\n",
    "columns = [\n",
    "    \"HDI rank\",\n",
    "    \"Human poverty index (HPI-1) - Rank\",\n",
    "    \"Human poverty index (HPI-1) - Value (%)\",\n",
    "    \"Probability at birth of not surviving to age 40 (% of cohort) 2000-05\",\n",
    "    \"Adult illiteracy rate (% aged 15 and older) 1995-2005\",\n",
    "    \"Population not using an improved water source (%) 2004\",\n",
    "    \"Children under weight for age (% under age 5) 1996-2005\",\n",
    "    \"Population below income poverty line (%) - $1 a day 1990-2005\",\n",
    "    \"Population below income poverty line (%) - $2 a day 1990-2005\",\n",
    "    \"Population below income poverty line (%) - National poverty line 1990-2004\",\n",
    "    \"HPI-1 rank minus income poverty rank\"\n",
    "]\n",
    "method.add_input_data_morph(_id, [\"MELT\", columns, [\"Indicator Name\", \"Indicator Value\"]])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- De même, les `References` peuvent également être pivotées dans une colonne séparée :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [],
   "source": [
    "columns = [\n",
    "    \"Reference 1\",\n",
    "    \"Reference 2\",\n",
    "    \"Reference 3\",\n",
    "    \"Reference 4\",\n",
    "    \"Reference 5\",\n",
    "    \"Reference 6\",\n",
    "    \"Reference 7\",\n",
    "    \"Reference 8\",\n",
    "]\n",
    "method.add_input_data_morph(_id, [\"MELT\", columns, [\"Reference Name\", \"Reference\"]])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- Ajoutons un dernier `DEBLANK` juste pour être sûr :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [],
   "source": [
    "method.add_input_data_morph(_id, [\"DEBLANK\"])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Obtenez la mise en œuvre actuelle des morphes et jetez-y un coup d'œil :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Country</th>\n",
       "      <th>Indicator Name</th>\n",
       "      <th>Indicator Value</th>\n",
       "      <th>HDI category</th>\n",
       "      <th>Reference Name</th>\n",
       "      <th>Reference</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Hong Kong, China (SAR)</td>\n",
       "      <td>HDI rank</td>\n",
       "      <td>21</td>\n",
       "      <td>HIGH HUMAN DEVELOPMENT</td>\n",
       "      <td>Reference 1</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Singapore</td>\n",
       "      <td>HDI rank</td>\n",
       "      <td>25</td>\n",
       "      <td>HIGH HUMAN DEVELOPMENT</td>\n",
       "      <td>Reference 1</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Korea (Republic of)</td>\n",
       "      <td>HDI rank</td>\n",
       "      <td>26</td>\n",
       "      <td>HIGH HUMAN DEVELOPMENT</td>\n",
       "      <td>Reference 1</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Cyprus</td>\n",
       "      <td>HDI rank</td>\n",
       "      <td>28</td>\n",
       "      <td>HIGH HUMAN DEVELOPMENT</td>\n",
       "      <td>Reference 1</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Brunei Darussalam</td>\n",
       "      <td>HDI rank</td>\n",
       "      <td>30</td>\n",
       "      <td>HIGH HUMAN DEVELOPMENT</td>\n",
       "      <td>Reference 1</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                  Country Indicator Name Indicator Value  \\\n",
       "0  Hong Kong, China (SAR)       HDI rank              21   \n",
       "1               Singapore       HDI rank              25   \n",
       "2     Korea (Republic of)       HDI rank              26   \n",
       "3                  Cyprus       HDI rank              28   \n",
       "4       Brunei Darussalam       HDI rank              30   \n",
       "\n",
       "             HDI category Reference Name Reference  \n",
       "0  HIGH HUMAN DEVELOPMENT    Reference 1       NaN  \n",
       "1  HIGH HUMAN DEVELOPMENT    Reference 1       NaN  \n",
       "2  HIGH HUMAN DEVELOPMENT    Reference 1       NaN  \n",
       "3  HIGH HUMAN DEVELOPMENT    Reference 1       NaN  \n",
       "4  HIGH HUMAN DEVELOPMENT    Reference 1       NaN  "
      ]
     },
     "execution_count": 27,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df = method.input_dataframe(_id)\n",
    "df.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Cool, hein ? Continuons avec l'étape du `merge`. Si nous avions plus d'un fichier de données d'entrée, il faut les regrouper en un seul fichier de données de travail par le biais d'une fusion. \n",
    "_whyqd_ va itérativement joindre les fichiers dans une liste, en ajoutant le 2ème au 1er, puis le 3ème, etc.\n",
    "\n",
    "Ce que nous devons faire, c'est décider de l'ordre, et identifier une colonne qui peut être utilisée pour croiser de manière unique les lignes de chaque fichier et les relier entre elles.\n",
    "\n",
    "Nous n'avons qu'un seul fichier, mais - techniquement - rien ne vous empêche d'ajouter un autre fichier à partir de nos données d'exemple et donc de fusionner deux fichiers ensemble. Je vous propose un exercice. \n",
    "Consultez le [tutoriel whyqd](https://whyqd.readthedocs.io/en/latest/tutorial.html#organise-and-merge-input-data), et lisez l'aide sur la fusion :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "`merge` will join, in order from right to left, your input data on a common column.\n",
      "\n",
      "To add input data, where `input_data` is a filename, or list of filenames:\n",
      "\n",
      "\t>>> method.add_input_data(input_data)\n",
      "\n",
      "To remove input data, where `id` is the unique id for that input data:\n",
      "\n",
      "\t>>> method.remove_input_data(id)\n",
      "\n",
      "Prepare an `order_and_key` list, where each dict in the list has:\n",
      "\n",
      "\t{{id: input_data id, key: column_name for merge}}\n",
      "\n",
      "Run the merge by calling (and, optionally - if you need to overwrite an existing merge - setting\n",
      "`overwrite_working=True`):\n",
      "\n",
      "\t>>> method.merge(order_and_key, overwrite_working=True)\n",
      "\n",
      "To view your existing `input_data`:\n",
      "\n",
      "\t>>> method.input_data\n",
      "\n",
      "\n",
      "Data id: 9c221d7a-6cee-4388-ad5d-4555b7011b34\n",
      "Original source: data/lesson-spreadsheet/HDR 2007-2008 Table 03.xlsx\n",
      "\n",
      "====  ===============================================  ============  ============  ============================================================  ============  ============  ============  ============  ============  ============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============\n",
      "  ..  Unnamed: 0                                         Unnamed: 1    Unnamed: 2    Monitoring human development: enlarging people's choices …    Unnamed: 4    Unnamed: 5    Unnamed: 6    Unnamed: 7    Unnamed: 8    Unnamed: 9    Unnamed: 10    Unnamed: 11    Unnamed: 12    Unnamed: 13    Unnamed: 14    Unnamed: 15    Unnamed: 16    Unnamed: 17    Unnamed: 18    Unnamed: 19    Unnamed: 20    Unnamed: 21    Unnamed: 22    Unnamed: 23    Unnamed: 24    Unnamed: 25    Unnamed: 26    Unnamed: 27    Unnamed: 28    Unnamed: 29    Unnamed: 30\n",
      "====  ===============================================  ============  ============  ============================================================  ============  ============  ============  ============  ============  ============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============\n",
      "   0  3 Human and income poverty Developing countries           nan           nan                                                           nan           nan           nan           nan           nan           nan           nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan\n",
      "   1  nan                                                       nan           nan                                                           nan           nan           nan           nan           nan           nan           nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan\n",
      "   2  nan                                                       nan           nan                                                           nan           nan           nan           nan           nan           nan           nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan            nan\n",
      "====  ===============================================  ============  ============  ============================================================  ============  ============  ============  ============  ============  ============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============  =============\n",
      "\n",
      "\n",
      "Current method status: `Ready to Merge`\n"
     ]
    }
   ],
   "source": [
    "print(method.help(\"merge\"))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Wall time: 7.51 s\n"
     ]
    }
   ],
   "source": [
    "%time method.merge(overwrite_working=True)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Vous verrez que cette étape a peut-être pris un peu plus de temps que vous ne le pensez normalement, simplement parce que les données sont maintenant restructurées et que tous vos changements sont intégrés à un nouveau fichier `working_data`\n",
    "\n",
    "La méthode magique de Jupyter `%time` est un moyen très utile de voir combien de temps prend cette étape. Néanmoins, comparez le temps qu'il a fallu pour écrire quelques commandes et les traiter avec le temps qu'il a fallu\n",
    "vous pouvez copier et coller manuellement les données dans votre feuille de calcul Excel source à la leçon 1.1.\n",
    "\n",
    "L'étape suivante est la `structure`. \n",
    "\n",
    "C'est la partie du processus de nettoyage des données où, selon l'ampleur de votre tâche, vous pouvez utiliser Excel, OpenRefine ou une autre solution commerciale. Ces outils sont en dehors de votre flux de travail ou peuvent potentiellement introduire des erreurs humaines. Ils sont également très limités à l'ensemble de données sur lequel vous travaillez uniquement. Si vous avez 2 fichiers vous devrez faire le travail 2 fois. _whyqd_ est destiné à un traitement qui peut être répéter. L'année prochaine, lorsque ces données\n",
    "sont mises à jour, nous voudrons les importer à nouveau. Cependant, il se peut qu'elle ne soit pas dans le même format puisqu'un être humain a préparé et téléchargé ces données. Cette personne ne connaît pas votre utilisation\n",
    "et ne s'en soucie probablement pas. Peut-être changent-ils le nom de certaines colonnes. Ce sont des changements simples et il suffit d'un petit ajustement de la méthode pour recommencer le processus.\n",
    "\n",
    "C'est le cœur du processus de préparation des données et c'est le processus où vous définissez les `actions` qui doivent être effectuées pour restructurer vos données de travail."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "`structure` is the core of the wrangling process and is the process where you define the actions\n",
      "which must be performed to restructure your working data.\n",
      "\n",
      "Create a list of methods of the form:\n",
      "\n",
      "\t{\n",
      "\t\t\"schema_field1\": [\"action\", \"column_name1\", [\"action\", \"column_name2\"]],\n",
      "\t\t\"schema_field2\": [\"action\", \"column_name1\", \"modifier\", [\"action\", \"column_name2\"]],\n",
      "\t}\n",
      "\n",
      "The format for defining a `structure` is as follows::\n",
      "\n",
      "\t[action, column_name, [action, column_name]]\n",
      "\n",
      "e.g.::\n",
      "\n",
      "\t[\"CATEGORISE\", \"+\", [\"ORDER\", \"column_1\", \"column_2\"]]\n",
      "\n",
      "This permits the creation of quite expressive wrangling structures from simple building\n",
      "blocks.\n",
      "\n",
      "The schema for this method consists of the following terms:\n",
      "\n",
      "['country_name', 'hdi_category', 'indicator_name', 'reference', 'year', 'values']\n",
      "\n",
      "The actions:\n",
      "\n",
      "['CALCULATE', 'CATEGORISE', 'JOIN', 'NEW', 'ORDER', 'ORDER_NEW', 'ORDER_OLD', 'RENAME']\n",
      "\n",
      "The columns from your working data:\n",
      "\n",
      "['Country', 'Indicator Name', 'Indicator Value', 'HDI category', 'Reference Name', 'Reference']\n",
      "\n",
      "\n",
      "Data id: working_a631a366-2c3c-4c0d-bec8-461dcc5f1225\n",
      "Original source: method.input_data\n",
      "\n",
      "====  ======================  ================  =================  ======================  ================  ===========\n",
      "  ..  Country                 Indicator Name      Indicator Value  HDI category            Reference Name      Reference\n",
      "====  ======================  ================  =================  ======================  ================  ===========\n",
      "   0  Hong Kong, China (SAR)  HDI rank                         21  HIGH HUMAN DEVELOPMENT  Reference 1               nan\n",
      "   1  Singapore               HDI rank                         25  HIGH HUMAN DEVELOPMENT  Reference 1               nan\n",
      "   2  Korea (Republic of)     HDI rank                         26  HIGH HUMAN DEVELOPMENT  Reference 1               nan\n",
      "====  ======================  ================  =================  ======================  ================  ===========\n",
      "\n",
      "\n",
      "Current method status: `Ready to Structure`\n"
     ]
    }
   ],
   "source": [
    "print(method.help(\"structure\"))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Nous avons un cas d'utilisation très simple, puisque nos `morphs` ont pris en charge la plupart des problèmes que nous pouvons avoir. Tout ce que nous avons à faire, c'est de connecter nos données de travail à notre schéma que nous avons développé\n",
    "dès le début. Cela relie explicitement les données à la structure et permet la validation, ainsi que la compréhension programmatique de nos métadonnées.\n",
    "\n",
    "L'`help` nous indique nos colonnes de schéma :\n",
    "\n",
    "     ['country_name', 'hdi_category', 'indicator_name', 'reference', 'year', 'values']\n",
    "    \n",
    "Et la structure de chaque \"action\" sera la même :\n",
    "\n",
    "    \"schema_column\" : [\"RENAME\", \"working_data_column\"]\n",
    "    \n",
    "Dans notre exemple, nous n'avons pas de colonne `year`, mais vous pouvez en avoir une dans la vôtre :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {},
   "outputs": [],
   "source": [
    "structure = {\n",
    "    \"country_name\": [\"RENAME\", \"Country\"],\n",
    "    \"hdi_category\": [\"RENAME\", \"HDI category\"],\n",
    "    \"indicator_name\": [\"RENAME\", \"Indicator Name\"],\n",
    "    \"reference\": [\"RENAME\", \"Reference\"],\n",
    "    \"values\": [\"RENAME\", \"Indicator Value\"],\n",
    "}\n",
    "# Notez le \"**\" au début du nom du paramètre\n",
    "# Ceci \"dépaquette\"  le dictionnaire de sorte que tous les termes soient visibles pour la fonction\n",
    "method.set_structure(**structure)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Malgré tout cela, _whyqd_ a préservé vos données sources. Il est maintenant temps de créer votre transformation de données et de la sauvegarder :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {},
   "outputs": [],
   "source": [
    "method.transform(overwrite_output=True)\n",
    "FILENAME = \"hdi_report_exercise\"\n",
    "method.save(directory, filename=FILENAME, overwrite=True)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Vous pouvez revoir vos méthodes comme une sortie JSON en utilisant `.settings` pour la méthode entière, ou `.input_data_morphs(_id)` pour les morphs eux-mêmes :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[{'3e756abf-1f39-47da-89af-37bdf615af1c': ['DEBLANK']},\n",
       " {'3e37c068-fc63-410e-8514-47463b3b897c': ['DEDUPE']},\n",
       " {'b8070cdd-56de-4e7c-b6db-8b1c6da3a584': ['REBASE', [11]]},\n",
       " {'4d2be6e1-488c-4c47-b83a-9d9829be1c23': ['DELETE']},\n",
       " {'ab2a1263-65c8-45b0-b59d-bbc27b455236': ['RENAME',\n",
       "   ['HDI rank',\n",
       "    'Country',\n",
       "    'Human poverty index (HPI-1) - Rank',\n",
       "    'Reference 1',\n",
       "    'Human poverty index (HPI-1) - Value (%)',\n",
       "    'Probability at birth of not surviving to age 40 (% of cohort) 2000-05',\n",
       "    'Reference 2',\n",
       "    'Adult illiteracy rate (% aged 15 and older) 1995-2005',\n",
       "    'Reference 3',\n",
       "    'Population not using an improved water source (%) 2004',\n",
       "    'Reference 4',\n",
       "    'Children under weight for age (% under age 5) 1996-2005',\n",
       "    'Reference 5',\n",
       "    'Population below income poverty line (%) - $1 a day 1990-2005',\n",
       "    'Reference 6',\n",
       "    'Population below income poverty line (%) - $2 a day 1990-2005',\n",
       "    'Reference 7',\n",
       "    'Population below income poverty line (%) - National poverty line 1990-2004',\n",
       "    'Reference 8',\n",
       "    'HPI-1 rank minus income poverty rank']]},\n",
       " {'fc704b25-4c3d-431c-af40-4eb9be332308': ['CATEGORISE',\n",
       "   [14, 44, 120],\n",
       "   ['HDI category']]},\n",
       " {'205c25c2-68ca-469d-b411-4d7994e0d8a8': ['MELT',\n",
       "   [['Reference 5',\n",
       "     'Reference 1',\n",
       "     'Reference 3',\n",
       "     'Reference 4',\n",
       "     'Country',\n",
       "     'Reference 8',\n",
       "     'Reference 7',\n",
       "     'Reference 2',\n",
       "     'HDI category',\n",
       "     'Reference 6'],\n",
       "    ['HDI rank',\n",
       "     'Human poverty index (HPI-1) - Rank',\n",
       "     'Human poverty index (HPI-1) - Value (%)',\n",
       "     'Probability at birth of not surviving to age 40 (% of cohort) 2000-05',\n",
       "     'Adult illiteracy rate (% aged 15 and older) 1995-2005',\n",
       "     'Population not using an improved water source (%) 2004',\n",
       "     'Children under weight for age (% under age 5) 1996-2005',\n",
       "     'Population below income poverty line (%) - $1 a day 1990-2005',\n",
       "     'Population below income poverty line (%) - $2 a day 1990-2005',\n",
       "     'Population below income poverty line (%) - National poverty line 1990-2004',\n",
       "     'HPI-1 rank minus income poverty rank']],\n",
       "   ['Indicator Name', 'Indicator Value']]},\n",
       " {'a53f7846-d48c-41f2-a3fe-de6c15a27f37': ['MELT',\n",
       "   [['Country', 'Indicator Name', 'Indicator Value', 'HDI category'],\n",
       "    ['Reference 1',\n",
       "     'Reference 2',\n",
       "     'Reference 3',\n",
       "     'Reference 4',\n",
       "     'Reference 5',\n",
       "     'Reference 6',\n",
       "     'Reference 7',\n",
       "     'Reference 8']],\n",
       "   ['Reference Name', 'Reference']]},\n",
       " {'4d536150-31ed-428b-a5b8-036a1b80bc0f': ['DEBLANK']}]"
      ]
     },
     "execution_count": 33,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "method.input_data_morphs(_id)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Cela complète deux étapes : \n",
    "\n",
    "- La création d'un schéma et d'une méthode vérifiable pour restructurer vos données ;\n",
    "- La connexion directe du schéma aux données et l'execution de la transformation.\n",
    "\n",
    "Mais est-ce que cela valide les données?\n",
    "\n",
    "---"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 3.3 La validation des données et sa signification\n",
    "\n",
    "Si vous voulez vérifier si vos données sont valides dans _whyqd_, vous pouvez simplement exécuter une commande :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "True"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "%time method.validates"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "C'est le cas, ce qui n'est pas surprenant puisque le code a été exécuté et que _whyqd_ ne lancera pas la transformation si elle ne fonctionne pas. Cependant, que signifie la _validation_, en particulier dans le contexte des exigences \n",
    "pour des données de qualité lisibles par machine ?\n",
    "\n",
    "Wikipedia - la source de référence - [déclare](https://en.wikipedia.org/wiki/Data_validation) :\n",
    "\n",
    "> __La validation des données__ est le processus qui consiste à s'assurer que les données ont subi un nettoyage pour garantir leur qualité, c'est-à-dire qu'elles sont à la fois correctes et utiles. \n",
    "Elle utilise des routines, souvent appelées \"règles de validation\", \"contraintes de validation\" ou \"routines de contrôle\", qui vérifient l'exactitude, la pertinence et la sécurité des données qui \n",
    "sont entrés dans le système. Les règles peuvent être mises en œuvre par le biais des installations automatisées d'un dictionnaire de données ou par l'inclusion d'une validation explicite du programme d'application \n",
    "la logique de l'ordinateur et de son application.\n",
    "\n",
    "Si vous lisez cet article de Wikipedia, vous verrez qu'il existe une vaste gamme de différents types de contrôles de validation, mais qu'il n'existe pas de norme universelle.Si _je_ déclare un ensemble de données\n",
    "\"valide\" il peut ne pas être valide pour _vos_ exigences. \n",
    "\n",
    "En l'état actuel des choses, _whyqd_ a déclaré nos données valides puisqu'il était capable de lire et de manipuler le fichier dans un schéma cible et les données correspondent au schéùa. Mais _whyqd_ suppose qu'il ne s'agit pas du point final pour\n",
    "votre utilisation, qui peut être l'importation des données dans une base de données ou leur utilisation dans une application. Vous devrez peut-être transformer les données une nouvelle fois lorsque vous les utiliserez, et vous exécuterez votre\n",
    "une validation propre à chaque étape pour garantir le fonctionnement de votre propre logiciel.\n",
    "\n",
    "Du point de vue d'un éditeur de données, il est difficile de prévoir tous les cas d'utilisation de vos données, et tout ce que vous faites pour \"forcer\" la conformité des données risque de dégrader la \n",
    "l'exactitude des données. Considérez les problèmes suivants dans les données sources :\n",
    "\n",
    "- __Lacunes des données__ : une série de termes, tels que `..` et`.`, sont utilisés pour refléter un manque de données. Mais ne s'agit-il pas quand même d'informations ? Ces termes nous disent directement qu'en 2008, nous __ne savons pas__\n",
    "  combien de personnes sont analphabètes ou combien de personnes n'ont pas accès à l'eau courante et propre dans certains pays. Remplacer ce chiffre par `nan` (pas un nombre) ne change rien au fait que \n",
    "  le manque d'information, bien qu'il puisse permettre à vos données de passer un test \"cette colonne ne comporte-t-elle que des chiffres\" ... est-ce une bonne chose ? Certains utilisateurs ne voudraient pas le savoir directement ?\n",
    "- __Approximations des données__ : Parfois les données sont collectées sous forme de fourchettes, par exemple `20-30`, ou `<2`. Cela peut être le cas pour l'anonymisation des données (nous répartissons délibérément les personnes dans des fourchettes afin de garantir qu'elles\n",
    "  ne puissent pas être identifiées), ou parce que nos données ne sont tout simplement pas suffisamment précises (limites du mécanisme par lequel nous avons collecté les données). Il s'agit là aussi d'informations. Forcer\n",
    "  ces fourchettes jusqu'à un point absolu peuvent satisfaire une vérification de données, mais au risque de perdre des informations sur les limites du processus de collecte de données.\n",
    "- __Formats de date__ : Quand le 10 avril est-il aussi le 4 Octobre ? Lorsque vous essayez de déterminer si vous travaillez avec des formats de date américains ou mondiaux, par exemple `10-4-1990` contre `4-10-1990`. Fourchettes de dates\n",
    "  peut également être un problème. Faut-il forcer l'année `2007-2008` à être une année spécifique ?\n",
    "\n",
    "Ce type de validation des données est certainement critique _au point d'utilisation_, mais est-il important _au point de publication_ ? Jusqu'où devez-vous aller dans la validation des données pour la publication ?\n",
    "\n",
    "C'est là que les scientifiques peuvent différer d'une donnée à l'autre. Mon point de vue est le suivant :\n",
    "\n",
    "> __La validation des données__ est le processus qui consiste à assurer une piste d'audit complète depuis les données sources jusqu'à la publication, où le processus de transformation des données est documenté dans une série de métadonnées\n",
    "les fichiers qui transcrivent les étapes techniques qui ont produit les données, et toutes les définitions nécessaires pour comprendre les termes utilisés, les types de données et leur structure, ainsi que toute hypothèse ou \n",
    "les décisions délibérées prises lors de la préparation des données en vue de leur publication.\n",
    "\n",
    "### 3.3.1 Validation et manipulation des données\n",
    "\n",
    "Que se passe-t-il donc si vous avez besoin de savoir ce que contiennent vos données pour pouvoir les utiliser ? Vous pouvez utiliser `pandas` pour explorer vos données. Notre nouveau fichier de sortie est à notre disposition :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>year</th>\n",
       "      <th>country_name</th>\n",
       "      <th>hdi_category</th>\n",
       "      <th>indicator_name</th>\n",
       "      <th>reference</th>\n",
       "      <th>values</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>NaN</td>\n",
       "      <td>Hong Kong, China (SAR)</td>\n",
       "      <td>HIGH HUMAN DEVELOPMENT</td>\n",
       "      <td>HDI rank</td>\n",
       "      <td>NaN</td>\n",
       "      <td>21</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>NaN</td>\n",
       "      <td>Singapore</td>\n",
       "      <td>HIGH HUMAN DEVELOPMENT</td>\n",
       "      <td>HDI rank</td>\n",
       "      <td>NaN</td>\n",
       "      <td>25</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>NaN</td>\n",
       "      <td>Korea (Republic of)</td>\n",
       "      <td>HIGH HUMAN DEVELOPMENT</td>\n",
       "      <td>HDI rank</td>\n",
       "      <td>NaN</td>\n",
       "      <td>26</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>NaN</td>\n",
       "      <td>Cyprus</td>\n",
       "      <td>HIGH HUMAN DEVELOPMENT</td>\n",
       "      <td>HDI rank</td>\n",
       "      <td>NaN</td>\n",
       "      <td>28</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>NaN</td>\n",
       "      <td>Brunei Darussalam</td>\n",
       "      <td>HIGH HUMAN DEVELOPMENT</td>\n",
       "      <td>HDI rank</td>\n",
       "      <td>NaN</td>\n",
       "      <td>30</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   year            country_name            hdi_category indicator_name  \\\n",
       "0   NaN  Hong Kong, China (SAR)  HIGH HUMAN DEVELOPMENT       HDI rank   \n",
       "1   NaN               Singapore  HIGH HUMAN DEVELOPMENT       HDI rank   \n",
       "2   NaN     Korea (Republic of)  HIGH HUMAN DEVELOPMENT       HDI rank   \n",
       "3   NaN                  Cyprus  HIGH HUMAN DEVELOPMENT       HDI rank   \n",
       "4   NaN       Brunei Darussalam  HIGH HUMAN DEVELOPMENT       HDI rank   \n",
       "\n",
       "  reference values  \n",
       "0       NaN     21  \n",
       "1       NaN     25  \n",
       "2       NaN     26  \n",
       "3       NaN     28  \n",
       "4       NaN     30  "
      ]
     },
     "execution_count": 35,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import pandas as pd\n",
    "import numpy as np\n",
    "\n",
    "source = \"data/lesson-programmatic/output_729f1bee-da2c-4497-901b-8098aab3b99a.csv\"\n",
    "\n",
    "df = pd.read_csv(source)\n",
    "df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'pandas.core.frame.DataFrame'>\n",
      "RangeIndex: 2079 entries, 0 to 2078\n",
      "Data columns (total 6 columns):\n",
      " #   Column          Non-Null Count  Dtype  \n",
      "---  ------          --------------  -----  \n",
      " 0   year            0 non-null      float64\n",
      " 1   country_name    2079 non-null   object \n",
      " 2   hdi_category    1892 non-null   object \n",
      " 3   indicator_name  2079 non-null   object \n",
      " 4   reference       693 non-null    object \n",
      " 5   values          2079 non-null   object \n",
      "dtypes: float64(1), object(5)\n",
      "memory usage: 97.6+ KB\n"
     ]
    }
   ],
   "source": [
    "df.info()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Nous nous attendons à ce que ce soit le cas, car la plupart des colonnes sont des `strings`, mais la colonne des `values` serait - nous l'espérons - un `float` ou un `int`. Au lieu de cela, c'est aussi un `object`. Nous savons que \n",
    "nos données contiennent `<2`, `..` et d'autres artefacts. Nous pouvons utiliser `pandas` pour simplement `replace` ce que nous n'aimons pas. Nous pouvons vérifier les problèmes de validation spécifiques. \n",
    "\n",
    "Mais maintenant nous sommes dans le domaine non pas de la validation, mais de la manipulation. Partant du principe que nous devons savoir ce que contiennent nos données, examinons les choses plus en profondeur. Mais ce n'est pas parce que nous savons ce que\n",
    "est que cela ne signifie pas que nous sommes obligés de la changer.\n",
    "\n",
    "Nous avons besoin d'un nouveau paquet Python. Tout comme vous avez installé `whyqd`, vous devez installer `PandasSchema`. Ouvrez votre terminal conda, assurez-vous que vous êtes dans le bon environnement de développement, et :\n",
    "\n",
    "    pip install pandas_schema\n",
    "    \n",
    "La [documentation](https://tmiguelt.github.io/PandasSchema/) propose une série de méthodes pour analyser et valider vos données par rapport à un schéma. Nous allons aborder ce sujet superficiellement.\n",
    "\n",
    "`PandasSchema` dispose d'un certain nombre de validateurs que nous pourrions utiliser :\n",
    "\n",
    "- __InListValidation__ : Vérifie que chaque élément de cette colonne est contenu dans une liste de possibilités\n",
    "- __DateFormatValidation__ : Vérifie que chaque élément de cette colonne est une date valide selon une chaîne de format fournie\n",
    "- __InRangeValidation__ : Vérifie que chaque élément de la série se situe dans une plage numérique donnée\n",
    "- __IsDistinctValidation__ : Vérifie que chaque élément de cette colonne est différent des autres éléments\n",
    "- __LeadingWhitespaceValidation__ : Vérifie qu'il n'y a pas d'espace blanc en tête dans cette colonne\n",
    "- __TrailingWhitespaceValidation__ : Vérifie qu'il n'y a pas d'espace blanc de fin dans cette colonne\n",
    "- __IsDtypeValidation__ : Vérifie qu'une série a un certain de numpy dtype (c'est-à-dire si `object`, `int`, `float`, etc.)\n",
    "\n",
    "Vous pouvez obtenir un `type``numpy`spécifique comme ceci :\n",
    "\n",
    "    np.dtype(float)\n",
    "    np.dtype(int)\n",
    "\n",
    "Voyons comment cela se passe :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Nombre d'erreurs :  189\n",
      "The column values has a dtype of object which is not a subclass of the required type float64\n",
      "The column values has a dtype of object which is not a subclass of the required type int32\n",
      "{row: 112, column: \"hdi_category\"}: \"nan\" is not in the list of legal options (HIGH HUMAN DEVELOPMENT, MEDIUM HUMAN DEVELOPMENT, LOW HUMAN DEVELOPMENT)\n",
      "{row: 113, column: \"hdi_category\"}: \"nan\" is not in the list of legal options (HIGH HUMAN DEVELOPMENT, MEDIUM HUMAN DEVELOPMENT, LOW HUMAN DEVELOPMENT)\n",
      "{row: 114, column: \"hdi_category\"}: \"nan\" is not in the list of legal options (HIGH HUMAN DEVELOPMENT, MEDIUM HUMAN DEVELOPMENT, LOW HUMAN DEVELOPMENT)\n",
      "{row: 115, column: \"hdi_category\"}: \"nan\" is not in the list of legal options (HIGH HUMAN DEVELOPMENT, MEDIUM HUMAN DEVELOPMENT, LOW HUMAN DEVELOPMENT)\n",
      "{row: 116, column: \"hdi_category\"}: \"nan\" is not in the list of legal options (HIGH HUMAN DEVELOPMENT, MEDIUM HUMAN DEVELOPMENT, LOW HUMAN DEVELOPMENT)\n",
      "{row: 117, column: \"hdi_category\"}: \"nan\" is not in the list of legal options (HIGH HUMAN DEVELOPMENT, MEDIUM HUMAN DEVELOPMENT, LOW HUMAN DEVELOPMENT)\n",
      "{row: 118, column: \"hdi_category\"}: \"nan\" is not in the list of legal options (HIGH HUMAN DEVELOPMENT, MEDIUM HUMAN DEVELOPMENT, LOW HUMAN DEVELOPMENT)\n",
      "{row: 119, column: \"hdi_category\"}: \"nan\" is not in the list of legal options (HIGH HUMAN DEVELOPMENT, MEDIUM HUMAN DEVELOPMENT, LOW HUMAN DEVELOPMENT)\n"
     ]
    }
   ],
   "source": [
    "from pandas_schema import Column, Schema\n",
    "from pandas_schema.validation import LeadingWhitespaceValidation, TrailingWhitespaceValidation, IsDtypeValidation, InListValidation\n",
    "\n",
    "# Nous ne testerons que ces colonnes\n",
    "columns = [\"country_name\", \"hdi_category\", \"values\"]\n",
    "# Et ces catégories\n",
    "hdi_categories = [\"HIGH HUMAN DEVELOPMENT\", \"MEDIUM HUMAN DEVELOPMENT\", \"LOW HUMAN DEVELOPMENT\"]\n",
    "\n",
    "schema = Schema([\n",
    "    Column(\"country_name\", [LeadingWhitespaceValidation(), TrailingWhitespaceValidation()]),\n",
    "    Column(\"hdi_category\", [InListValidation(hdi_categories)]),\n",
    "    Column(\"values\", [IsDtypeValidation(np.dtype(float)), IsDtypeValidation(np.dtype(int))])\n",
    "])\n",
    "\n",
    "errors = schema.validate(df[columns])\n",
    "\n",
    "print(F\"Nombre d'erreurs :  {len(errors)}\")\n",
    "# Juste les 10 premiers\n",
    "for error in errors[:10]:\n",
    "    print(error)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Nous avons beaucoup d'erreurs. Il manque des données catégorielles dans `hdi_category` et des données non numériques dans `values`. On s'attend à ce que cela arrive. D'autres ne le sont pas. Nous devons peut-être revenir en arrière et ajuster notre\n",
    "méthode de transformation des données ?\n",
    "\n",
    "Cependant, il est difficile d'amener les données à un endroit où quelques simples corrections programmatiques peuvent manipuler nos données dans n'importe quel format qui convient à l'utilisateur.\n",
    "\n",
    "<div class=\"alert alert-block alert-warning\">\n",
    "    <p><b>Ne jamais faire confiance aux données sources:</b> toute donnée provenant de l'extérieur de votre environnement de travail ne \n",
    "        peut être fiable jusqu'à preuve du contraire. Peu importe si le fournisseur des données est digne de <i>confiance</i> ou s'il \n",
    "        prétend que ses données sont <i>valides</i>. Jusqu'à ce que la validation soit définitivement prouvée par vos propres systèmes, \n",
    "        vous ne pouvez pas simplement les importer dans votre environnement de travail sans l'avoir testée.\n",
    "    </p>\n",
    "    <p>Une fournisseur de données facilite le travail de ses utilisateurs/réutilisation  en s'assurant que ses données soient exploitables\n",
    "       informatiquement, bien structurées, que tous les termes sont clairement définis et qu'il y a des métadonnées pour tout.  Faites \n",
    "       confiance, mais vérifiez.\n",
    "    </p>\n",
    "</div>\n",
    "\n",
    "En guise d'exercice, décrivez les décisions que vous devez prendre pour corriger ou laisser ces données telles quelles.\n",
    "\n",
    "### 3.3.2 Publication et citation des données\n",
    "\n",
    "Une `citation` est une référence à une source. Dans l'édition universitaire, la citation de données nécessite un ensemble spécial de champs, avec :\n",
    "\n",
    "- __authors__ : une liste de noms d'auteurs\n",
    "- __title__: le titre complet de l'étude\n",
    "- __repository__: l'organisation, ou le distributeur, responsable de l'hébergement des données et des métadonnées\n",
    "- __doi__ : le [identificateur d'objet numérique](https://en.wikipedia.org/wiki/Digital_object_identifier) (DOI) persistant pour le dépôt\n",
    "\n",
    "Il existe de nombreux styles de citation, mais les métadonnées sont plus importantes que la structure, et garantissent que le crédit approprié est accordé aux créateurs et aux responsables des données, et que\n",
    "il existe des preuves quant à la probité des données.\n",
    "\n",
    "_whyqd_ propose les éléments suivants comme preuves supplémentaires :\n",
    "\n",
    "- __hash__ : BLAKE2b a des données de sortie\n",
    "- __input data__ : une liste des données d'entrée par source originale, et le hachage de la source\n",
    "\n",
    "Ceux d'entre vous qui connaissent l'empreinte numérique universelle de Dataverse (http://guides.dataverse.org/en/latest/developers/unf/index.html) se demandent peut-être où elle se trouve. _whyqd_, \n",
    "de même, produit un hachage unique pour chaque source de données, y compris les entrées, les données de travail et les sorties, sur la base de [BLAKE2b](https://en.wikipedia.org/wiki/BLAKE_(hash_function)) et est \n",
    "suffisamment universel pour que vous puissiez le gérer comme il se doit.\n",
    "\n",
    "Toute personne possédant une copie de la méthode et des données d'entrée peut automatiquement réexécuter l'ensemble du fichier de méthode pour produire une \"nouvelle\" version des données de sortie et confirmer ainsi plus directement la \n",
    "la validité des données. Il s'agit simplement des données que nous avons fournies dans le cadre de notre schéma, ainsi que des valeurs de hachage qui identifient les fichiers de données (source et sortie) :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "2020-05-08\n",
      " UN Human Development Report 2007 - 2008\n",
      " db5b8f433748a578b59e5b11068b3c37ad4ada23bd6e8d2ce05f4b80b8b6161e99864d63b2e1721f6825f68a219ea28dce8178be9efc4f3de4c1e990694d9a9c\n",
      " [input sources: data/lesson-spreadsheet/HDR 2007-2008 Table 03.xlsx\n",
      " 7d95ebdb36966c7b97b7b4e578cac70ea89463e95f64ccada60cf15a76f29c68b56f64aca9e28b8042e3c9ce37522fc03a13d1a1e8b05eac6edf26e09e5c32d5]\n"
     ]
    }
   ],
   "source": [
    "for l in method.citation.split(\",\"):\n",
    "    print(l)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Vous êtes maintenant prêt à publier. Préparez ce qui suit :\n",
    "\n",
    "- __Données d'entrée__ : les fichiers que vous avez utilisés comme entrées. Il arrive que vous ne les publiiez pas, surtout si les données sources sont confidentielles et que vous avez supprimé des champs qui ne devraient pas se trouver dans le\n",
    "  domaine public ;\n",
    "- __Schéma__ : le fichier de schéma des métadonnées, sous forme de JSON ou de tableau ;\n",
    "- __Méthode__ : si vous avez utilisé _whyqd_, alors libérez également la méthode ;\n",
    "- Données de sortie__ : les données de sortie que vous avez préparées ;\n",
    "- __Métadonnées__ : si vous disposez d'autres métadonnées, telles que des références, des définitions spécifiques ou des descriptions des hypothèses formulées, publiez-les également.\n",
    "\n",
    "Ensuite, rendez-vous sur la plateforme de gestion des données de votre organisation, téléchargez et publiez.\n",
    "\n",
    "---"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 3.4 Tutoriel de la leçon\n",
    "\n",
    "<div class=\"alert alert-block alert-success\">\n",
    "    <p><b>Tutoriel:</b></p>\n",
    "    <p>Terminez le traitement du fichier avec lequel vous avez commencé à travailler dans la leçon 2.</p>\n",
    "    <ul>\n",
    "        <li><b>Schema</b> : Définissez un <i>whyqd</i> Schéma pour décrire et spécifier les critères de validation de votre ensemble de données.</li>\n",
    "        <li><b>Morph et méthode</b> : Définissez les morphes appropriés et la méthode requise pour transformer vos données sources. Exécutez la transformation.</li>\n",
    "        <li><b>Validation et manipulation</b> : Utilisez <i>PandasSchema</i> pour examiner vos données de sortie et décider comment vous voulez procéder si vous avez des erreurs. Vous pouvez \n",
    "            choisir de corriger ces erreurs, ou simplement écrire une justification pour laisser les données telles quelles. C'est à vous de décider, mais vous devez justifier votre décision.\n",
    "        </li>\n",
    "        <li><b>Citation</b> : Présentez votre citation, et dressez la liste des fichiers, métadonnées et informations que vous avez l'intention de publier dans le cadre de cet exercice.</li>\n",
    "    </ul>\n",
    "</div>\n",
    "\n",
    "Veuillez compléter le tutoriel avant de poursuivre cette série."
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.10"
  },
  "latex_envs": {
   "LaTeX_envs_menu_present": true,
   "autoclose": false,
   "autocomplete": true,
   "bibliofile": "biblio.bib",
   "cite_by": "apalike",
   "current_citInitial": 1,
   "eqLabelWithNumbers": true,
   "eqNumInitial": 1,
   "hotkeys": {
    "equation": "Ctrl-E",
    "itemize": "Ctrl-I"
   },
   "labels_anchors": false,
   "latex_user_defs": false,
   "report_style_numbering": false,
   "user_envs_cfg": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}