Added support for stores #46
Conversation
| @@ -37,7 +37,8 @@ | |||
| #Paquetes necesarios para que funcione la librería. Se instalarán a la vez si no lo tuvieras ya instalado | |||
| INSTALL_REQUIRES = [ | |||
| 'requests==2.21.0', | |||
| 'urllib3==1.24.1' | |||
| 'urllib3==1.24.1', | |||
| 'psycopg2-binary>=2.9.5' | |||
There was a problem hiding this comment.
Dudo de si es bueno dejar dependencias abiertas. ¿Mejor == o >=? ¿Que dice la literatura al respecto?
There was a problem hiding this comment.
Nos ha pasado en algunas ETLs que hemos tenido que cambiar nuestro requirements.txt porque por ejemplo usábamos una versión de requests distinta a la 2.21.0, y al incluir tc_etl_lib, el pip install -r requirements.txt daba conflicto.
Al ser tc_etl_lib una libreria más que el usuario va a importar, creo que es bueno que sea más permisiva y deje que el usuario elija las versiones de sus dependencias, dentro de un rango de compatibilidades. El usuario puede tener otras dependencias que requieran una versión de requests compatible pero no exactamente la misma.
Digo requests porque es la más propensa a estar ya en otras dependencias o en el requirements.txt del usuario. Aunque en esta PR la que se añade es psycopg2
There was a problem hiding this comment.
la literatura parece que concuerda: https://packaging.python.org/en/latest/discussions/install-requires-vs-requirements/
It is not considered best practice to use install_requires to pin dependencies to specific versions, or to specify sub-dependencies (i.e. dependencies of your dependencies). This is overly-restrictive, and prevents the user from gaining the benefit of dependency upgrades.
There was a problem hiding this comment.
me he puesto a escribir y resulta que ya estaba todo en el issue #12 :)
There was a problem hiding this comment.
si me parece bien que sea más permisiva la librería en cuanto a versiones.
| @@ -0,0 +1,192 @@ | |||
| #!/usr/bin/env python | |||
There was a problem hiding this comment.
Creo que este es el primer test que metemos para la libreria... ¿pudiera ser? ¡Bien! :)
There was a problem hiding this comment.
Recordemos tenemos este issue por ahí: #3
| entities = ... | ||
| store(entities) | ||
| ``` | ||
|
|
||
| ## Changelog |
There was a problem hiding this comment.
Habría que incluir en el changelog la entrada o entradsa corresponiente a los cambios en esta PR
|
Tiene buena pinta todo. LGTM |
Importa en la librería el mecanismo de
storesque estamos usando en varias ETLs:Storepara almacenar entidades NGSIv2 en backends genéricos. La interfaz consiste en un solo método con un solo parámetro,entities.Stores ajustados a la interfaz:orionStoreque escribe las entidades a uncbManagerconsend_batchsqlFileStoreque escribe las entidades a un fichero SQL. Añade una dependencia a la libreríapsycopg2-binary