Mecanismo de timeout y retries en los envios a IOTAs #85
Conversation
| - :param opcional `timeout`: timeout definido en segundos (default: 10). | ||
| - :param opcional `post_retry_connect`: Número de reintentos a la hora de realizar un envío de datos (default: 3) | ||
| - :param opcional `post_retry_backoff_factor`: Factor que se usa, para esperar varios segundos tras enviar una ráfaga de datos. (default: 20) |
There was a problem hiding this comment.
Veo que se ha hecho una definición de parámetro análoga a la del CB, con el mismo nombre y descripción de parámetros. ¡Bien! :)
Sin embargo, hay una diferencia. Aquí se usa un default: 20 para post_retry_backoff_factor, mientras que en el CB se usa 0 (que entiendo es no aplicar espera alguna).
Igual deberiamos dejarlo también a 0, por homogeneidad. O lo contrario... cambiar en el CB para que esté a 20 y también sea homogeneo así (es un ligero cambio en la compatibilidad hacia atrás, pero asumible).
@arcosa ¿tú que opinas? ¿Por qué cuando implementamos esto para el CB se eligió 0 como default?
There was a problem hiding this comment.
Hola, me parece que en el cb el post_retry_backoff_factor es por defecto 20, pero en el README.md puede que esté mal documentado.
There was a problem hiding this comment.
Si, es curioso, no sabía que CB tb usaba esa variable (o similar).. mi yo del pasado escogió ese valor, pensando en que es un factor "multiplicador" que incrementa el tiempo entre reintentos. Si le pones 0.. implica que los reintentos se hacen en el momento. Si hay problemas de conectividad puntuales (porque cae un servicio, se está reiniciando, algún miniproblema de red, etc..) si lanzas 3 reintentos sin espacio entre ellos.. lo probable es que fallen los 3... con factor 20, creo que empezaba reintantdo con unos segundos y los últimos reintentos tardaba algún minuto.. si pasado unos minutos, sigue dando el problema de conectividad, entonces ya desiste. Todo esto pensando en el contexto de envío de datos en batch al Context Broker con ETLs que pueden esperar un poco, antes de que pete la ETL por no poder enviar los datos.
Estaba revisando que en la doc oficial, el backoff está deshabilitado (factor set to 0). Y si el CB tb lo usa y por defecto es cero.. se podría asumir ponerlo aquí a cero. De hecho mirando la doc oficial https://pypi.org/project/tc-etl-lib/ sale como si por defecto estuviera a 0, pero en código lo tenemos a 20.
There was a problem hiding this comment.
Si en el código está a 20, entonces simplemente hay que corregirlo en la parte de docu del CB y ya estaría. @CeciliaFili puedes incluirlo en esta PR, pls?
Edit: issue #72
Se agrega un mecanismo de timeout y retries en la clase
iotaManagerpara el envío de datos.