Te veel onverwerkte telegrammen: 226 (over 33 minuten)

[zuidwijk]

Zojuist mijn dsmr van 4.6 naar 4.12 geupdate. Ging allemaal goed. Daarna de database geupdate. (postgres:10.5-alpine -> postgres:12)

• dsmr gestopt
• backup gemaakt
• dsmrdb gestopt
• oude db folder hernoemd
• nieuwe folder aangemaakt
• docker-compose gebruikt om postgresql 12 te installeren
• docker-compose stop dsmr
• docker exec -t dsmrdb dropdb dsmrreader -U dsmrreader
• docker exec -t dsmrdb createdb -O dsmrreader dsmrreader -U dsmrreader
• cat backup.sql | docker exec -i dsmrdb psql -U dsmrreader
• docker-compose start dsmr

Alles ziet er op het eerste gezicht goed uit, maar krijg de melding: Te veel onverwerkte telegrammen: 226 (over 33 minuten)

Ook zie ik nu de grafiek tot 18:14 gaan terwijl het nu 17:48 is ...

Setup/Architecture information

Linux server met docker

Version of the Docker image

xirixiz/dsmr-reader-docker:latest

Configuration

version: '3.8'

services:
  dsmrdb:
    image: postgres:12
    container_name: dsmrdb
    restart: always
    volumes:
      - /etc/localtime:/etc/localtime:ro
      - ./dsmrdb:/var/lib/postgresql/data
    environment:
      - TZ=Europe/Amsterdam
      - PG_TZ=Europe/Amsterdam
      - POSTGRES_USER=dsmrreader
      - POSTGRES_PASSWORD=dsmrreader
      - POSTGRES_DB=dsmrreader
  dsmr:
    image: xirixiz/dsmr-reader-docker:latest
    container_name: dsmr
    depends_on:
      - dsmrdb
    cap_add:
      - NET_ADMIN    
    links:
      - dsmrdb
    restart: always
    volumes:
      - /etc/localtime:/etc/localtime:ro
      - ./dsmr_backups:/dsmr/backups
    environment:
      - TZ=Europe/Amsterdam
      - VIRTUAL_HOST=localhost
      - DSMRREADER_ADMIN_USER=xxxx
      - DSMRREADER_ADMIN_PASSWORD=xxxx
    ports:
      - 7777:80
      - 7779:443
    labels:
      - traefik.backend=xxxx
      - traefik.frontend.rule=Host:xxxx.xxxx.xxxx
      - traefik.frontend.entrypoint=https
      - traefik.docker.network=traefik
      - traefik.enable=true
      - traefik.port=80
      
networks:
    default:
        external:
            name: traefik

Describe the bug

A clear and concise description of what the bug is.

Debug log

Add your logs here.

DSMR-READER
    App / Python / Database                                                       v4.12 / v3.9.1 / postgresql
    BE sleep / DL sleep / Retention / Override                                    1.0s / 5.0s / 2016h / False
    Latest telegram version read / Parser settings                                                 "50" / "4"

DATA
    Telegrams total (est.)                                                                             390944
    Consumption records electricity / gas (est.)                                                54492 / 24360

UNRESOLVED ISSUES
    Te veel onverwerkte telegrammen: 331                                                      over 22 minuten

[zuidwijk]

[zuidwijk]

Ik zie nu " Te veel onverwerkte telegrammen: 385 (over 17 minuten)"

Het lijkt erop dat de tijd afneemt (over 17 minuten is het ~18:14, tijd wat ie aangeeft in grafiek)

[zuidwijk]

"Te veel onverwerkte telegrammen: 559 (12 seconden geleden)" het werkt de telegrammen niet bij

[zuidwijk]

Ik ben nu weer teruggegaan naar 10.5-alpine en het draait weer soepeltjes...

[dennissiemensma]

@zuidwijk zie:

• Containers blijven herstarten #171
• Timestamps processed in the future #172
• ⚠️ Docker only - Reading timestamp differences (1 or 2 hours off) dsmrreader/dsmr-reader#1282

[dennissiemensma]

@xirixiz je kunt overwegen om #171 of #172 (of beiden) te "pinnen" en evt de titel(s) daarvan verduidelijken.

Dan staan ze altijd zichtbaar bij de issues, ook als ze gesloten zijn, gezien deze meldingen over tijdissues vast nog wel even blijven binnenkomen. 😃

[zuidwijk]

Zal morgen 12.4-alpine proberen :)

dsmrreader/dsmr-reader#1282 (comment)

Ik had alleen :12 gebruikt omdat dat ook in het voorbeeld stond.

[zuidwijk]

Sommige zeggen dit weg te laten dat dat ook werkt:

• /etc/localtime:/etc/localtime:ro

[xirixiz]

Klopt, dat heb ik ook gelezen idd. Ik ben van de Alpine Postgres image afgestapt en gebruik nu de "reguliere" image. Ik moet ook nog kijken of de Alpine base image impact heeft op de DSMR Reader image, en mogelijk dat ik switch naar Debian stable slim.

[zuidwijk]

Maar wat raden jullie nou als beste aan? Welke postgres versie?

[zuidwijk]

Ik probeerde trouwens een tweede test dsmr container aan te maken (genaamd aap) maar eenmaal aangemaakt blijft deze verwijzen naar dsmrdb ... klopt het dat je (kennelijk) geen tweede instantie ernaast kan maken?

version: '3.8'

services:
  aapdb:
    image: postgres:12.4
    restart: always
    volumes:
      - /etc/localtime:/etc/localtime:ro
      - /opt/aap/dsmrdb:/var/lib/postgresql/data
    environment:
      - TZ=Europe/Amsterdam
      - PG_TZ=Europe/Amsterdam
      - POSTGRES_USER=dsmrreader
      - POSTGRES_PASSWORD=dsmrreader
      - POSTGRES_DB=dsmrreader

  aap:
    image: xirixiz/dsmr-reader-docker:latest
    depends_on:
      - aapdb
    cap_add:
      - NET_ADMIN
    restart: always
    volumes:
      - /etc/localtime:/etc/localtime:ro
      - /opt/aap/dsmr_backups:/dsmr/backups
    environment:
      - DJANGO_TIME_ZONE=Europe/Amsterdam
      - VIRTUAL_HOST=localhost
    ports:
      - 8777:80
      - 8779:443

[ INFO ] Removing existing PID files...
[ INFO ] Creating log directory...
[ INFO ] Fixing /dev/ttyUSB* security...
[ INFO ] Verifying if the DSMR web credential variables have been set...
[ INFO ] Verifying database connectivity to host: dsmrdb with port: 5432...
nc: getaddrinfo: Name does not resolve
nc: getaddrinfo: Name does not resolve
nc: getaddrinfo: Name does not resolve
nc: getaddrinfo: Name does not resolve
nc: getaddrinfo: Name does not resolve
nc: getaddrinfo: Name does not resolve
nc: getaddrinfo: Name does not resolve
nc: getaddrinfo: Name does not resolve
nc: getaddrinfo: Name does not resolve
nc: getaddrinfo: Name does not resolve
nc: getaddrinfo: Name does not resolve
nc: getaddrinfo: Name does not resolve

[xirixiz]

Check the README https://github.com/xirixiz/dsmr-reader-docker/.

You need to set DJANGO_DATABASE_HOST. dsmrdb is otherwise the default.

[zuidwijk]

Ok, back to English :)

This is what I did to get it al working perfectly again...

I used postgres:12.4-alpine
I kept the volume /etc/localtime:/etc/localtime:ro
I added DJANGO_TIME_ZONE=Europe/Amsterdam to the environment of dsmr (didn't had that one)

edit docker-compose.yml to use the right db engine and settings:

version: '3.8'

services:
  dsmrdb:
    image: postgres:12.4-alpine
    container_name: dsmrdb
    restart: always
    volumes:
      - /etc/localtime:/etc/localtime:ro
      - ./dsmrdb:/var/lib/postgresql/data
    environment:
      - TZ=Europe/Amsterdam
      - PG_TZ=Europe/Amsterdam
      - POSTGRES_USER=dsmrreader
      - POSTGRES_PASSWORD=dsmrreader
      - POSTGRES_DB=dsmrreader
  dsmr:
    image: xirixiz/dsmr-reader-docker:latest
    container_name: dsmr
    depends_on:
      - dsmrdb
    cap_add:
      - NET_ADMIN    
    links:
      - dsmrdb
    restart: always
    volumes:
      - /etc/localtime:/etc/localtime:ro
      - ./dsmr_backups:/dsmr/backups
    environment:
      - TZ=Europe/Amsterdam
      - DJANGO_TIME_ZONE=Europe/Amsterdam
      - VIRTUAL_HOST=localhost
      - DSMRREADER_ADMIN_USER=****
      - DSMRREADER_ADMIN_PASSWORD=****
    ports:
      - 7777:80
      - 7779:443
    labels:
      - traefik.backend=****
      - traefik.frontend.rule=Host:****
      - traefik.frontend.entrypoint=https
      - traefik.docker.network=traefik
      - traefik.enable=true
      - traefik.port=80
      
networks:
    default:
        external:
            name: traefik

Than I used the following sequence:

1. make a backup of current db
2. stop database and move current database to another folder (mv dsmrdb dsmrdb.old && mkdir dsmrdb)
3. create all containers
4. place backup of step 1 back

docker stop dsmr
docker exec -t dsmrdb pg_dumpall -c -U dsmrreader > backup.sql
docker stop dsmrdb
mv dsmrdb dsmrdb.old
mkdir dsmrdb
docker-compose up -d
docker stop dsmr
docker exec -t dsmrdb dropdb dsmrreader -U dsmrreader
docker exec -t dsmrdb createdb -O dsmrreader dsmrreader -U dsmrreader
cat backup.sql | docker exec -i dsmrdb psql -U dsmrreader
docker start dsmr

[zuidwijk]

It's running smoothly,... I'd say we close this ticket.
I do have another issue about the admins passwords keep changing back to it's default.

I'll monitor that and next time it happens I'll open a case for that (probably best to do that on @dennissiemensma his GitHub? N-I don't think that is Docker related ... or is it?

[xirixiz]

Hahaha, sorry, bij mijn opdrachtgever gaat alles in het Engels, vandaar. Dat van het admin wachtwoord heb ik vaker voorbij zien komen en zal ik deze week ook eens induiken. Alles wat DSMR gerelateerd is mag richting @dennissiemensma en alles wat Docker gerelateerd is binnend de context van DSMR mag hier. Maar goed, wanneer er onduidelijkheid heerst en het issue zich in een grijs gebied bevind maakt het niet zoveel uit. We helpen elkaar allemaal en daar gaat het uiteindelijk om.

[xirixiz]

@zuidwijk ...maar even zo :). Enorm bedankt voor de gulle bijdrage ;)

[zuidwijk]

Graag gedaan ☺️