Firmware Nicolas - Lignes dupliquées dans fichiers CSV

[Laurent6012]

Bonjour,
J'ai pris le fork de Nicolas pour travailler, voilà pourquoi je le précise dans le titre. Autrement il s'agit surtout de l'utilisation des fichiers CSV, mais je n'ai trouvé aucun topic qui corresponde et c'est sur une carte Denky D4.

La carte fonctionne très bien et le soft aussi, le seul soucis que j'ai est que j'utilise MariaDB sur un NAS Synology. NAS qui n'encaisse que leur logiciel made in Synology d'ailleurs. D'où un bridage puisque j'ai un historique de conso déjà existant depuis mai 2024 que les sauvegardes relèvent de programme en bash... Et oui MariaDB sur Synology utilise un compte "root" autre que celui du NAS lui-même. Très pertinent comme choix...

Bref, de temps à autre, rien n'est parfait, la carte ESP qui traite en parralèle toutes le 5 minutes les trames MQTT renvoyées sur le PI, plante en général plutôt de nuit . Lorsque je constate ça je prend donc manuellement le fichier csv de l'année en cours sur le Denky pour en extraire les données horaires et reconsolider la table "heures" de la BDD avec les index manquants. J'ai eu plusieurs fois la surprise de constater des enregistrements répétitifs à la même heure dans les csv, et pas un seul ça peut aller jusqu'à + de 10, bien sûr avec des données légèrement différentes en index. Est-ce normal où cela pourrait provenir d'un quelconque réglage ?

Pour le MQTT le skip est réglé à 42 ce qui donne +/- 1 minute, je pourrais passer à 5mins mais avec un risque potentiel de màj ratée, j'ai donc mis 1 minute ce qui garanti des données à jour avec le callback.
Pour info mon autoexec.be avec le réglage concerné.
Sur le Denky je n'utilise rien d'autre, c'est mon traitement qui fait les màj du compteur dans Domoticz et des données dans MariaDB.
Dernier point important je travaille en microPython sur un ESP32-S3-Pico de Waveshare, j'ai des cartes S3 zéro de chez eux beaucoup moins de plantage... Donc un language non compilé mais interprété à la volée, d'où une certaine prudence et des plantages totalement non identifiable parfois... J'avais envisagé de mettre un log, c'est vraiment usine à gaz et ça ralenti énormément la boucle principale.

Merci de toute aide, si toutefois il y a une possible.
Sinon manuellement c'est pas la mort non plus de toutes façons automatiser cela me parait un peu difficile, puisqu'il faut récupérer un fichier sur le serveur déjà. Et je ne connais pas assez le language spécifique du Tamosta. Et très raisonnablement j'en connais déjà un rab de languages alors 1 de plus ferait peut-être la goutte qui va faire déborder le vase

Bonne journée,
Laurent

[Laurent6012]

Heu je m'apercvois que le fichier "autoexec.be.txt" est banni par uBlock Origine je le mets donc ici en "code".

# This file does nothing it just contains some
# examples to suit your needs depending on project
# It will be copied into filesystem to be editable
# =====================================================

# Set auto timezone
#tasmota.cmd("Backlog0 Timezone 99; TimeStd 0,0,10,1,3,60; TimeDst 0,0,3,1,2,120")

# Set Teleinfo in legacy (historique) mode at 1200 baud.
#tasmota.cmd("EnergyConfig Historique")

# Set Teleinfo in Standar mode at 9600 baud.
#tasmota.cmd("EnergyConfig Standard")

# Set Teleinfo to autodetect mode (standard or historique)
#tasmota.cmd("EnergyConfig automode")

# Set LED brightness to 75%, in sleep mode it will be bright/2
# 0 for Green LED and 1 for Period Indicator (blue, white or red)
## Ici je teste à 20, sinon beaucoup trop lumineux
tasmota.cmd("EnergyConfig bright=20")
#tasmota.cmd("EnergyConfig bright=75")
#tasmota.cmd("EnergyConfig period=1")

# Disable Boot Loop Detection
#tasmota.cmd("SetOption65 1")

# Avoid conflict between native WS2812 and Berry control
# disables native WS2812 (default Scheme is 0)
#tasmota.cmd("Scheme 14")

## Ce fichier est bien lu au démarrage pas étonnant vu son nom
## Testé avec la luminosité de la Led Onboard plus haut et un redémarrage...
##
## Donc ici pour mes besoins perso je limite les trames publiées à 1 toutes les minutes environ
## Les réglages de base et il ne venaient pas de ce fichier étaient à skip=2 soit 1 trame
## publiée toutes les 2 secondes.
## J'ai mis à 42 ce qui est équivalent à +- 59,x secondes
tasmota.cmd("EnergyConfig skip=42")

[Nicolas Bernaerts]

@Laurent6012 quelle version de firmware utilisez vous ?
Vous parlez de skip, vous utilisez le topic TIC ?

[Laurent6012]

@Nicolas-Bernaerts

Bonjour, un poil tardif ma réponse...
Pour l'historique je n'ai reçu aucune info d'une réponse sur le fofo. Il faudra que je regarde si c'est possible ou bien que je pense à regarder plus souvent si il y a eu réponse

Pour la version utilisée elle n'est pas très ancienne, j'ai fait cela début 2026 après galères avec mon ancien système à base de micropython sur l'UART, plutôt basique et qui ne fonctionnait pas trop bien après la pose du linky courant février 2026 ou l'ancien montage sur Arduino ne fonctionnait plus du tout lui.
Ci dessous les infos prises directement sur le Denky :

Et pour la 2ème question oui je me suis replié sur une exploitation externe par ESP32S3 du topic MQTT qui est sur mon Raspberry où Domoticz est mis.
J'ai essayé de transposé sur mon NAS syno mais comble de joie mon modèle ne supporte pas le developpement MQTT fait.Un vrai bonheur ces Synology.

Denky D4 (v1.3a)
Tasmota
Informations
Version du programme	15.0.1 (tasmota)
Date & Heure de build	2025-11-16T22:35:54
Version Core/SDK	3_1_3/5.3.3.250501
Durée d'activité	0T00:02:42
Compteur écriture flash	84
Nb. de boot	33
Raison du redémarrage	RTC Watch dog reset digital core and rtc module
Surnom 1	Tasmota
AP1 Informations	SSID Livebox-56BC
RSSI 76%, -62 dBm
Mode HT40
Canal 11

HTTP API	Activé
Hôte MQTT	192.168.1.73
Port MQTT	1883
MQTT TLS	Désactivé
Utilisateur MQTT	xxxxxxxx
Client MQTT	DVES_F5BCD0
Topic MQTT	tasmota_%06X
Groupe topic MQTT 1	cmnd/tasmotas/
Topic complet MQTT	cmnd/tasmota_F5BCD0/
MQTT Topic de secours	cmnd/DVES_F5BCD0_fb/
MQTT No Retain	Désactivé
ESP Chip Id	16104656 (ESP32-PICO-V3-02 v3.0)
Flash Chip Id	0x174020 (QIO)
Taille flash	8192 KB
Taille Flash Programme	8192 KB
Taille programme	1524 KB
Espace programme libre	1356 KB
Mémoire libre	134,6 KB (frag, 18%)
Mémoire PS-RAM	2048 KB
Mémoire PS-RAM libre	2032 KB
Partition safeboot	832 KB (utilisé 96%)
Partition app0*	2880 KB (utilisé 52%)
Partition fs	4416 KB

Il y a presque tout donc cela devrait suffire, enfin j'espère.
Je n'ai toujours pas résolu les soucis de répétition de lignes sur la même heure dans le CSV. Bon ce n'est pas trop grave puisque je passe sur une feuille de tableur inrtermédiaire, je les élimine donc, mais elles existent parfois, ce n'est pas sytématique.
Autre bizarrerie constatée, dernièrement, rebelotte même si "Orange est là" pas trop de fiabilité lorsqu'on arrive aux vacances scolaires et leur rab de connexions sur l'internet.
Celles-ci doivent arriver à saturer le multiplexage temporel utilisé sur la fibre et sur le câble précédemment.
J'ai donc constaté l'apparition d'une multitude de fichier csv pour 2027 à 2030 ???
Tout cela le même jour horodaté le 21/05 à un peu plus de 15h, très bizarre, je pense à une difficulté d'accès au Wifi ce jour là puisque même le réseau mobile a été HS environ 4h de temps.
On a très souvent des merssages de perte du Wifi sur la nouvelle TV Android en ces périodes de vacances scolaires... Ce qui m'a conduit à reprendre le prog micropython qui exploite les trames MQTT pour mettre un soft reset sur la perte du Wifi, assez pénible à gérer et pas hyper fiable.
Pourriez vous m'indiquer si des exemples existent oupas en language Berry pour exporter sur du mySQL dircetement depuis le denky D4 ? Cela est lassant de devoir passer par une carte complémentaire esp32S3 juste pour ça, merci s'il y a toutefois des exemples ça c'est moins sûr

Voilà, sinon autre soucis depuis mon traitement par feuille de tableur interposé, j'ai pu constater qu'il y a un décalage d'un jour sur le 1er champ d'horodatage avec semaine jour de l'année etc. des trames du csv en début d'année, probablement car en language de prog les listes commencent à 0.
Mais bizarrement ceci n'est plus le cas maintenant en mai et avril c'est sûr mais je ne sais plus quand cela a eu lieu exactement, désolé.

Merci d'avoir pris la peine de répondre à ma question toujours.

Je continue en micropython mais cela ne gère pas teriblement bien ces foutus accès au mySQL made in Synology et beaucoup d'erreurs système, d'où ma question si c'est possible de le faire en language Berry. Sinon je reprendrais du language compilé style C#, les librairies micropython bricolées à l'arrache ne sont pas vraiment maintenues la pluspart

Bonne journée,
Laurent

[Laurent6012]

Bon petite précision sur le soft reset mis en place.
En fait à l'époque où j'avais consulté les exemples d'utilisation de umqtt sur micropython cela parlait :
1- Plutôt de Python lui même ;
2- Utilisait systématiquement umqtt.simple en import.
J'ai trouvé par hasard aujourd'hui un fil de discussion ou ils parlent de umqtt.robuste qui est existant dans les firmware micropython, mais très peu connu apparemment.

J'ai du coup utilisé celui-ci qui se reconnecte automatiquement comme client. ce qui ne semble pas être le cas pour le umqtt.simple, d'où les trop nombreux retours de deconnexion voir de hostunreached renvoyés par la librairie umqtt.simple.

Je met ceci car cela semble bien fonctionner et éviterait un bypass par une multitude de tentatives, un peu sauvages, de soft reset à la place

Bon après-midi

[Laurent6012]

This post is deleted!

[Laurent6012]

@Nicolas-Bernaerts

Vérifié, par défaut les réglages du forum n'envoie aucun e-mail j'ai mis un e-mail lors d'une réponse sur un sujet suivi, c'est bon maintenant.

[Nicolas Bernaerts]

@Laurent6012

RTC Watch dog reset digital core

signale qu'il y a eu un reset anormal.
Cela peut venir d'un wifi pourri ... Il faudrait vérifier votre paramétrage wifi et valider qu'il soit compatible avec les esp32.