Diagramme sichern

Einrichtung, Nutzung und Hilfe zu RaspberryMatic (OCCU auf Raspberry Pi)

Moderatoren: jmaus, Co-Administratoren

rallef63
Beiträge: 12
Registriert: 14.04.2021, 18:38
System: Alternative CCU (auf Basis OCCU)
Danksagung erhalten: 3 Mal

Diagramme sichern

Beitrag von rallef63 » 14.04.2021, 19:40

Hallo, nach jedem Reboot meines Raspberry sind meine Diagramme verschwunden. Ich habe die Diagramme auf mein NAS ausgelagert.

Der letzte Reboot war am 18.3. Die Dateien im /tmp und /measurment auf meinem NAS haben immer noch den Timestamp vom 18.3. wenn ich jetzt die Raspberry neustarte und werden die rrd Dateien im /tmp aktualisiert und ich kann sie manuell wegsichern. Beim Neustart muss ich diese dann wieder zurücksichern.
Wenn ich über die WebGui der CCU die Diagramme sichere haben die auch ein Datum vom 18.3., somit werden die auch nach eienme Neustart nichts bringen.

wie kann ich verhindern das die Diagramme nach jedem update/neustart nicht verlorengehen. Das gleiche Problem habe ich auch wenn die Daten auf ein USB-Stick gesichert werden.

Ich vermute das da ein Linux Process läuft der erst nach dem reboot Befehl die Daten in das tmp Verzeichnis updatet. Kann man das nicht ändern, das die tmp -Dateien zyklisch geschrieben werden?

Benutzeravatar
Baxxy
Beiträge: 10646
Registriert: 18.12.2018, 15:45
System: Alternative CCU (auf Basis OCCU)
Hat sich bedankt: 596 Mal
Danksagung erhalten: 2180 Mal

Re: Diagramme sichern

Beitrag von Baxxy » 20.04.2021, 00:28

rallef63 hat geschrieben:
14.04.2021, 19:40
Hallo, nach jedem Reboot meines Raspberry sind meine Diagramme verschwunden.
Hallo zurück...
zumindest die reguläre Speicherung der Diagramme auf einem angeschlossenen USB-Stick sollte funktionieren.

Ich habe jetzt mal mehrere Diagramme erstellt und werde die Sache beobachten. Wenn sich herausstellt das die Diagramme tatsächlich nach einem Reboot weg sind wäre das als Bug in RaspberryMatic anzusehen und man müsste idealerweise ein Issue-Ticket anlegen damit jmaus sich das anschauen kann.

Rückmeldung erfolgt wenn weitere Erkenntnisse vorliegen.
Zuletzt geändert von Baxxy am 25.04.2021, 09:14, insgesamt 1-mal geändert.

Hütte
Beiträge: 746
Registriert: 08.02.2017, 11:08
Hat sich bedankt: 32 Mal
Danksagung erhalten: 75 Mal

Re: Diagramme sichern

Beitrag von Hütte » 24.04.2021, 22:26

Habe gerade mal auf meinem Tinker S mit RaspberryMatic 3.57.4.20210320 und angeschlossenem USB-Stick mal einen Neustart durchgeführt. Das System wurde zuletzt am 27.03.2021 neu gebootet und am 03.404.2021 hatte ich zwei neue Diagramme angelegt. Beide Diagramme waren nach dem Neustart immer noch vorhanden. Und alle, wirklich alle, Dateien haben auf dem USB-Stick denselben Zeitstempel wie vor dem Reboot.

Aber dass sich der Zeitstempel nur so selten ändert, liegt wohl an der Art dieser Round-Robin-Database-Architektur. Beim Erstellen eines Diagrammes wird eine .rrd-Datei, je nach Konfiguration, mit der notwendigen Anzahl von Datenpunkten innerhalb der Datei erzeugt. Diese Datenpunkte werden dann nach und nach gefüllt, ohne dass sich wohl der Zeitstempel ändert. Je nach Konfiguration werden dann aber, wenn alle Datenpunkte gefüllt sind, wohl die älteren Daten zu Mittelwerten zusammengefasst und die anderen Datenpunkte wieder freigegeben. Das ist zwar splatzsparend, hat aber eigentlich zwei Nachteile. Erstens wird bei eine SD-Kart oder USB-Stick immer eine Zeit lang so ziemlich auf dieselben Speicherzellen geschrieben (Verschleiß von Karte oder Stick). Zweitens kann man dadurch unter Umständen sich keine Einzeldaten für einen bestimmten Zeitraum anzeigen lassen, die wesentlich länger zurück liegen.

Beim Zusammenfassen der Daten in dieser Datenbankdatei kommt es wohl endlich doch zum Update des Zeitstempels. Daher haben bei mir einige Diagramm-Dateien jetzt einen Zeitstempel vom 23.04.2020. Die Diagramme laufen aber schon über 5 Jahre und mein Umstieg von einem Pi3 auf das Tinker-S mit demselben USB-Stick, der auch schon im Pi3 im Einsatz war, liegt auch schon ein paar Jahre zurück.

Am Anfang war ich auch total verwirrt, warum sich weder die Größe der Datei noch der Zeitstempel der Datei ändert. Und nachdem ich das Konzept hinter dieser Art von Datenbank im Groben verstanden habe, kann ich die Aussage von Jens gut verstehen, warum er die internen Diagramm-Möglichkeiten von HomeMatic, die dementsprechend auch in RaspberryMatic enthalten sind, nur als "Krücke" bezeichnet. Denn Langzeit-Analysen, z.B. beim Strom-, Gas- oder Wasserverbrauch, über mehrere Jahre hinweg sind damit einfach nicht möglich. Da sollte man doch auf andere Möglichkeiten zurückgreifen, die bei mir zwar auch auf der Liste stehen: Aber irgenwie fehlt aktuell einfach die Zeit.

Benutzeravatar
Baxxy
Beiträge: 10646
Registriert: 18.12.2018, 15:45
System: Alternative CCU (auf Basis OCCU)
Hat sich bedankt: 596 Mal
Danksagung erhalten: 2180 Mal

Re: Diagramme sichern

Beitrag von Baxxy » 25.04.2021, 09:14

Ach, da war ja noch was.
Danke @Hütte für die "Erinnerung" und deine Ausführungen. :)
Baxxy hat geschrieben:
20.04.2021, 00:28
Rückmeldung
Meine 6 "Testdiagramme" funktionieren nach mehreren Neustarts immer noch und haben auch einige Systemupdates (Testversionen) überstanden.

Somit kann ich festhalten das die Diagrammfunktion funktional ist, zumindest wenn die Diagramme auf einem angestöpselten USB-Stick gespeichert werden.

Grüße
Baxxy

rallef63
Beiträge: 12
Registriert: 14.04.2021, 18:38
System: Alternative CCU (auf Basis OCCU)
Danksagung erhalten: 3 Mal

Re: Diagramme sichern

Beitrag von rallef63 » 23.07.2021, 17:00

Sorry das ich jetzt erst antworte. Aber leider sind meine Diagramme nach jedem Neustart weg. Was kann ich noch überprüfen?. Kann man nicht die Speicherung vom tmp Verzeichnis auf den USB-Stick oder dem angegeben Speichermedium vor einem reboot erzwingen?
Was passiert mit deinen Diagrammen, wenn du zB. den Raspberry aus und ein schaltest ohne reboot?

Xel66
Beiträge: 14085
Registriert: 08.05.2013, 23:33
System: Alternative CCU (auf Basis OCCU)
Wohnort: Nordwürttemberg
Hat sich bedankt: 580 Mal
Danksagung erhalten: 1492 Mal

Re: Diagramme sichern

Beitrag von Xel66 » 23.07.2021, 20:02

Wenn die Diagramme unter /tmp liefen, dann ist es erstens kein Wunder, dass sie weg sind, denn es ist ja gerade der Sinn eines temporären Verzeichnisses, dass diese nur im RAM liegt. Da stimmt wohl was mit Deinen Einstellungen nicht oder der Stick wird nicht korrekt gemountet. Ein Stick ist in einer Standardumgebung (Pi + Funkmodul) zwingende Voraussetzung für funktionierende Diagramme.

Man kann allerdings auch eigene Verzeichnisse in ein Unterverzeichnis von /tmp mounten (aber nicht /tmp selbst benutzen). So mache ich das, um temporäre Bilder meiner IP-Cams zu erhalten ohne den Standardpfad zu ändern. Ich mache diese per CUxD, weil ich damit auch u.a. die Cams integriert habe.

Gruß Xel66
-------------------------------------------------------------------------------------------
524 Kanäle in 146 Geräten und 267 CUxD-Kanäle in 34 CUxD-Geräten:
343 Programme, 334 Systemvariablen und 183 Direktverknüpfungen,
RaspberryMatic Version: 3.65.11.20221005 + Testsystem: CCU2 2.61.7
-------------------------------------------------------------------------------------------
Einsteigerthread, Programmlogik-Thread, WebUI-Handbuch

Benutzeravatar
Baxxy
Beiträge: 10646
Registriert: 18.12.2018, 15:45
System: Alternative CCU (auf Basis OCCU)
Hat sich bedankt: 596 Mal
Danksagung erhalten: 2180 Mal

Re: Diagramme sichern

Beitrag von Baxxy » 24.07.2021, 11:48

Da ich letztens mein Testsystem unfreiwillig "geplättet" hatte sind auch alle meine Test-Diagramme weg. Neue hatte ich noch keine angelegt, daher kann ich momentan nix direkt zum Thema beitragen.
Xel66 hat geschrieben:
23.07.2021, 20:02
Ein Stick ist in einer Standardumgebung (Pi + Funkmodul) zwingende Voraussetzung für funktionierende Diagramme.
Für RaspberryMatic gilt das seit Version 3.55.10.20210213 nicht mehr. Man kann mit einer config-Datei "/etc/config/CustomStoragePath" den Speicherpfad (theoretisch) auf jedes verfügbare Verzeichnis umleiten.
Xel66 hat geschrieben:
23.07.2021, 20:02
Wenn die Diagramme unter /tmp liefen,
Da wurde auch mal was (bei RM) geändert. So wie ich das sehe werden die Diagrammdaten nach /tmp/measurement geschrieben und nur alle 10 Minuten mit dem "Stick" synchronisiert.

(Auszug aus /etc/crontab.root)

Code: Alles auswählen

*/10 * * * * [ -d /media/usb0/measurement ] && /bin/nice /usr/bin/rsync -aogX --delete-after --no-whole-file --checksum /tmp/measurement/ /media/usb0/measurement/ >/dev/null 2>/dev/null
rallef63 hat geschrieben:
23.07.2021, 17:00
Was passiert mit deinen Diagrammen, wenn du zB. den Raspberry aus und ein schaltest ohne reboot?
Nie getestet. Sowas würde ich keinem Pi antun. Die Gefahr dabei das Dateisystem auf der SD-Karte zu zerlegen wäre mir zu groß.

rallef63
Beiträge: 12
Registriert: 14.04.2021, 18:38
System: Alternative CCU (auf Basis OCCU)
Danksagung erhalten: 3 Mal

Re: Diagramme sichern

Beitrag von rallef63 » 09.08.2021, 17:13

Hallo,

der Eintrag ist in der crontab enthalten. Aber ich have immer noch ein Datum vom letzten reboot am 15.7 als Datum des /tmp/measurement VZ und aller Dateien in diesem Verzeichnis.

Benutzeravatar
jmaus
Beiträge: 9818
Registriert: 17.02.2015, 14:45
System: Alternative CCU (auf Basis OCCU)
Wohnort: Dresden
Hat sich bedankt: 459 Mal
Danksagung erhalten: 1855 Mal
Kontaktdaten:

Re: Diagramme sichern

Beitrag von jmaus » 09.08.2021, 17:26

rallef63 hat geschrieben:
09.08.2021, 17:13
der Eintrag ist in der crontab enthalten. Aber ich have immer noch ein Datum vom letzten reboot am 15.7 als Datum des /tmp/measurement VZ und aller Dateien in diesem Verzeichnis.
Das kann durchaus normal sein, denn es handelt sich dabei um rrd dateien die mitunter aktualisiert werden ohne das deren Änderungsdatum angepasst werden (eben über direktes block I/O). Um herauszufinden ob sich da was ändert müsstest du eher sowas wie eine md5 oder sha256 checksumme mal über die dateien zyklisch machen lassen. Dann solltest du sehen das sich der Inhalt der Dateien in der Tat ändert.
RaspberryMatic 3.75.6.20240316 @ ProxmoxVE – ~200 Hm-RF/HmIP-RF/HmIPW Geräte + ioBroker + HomeAssistant – GitHub / Sponsors / PayPal / ☕️

Benutzeravatar
Baxxy
Beiträge: 10646
Registriert: 18.12.2018, 15:45
System: Alternative CCU (auf Basis OCCU)
Hat sich bedankt: 596 Mal
Danksagung erhalten: 2180 Mal

Re: Diagramme sichern

Beitrag von Baxxy » 10.08.2021, 16:52

Ich denke ich kann das inzwischen reproduzieren, bin aber noch dabei das genauer zu analysieren.

Dafür brauche ich aber klare Antworten auf folgende Fragen:
rallef63 hat geschrieben:
14.04.2021, 19:40
nach jedem Reboot meines Raspberry sind meine Diagramme verschwunden
  • Sind die Diagramme wirklich komplett weg und du musst sie neu anlegen?
  • Oder sind die Diagrammdaten weg, und die Trends beginnen nach dem Reboot neu?
rallef63 hat geschrieben:
14.04.2021, 19:40
Ich habe die Diagramme auf mein NAS ausgelagert
  • Wie, bzw. womit mountest du den Pfad zum NAS? (CUxD / rc.local / sonstiges)
  • Und wie gehst du vor um den Speicherpfad der Diagramme auf den mount "umzubiegen"?
Grüße
Baxxy

Antworten

Zurück zu „RaspberryMatic“