Backups (.sbk) vervielfachen Größe von Woche zu Woche

Einrichtung, Nutzung und Hilfe zu RaspberryMatic (OCCU auf Raspberry Pi)

Moderatoren: jmaus, Co-Administratoren

Benutzeravatar
robson
Beiträge: 99
Registriert: 08.06.2016, 19:26
Wohnort: Ruhrpott
Hat sich bedankt: 4 Mal
Danksagung erhalten: 3 Mal

Backups (.sbk) vervielfachen Größe von Woche zu Woche

Beitrag von robson » 30.05.2017, 22:36

Hallo zusammen,

Anfang April bin ich von der CCU2 auf Rasperrymatic mit einem RPi3 umgestiegen. Aktuell läuft bei mir Version 2.27.8.20170501.

Ich habe seit jeher ein Programm, mit dem ich über CuxD wöchentlich ein Backup anfertige (über "/usr/local/addons/cuxd/extra/ccu_backup)". Dies hat zu CCU2-Zeiten immer reibungslos funktioniert. Die Dateigrößen hielten sich mit ca. 20-30 MB im Rahmen.

Das erste Backup mit der Raspberrymatic war nur ca. 3 MB groß. Die Größe der einzelnen Folge-Backups hat sich aber von Woche zu Woche vervielfacht.
Die Größen der Folgewochen betrugen: 8, 16, 96, 193, 388 und zuletzt 757 MB! Die Sicherungen dauern seitdem (verständlicherweise) bei mir gefühlte Ewigkeiten.

Die Logdateien habe ich bereits geprüft. Diese machen lediglich 1-2 MB aus. Andere Auffälligkeiten konnte ich per SSH nicht auf meinem RPi3 finden.

Hat jemand eine Idee, was ich prüfen könnte bzw. woran das liegen könnte?

Bin für jeden Hinweis dankbar!

VG :)
Raspberry Pi 3 RaspberryMatic, Raspberry Pi 3 als HMLGW

Xel66
Beiträge: 14165
Registriert: 08.05.2013, 23:33
System: Alternative CCU (auf Basis OCCU)
Wohnort: Nordwürttemberg
Hat sich bedankt: 585 Mal
Danksagung erhalten: 1500 Mal

Re: Backups (.sbk) vervielfachen Größe von Woche zu Woche

Beitrag von Xel66 » 30.05.2017, 23:56

Kann es sein, dass Du die alten Sicherungen wieder mitsicherst und nicht die temporär erstellten Sicherungsdateien nach erfolgtem Backup löschst? Ich nutze das nicht, wäre aber mein Ansatz zur Ursachensuche.

Gruß Xel66
-------------------------------------------------------------------------------------------
524 Kanäle in 146 Geräten und 267 CUxD-Kanäle in 34 CUxD-Geräten:
343 Programme, 334 Systemvariablen und 183 Direktverknüpfungen,
RaspberryMatic Version: 3.65.11.20221005 + Testsystem: CCU2 2.61.7
-------------------------------------------------------------------------------------------
Einsteigerthread, Programmlogik-Thread, WebUI-Handbuch

Benutzeravatar
jmaus
Beiträge: 9862
Registriert: 17.02.2015, 14:45
System: Alternative CCU (auf Basis OCCU)
Wohnort: Dresden
Hat sich bedankt: 464 Mal
Danksagung erhalten: 1880 Mal
Kontaktdaten:

Re: Backups (.sbk) vervielfachen Größe von Woche zu Woche

Beitrag von jmaus » 31.05.2017, 15:56

Oder du hast sowas wie CCU-Historian dort auf dem selben System laufen (als Addon) und er schreibt eben die Daten dort mit auf die SD Karte. Sowas sollte man vermeiden/unterlassen weil die SD Karte sowas nicht lange mitmachen wird.
RaspberryMatic 3.75.7.20240420 @ ProxmoxVE – ~200 Hm-RF/HmIP-RF/HmIPW Geräte + ioBroker + HomeAssistant – GitHub / Sponsors / PayPal / ☕️

Benutzeravatar
robson
Beiträge: 99
Registriert: 08.06.2016, 19:26
Wohnort: Ruhrpott
Hat sich bedankt: 4 Mal
Danksagung erhalten: 3 Mal

Re: Backups (.sbk) vervielfachen Größe von Woche zu Woche

Beitrag von robson » 31.05.2017, 17:32

jmaus hat geschrieben:Oder du hast sowas wie CCU-Historian dort auf dem selben System laufen (als Addon) und er schreibt eben die Daten dort mit auf die SD Karte. Sowas sollte man vermeiden/unterlassen weil die SD Karte sowas nicht lange mitmachen wird.
Historian ist nicht installiert. Aber danke für den Tipp. Das Addon steht noch auf meiner Liste.
Xel66 hat geschrieben:Kann es sein, dass Du die alten Sicherungen wieder mitsicherst und nicht die temporär erstellten Sicherungsdateien nach erfolgtem Backup löschst? Ich nutze das nicht, wäre aber mein Ansatz zur Ursachensuche.

Gruß Xel66
Ja, ich habe aus Gründen der Sicherheit gerne einen gewissen Bestand an "historischen" Daten. Das Mitsichern ging mit der CCU ohne Probleme - mir war auf Grund der geringen Größe auch nicht bewusst, dass die Backups mitgesichert werden. Kann ich diese nach x Wochen (automatisiert) wieder löschen lassen?
Raspberry Pi 3 RaspberryMatic, Raspberry Pi 3 als HMLGW

Arist
Beiträge: 123
Registriert: 21.04.2014, 15:00

Re: Backups (.sbk) vervielfachen Größe von Woche zu Woche

Beitrag von Arist » 31.05.2017, 20:06

Hallo!

Google mal nach "logrotate". Das lässt eine Menge Einstellmöglichkeiten zu und komprimiert auch, sofern gewünscht. Vielleicht passt es ja zu deinen Bedürfnissen.


Grüße

Arist

DrTob
Beiträge: 3426
Registriert: 29.10.2010, 08:24
Danksagung erhalten: 5 Mal

Backups (.sbk) vervielfachen Größe von Woche zu Woche

Beitrag von DrTob » 31.05.2017, 20:50

Da sich die Größe jedesmal relativ genau verdoppelt tippe auch ich darauf, dass das vorherige Backup jeweils mit enthalten ist.

Kenobi
Beiträge: 98
Registriert: 19.07.2014, 21:15
Hat sich bedankt: 1 Mal
Danksagung erhalten: 1 Mal

Re: Backups (.sbk) vervielfachen Größe von Woche zu Woche

Beitrag von Kenobi » 01.06.2017, 14:18

jmaus hat geschrieben:Oder du hast sowas wie CCU-Historian dort auf dem selben System laufen (als Addon) und er schreibt eben die Daten dort mit auf die SD Karte. Sowas sollte man vermeiden/unterlassen weil die SD Karte sowas nicht lange mitmachen wird.
Upps, das ist bei mir genau so betrieben, allerdings auf einem RaspberryMatic Dev. Ich fand die Idee des CCU-Historian Addons so komfortabel, war mir aber nicht bewusst, dass dadurch die SD Karte in Mitleidenschaft gezogen werden kann. Oder habe ich hier etwas falsch verstanden?

Wie kann ich es besser machen, wenn ich kein Unix System habe? Mit einem USB-Stick?

Mathias
Beiträge: 1794
Registriert: 03.11.2010, 10:25
System: CCU
Wohnort: Aachen
Hat sich bedankt: 58 Mal
Danksagung erhalten: 260 Mal
Kontaktdaten:

Re: Backups (.sbk) vervielfachen Größe von Woche zu Woche

Beitrag von Mathias » 01.06.2017, 15:53

Kenobi hat geschrieben:Upps, das ist bei mir genau so betrieben, allerdings auf einem RaspberryMatic Dev. Ich fand die Idee des CCU-Historian Addons so komfortabel, war mir aber nicht bewusst, dass dadurch die SD Karte in Mitleidenschaft gezogen werden kann. Oder habe ich hier etwas falsch verstanden?

Wie kann ich es besser machen, wenn ich kein Unix System habe? Mit einem USB-Stick?
Der CCU-Historian kann so konfiguriert werden, dass er nicht dauernd auf die SD-Karte schreibt sondern z.B. nur einmal am Tag. Schau mal im Handbuch Abschnitt 2.2 "Zwischenspeicherung von Wertänderungen im Arbeitsspeicher" nach.

Gruß
Mathias

Tharanis
Beiträge: 119
Registriert: 15.04.2015, 11:39
Hat sich bedankt: 2 Mal
Danksagung erhalten: 5 Mal

Re: Backups (.sbk) vervielfachen Größe von Woche zu Woche

Beitrag von Tharanis » 11.06.2017, 00:01

Der CCU-Historian kann so konfiguriert werden, dass er nicht dauernd auf die SD-Karte schreibt sondern z.B. nur einmal am Tag. Schau mal im Handbuch Abschnitt 2.2 "Zwischenspeicherung von Wertänderungen im Arbeitsspeicher" nach.
Das hatte ich auch erst so gemacht, nun hier vielleicht eine mögliche Alternative((?), die Spezialisten sehen das vielleicht anders^^):
Ich habe heute einen neuen Weg beschritten und einen USB-Stick an den RaspberryMatic gestöpselt. Ich erhoffe mir durch den Stick eine deutliche Entlastung der Micro-SD-Karte des RasperyMatic-Pis.
Nun werden sowohl die Logs von CuXD, als auch die Historian-Daten auf dem Stick abgelegt inkl. der Datenbank. Das Backup der Zentrale wird auch auf dem Stick abgelegt und da ich vorher auch das Problem der Vervielfachung der Backup-Größe hatte, hoffe ich nun auf fehlerfreien Betrieb. Das erste zeitgesteuerte Backup wird heute Nacht erstellt, sodass ich zu dem Testbackup dann den Größenvergleich machen kann.

Hier die Einstellungszeilen für Historian.config

Code: Alles auswählen

database.backup='/media/usb0/historian/backup/db_%Y-%M-%D.gz'
database.dir='/media/usb0/historian/database/'
logSystem.fileName='/media/usb0/historian/log/ccu-historian-%g.log'
historian.metaCycle=21600000
historian.bufferTime=21600000
Ich habe wegen des Sticks die Pufferzeiten von 24Std. auf 6Std. gesetzt.
DWD-Unwetterwarnscript v1.32.b03 (RaspberryMatic) - Lüftungswarnung auf Temperatur-Basis

RaspberryMatic (3.65.11.20221005) - Längste Laufzeit bislang: 48 Tage (RaspberryMatic), 72 Tage (CCU2), >100 Tage (CCU1)

Benutzeravatar
Herbert_Testmann
Beiträge: 11062
Registriert: 17.01.2009, 11:30
Danksagung erhalten: 7 Mal

Re: Backups (.sbk) vervielfachen Größe von Woche zu Woche

Beitrag von Herbert_Testmann » 11.06.2017, 08:31

Hallo

wie in einem anderen beitrag hier zu lesen war, wird bei einem neustart der CCU die Historian config (teilweise) überschrieben. Zumindest ist ein exteren Speicherpfad wieder auf den default Pfad SSD gesetzt.
Warum das so ist (was mich absolut stören würde, denn was kümmert sich RasPiMatic um die hostorian config??) kann ich nicht sagen.
Die temporäre Lösung ist im Moment, das config File von Historian auf readOnly zu setzen.
---
Dieses Schreiben wurde maschinell erstellt und ist ohne Unterschrift gültig

Antworten

Zurück zu „RaspberryMatic“