CCU-Historian: Ein Langzeitarchiv für die CCU

Das Langzeitarchiv für HomeMatic

Moderator: Co-Administratoren

Benutzeravatar
Hoppla
Beiträge: 341
Registriert: 29.12.2018, 19:39
System: Alternative CCU (auf Basis OCCU)
Wohnort: Leipzsch
Hat sich bedankt: 35 Mal
Danksagung erhalten: 12 Mal

Re: CCU-Historian: Ein Langzeitarchiv für die CCU

Beitrag von Hoppla » 19.11.2020, 18:08

Ja, der war gestoppt.
Ich hab das Trauerspiel beendet, weil er immer wieder die gleiche Datei angefasst hat.
inzwischen hab ich alles deinstalliert, die Verzeichnisse sind weg, der Speicherplatz allerdings immer noch. Auch die 500Gbyte der zuketzt aktuellen Datenbank sind nicht freigegeben.

NickHM
Beiträge: 3723
Registriert: 23.09.2017, 12:04
Hat sich bedankt: 64 Mal
Danksagung erhalten: 117 Mal

Re: CCU-Historian: Ein Langzeitarchiv für die CCU

Beitrag von NickHM » 19.11.2020, 18:27

Hallo

wenn Du ohnehin neu anfängst, oder Historian nicht weiter benutzen möchtest ...

- ioBroker auf einem RasPi
- eine SQL Datenbank auf der DS anlegen
- ioBroker die Datenpunkte vom Raspi direkt auf die SQL Datenbank der DS schreiben lassen
- sollte der RasPi dann mal SchluckAuf haben, bleibt die DB auf der DS erhalten
- die DS kann von der MariaDB10 automatische Backups machen
- ioBroker kann von sich selbst und von Der CCU3 automatische Backups in einen frei gegebenen SMB Ordner der DS machen
- die Diagramme von ioBroker sind sehr viel flexibler als die von Historian
- es gibt ein extra Forum für ioBroker

Benutzeravatar
Hoppla
Beiträge: 341
Registriert: 29.12.2018, 19:39
System: Alternative CCU (auf Basis OCCU)
Wohnort: Leipzsch
Hat sich bedankt: 35 Mal
Danksagung erhalten: 12 Mal

Re: CCU-Historian: Ein Langzeitarchiv für die CCU

Beitrag von Hoppla » 19.11.2020, 18:39

Ibroker hab ich probiert, das ist nicht mein Ding.
Wie gesagt, ich nehme einen Raspi4, hänge eine Platte dran und überlasse dem die Historian.
Muss nur noch suchen, wie man den da einrichtet.

Slice
Beiträge: 1187
Registriert: 03.02.2016, 14:44
System: Alternative CCU (auf Basis OCCU)
Wohnort: irgendwo aus Süd BaWü
Hat sich bedankt: 132 Mal
Danksagung erhalten: 80 Mal

Re: CCU-Historian: Ein Langzeitarchiv für die CCU

Beitrag von Slice » 19.11.2020, 21:38

Hoppla hat geschrieben:
19.11.2020, 12:14
Platte formatieren ist bei einem NAS nicht wirklich die Option, die man als erstes nimmt, wenn man nicht weis, ob das wieder passiert!
Letzten Endes ist die db nur Beiwerk, die das NAS als Goodi erledigen soll.
Welcher Aufwand ist es das Nas mit einem Backup der Daten neu einzurichten?
Andere betreiben ähnliche Installation in der Form und die DB ist nicht so aufgebläht! :!:
Irgendwas scheint mir am Datenvolumen nicht zu stimmen. Das macht mich am meisten stutzig.
----------------------------------------------------------------------------------------
Raspi3B+ Bullseye mit HB-RF-ETH und RPI-RF-MOD auf piVCCU-FW 3.73.9 / Addons: CuxD v2.11 - E-Mail v1.7.6 - Patcher v1.0.0 - Philips Hue v3.2.5 - Programme drucken v2.6 - Scriptparser v1.11 - XML-API v2.3
Geräte: 141 / Kanäle: 791 / Datenpunkte: 6080 / SysVars: 275 / Programme: 161 / Regadom IDs: 14010 / 48 CUxD-Kanäle in 3 CUxD-Geräten
Intel NUC i3-5010U @ 2,1 GHz mit 16 GB RAM & 512 GB SSD für Proxmox mit ioBroker VM und CCU-Historian/InfluxDB/Grafana VM
----------------------------------------------------------------------------------------
Projekte im Forum: Fritzbox-Anruferliste für HomeHub
----------------------------------------------------------------------------------------

NickHM
Beiträge: 3723
Registriert: 23.09.2017, 12:04
Hat sich bedankt: 64 Mal
Danksagung erhalten: 117 Mal

Re: CCU-Historian: Ein Langzeitarchiv für die CCU

Beitrag von NickHM » 19.11.2020, 22:26

Slice hat geschrieben:
19.11.2020, 21:38

Irgendwas scheint mir am Datenvolumen nicht zu stimmen. Das macht mich am meisten stutzig.
Stell Dir eine Messsteckdose vor (z.B. HMIP-PSM) die alle 20 sec Werte schickt. Immer volles Programm Spannung, Frequenz, Strom, Leistung ...
Und default wird erst mal alles schön mitgeloggt.
Oder ein Bewegungsmelder in einem Bereich wo ständig Bewegung ist. Das muss ja kein Programm triggern, aber die Werte werden mitgeschrieben.

Mathias
Beiträge: 1762
Registriert: 03.11.2010, 10:25
System: CCU
Wohnort: Aachen
Hat sich bedankt: 57 Mal
Danksagung erhalten: 252 Mal
Kontaktdaten:

Re: CCU-Historian: Ein Langzeitarchiv für die CCU

Beitrag von Mathias » 19.11.2020, 23:12

Hoppla hat geschrieben:
17.11.2020, 08:19
Hier läuft ccu-Historian auf einer DS 220+.
Im Ordner /volume1/@appstore/ccu-historian/data befindet sich eine Datei
history.mv.db mit der Größe 2.181.840.896...
Das ist die eigentliche Datenbank des CCU-Historians. Sie ist damit ungefähr 2 GB (Gigabyte) groß. Diese Größe ist nicht außergewöhnlich. Die Datenbank kann kleiner gehalten werden, wenn Datenpunkte deaktiviert werden oder eine Vorverarbeitung aktiviert wird. Beides ist in der Datenpunktkonfiguration zu finden.

Dass der CCU-Historian 1,5 oder 2,1 TB (Terrabyte) belegen soll, halte ich für sehr unwahrscheinlich. So eine große Datei (oder Verzeichnis) muss leicht mit dem Linux-Befehl du zu finden sein.

Benutzeravatar
Hoppla
Beiträge: 341
Registriert: 29.12.2018, 19:39
System: Alternative CCU (auf Basis OCCU)
Wohnort: Leipzsch
Hat sich bedankt: 35 Mal
Danksagung erhalten: 12 Mal

Re: CCU-Historian: Ein Langzeitarchiv für die CCU

Beitrag von Hoppla » 19.11.2020, 23:30

Betrachten wir das Thema als gelöst.
Backup läuft, morgen ist das fertig, dann kaufe ich den rpi ...

steb
Beiträge: 12
Registriert: 17.11.2020, 09:28
System: CCU

Re: CCU-Historian: Ein Langzeitarchiv für die CCU

Beitrag von steb » 23.11.2020, 08:13

Ich betreibe seit letzter Woche auch eine CCU-Historian Installation und habe eine konkrete Frage zur Konfiguration in der CCU3 WebUI für die Datensammlung.
Um mehr Daten zu erhalten habe ich in den einzelnen Geräten in WebUI die zyklischen Statusmeldungen (und auszulassenden) angepasst (1:3 von 1:20).

Was ich nicht genau herausgelesen habe: Greift CCU-Historian selbst Daten aktiv ab, weshalb ich diese Statusmeldungen wieder zurücksetzen kann, oder sind es eben genau diese Rückmeldungen, die CCU-Historian abgreift?

Wenn ersteres, könnte ich meinen Duty Cycle nämlich wieder etwas herunterschrauben.

Danke und Gruß

NickHM
Beiträge: 3723
Registriert: 23.09.2017, 12:04
Hat sich bedankt: 64 Mal
Danksagung erhalten: 117 Mal

Re: CCU-Historian: Ein Langzeitarchiv für die CCU

Beitrag von NickHM » 23.11.2020, 19:39

Hallo

Historian registriert sich nur als Datenempfänger bei der CCU3 und bekommt dann alle anfallenden Daten der Datenpunkte geschickt.
Regelmässig abgefragt werden nur in langen Abständen z.B. die Namenslisten o.ä.

Benutzeravatar
koppenho
Beiträge: 227
Registriert: 27.12.2013, 09:12
Wohnort: Bad Neustadt, Deutschland
Hat sich bedankt: 2 Mal
Danksagung erhalten: 2 Mal

Re: CCU-Historian: Ein Langzeitarchiv für die CCU

Beitrag von koppenho » 04.12.2020, 15:32

Mein Beitrag kommt möglicherweise etwas zu spät für die Beteiligten.
Es ging um die Frage, wohin die temporären Daten geschrieben werden während eines "compact".
Baxxy hat geschrieben:
18.11.2020, 00:33
...
Hoppla hat geschrieben:
17.11.2020, 22:37
dem Ding beizubringen wohin der das Tmp-File schreiben soll.
Da hast du meines Wissens keine Eingriffsmöglichkeit. Auf der Zentrale (Add-On) wird die temp.sql direkt in /usr/local/addons/ccu-historian/ccu-historian erzeugt.
Habe das vor ein paar Wochen beobachtet: die Daten werden in das Verzeichnis (current working directory) geschrieben, in dem man sich befunden hat als man den "compact" aufgerufen hat.
Wenn man also eine Platte mit viel Platz angeschlossen und gemountet hat, dann kann das so ähnlich funktionieren:

Code: Alles auswählen

cd /platte/mit/viel/platz
java -jar /pfad/zum/jar-file/ccu-historian.jar -compact
Man sollte allerdings darauf achten dass die zusätzliche Platte nicht als FAT formatiert ist, denn dann läuft man möglicherweise wie ich in die Falle: Dateien auf FAT können max. 2GB große werden (oder waren es 4GB?) ).

Jemand anderes hat irgedwann mal gefragt, was genau "compact" tut.
"compact" tut, soweit mir bekannt, nichts anderes als ein Backup schreiben, alte Datenbank löschen, Backup restaurieren und schließlich die temporäre Datei löschen.
--
Andreas
--------------------------------------------
Hauptwohnung: RaspberryMatic mit 320 Kanäle in 110 Geräten und 140 CUxD-Kanäle in 33 CUxD-Geräten
Zweitwohnung: CCU2 mit 18 Kanäle in 8 Geräten und 14 CUxD-Kanäle in 4 CUxD-Geräten
--------------------------------------------

Antworten

Zurück zu „CCU-Historian“