CCU-Historian V2.0.0-beta.3

Das Langzeitarchiv für HomeMatic

Moderator: Co-Administratoren

NickHM
Beiträge: 3733
Registriert: 23.09.2017, 12:04
Hat sich bedankt: 66 Mal
Danksagung erhalten: 120 Mal

Re: CCU-Historian V2.0.0-beta.3

Beitrag von NickHM » 14.11.2018, 12:29

Hallo

es ist realistisch mehrere Jahre zu sammeln. Du wählst nur Datenpunkte aus, die wirklich einen Wert bei der Auswertung haben. Und Du nutzt die Delta Funktion bei allen Datenpukten.
Das ist ein mal eine Menge Tipparbeit. Da soll sich aber in einer der nächsten Versionen etwas verbessern, so dass man mit einem mal mehrere Datenpunkte konfigurieren kann.
Ein Datenpunkt "Batterie leer" muss nicht alle 3min aufgezeichnet werden.
Eine Temperatur nur bei Änderungen von z.B. 0.1 Grad. Alle 3 min die bestehenden 22 Grad in die Datenbank zu schreiben führt genau zu so einem Datenbankmoster.

aber warte mal ab, was Mathias dazu schreibt.

Benutzeravatar
Bernd-Joras
Beiträge: 730
Registriert: 26.03.2016, 09:33
Hat sich bedankt: 34 Mal
Danksagung erhalten: 40 Mal

Re: CCU-Historian V2.0.0-beta.3

Beitrag von Bernd-Joras » 14.11.2018, 17:21

Bernd-Joras hat geschrieben:
14.11.2018, 12:06
Bezüglich => Fehler:The Database has been closed 90098-197
Läuft wieder ....

Was habe ich gemacht ....
1. RM runtergefahren
2. Stick ab und DB von dort wegkopiert
3. Stick mit F2FS formatiert
4. DB wieder auf den Stick kopiert
5. Stick wieder angesteckt
6. RM hochgefahren

Historian läuft wieder und die alten Messpunkte / Daten sind vorhanden.

Wahrscheinlich war alles was ich gemacht habe vollkommen verkehrt und ich hatte nur Glück .... Gruß, Bernd

NACTRAG: würde mich trotzdem freuen wenn die Fachleute hier noch ggf. Verbesserungsvorschläge und/oder weitere Tipps haben.
2 Standorte mit je RPi3B+ RaspberryMatic 3.73.9.20240130 / RPI-RF-MOD | Externe USB-Platinen Antenne | 2x LAN_RF_GW | 1x LAN_RS485_GW | ca. 170 Geräte davon 35x IP | ca. 250 Programme |>600 Kanäle | Addons: CUX-Daemon, XML-API, hm_pdetect, E-Mail, CCU-Historian

NickHM
Beiträge: 3733
Registriert: 23.09.2017, 12:04
Hat sich bedankt: 66 Mal
Danksagung erhalten: 120 Mal

Re: CCU-Historian V2.0.0-beta.3

Beitrag von NickHM » 14.11.2018, 18:49

Bernd-Joras hat geschrieben:
14.11.2018, 17:21

3. Stick mit F2FS formatiert

Historian läuft wieder und die alten Messpunkte / Daten sind vorhanden.

Wahrscheinlich war alles was ich gemacht habe vollkommen verkehrt und ich hatte nur Glück .... Gruß, Bernd

NACTRAG: würde mich trotzdem freuen wenn die Fachleute hier noch ggf. Verbesserungsvorschläge und/oder weitere Tipps haben.
Hallo

damit hast Du die 4GB Grenze des FAT32 umschifft. Wenn Du allerdings die Daten Einsparmöglichkeiten von Historian nicht konsequent nutzt, ist der Stick in 6 Monaten einfach voll, egal mit welchem Dateisystem.

Und mit F2FS hast Du Dir vermutlich auch die Möglichkeit der Datenbearbeitung mit einem schnellen PC verbaut. Es sei denn, es gibt entsprechende Treiber für Win oder MacOS. Da kenne ich mich nicht so aus.

Mathias
Beiträge: 1779
Registriert: 03.11.2010, 10:25
System: CCU
Wohnort: Aachen
Hat sich bedankt: 58 Mal
Danksagung erhalten: 258 Mal
Kontaktdaten:

Re: CCU-Historian V2.0.0-beta.3

Beitrag von Mathias » 14.11.2018, 23:07

Ich vermute ebenfalls, dass es am FAT32-formartierten USB-Stick lag. Die max. Dateigröße ist dort 4 GB.

In der Anleitung findest Du bei der Datenvorverarbeitung viele Möglichkeiten, die Datenmenge zu reduzieren. Die Datenbankgröße ist auch unbeschränkt. Ich zeichne beispielsweise einfach alle Datenpunkte auf, natürlich mit Delta-Kompression.

Gruß
Mathias

Benutzeravatar
Bernd-Joras
Beiträge: 730
Registriert: 26.03.2016, 09:33
Hat sich bedankt: 34 Mal
Danksagung erhalten: 40 Mal

Re: CCU-Historian V2.0.0-beta.3

Beitrag von Bernd-Joras » 18.11.2018, 07:36

Hallo und only FYI ...

Nachfolgend einmal kurz beschrieben was ich gemacht habe um die Historian Datenbank (DB) klein zu machen und klein zu halten.

Ich hatte hier eine über 4 GB große DB … und nachher nur noch 275 MB
Alle Daten Punkte (auch alte) scheinen anschließend vorhanden und für mich auch ausreirend genau (fein) dargestellt.

GGF, hilft ja später jemand die hier dargestellte Zusammenfassung für ein leichteres Auffinden …

Als Vorbereitung habe ich Backups gemacht (RM / Historian DB) und den Stick mit F2FS formatiert.

1. Nur noch alle relevanten Datenpunkte (DP) ausgewählt (Reduzierung zu vorher um ca. 2 drittel)

2. Delta Kompression bei diesen relevanten DP angewendet
  • 0,5 für Ein/Aus-Signale (z.B. WORKING, UNREACH, STICKY_UNREACH, MOTION, INSTALL_TEST, CONFIG_PENDING, LOWBAT, SABOTAGE)
  • 0,5 für ganzzahlige Datenpunkte (z.B. ERROR, ERROR_CODE, BRIGHTNESS, HUMIDITY, STATE, ARMSTATE, SUNSHINE_DURATION, DIRECTION)
  • 0,01 für Fließkommadatenpunkte (z.B. VALUE, RAIN_COUNTER, ACTUAL_TEMPERATURE, LEVEL, TEMPERATUR, ENERGY_COUNTER, POWER, CURRENT, WIND_SPEED, ILLUMINATION, FREQUENCY, VOLTAGE, LUX, OPERATING_VOLTAGE)
  • keine Delta-Kompression für Tastendrücke (z.B. PRESS_SHORT, PRESS_LONG)

3. Im Anschluss habe ich mich an die Historian DB rangewagt ... mittels SSH direckt auf die CCU (RM)

Code: Alles auswählen

cd /usr/local/addons/ccu-historian/ccu-historian
/usr/local/etc/config/rc.d/ccu-historian stop
/opt/java/bin/java -jar ccu-historian.jar -config ../ccu-historian.config -recalc
/opt/java/bin/java -jar ccu-historian.jar -config ../ccu-historian.config -compact
/usr/local/etc/config/rc.d/ccu-historian start
10 Sekunden warten und Historian prüfen ..... bei mir war (ist) alles OK ....

Gruß, Bernd
2 Standorte mit je RPi3B+ RaspberryMatic 3.73.9.20240130 / RPI-RF-MOD | Externe USB-Platinen Antenne | 2x LAN_RF_GW | 1x LAN_RS485_GW | ca. 170 Geräte davon 35x IP | ca. 250 Programme |>600 Kanäle | Addons: CUX-Daemon, XML-API, hm_pdetect, E-Mail, CCU-Historian

NickHM
Beiträge: 3733
Registriert: 23.09.2017, 12:04
Hat sich bedankt: 66 Mal
Danksagung erhalten: 120 Mal

Re: CCU-Historian V2.0.0-beta.3

Beitrag von NickHM » 18.11.2018, 09:41

Guten Morgen

der Parameter

Code: Alles auswählen

-config ../ccu-historian.config
muss nicht unbedingt angegeben werden, wenn die Datei im Programmordner liegt und den default Namen hat.
Der ist nur für abweichende Konfigurationen gedacht.

Und als Hinweis ... Bei mir hat das neu kalkulieren der Daten schon mal 2 Tage auf dem Raspi gedauert. Das Komprimieren danach ca. 1 Std.
In der Zeit werden dann natürlich keine Daten aufgezeichnet.

Man kann sich die Datenbank auch auf einen leistungsstarken Rechner kopieren und die o.g. Aktionen dort ausführen. Dann dauert das recalc mit der gleichen o.g. Datenbank nur 15 min.

Organist
Beiträge: 124
Registriert: 31.08.2018, 15:21
System: Alternative CCU (auf Basis OCCU)
Wohnort: Wülfrath
Hat sich bedankt: 39 Mal
Danksagung erhalten: 5 Mal

Re: CCU-Historian V2.0.0-beta.3

Beitrag von Organist » 17.05.2019, 23:22

Bernd-Joras hat geschrieben:
18.11.2018, 07:36

3. Im Anschluss habe ich mich an die Historian DB rangewagt ... mittels SSH direckt auf die CCU (RM)

Code: Alles auswählen

cd /usr/local/addons/ccu-historian/ccu-historian
/usr/local/etc/config/rc.d/ccu-historian stop
/opt/java/bin/java -jar ccu-historian.jar -config ../ccu-historian.config -recalc
/opt/java/bin/java -jar ccu-historian.jar -config ../ccu-historian.config -compact
/usr/local/etc/config/rc.d/ccu-historian start
10 Sekunden warten und Historian prüfen ..... bei mir war (ist) alles OK ....

Gruß, Bernd
Hallo,
ich habe mir gerade auch Historian auf meine Raspberrymatic installiert. Leider stehe ich noch auf dem Schlauch, wie und wo man hier diese Sachen eingeben muss? "Mittels SSH..." Wo und wie ist SSH?
Gruß
Axel

Benutzeravatar
Bernd-Joras
Beiträge: 730
Registriert: 26.03.2016, 09:33
Hat sich bedankt: 34 Mal
Danksagung erhalten: 40 Mal

Re: CCU-Historian V2.0.0-beta.3

Beitrag von Bernd-Joras » 18.05.2019, 07:33

Bernd-Joras hat geschrieben:
18.05.2019, 07:33
Organist hat geschrieben:
17.05.2019, 23:22
Wo und wie ist SSH?
Hallo, ich will hier mal versuchen zu Antworten auch wenn ich glaube, dass es schwierig wird das jetzt in Kurzform zu erklären.

Wenn sich IT-Admins mit Geräten (PC´s, Servern, Zentralen, etc) Verbinden möchten, um diese zu administrieren, ist bei Unix, Linux und/oder artverwanden Systemen, dass Mittel der Wahl für die Administration ein SSH Zugang, mit einem dafür geeigneten Programms (z.B. Putty)

In Deinem (unserem) Fall kann man sich mit der CCU (RBM) also auch mit dem Protokoll SSH und einem geeignetem Programm (z.B) Putty verbinden.

Das ist jetzt aber nur mal so die kurzform und Du solltest beachten, dass es unbedingt erforderlich ist hier extrem vorsichtig zu sein!
Bessor noch, sollte man dann wirklich wissen was man im Herzen der CCU tut.

https://www.google.com/url?sa=t&rct=j& ... i-5hiOm8o

BG, Bernd
Zuletzt geändert von Bernd-Joras am 18.05.2019, 08:05, insgesamt 1-mal geändert.
2 Standorte mit je RPi3B+ RaspberryMatic 3.73.9.20240130 / RPI-RF-MOD | Externe USB-Platinen Antenne | 2x LAN_RF_GW | 1x LAN_RS485_GW | ca. 170 Geräte davon 35x IP | ca. 250 Programme |>600 Kanäle | Addons: CUX-Daemon, XML-API, hm_pdetect, E-Mail, CCU-Historian

Organist
Beiträge: 124
Registriert: 31.08.2018, 15:21
System: Alternative CCU (auf Basis OCCU)
Wohnort: Wülfrath
Hat sich bedankt: 39 Mal
Danksagung erhalten: 5 Mal

Re: CCU-Historian V2.0.0-beta.3

Beitrag von Organist » 18.05.2019, 21:06

Hallo Bernd,
vielen dank für die Info. Putty habe ich drauf, dann weiß ich, wo ich das eingeben kann.

Antworten

Zurück zu „CCU-Historian“