CCU-Historian V3.0.0

Das Langzeitarchiv für HomeMatic

Moderator: Co-Administratoren

Benutzeravatar
FUEL4EP
Beiträge: 584
Registriert: 01.11.2017, 17:26
System: Alternative CCU (auf Basis OCCU)
Hat sich bedankt: 76 Mal
Danksagung erhalten: 77 Mal
Kontaktdaten:

Re: CCU-Historian V3.0.0

Beitrag von FUEL4EP » 27.04.2022, 22:03

Danke, das hilft und ist eine gute Ausgangslage.

Ich werde den Datenbankexport über das WebUI morgen bei mir nachstellen und melde mich dann ..
Ich arbeite als Linux-Fan immer gerne auf der Kommandozeile :-) Mit ssh geht das ganz einfach.
Grüße

Ewald

Meine SmartHome Entwicklungen gibt es hier: FUEL4Ps Homeautomation Github Repository oder als ZIP
Das passende RaspberryMatic Addon ist hb-ep-devices-addon
Passende Platinen gib es hier: PCBs

Mathias
Beiträge: 1767
Registriert: 03.11.2010, 10:25
System: CCU
Wohnort: Aachen
Hat sich bedankt: 58 Mal
Danksagung erhalten: 253 Mal
Kontaktdaten:

Re: CCU-Historian V3.0.0

Beitrag von Mathias » 27.04.2022, 22:21

FUEL4EP hat geschrieben:
27.04.2022, 12:00
Weitere Tests mit CCU Historian V3.0.1 mit anderen Browsern und OS ergaben ein ziemlich diffuses Bild. Das Problem mit SVG Vektorgrafiken lässt sich auch unter Linux OS Ubuntu 18.04 und Chrome Browser Version 101.0.4951.41 (Offizieller Build) (64-Bit) reproduzieren.

Woran kann das liegen?

Wie kann ich den Fehler mit den Chrome Entwicklerwerkzeugen einkreisen?
Die SVG-Grafiken können auch als Datei gespeichert werden und mit anderen Werkzeugen mal untersucht werden. Vielleicht fällt dann noch etwas auf.
FUEL4EP hat geschrieben:
27.04.2022, 12:00
In der Console der Chrome Entwicklerwerkzeuge ist diese Fehlermeldung zu sehen (bei Gut- als auch bei Schlechtfällen):

Code: Alles auswählen

DevTools failed to load source map: Could not load content for http://192.168.3.2:8083/external/underscore/underscore-umd.js.map: HTTP error: status code 404, net::ERR_HTTP_RESPONSE_CODE_FAILURE
Dort wird nur eine Hilfsdatei für die Entwicklung nicht gefunden. Das kann aber nicht die Fehlerursache sein.
FUEL4EP hat geschrieben:
27.04.2022, 12:00
EDIT: Meine Mutmaßung ist, dass SVG Vektorgrafiken von Datenpunkten genau dann nicht korrekt gerendert werden, wenn entweder Im Datenpunktname oder in der Achsenbeschriftung ein (deutsches) Sonderzeichen, z.B. äöüß oder ∘C verwendet werden.
Das gleich konnte ich nun auch beobachten. Ich habe auf GitHub dazu ein Fehlereintrag erstellt.

Allgemein sollte das Generieren von SVG-Grafiken noch als experimentell betrachtet werden.

Mathias
Beiträge: 1767
Registriert: 03.11.2010, 10:25
System: CCU
Wohnort: Aachen
Hat sich bedankt: 58 Mal
Danksagung erhalten: 253 Mal
Kontaktdaten:

Re: CCU-Historian V3.0.0

Beitrag von Mathias » 27.04.2022, 22:29

Fester hat geschrieben:
27.04.2022, 18:57
Ich bekomme auf dem Pi3 beim Versuch die Datenbank für V3.0.1 zu importieren die folgende Fehlermeldung:

Datebankimportprotokoll
-----------------------
FEHLER: java.io.IOException: No space left on device
Die Datei wird als erstes in das Verzeichnis /tmp hochgeladen und dann erst weiter verarbeitet. /tmp ist bei meinem RaspberryMatic nur 512MB groß.

Du kannst Dir auch die ZIP-Distribution auf einen richtigen Windows/Linux-Rechner kurz entpacken, starten und dort dann die Datenbank importieren.
Die Datenbankdatei kann zwischen den Systemen ausgetauscht werden.
Fester hat geschrieben:
27.04.2022, 18:57
Kann man Java oder das Linux hinter Raspberrymatic irgendwie so verbiegen, dass es den USB Stick für die Zeit der Konvertierung als temporären Folder benutzt?
Das müsste in der Datei /usr/local/etc/config/rc.d/ccu-historian angepasst werden können:

Code: Alles auswählen

java -Djava.io.tmpdir=/path/to/tmpdir .....

Benutzeravatar
FUEL4EP
Beiträge: 584
Registriert: 01.11.2017, 17:26
System: Alternative CCU (auf Basis OCCU)
Hat sich bedankt: 76 Mal
Danksagung erhalten: 77 Mal
Kontaktdaten:

Re: CCU-Historian V3.0.0

Beitrag von FUEL4EP » 28.04.2022, 09:38

Die Größe von /tmp auf einem RPI3 unter Raspberry Pi OS mit kleiner SD-Karte zu vergrößern ist nicht trivial und für einen Anfänger nicht gangbar.
Daher ist der von Mathias oben skizzierte Weg der Beste für nicht LINUX-Gurus.

@Mathias: Lässt sich das Zwischenspeicher auf /tmp vermeiden oder anders bewerkstelligen. Das Problem mit zur kleinem /tmp Speicherplatz dürften viele Raspberry Pi Nutzer haben.

Hier nochmals zu 'Nachkochen' eine detailliertere Anleitung zum Import des CSV Backups nach Matthias' Grundrezept (nicht verifiziert, da ich mein System nicht unterbrechen kann/will):

Dies Anleitung gilt nur, wenn der CCU-Historian nicht als Addon installiert ist!

Alle folgenden Kommandoeingaben erfolgen mittels der ssh-Konsole, z.B. mit Putty.

Annahme: Du hast die CCU Historian Version 3.0.1 in einem Installationsverzeichnis <INSTALL_DIR> installiert, z.B. in /opt/ccu-historian.
In dem Installationsverzeichnis <INSTALL_DIR> befinden sich dann 'ccu-historian.jar' und 'ccu-historian.config' (Das kannst Du mit 'ls -la <INSTALL_DIR>' prüfen)

Dann steckst Du einen EXT4 formatierten USB Stick von ausreichender Speichergöße, z.B. 16 GByte ein. Idealerweise gibst Du ihm vorher ein Label, z.B. 'TMPUSB'. Ich empfehle einen USB2.0 USB Stick, da ein RPI3 ohnehin nur USB2.0 kann. Manche USB3.0 Sticks ziehen zuviel Strom.
Dann hängst Du diesen Stick unter Raspberry Pi OS ein. Das sollte beim Einstecken automatisch geschehen und ein Pop-Up Fenster hochkommen.

Nun solltest Du unter '/media/pi' ein neues Verzeichnis '<LABEL>', z.B. 'TMPUSB' sehen (Befehl 'ls -la /media/pi').

Nun wechselt Du dein Arbeitsverzeichnis in das Installationsverzeichnis mit 'cd <INSTALL_DIR>', z.B. 'cd /opt/ccu-historian'.

Dann stellst Du sicher, dass aktuell kein CCU Historian läuft: 'ps auxw | grep java | grep ccu' sollte keinen Prozess mit dem ccu-historian zeigen.
Wenn noch ein ccu-historian Prozess laufen sollte, dann kannst du ihn, wenn du einen init Skript auf Deinem System hast, z.B. mit 'sudo /etc/init.d/ccu-historian stop' beenden. Das kann ein wenig dauern und ist mit 'ps auxw | grep java | grep ccu' zu prüfen.

Nun startest Du den CCU Historian von der Kommandozeile (das geht einfacher als wie von Mathias beschrieben):

'sudo /usr/bin/java -Djava.io.tmpdir=/media/pi/<LABEL> -jar <INSTALL_DIR>/ccu-historian.jar -config <INSTALL_DIR>/ccu-historian.config'

dabei ist: /media/pi/<LABEL> das eingehängte Verzeichnis des eingesteckten USB-Sticks, siehe oben.

Nun sollte der CCU-Historian starten und sollte nach kurzer Zeit über einen Browser von Deinem PC aus bedienbar sein.

Jetzt solltest Du ganz normal das CSV Backup über das Browserinterface importieren können. /tmp ist nun groß genug, da auf den USB-Stick umgebogen:

Export/Import

Hier kann die Migration der Datenbank über die Web-Oberfläche des CCU-Historians erfolgen. Allerdings ändern sich beim Import die Datenpunkt-IDs. Sofern Abfrage-URLs für Trend-Grafiken (oder für H2-HighChart) verwendet werden, müssen diese angepasst werden. Es werden auch nicht alle H2-HighChart-Einstellungen übernommen.

Über die Web-Oberfläche Werkzeuge → Datenbankexport/-import die aktuelle Datenbank exportieren.
Danach die neue Version installieren.
Die vorhandene Datenbankdatei history.mv.db löschen.
Über die Web-Oberfläche Werkzeuge → Datenbankexport/-import die Datenbank wieder importieren.


Nach dem erfolgreichen Importieren ausreichend lange warten, ein paar Trenddiagramme zur Kontrolle anschauen. War das OK, kannst Du den RPi3 mit dem Kommando 'sudo reboot' neu starten. Nach den Booten sollte Deine alte Datenbasis wieder verfügbar sein. Der USB-Stick wird nach dem Reboot nicht mehr als /tmp benutzt und kann abgemeldet und dann gezogen werden.

Viel Erfolg. Wenn etwas unklar ist oder nicht klappt, melde Dich bitte. Morgen bin ich beschäftigt und nicht erreichbar.
Grüße

Ewald

Meine SmartHome Entwicklungen gibt es hier: FUEL4Ps Homeautomation Github Repository oder als ZIP
Das passende RaspberryMatic Addon ist hb-ep-devices-addon
Passende Platinen gib es hier: PCBs

Benutzeravatar
FUEL4EP
Beiträge: 584
Registriert: 01.11.2017, 17:26
System: Alternative CCU (auf Basis OCCU)
Hat sich bedankt: 76 Mal
Danksagung erhalten: 77 Mal
Kontaktdaten:

Re: CCU-Historian V3.0.0

Beitrag von FUEL4EP » 28.04.2022, 10:00

Mathias hat geschrieben:
27.04.2022, 22:21
FUEL4EP hat geschrieben:
27.04.2022, 12:00
Weitere Tests mit CCU Historian V3.0.1 mit anderen Browsern und OS ergaben ein ziemlich diffuses Bild. Das Problem mit SVG Vektorgrafiken lässt sich auch unter Linux OS Ubuntu 18.04 und Chrome Browser Version 101.0.4951.41 (Offizieller Build) (64-Bit) reproduzieren.

Woran kann das liegen?

Wie kann ich den Fehler mit den Chrome Entwicklerwerkzeugen einkreisen?
Die SVG-Grafiken können auch als Datei gespeichert werden und mit anderen Werkzeugen mal untersucht werden. Vielleicht fällt dann noch etwas auf.
FUEL4EP hat geschrieben:
27.04.2022, 12:00
In der Console der Chrome Entwicklerwerkzeuge ist diese Fehlermeldung zu sehen (bei Gut- als auch bei Schlechtfällen):

Code: Alles auswählen

DevTools failed to load source map: Could not load content for http://192.168.3.2:8083/external/underscore/underscore-umd.js.map: HTTP error: status code 404, net::ERR_HTTP_RESPONSE_CODE_FAILURE
Dort wird nur eine Hilfsdatei für die Entwicklung nicht gefunden. Das kann aber nicht die Fehlerursache sein.
FUEL4EP hat geschrieben:
27.04.2022, 12:00
EDIT: Meine Mutmaßung ist, dass SVG Vektorgrafiken von Datenpunkten genau dann nicht korrekt gerendert werden, wenn entweder Im Datenpunktname oder in der Achsenbeschriftung ein (deutsches) Sonderzeichen, z.B. äöüß oder ∘C verwendet werden.
Das gleich konnte ich nun auch beobachten. Ich habe auf GitHub dazu ein Fehlereintrag erstellt.

Allgemein sollte das Generieren von SVG-Grafiken noch als experimentell betrachtet werden.
Hallo Mathias,

in der Tat, der Versuch die heruntergeladene SVG-Datei mit 'Eye of MATE' einzulesen liefert eine Fehlermeldung, Inkskape verdaut die SVG-Datei allerdings ohne zu meckern, kann aber das 'Grad Celsius'-Symbol nicht korrekt darstellen:

Encoding.png
Encoding.png (22.99 KiB) 1038 mal betrachtet
Celsius.png
Celsius.png (19.33 KiB) 1038 mal betrachtet
'trend.svg' ist angehangen.

Danke für Deinen Fix im Voraus!
Dateianhänge
trend.svg.txt
(123.37 KiB) 27-mal heruntergeladen
Grüße

Ewald

Meine SmartHome Entwicklungen gibt es hier: FUEL4Ps Homeautomation Github Repository oder als ZIP
Das passende RaspberryMatic Addon ist hb-ep-devices-addon
Passende Platinen gib es hier: PCBs

Fester
Beiträge: 38
Registriert: 12.11.2020, 10:28
System: CCU
Hat sich bedankt: 14 Mal
Danksagung erhalten: 2 Mal

Re: CCU-Historian V3.0.0

Beitrag von Fester » 28.04.2022, 13:19

FUEL4EP hat geschrieben:
28.04.2022, 09:38
Die Größe von /tmp auf einem RPI3 unter Raspberry Pi OS mit kleiner SD-Karte zu vergrößern ist nicht trivial und für einen Anfänger nicht gangbar.
Daher ist der von Mathias oben skizzierte Weg der Beste für nicht LINUX-Gurus.

@Mathias: Lässt sich das Zwischenspeicher auf /tmp vermeiden oder anders bewerkstelligen. Das Problem mit zur kleinem /tmp Speicherplatz dürften viele Raspberry Pi Nutzer haben.
.
.
.
Das mit dem Import habe ich hin bekommen.
Allerdings habe ich das Problem umgangen.
Ich habe mein 600MB CSV File per Editor in zwei 300MB Files geteilt.
Natürlich so geteilt, dass das zweite File mit einer neuen Wertegruppe beginnt.
Die zwei 300MB Files konnte ich problemlos importieren.

Könnte man das nicht schon beim Export in mehrere Files splitten?
Ich habe beruflich unter Windows mit Visual Studio mal eine Software erstellt, die Sensorwerte trackt. Dort hatte ich ein Größenlimit eingebaut bei dem ein neues File begonnen wurde. Kann man sowas nicht auch hier implementieren? Die Software sollte ja herausfinden können, wie groß der Tmp Folder sein darf.

Herzlichen Dank auf jeden Fall für die Hilfe von euch beiden!

Leider bin ich jetzt aber auf ein gravierenderes Problem gestoßen.
Ich habe vor 14Tagen schonmal ein Historian Update gemacht, dass wegen der neuen Datenstruktur nicht funktioniert hat.
Ich bin dann als ich den Fehler mit inkompatiblen Version gesehen habe zurück auf die V2.9.
Auf dem UI wurde danach auch kein Fehler mehr angezeigt.
Leider wurden seitdem aber auch keine Werte mehr aufgezeichnet.
Ist mir heute morgen aufgefallen, als die Datenpunktliste vom Historian noch komplett leer war.
Gestern dachte ich noch, der braucht halt seine Zeit bis die Datenpunkte mal getriggert haben, oder benutzt einen etwas größeren Buffer bis geschrieben wird.
Nach dem Import hab ich gesehen, dass die letzten paar Wochen nichts mehr geschrieben wurde.
Ohne Fehlermeldung oder ähnlichem.
Gibt es dazu irgendwelche Erfahrungen, was Probleme mit dem Update angeht?
Sowohl Historian, wie auch der Homematic Teil scheinen zu laufen. Nur sendet Homematic keine Daten mehr an Historian.
Zumindest sieht das für mich so aus.
Kann ich da irgendwo einen Haken setzen, damit die zwei wieder miteinander reden?

PaulM
Beiträge: 315
Registriert: 16.02.2015, 17:05
System: Alternative CCU (auf Basis OCCU)
Hat sich bedankt: 126 Mal
Danksagung erhalten: 35 Mal

Re: CCU-Historian V3.0.0

Beitrag von PaulM » 28.04.2022, 13:36

alle Eintragungen in der config-Datei immer noch richtig ?
Gruß
Paul
Mit Mut und Entschlossenheit gegen Intoleranz

Fester
Beiträge: 38
Registriert: 12.11.2020, 10:28
System: CCU
Hat sich bedankt: 14 Mal
Danksagung erhalten: 2 Mal

Re: CCU-Historian V3.0.0

Beitrag von Fester » 28.04.2022, 13:43

PaulM hat geschrieben:
28.04.2022, 13:36
alle Eintragungen in der config-Datei immer noch richtig ?
Gruß
Paul
Da hatte ich soweit ich mich erinnere, nie etwas dran gemacht.
Hab das vor 3 oder 4 Jahren installiert, und nie was ändern müssen.
Wurden immer alle Werte aufgezeichnet, und die Trends haben funktioniert.

Konfig sieht bei mir so aus. Das einzige was seltsam für ich aussieht ist, dass bei DeviceType CCU2 steht.
Aber kein Plan, ob das so muss.

logSystem.fileLevel=Level.INFO
gSystem.fileLevel=Level.INFO
logSystem.fileName='/var/log/ccu-historian-%g.log'
logSystem.fileLimit=1000000
logSystem.fileCount=5
logSystem.binRpcLevel=Level.INFO
database.webEnable=true
database.webPort=8083
database.webAllowOthers=true
webServer.port=8082
webServer.historianAddress='Hier was meine lokale IP'
webServer.dir='/usr/local/addons/ccu-historian/ccu-historian/webapp'
webServer.logLevel=Level.INFO
devices.device1.type=CCU2
devices.device1.address='Hier was meine lokale IP'
devices.historianAddress='127.0.0.1'
database.dir='/media/usb0/ccu-historian'
historian.metaCycle=4*60*60*1000
historian.bufferTime=4*60*60*1000
base.scriptDir='/usr/local/addons/ccu-historian/ccu-historian'
webServer.menuLinks.link1.text='H2-HighChart'
webServer.menuLinks.link1.address='/custom/h2-highchart/H2-HighChart.gy'
devices.device1.plugin1.type=CUXD

Benutzeravatar
FUEL4EP
Beiträge: 584
Registriert: 01.11.2017, 17:26
System: Alternative CCU (auf Basis OCCU)
Hat sich bedankt: 76 Mal
Danksagung erhalten: 77 Mal
Kontaktdaten:

Re: CCU-Historian V3.0.0

Beitrag von FUEL4EP » 28.04.2022, 14:56

Hast Du eine Raspberrymatic oder eine CCU3?
Hast Du kürzlich ein Update der Raspberrymatic oder der CCU3 gemacht?
Welche Version hat Deine Raspberrymatic bzw. CCU3 Software?
Wenn ja, könnte die Ursache ein Firewall-Setting auf der Raspberrymatic bzw. CCU3 sein.

Eventuell hilft ein Reboot der Raspberrymatic bzw. CCU3. Versuche erst mal das.
Grüße

Ewald

Meine SmartHome Entwicklungen gibt es hier: FUEL4Ps Homeautomation Github Repository oder als ZIP
Das passende RaspberryMatic Addon ist hb-ep-devices-addon
Passende Platinen gib es hier: PCBs

Fester
Beiträge: 38
Registriert: 12.11.2020, 10:28
System: CCU
Hat sich bedankt: 14 Mal
Danksagung erhalten: 2 Mal

Re: CCU-Historian V3.0.0

Beitrag von Fester » 28.04.2022, 15:42

FUEL4EP hat geschrieben:
28.04.2022, 14:56
Hast Du eine Raspberrymatic oder eine CCU3?
Hast Du kürzlich ein Update der Raspberrymatic oder der CCU3 gemacht?
Welche Version hat Deine Raspberrymatic bzw. CCU3 Software?
Wenn ja, könnte die Ursache ein Firewall-Setting auf der Raspberrymatic bzw. CCU3 sein.

Eventuell hilft ein Reboot der Raspberrymatic bzw. CCU3. Versuche erst mal das.
Ich habe einen Raspberry Pi3, auf dem Raspberrymatic in der aktuellen Version läuft.
Unter Raspberrymatic habe ich als Addon CCU-Historian laufen.

Ich habe Anfang des Monats sowohl ein Update von Raspberrymatic auf 3.63.8.20220330 gemacht, wie auch ein Update von CCU-Historian auf 3.0.1 versucht.
Bei CCU-Historian bin ich aber zurück auf 2.9, wegen des Problemes mit der Datenbank. Vorher lief glaub 2.8.3 oder was auch immer die letzte 2.8er war.
Ich kann jetzt nicht sagen, ob das Problem mit dem Update von Raspberrymatic, oder mit dem Vorwärts/Rückwärts bei Historian aufgekommen ist.

Sollte bei Device denn CCU2 stehen, oder steht da bei Raspberrymatic auf Pi3 was anderes?

In den Firewalleinstellungen steht überall eingeschränkt. Aber ich hätte jetzt gedacht, das funktioniert. Als ich Historian über die Kommandozeile gestoppt habe, kam auch eine Meldung in Raspberrymatic. Ports 8082 und 8083 sind dort im Fenster übrigens hinterlegt.

Das "Starten Sie neu, nehmen Sie zwei Aspirin, und rufen Sie mich morgen wieder an" :-) habe ich natürlich schon probiert. Startet alles ohne aufpoppende Fehler. Ich kann auch Trends mit den alten Daten machen. Kommt aber eben seit 5.April nichts mehr neues. In der Datenpunktkonfiguration stehen eben 0 neue Werte für die letzten 24 Stunden.

Antworten

Zurück zu „CCU-Historian“