CCU-Historian nun unter Debian in Proxmox -> Probleme

[Slice]

Hallo zusammen,

gibt es hier im Forum noch User die den CCU-Historian und Grafana in Verwendung haben? Oder nur Grafana?

Ich habe seit kurzem Grafana bei mir installiert und versuche die Diagramme auf Grafana umzustellen.
Die Darstellung erfolgt in HomeHub über die Render-URL's von Grafana.
Soweit so gut, nur habe ich hier ein paar Fragen die ich über die Suche im Netz nicht beantworten konnte.

Daher gibts hier jemand der sich mit Grafana auskennt und mir evtl. bei den Fragen aushelfen kann?

Danke und Grüße,
Slice

[Mathias]

Hallo,
wie sieht denn so eine Frage beispielsweise aus?
Gruß
Mathias

[Slice]

Hallo Mathias,

eine Frage war z.B. zu der Render-URL die ich aus Grafana benötige um die Grafiken in HomeHub anzeigen zu lassen, wie die Parameter richtig übergeben werden müssen..

Code: Alles auswählen

http://10.1.1.1:3000/render/d-solo/2AEV_lOWk/dutycycle-langw?from=now-24h&kiosk&orgId=1&panelId=2&width=800&height=400&tz=UTC%2B02%3A00

In der Zwischenzeit bin ich hier aber von alleine weiter gekommen.
Ich darf im Dashboard keine Zeitangaben hinterlegen, dann klappte es mit dem Parameter from=now-24h auch die richtige Zeit angezeigt zu bekommen.
Ein weiteres war die Timezone, hier musste ich auch eine Weile googeln und habe rausgefunden das mit dem Parameter UTC%2B02%3A00 endlich die Grafiken korrekt angezeigt werden.
Wie jetzt zum Beispiel:

Grafana1

Was sehr Schade ist, das ich es nicht über die iFrame Funktion von Grafana in HomeHub angezeigt bekomme.
Da wird dann nur eine Grafik geladen und das nächste iFrame bleibt dann leer, er lädt die nächste Grafik dann nicht mehr.
So kann ich nur über die Render-URL mir die Sachen anzeigen lassen und nicht noch schick mit der Maus in den Trends die Werte anzeigen lassen.

Und was ich auch noch nicht geschafft habe, ist die Gruppenfunktion vom CCU-Historian auf Grafana zu übernehmen.
Zum Beipiel wie hier:

Grafana2

Weisst Du ob sowas in Grafana auch geht? Ich habe es bisher nicht hingekriegt.

Ich glaube das wars erstmal.. Sollte mir noch was einfallen, frag ich gern nochmal.
Es ist leider etwas mühsam Infos zu finden und die Doku sagt nicht immer viel aus und mit SQL Queries kenn ich mich auch nicht so aus..
Man probiert halt viel..

Grüße,
Slice

[Mathias]

Hallo!

Was sehr Schade ist, das ich es nicht über die iFrame Funktion von Grafana in HomeHub angezeigt bekomme.
Da wird dann nur eine Grafik geladen und das nächste iFrame bleibt dann leer, er lädt die nächste Grafik dann nicht mehr.

Vielleicht kann da der HomeHub-Entwickler helfen. Normalerweise können mehrere Grafana-Panels per iframe auf einer HTML-Seite eingebunden werden.

Und was ich auch noch nicht geschafft habe, ist die Gruppenfunktion vom CCU-Historian auf Grafana zu übernehmen.
...
Weisst Du ob sowas in Grafana auch geht? Ich habe es bisher nicht hingekriegt.

Bei Grafana ist die Gruppenfunktion nicht möglich, soweit ich weiß.

Gruß
Mathias

[Slice]

Vielleicht kann da der HomeHub-Entwickler helfen. Normalerweise können mehrere Grafana-Panels per iframe auf einer HTML-Seite eingebunden werden.

...

Bei Grafana ist die Gruppenfunktion nicht möglich, soweit ich weiß.

Leider wurde die Entwicklung vom HomeHub indirekt eingestellt..
Vermutlich wird da nicht mehr viel kommen.

Habe ich befürchtet das die Gruppenfunktion nicht geht, okay.

Grüße,
Slice

[Slice]

Hallo zusammen,

also wenn man sich mal ein wenig eingearbeitet hat, lassen sich recht ansehnliche Dashboards in Grafana zusammen bauen:

Mal als erstes Beispiel.. Nur zur Info an Euch!!

Grüße,
Slice

[Slice]

Hallo zusammen,

ich verwende mal diesen Beitrag von mir und ändere etwas den Topic! Zuhause betreibe ich ja schon eine Weile den CCU-Historian auf einem Windows Server 2016, was auch wunderbar funktioniert.

Seit ein paar Tagen versuche ich nun die relevanten HM-Sachen, unter anderem CCU-Historian auf eine aktuelle Debian VM unter Proxmox umzuziehen.
Ich habe mir einen Intel NUC i3-5010U @ 2,1 GHz mit 8GB RAM & 240 GB SSD besorgt.
Dort Proxmox installiert und 1 VM für ioBroker eingerichtet und 1 VM für CCU-Historian und eine InfluxDB mit Grafana für andere Sachen.
Soweit so gut, das hat etwas gedauert mit der Einrichtigung, aber CCU-Historian läuft jetzt erstmal, parallel zu meiner Windows Installation.

Somit habe ich die aktuellen Daten immer noch unter der Windows Installation, bis es in der VM sauber läuft.

Ich kann den CCU-Historian über die Webseite unter der VM aufrufen und bekomme auch dort Diagramme angezeit.
Allerdings passiert es, das ich nach dem ersten Zugriff auf ein Diagramm, im Log sehr schnell folgenden Fehler bekomme:

Code: Alles auswählen

2019-10-05 12:29:55|INFO   |Starting historian
2019-10-05 12:29:56|INFO   |Starting web server
2019-10-05 12:29:56|INFO   |Web server port: 8081
2019-10-05 12:30:01|SEVERE |Exception: org.eclipse.jetty.io.EofException
2019-10-05 12:30:01|SEVERE |Detail: org.eclipse.jetty.io.RuntimeIOException: org.eclipse.jetty.io.EofException
	at org.eclipse.jetty.io.UncheckedPrintWriter.setError(UncheckedPrintWriter.java:107)
	at org.eclipse.jetty.io.UncheckedPrintWriter.flush(UncheckedPrintWriter.java:154)
	at mdz.ccuhistorian.webapp.PageRenderer$_writeHead_closure5.doCall(PageRenderer.groovy:111)
	at mdz.ccuhistorian.webapp.PageRenderer$_writeHead_closure5.doCall(PageRenderer.groovy)
	at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at java.base/jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at mdz.ccuhistorian.webapp.PageRenderer.writeHead(PageRenderer.groovy:108)
.
.
.

Diese Meldungen kommen dann immer regelmäßig wenn ich mir Diagramme anzeigen lasse.
Das passiert mir unter Windows nicht...
Kann ich hier irgendwas an der Config verbessern das dies nicht mehr passiert?


Und mein zweites Problem ist bei der Backuperstellung funktioniert etwas nicht.
Hier die Fehlermeldung dazu:

Code: Alles auswählen

2019-10-06 00:00:00|INFO   |Creating backup of database to file /media/raspibackup/CCU-Historian/db-pm_2019-10-06.zip
2019-10-06 00:00:43|SEVERE |Exception: connect timed out
2019-10-06 00:00:43|SEVERE |Detail: java.net.SocketTimeoutException: connect timed out
	at mdz.hc.itf.hm.HmScriptClient.execute(HmScriptClient.groovy:352)
	at mdz.hc.itf.hm.HmScriptClient.getSystemVariableValues(HmScriptClient.groovy:104)
	at mdz.hc.itf.hm.HmSysVarInterface$_readVariables_closure3.doCall(HmSysVarInterface.groovy:120)
	at mdz.hc.itf.hm.HmSysVarInterface$_readVariables_closure3.call(HmSysVarInterface.groovy)
	at mdz.Exceptions.lambda$0(Exceptions.java:84)
	at mdz.Exceptions.catchToLog(Exceptions.java:74)
	at mdz.Exceptions.catchToLog(Exceptions.java:84)
	at mdz.hc.itf.hm.HmSysVarInterface.readVariables(HmSysVarInterface.groovy:118)
	at jdk.internal.reflect.GeneratedMethodAccessor105.invoke(Unknown Source)
	at java.base/jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
2019-10-06 00:02:28|WARNING|Failed to execute: SCRIPT DROP TO ? COMPRESSION ZIP because: Eingabe/Ausgabe: "java.io.IOException: Eingabe-/Ausgabefehler"; "/media/raspibackup/CCU-Historian/db-pm_2019-10-06.zip"
IO Exception: "java.io.IOException: Eingabe-/Ausgabefehler"; "/media/raspibackup/CCU-Historian/db-pm_2019-10-06.zip"; SQL statement:
SCRIPT DROP TO ? COMPRESSION ZIP [90031-199]
2019-10-06 00:02:28|SEVERE |Exception: Eingabe/Ausgabe: "java.io.IOException: Eingabe-/Ausgabefehler"; "/media/raspibackup/CCU-Historian/db-pm_2019-10-06.zip"
IO Exception: "java.io.IOException: Eingabe-/Ausgabefehler"; "/media/raspibackup/CCU-Historian/db-pm_2019-10-06.zip"; SQL statement:
SCRIPT DROP TO ? COMPRESSION ZIP [90031-199]
2019-10-06 00:02:28|SEVERE |Detail: org.h2.jdbc.JdbcSQLNonTransientException: Eingabe/Ausgabe: "java.io.IOException: Eingabe-/Ausgabefehler"; "/media/raspibackup/CCU-Historian/db-pm_2019-10-06.zip"
IO Exception: "java.io.IOException: Eingabe-/Ausgabefehler"; "/media/raspibackup/CCU-Historian/db-pm_2019-10-06.zip"; SQL statement:
SCRIPT DROP TO ? COMPRESSION ZIP [90031-199]
	at org.h2.message.DbException.getJdbcSQLException(DbException.java:502)
	at org.h2.message.DbException.getJdbcSQLException(DbException.java:427)
	at org.h2.message.DbException.get(DbException.java:194)
	at org.h2.message.DbException.convertIOException(DbException.java:392)
	at org.h2.command.dml.ScriptCommand.query(ScriptCommand.java:375)
.
.
.

Das geht jetzt so stündlich weiter.. ich habe heute dann Historian neu gestartet.
Einmal hatte die Backuperstellung geklappt, in der ersten Nacht bei der Einrichtung.
Der Zugriff auf den Share "raspibackup" auf meinem Windows Server funktioniert und ist in Debian richtig eingerichtet.
Wo kann ich hier ansetzen das mein Backup durchläuft?


Ich poste mal hier meine Config:

Code: Alles auswählen

// CCU-Historian Konfiguration
// 
// Hinweise:
// Kommentarzeilen starten mit zwei Schrägstrichen (//). Alle Zeichen nach den Schrägstrichen
// werden ignoriert. Zeichenketten als Optionswert müssen von einfachen Anführungszeichen (')
// umschlossen sein. Weitere Informationen sind auch im Abschnitt 3 des Handbuchs zu finden.
//
// Liste der zur Verfügung stehen Konfigurationsoptionen mit ihren jeweiligen Standardwerten:
//
logSystem.consoleLevel=Level.INFO
logSystem.fileLevel=Level.INFO
logSystem.fileName='./ccu-historian-%g.log'
logSystem.fileLimit=10000000
// logSystem.fileCount=5
logSystem.binRpcLevel=Level.INFO
database.dir='./data'
database.name='history'
database.user='sa'
database.password='ccu-historian'
database.backup='/media/raspibackup/CCU-Historian/db-pm_%Y-%M-%D.zip'
// database.webEnable=true
database.webPort=8082
// database.webAllowOthers=false
// database.tcpEnable=false
database.tcpPort=9092
// database.tcpAllowOthers=false
database.pgEnable=true
database.pgPort=5435
database.pgAllowOthers=true
webServer.port=8081
// webServer.dir='./webapp'
// webServer.logLevel=Level.WARNING
// webServer.historianAddress=''
// webServer.trendDesigns ... (s.a. Abschnitt 7.4.1 im Handbuch)
// webServer.apiKeys=[]
// webServer.menuLinks ... (s.a. Abschnitt 4.4 im Handbuch)
webServer.menuLinks.link1.text='H2-HighChart'
webServer.menuLinks.link1.address='/custom/h2-highchart/H2-HighChart.gy'
// historian.metaCycle=3600000 // 1 Stunde
// historian.bufferCount=5000
// historian.bufferTime=0 
// devices.historianBinRpcPort=2099
// devices.historianXmlRpcPort=2098
devices.historianAddress='10.1.1.104'   // null // eigene IP-Adresse automatisch ermitteln
// 
// Für jede Zentrale bzw. jedes Gerät müssen folgende zwei Optionen gesetzt werden
// (s.a. Abschnitt 3.2 im Handbuch):
// devices.device<Nr.>.type=<CCU1, CCU2 oder BINRPC> 
// devices.device<Nr.>.address='<IP-Adresse>'
//
// Optional können noch folgende Optionen gesetzt werden:
// devices.device<Nr.>.plugin<Nr.>.type=<CUXD oder HMWLGW>
// devices.device<Nr.>.sysVarDataCycle=30000
// devices.device<Nr.>.reinitTimeout=300000
// devices.device<Nr.>.writeAccess=false
// devices.device<Nr.>.watchdogProgram=''
// devices.device<Nr.>.watchdogCycle=300000 // 5 Minuten
// Bei Anbindung von mehreren Zentralen muss ein Präfix je Zentrale gesetzt werden!
// devices.device<Nr.>.prefix=''
//
// Es muss im Folgenden mindestens eine Zentrale bzw. Gerät konfiguriert werden:

// Typ der Zentrale: CCU1 oder CCU2
devices.device1.type=CCU2
// IP-Adresse der Zentrale
devices.device1.address='10.1.1.253'
devices.device1.plugin1.type=CUXD


// Falls CUxD verwendet wird, die Kommentarzeichen (//) vor folgender Zeile entfernen:
// devices.device1.plugin1.type=CUXD

// Falls das HomeMatic Wired LAN Gateway verwendet wird, die Kommentarzeichen (//) vor 
// folgender Zeile entfernen:
// devices.device1.plugin1.type=HMWLGW

// Falls CUxD UND das HMWLGW verwendet wird, die Kommentarzeichen (//) vor folgenden
// zwei Zeilen entfernen:
// devices.device1.plugin1.type=CUXD
// devices.device1.plugin2.type=HMWLGW

// Zum Freischalten der Web-Links zu den Beispiel-Web-Seiten, die Kommentarzeichen (//) vor folgenden
// zwei Zeilen entfernen:
// webServer.menuLinks.link1.text='Beispiel 1 - Vorjahresvergleich'
// webServer.menuLinks.link1.address='/custom/example1.html'

Ich muss auch zugeben, das mir die ganze Einrichtung unter Linux nicht leicht gefallen ist, viel Google und lesen, aber man lernt ja nie aus.
Komme halt mehr aus der Windows Welt, da fällt es mir einfacher einen Domaincontroller zu installieren.
Wäre klasse wenn mir jemand zu den Problemen weiter helfen könnte!

Danke und Grüße,
Slice

[Mathias]

Ich kann den CCU-Historian über die Webseite unter der VM aufrufen und bekomme auch dort Diagramme angezeit.
Allerdings passiert es, das ich nach dem ersten Zugriff auf ein Diagramm, im Log sehr schnell folgenden Fehler bekomme:

Code: Alles auswählen

2019-10-05 12:29:55|INFO   |Starting historian
2019-10-05 12:29:56|INFO   |Starting web server
2019-10-05 12:29:56|INFO   |Web server port: 8081
2019-10-05 12:30:01|SEVERE |Exception: org.eclipse.jetty.io.EofException

Das passiert in der Regel, wenn eine Web-Seite vom CCU-Historian noch an den Web-Browser ausgeliefert wird, und schon die nächste angefragt wird. Z.B. wenn in schneller Folge die zeitliche Navigation verwendet wird. Das ist also unkritisch. Es kann da auch Unterschiede je Betriebsystem geben.

Und mein zweites Problem ist bei der Backuperstellung funktioniert etwas nicht.
Hier die Fehlermeldung dazu:

Code: Alles auswählen

2019-10-06 00:00:00|INFO   |Creating backup of database to file /media/raspibackup/CCU-Historian/db-pm_2019-10-06.zip
2019-10-06 00:00:43|SEVERE |Exception: connect timed out
2019-10-06 00:00:43|SEVERE |Detail: java.net.SocketTimeoutException: connect timed out
	at mdz.hc.itf.hm.HmScriptClient.execute(HmScriptClient.groovy:352)
	at mdz.hc.itf.hm.HmScriptClient.getSystemVariableValues(HmScriptClient.groovy:104)
	at mdz.hc.itf.hm.HmSysVarInterface$_readVariables_closure3.doCall(HmSysVarInterface.groovy:120)
	at mdz.hc.itf.hm.HmSysVarInterface$_readVariables_closure3.call(HmSysVarInterface.groovy)
	at mdz.Exceptions.lambda$0(Exceptions.java:84)
	at mdz.Exceptions.catchToLog(Exceptions.java:74)
	at mdz.Exceptions.catchToLog(Exceptions.java:84)
	at mdz.hc.itf.hm.HmSysVarInterface.readVariables(HmSysVarInterface.groovy:118)
	at jdk.internal.reflect.GeneratedMethodAccessor105.invoke(Unknown Source)
	at java.base/jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
2019-10-06 00:02:28|WARNING|Failed to execute: SCRIPT DROP TO ? COMPRESSION ZIP because: Eingabe/Ausgabe: "java.io.IOException: Eingabe-/Ausgabefehler"; "/media/raspibackup/CCU-Historian/db-pm_2019-10-06.zip"
IO Exception: "java.io.IOException: Eingabe-/Ausgabefehler"; "/media/raspibackup/CCU-Historian/db-pm_2019-10-06.zip"; SQL statement:
SCRIPT DROP TO ? COMPRESSION ZIP [90031-199]

Das sind 2 Fehlermeldungen: Einmal um 00:00:43 war die CCU nicht erreichbar.

Und bei der Backuperstellung gab es ein Schreibfehler. Läuft der CCU-Historian auch unter dem richtigen Benutzer. Also hat er überhaupt die Rechte, die Datei zu schreiben?

Gruß
Mathias

[Slice]

Das passiert in der Regel, wenn eine Web-Seite vom CCU-Historian noch an den Web-Browser ausgeliefert wird, und schon die nächste angefragt wird. Z.B. wenn in schneller Folge die zeitliche Navigation verwendet wird. Das ist also unkritisch. Es kann da auch Unterschiede je Betriebsystem geben.

Das sind 2 Fehlermeldungen: Einmal um 00:00:43 war die CCU nicht erreichbar.

Und bei der Backuperstellung gab es ein Schreibfehler. Läuft der CCU-Historian auch unter dem richtigen Benutzer. Also hat er überhaupt die Rechte, die Datei zu schreiben?

Gruß
Mathias

Hm, okay, ich werde das mit dem ausliefern der Diagramme nochmal beobachten. Die Meldungen nerven halt, kann ich die unterdrücken?
Das Log ist danach halt echt vollgeschrieben..


Der User hat Zugriff, ich mounte den mit entsprechenden Rechten unter Windows.
Das die CCU nicht erreichbar war, kann ich mir fast nicht vorstellen!
Wie gesagt, in der ersten Nacht lief das Backup durch.

Hast Du noch Ideen dazu??

Danke und Grüße,
Slice

[Slice]

Hallo,

ich habe jetzt mal das Backup auf einen lokalen Pfad umgestellt, nachdem es heute Nacht wieder nicht durchlief..
Was mich stutzig macht ist zum Ende hin immer diese Meldung:

Code: Alles auswählen

2019-10-07 00:02:28|WARNING|Failed to execute: SCRIPT DROP TO ? COMPRESSION ZIP because: Eingabe/Ausgabe: "java.io.IOException: Eingabe-/Ausgabefehler"; "/media/raspibackup/CCU-Historian/db-pm_2019-10-07.zip"
IO Exception: "java.io.IOException: Eingabe-/Ausgabefehler"; "/media/raspibackup/CCU-Historian/db-pm_2019-10-07.zip"; SQL statement:
SCRIPT DROP TO ? COMPRESSION ZIP [90031-199]

Laut Anleitung sollte das mit der Endung .zip ja funktionieren.

Weiß jemand wie ich das Backup auf stündlich umstellen kann, oder von Hand anstarte?
Die Anleitung beschreibt etwas, leider ist mir das nicht ganz klar.
Und immer eine Nacht warten ist ungeschickt..

EDIT:
Okay, habs, mit dem Parameter -%h.zip im Backupnamen wurde nun lokal eins erstellt.
Dann kann ich weiter suchen, warum es nicht auf den Share geht..

EDIT2:
Da ich mit den Problemen direkt auf den Share das Backup zu erstellen nicht weiter gekommen bin, habe ich nachdem das Backup lokal funktionert mir ein Script erstellt das per Cronjob die Backup Datei auf den Share kopiert und lokal löscht.
Das funktioniert soweit seit paar Tagen zuverlässig! Viele Wege führen zum Ziel.


Grüße,
Slice