CCU-Historian: Ein Langzeitarchiv für die CCU

[regelfritze]

Hallo,

ich habe das von cerna007 beschriebene Problem lösen können, indem ich den ccu-historian als Prozeß laufen lasse. Unter Win7 funktioniert das einwandfrei. Sobald Windows gestartet ist, also schon vor der Benutzeranmeldung werden die Daten aufgezeichnet und der Web-Server steht für andere Rechner zur Verfügung. Es ist auch kein "DOS-Fenster" sichtbar, was auch noch den WAFerhöht.

Bei Interesse würde ich mir die Zeit nehmen und eine Beschreibung erstellen.

Auch von meiner Seite einen riesiges Danke an Matthias für den CCU-Historian. Es ist ein tolles Projekt!!!

Gruß aus Berlin
Regelfritze

Hallo zusammen

Ich habe seit Mittwoch meine - vorerst noch bescheidene - Homematic Umgebung im Einsatz. (30. Nov. 2011)
Die Möglichkeiten zur Auswertung out of the box sind bekanntlich nicht gerade weitgehend und benutzerfreundlich.

Die Idee und Realisierung von CCU-Historian finde ich genial (eben ohne Install, Einrichtung sehr simpel, Multi-OS) und für das, wofür das Programm gedacht ist einwandfrei.
Hochachtung und ein dickes Dankeschön!

Eine Frage / Bitte / Anregung hätte ich vielleicht aber doch noch:
Es wäre super, wenn man das Programm als Dienst laufen lassen könnte. Wenn ich das jetzt richtig verstanden habe, MUSS ich angemeldet bleiben, damit die Protokollierung läuft. Sobald ich mich abmelde, schliesst sich das Eingabe / DOS-Fenster. (MS Windows Variante)

Wenn es sich einfach implementieren lässt (wobei ich denke es sind gleichzeitig dann mehrere Dienste, wie DB, Web, usw..) wäre das vielleicht etwas, was für die Zukunft berücksichtigt werden könnte. (möglicherweise geht aber dann die Einfachheit flöten - man könnte es wählbar machen, so wie bisher oder als Dienst mit etwas mehr Initialaufwand)
Wenn nicht, ist auch gut.

Nochmals vielen Dank, super Arbeit!
Grüsse aus der CH

[holgerwolf]

Hallo,

ich habe das von cerna007 beschriebene Problem lösen können, indem ich den ccu-historian als Prozeß laufen lasse. Unter Win7 funktioniert das einwandfrei. Sobald Windows gestartet ist, also schon vor der Benutzeranmeldung werden die Daten aufgezeichnet und der Web-Server steht für andere Rechner zur Verfügung. Es ist auch kein "DOS-Fenster" sichtbar, was auch noch den WAFerhöht.

Bei Interesse würde ich mir die Zeit nehmen und eine Beschreibung erstellen.

Auch von meiner Seite einen riesiges Danke an Matthias für den CCU-Historian. Es ist ein tolles Projekt!!!

Gruß aus Berlin
Regelfritze

Klar bin ich an einer Beschreibung interessiert

Gruß und schon mal Danke
Holger

[Tank]

Also, falls Ihr mit "Prozess" Dienst meint, das hab ich ja schon hier beschrieben

[regelfritze]

Ich lasse den CCU Historian als Prozess laufen, nicht als Dienst. Das erspart mir das Editieren der Registry. An die traue ich mich nicht heran.
In der Anlage meine Beschreibung zum Einbinden als Prozess.

Viel Erfolg.

[texel]

Hallo!

Erstmal auch von meiner Seite vielen Dank für diese super Arbeit!

Habe nun auch endlich den Historian ausprobiert und bin begeistert. Allerdings scheint bei mir irgendwas nicht zu stimmen. Wenn ich den Historian starte, dauert das erstellen der RPC-Clients mehrere Minuten pro Client? In den Logfiles die hier im Forum gepostet werden, sind das aber in der Regel nur ein paar Sekunden. In Summe dauert dann allein der Aufbau der RPC-Clients ca. 6-10 Minuten. Ist das normal?

Zudem werden dann in der Weboberfläche nur die Systemvariablen dargestellt. Habe explizit wie hier im Post bereits beschrieben die Firewallregeln entsprechend erweitert. Hat aber keine Abhilfe geschaffen. Auch die Tatsache, dass die normalen Datenpunkte erst Stück für Stück erscheinen, sobald gesendet wird, kann ich bei mir leider nicht bestätigen. Nach ca. 1h sind nach wie vor nur die Systemvariablen sichtbar.

Hat jemand ein ähnliches Phänomen?

PS: Da ich 2 CCUs habe, habe ich das an beiden getestet: Ergebnis ist genau dasselbe (nur Systemvariablen werden angezeigt; ewig langer Aufbau der RPC-Clients).

Viele Grüße,
Texel


Hier das Log bis zum 2. Client:

2012-01-06 15:48:25|INFO |Starting CCU-Historian V0.5.1
2012-01-06 15:48:25|INFO |by MDZ (mdz@quantentunnel.de)
2012-01-06 15:48:25|FINE |Configuration:
2012-01-06 15:48:25|FINE |logSystem.consoleLevel=Level.FINEST
2012-01-06 15:48:25|FINE |logSystem.fileLevel=Level.FINEST
2012-01-06 15:48:25|FINE |logSystem.fileName='./ccu-historian-%g.log'
2012-01-06 15:48:25|FINE |logSystem.fileLimit=1000000
2012-01-06 15:48:25|FINE |logSystem.fileCount=5
2012-01-06 15:48:25|FINE |database.dir='./data'
2012-01-06 15:48:25|FINE |database.name='history'
2012-01-06 15:48:25|FINE |database.user='sa'
2012-01-06 15:48:25|FINE |database.webEnable=true
2012-01-06 15:48:25|FINE |database.webAllowOthers=false
2012-01-06 15:48:25|FINE |database.tcpEnable=false
2012-01-06 15:48:25|FINE |database.tcpAllowOthers=false
2012-01-06 15:48:25|FINE |database.pgEnable=false
2012-01-06 15:48:25|FINE |database.pgAllowOthers=false
2012-01-06 15:48:25|FINE |ccu.address='192.168.1.15'
2012-01-06 15:48:25|FINE |ccu.reinitTimeout=120
2012-01-06 15:48:25|FINE |ccu.disabled=false
2012-01-06 15:48:25|FINE |ccu.historianAddress='192.168.247.149'
2012-01-06 15:48:25|FINE |historian.metaCycle=3600000
2012-01-06 15:48:25|FINE |historian.sysVarDataCycle=30000
2012-01-06 15:48:25|FINE |webServer.port=80
2012-01-06 15:48:25|FINE |webServer.dir='./webapp'
2012-01-06 15:48:25|FINE |webServer.logLevel=Level.WARNING
2012-01-06 15:48:25|FINE |webServer.historianAddress='192.168.247.149'
2012-01-06 15:48:25|INFO |Connecting to database
2012-01-06 15:48:25|INFO |Starting database web server
2012-01-06 15:48:25|FINE |Database management URL: http://192.168.247.149:8082
2012-01-06 15:48:25|INFO |Connecting to CCU
2012-01-06 15:48:25|INFO |Starting RPC server on port 2010
2012-01-06 15:48:25|FINE |RPC server address is http://192.168.247.149:2010
2012-01-06 15:48:25|INFO |Creating RPC client for http://192.168.1.15:2000 with name BidCos-Wired
2012-01-06 15:48:26|FINE |RPC client BidCos-Wired: Calling init(http://192.168.247.149:2010, BidCos-Wired)
2012-01-06 15:51:36|INFO |Creating RPC client for http://192.168.1.15:2001 with name BidCos-RF
2012-01-06 15:51:37|FINE |RPC client BidCos-RF: Calling init(http://192.168.247.149:2010, BidCos-RF)

[JPS]

In Summe dauert dann allein der Aufbau der RPC-Clients ca. 6-10 Minuten. Ist das normal?

Bei mir unter Windows XP geht das sehr schnell, nur wenige Sekunden, dann lauft der Historian.

Zudem werden dann in der Weboberfläche nur die Systemvariablen dargestellt.

Dies hatte ich nach einigen Monaten problemlosen Laufens neulich auch einmal. Vor einem CCU-Firmware-Update hatte ich den Historian mit "Strg-C" beenden wollen. Das Fenster schloss sich jedoch nicht und dann habe ich es "auf die harte Tour" beendet. Danach zeigte dar Historian genau das beschriebene Verhalten. Blöderweise hatte ich, nachdem das Konsolenfenster zu war, noch ein Update gestartet, weswegen ein Zurückkopieren des Updates auch nichts geholfen hat. Letztendlich habe ich den Historian komplett neu aufgesetzt. Das war insofern ärgerlich, dass die IDs hinterher natürlich alle anders vergeben waren und ich die Trendiagramme in a.i.o. manuell ändern musste. Aber seither läuft wieder alles perfekt.

Hast du es schon mal mit einem "frischen Download" des Historian neu versucht?

[texel]

Hi JPS,

danke für die schnelle Antwort.

Habe das Paket soeben nochmal komplett neu aufgesetzt. Leider immer noch das gleiche verhalten. Ich habe es mittlerweile auf zwei PCs (beide Windows7) mit zwei unterschiedlichen CCUs getestet. Ergebnis ist immer das gleiche: Aufbau der RPC-Clients dauert Minuten, im Webclient werden dann nur die Systemvariablen (auch nach 1h vergeblichen Wartens) angezeigt. CCUs laufen unter der neusten Firmware 1.504.

Viele Grüße, Texel

[Mathias]

Erst einmal einen besonderen Dank an die Benutzer Tank, Regelfritze und CarstenH aus dem Forum für die Anleitungen. Ich habe mir die Freiheit genommen, sie auch auf der Tipps & Tricks Seite vom CCU-Historian zum Download anzubieten.

ich kann nur sagen wie soviele -WOW vielen Dank für so eine Software. Ich muss sogar sagen, ich würde dafür gerne etwas bezahlen ! Denk doch mal darüber nach, so eine Möglichkeit zur Verfügung zu stellen (z.B. Donation Button über Paypal).

Das ist eine Überlegung wert, obwohl ich bestimmt keine großen Geldströme erwarte.

Folgendes : Könntest Du nicht eine Syntax einbauen damit bei Programm start der Pfad zum Konfigfile übergeben wird (das habe ich nicht hinbekommen, könnte auch an meiner Unwissenheit liegen). Denn auf einer QNAP kann man nicht einfach die initd verändern, hier gibt es bessere Wege, bei denen aber noch nicht alle Shell Variablen vorhanden sind, bzw. das Startkommando wird ausgeführt ohne in dem "Historian" Verzeichniss zu stehen. Sorry ich kann es nicht besser erklären.

Kannst Du nicht ein Start-Skript erstellen, das sich das aktuelle Verzeichnis merkt, dann in das CCU-Historian-Verzeichnis wechselt, diesen dann startet und dann das Arbeitsverzeichnis wieder zurückstellt?
Die Kommandozeilenoption für die Konfigurationsdatei habe ich mal als Erweiterungswunsch notiert.

Und einen kleinen Zusatzwunsch : Ich habe bereits für andere Zwecke eine MySQl DB am laufen. Wäre es nicht möglich die H2 DB durch eine MySQL DB zu tauschen (auch hier habe ich keine Idee wieviel Aufwand das bedeutet).

Das Umbiegen der Datenbankzugriffe auf eine externe Datenbank würde schon einige Arbeit machen. Und leider ist SQL nicht gleich SQL. Der CCU-Historian soll generell keine Abhängigkeiten (OK, eine Java Laufzeit Umgebung ist nötig ) zu anderer Software haben, damit die Inbetriebnahme möglichst einfach bleibt.

Code: Alles auswählen

2012-01-06 15:48:25|FINE   |webServer.historianAddress='192.168.247.149'
2012-01-06 15:48:25|FINE   |ccu.historianAddress='192.168.247.149'
2012-01-06 15:48:25|FINE   |ccu.address='192.168.1.15'

Deine IP-Adressen legen die Vermutung nahe, dass der CCU-Historian-Rechner und die CCU in verschiedenen Netzwerken liegen. Auf Grund eines bekannten Fehlers in der CCU funktioniert das leider nicht.

Noch ein paar Infos

Die Verzögerung (mehrere Minuten) beim Start der RPC-Clients kommen dadurch zustande, dass die CCU bereits vergeblich versucht den CCU-Historian zu kontaktieren. Die CCU gibt die Versuche erst nach einer Zeitüberschreitung auf. Und erst danach startet der CCU-Historian weiter.

Dadurch ist auch klar, warum keine Gerätedatenpunkte archiviert werden. Die CCU kann die Daten nicht an den CCU-Historian senden. Ein ärgerlicher Nebeneffekt ist dann, dass dadurch auch die CCU-Programme ausgebremst werden.

Die Kommunikationsfehler von der CCU in Richtung CCU-Historian sind im Log der CCU auch sichtbar.

Ein beliebtes Hindernis ist immer eine Firewall auf dem CCU-Historian Rechner. Diese sollte zur Fehlersuche mal deaktiviert werden.

Noch ein Tipp

Den CCU-Historian immer über Strg-C beenden. Falls dies nicht geschieht, versucht die CCU weiterhin Daten an den nicht laufenden CCU-Historian zu senden. Dieses kann durch einen Neustart der CCU gestoppt werden.

Gruß
Mathias

[JPS]

Da der Historian ja auf einigen NAS-Systemen anscheinend relativ gut läuft, möchte ich mal nachfragen, ob ihn zufälligerweise schon jemand auf einem UNIX-System zum Laufen bekommen hat (die QNAP-NAS arbeiten nach meiner Kenntnis unter Linux).

Ich versuche dies seit einiger Zeit auf einer schon älteren x86-kompatiblen Plattform in 32-Bit-Architektur, die ich mittels FreeNAS-Betriebssystem (Version 0.7.2, diese basiert auf FreeBSD Version 7) als Server nutze und die insgesamt sehr zuverlässig funktioniert. Auf dem System habe ich die hierzu passende Java Laufzeitumgebung (diablo-jre-freebsd7.i386.1.6.0.07.02.tbz) installiert, die auch läuft.

Die Dateien des Historians sind in einem Verzeichnis auf einem gemounteten Laufwerk abgelegt, er lässt sich über die interne FreeNAS-Konsole und über Putty starten, zeigt dann jedoch "SEVERE |Exception: freenas.local: freenas.local". Das Log zeigt folgendes:

Code: Alles auswählen

2011-12-23 22:32:07|INFO   |Starting CCU-Historian V0.5.1
2011-12-23 22:32:07|INFO   |by MDZ (mdz@quantentunnel.de)
2011-12-23 22:32:07|FINE   |Configuration:
2011-12-23 22:32:07|FINE   |logSystem.consoleLevel=Level.INFO
2011-12-23 22:32:07|FINE   |logSystem.fileLevel=Level.FINEST
2011-12-23 22:32:07|FINE   |logSystem.fileName='./ccu-historian-%g.log'
2011-12-23 22:32:07|FINE   |logSystem.fileLimit=1000000
2011-12-23 22:32:07|FINE   |logSystem.fileCount=5
2011-12-23 22:32:07|FINE   |database.dir='./data
2011-12-23 22:32:07|FINE   |database.name='history'
2011-12-23 22:32:07|FINE   |database.user='sa'
2011-12-23 22:32:07|FINE   |database.webEnable=true
2011-12-23 22:32:07|FINE   |database.webAllowOthers=true
2011-12-23 22:32:07|FINE   |database.tcpEnable=false
2011-12-23 22:32:07|FINE   |database.tcpAllowOthers=false
2011-12-23 22:32:07|FINE   |database.pgEnable=false
2011-12-23 22:32:07|FINE   |database.pgAllowOthers=false
2011-12-23 22:32:07|FINE   |ccu.address='XXX.XXX.XXX.XXX' {hier steht die korrekte CCU-Adresse}
2011-12-23 22:32:07|FINE   |ccu.reinitTimeout=120
2011-12-23 22:32:07|FINE   |ccu.disabled=false
2011-12-23 22:32:07|SEVERE |Exception: freenas.local: freenas.local
2011-12-23 22:32:07|FINE   |java.net.UnknownHostException: freenas.local: freenas.local
	at mdz.ccuhistorian.Ccu.getHistorianAddress(Ccu.groovy:96)
	at mdz.ccuhistorian.Ccu.logConfig(Ccu.groovy:57)
	at mdz.ccuhistorian.Ccu$logConfig.call(Unknown Source)
	at mdz.ccuhistorian.Main.start(Main.groovy:52)
	at mdz.ccuhistorian.Main$start.callStatic(Unknown Source)
	at mdz.ccuhistorian.Main$_main_closure3.doCall(Main.groovy:30)
	at mdz.ccuhistorian.Main$_main_closure3.doCall(Main.groovy)
	at mdz.ccuhistorian.LogSystem.catchToLog(LogSystem.groovy:89)
	at mdz.ccuhistorian.LogSystem$catchToLog.call(Unknown Source)
	at mdz.ccuhistorian.Main.main(Main.groovy:30)
	at org.eclipse.jdt.internal.jarinjarloader.JarRsrcLoader.main(JarRsrcLoader.java:58)
2011-12-23 22:32:07|FINER  |Sleeping
2011-12-23 22:32:22|INFO   |Stopping database
2011-12-23 22:32:22|FINE   |Reading configuration file ccu-historian.config
2011-12-23 22:32:22|INFO   |Starting CCU-Historian V0.5.1
2011-12-23 22:32:22|INFO   |by MDZ (mdz@quantentunnel.de)

Danach wiederholt sich der Vorgang. Ich vermute, dass ein grundsätzliches Problem mit dem Betriebssystem oder dem verwendeten JRE vorliegt.

Für Erfahrungen oder Ideen wäre ich sehr dankbar.
Gruß JPS

[Lueghi]

Da der Historian ja auf einigen NAS-Systemen anscheinend relativ gut läuft, möchte ich mal nachfragen, ob ihn zufälligerweise schon jemand auf einem UNIX-System zum Laufen bekommen hat (die QNAP-NAS arbeiten nach meiner Kenntnis unter Linux).
...
Für Erfahrungen oder Ideen wäre ich sehr dankbar.
Gruß JPS

Läuft bei mir ohne Probleme auf einer Ubuntu-Maschine aber unter OpenJDK Runtime Environment (IcedTea6 1.9.10). Befürchte fast das liegt bei Dir an der Java-Version.