Diskussion Daten loggen, ccu-historian, ioBroker

Entwicklung und Bau von Hardware aller Art, die im HM-Umfeld eingesetzt werden kann

Moderator: Co-Administratoren

TomMajor
Beiträge: 1790
Registriert: 30.08.2017, 23:25
Hat sich bedankt: 175 Mal
Danksagung erhalten: 399 Mal
Kontaktdaten:

Diskussion Daten loggen, ccu-historian, ioBroker

Beitrag von TomMajor » 15.06.2021, 17:35

Um funkleuchtturms thread nicht komplett zu kapern hier eine extra Thread zum Thema.
FUEL4EP hat geschrieben:
06.06.2021, 14:29

Hier die absolute Luftfeuchte außen in den letzten 4 Monaten (die Ausreißer sind Resets meiner RM und ein DB-Crash meines Historians):
Hi Ewald,

wie zufrieden bist du eigentlich mit dem Historian?
Ich habe den ioBroker im Betrieb, eigentlich nur für die Diagramme (weil die HM internen zu beschränkt sind), aber der Broker kostet auch immer zusätzlichen Aufwand in HW und Pflege/Updates. Ich überlege mal den Historian zu probieren und den Broker mittelfristig loszuwerden, mein Ziel ist immer wenn möglich KISS sowie ein robustes System mit möglichst wenig Pflegeaufwand.

Du schreibst von einem DB-Crash des Historians, ist das die Stelle B wo du es 3 Tage nicht gemerkt hast? Sonst könnte die Stelle B auch ein simples Aus der Zentralle für diese Zeit sein.
Und die Stellen A1 und A2 haben wohl nichts mit der DB zu tun sondern dort lag es an den Sensoren selbst vermute ich, weil es ja immer nur einen von beiden betraf.
Also insgesamt sieht das Diagramm ja ziemlich gut aus für 4 Monate find ich.
Dateianhänge
abs_humidity_garage_outdoor.png
Viele Grüße,
Tom

TomMajor
Beiträge: 1790
Registriert: 30.08.2017, 23:25
Hat sich bedankt: 175 Mal
Danksagung erhalten: 399 Mal
Kontaktdaten:

Re: Diskussion Daten loggen, ccu-historian, ioBroker

Beitrag von TomMajor » 15.06.2021, 17:35

Ewald schrieb:
Hi Tom,

mit dem CCU Historian selbst als Software bin ich sehr zufrieden. Läuft ohne Probleme.

Wo man aufpassen muss und wo ich selbst viel 'Lehrgeld' bezahlen musste, ist die Hardware, wenn man einen Raspberry Pi 3B+ benutzt (wahrscheinlich auch auf einem Raspberry Pi 3 oder einem Raspberry Pi 2). Der Historian läuft bei mir auf einem separaten, dedizierten Raspberry Pi 3B+, der über ein LAN Kabel mit meiner RaspberryMatic verbunden ist, die auch auf einem Raspberry Pi 3B+ läuft. Beide Raspis sind in einer DMZ und gehen auch bei abgeschaltetem LAN/WLAN des Hauptrouters.

Raspberry Pi 3B+ haben die unangenehme Eigenschaft, dass sie immer wieder gerne USB Sticks 'verfrühstücken', sprich kaputt schreiben, wenn es Spannungseinbrüche gibt. Ich hatte da lange mit zu kämpfen.

Wichtig für einen stabilen Betrieb eines CCU Historians auf einem Raspberry Pi 3B+ sind daher folgende Punkte:

1. Historian Datenbank auf einem externen USB 2.0 Stick, am Besten mit 16 GByte oder 32 GByte (nicht mehr wegen Strom!) abspeichern.
=> ein USB 3.0 USB Stick zieht zu viel Strom für einen Raspi 3B+. Führte immer zum 'Verfrühstücken' des Sticks, siehe oben.
=> ein Raspberry Pi 3B+ unterstützt ohnehin nur USB2.0

2. Einen qualitativ hochwertigen USB 2.0 USB Stick nehmen, der häufig beschrieben werden kann, am Besten einen Stick mit Industrial Grade.

3. Direkt am GPIO Port an 3.3V <-> GND mit Pfostenstecker und kurzen Leitungen 470uF/10V Elko + 100 nF Keramikkondensator anbringen.
=> das hatte ich mal im Internet gefunden (siehe auch hier), das hilft schon sehr viel

4. Ein qualitativ hochwertiges USB Netzteil mit 5.1 V Ausgangsspannung für den raspberry PI 3B+ verwenden. Auf kurze Versorgungsleitung achten.

5. Den CCU Historian so konfigurieren (siehe Handbuch), dass er nur ca. jede Stunde Daten auf den USB Stick schreibt.

6. Den CCU Historian so konfigurieren (siehe Handbuch), dass er mindestens einmal in der Woche ein Backup der Datenbasis auf dem USB Stick macht.

7. Über einen Cron-Prozess die Anzahl der Datenbank-Backups auf ca. 3..4 begrenzen.

8. Den CCU Historian jede Nacht über einen Cron-Prozess beenden, dann >5 (besser 10) Minuten warten, dann wieder über einen Cron-Prozess hochfahren.

9. Den Raspi Pi 3B+ ein Mal in der Woche über einen Cron-Prozess neu booten.

Die Maßnahmen 1. - 9. ermöglichen einen stabilen Betrieb über Monate hinweg.

Du schreibst von einem DB-Crash des Historians, ist das die Stelle B wo du es 3 Tage nicht gemerkt hast
Ja, das war nur ein "nicht Neustart" nach Punkt 8. Das passiert dann, wenn der Historian zu lange zum Runterfahren (/etc/init.d/ccu-historian stop) braucht und noch nicht fertig mit Runterfahren ist, wenn das Kommando zum Restart (/etc/init.d/ccu-historian start) kommt. Ein größerer Zeitabstand zwischen Stop und Restart des Historians hilft hier.

Die anderen Unterbrechungen waren kurzfristige Bootaktionen meiner RaspberryMatic-Zentrale, um mein Addon zu testen. Dabei hängt dann auch schon mal die Verbindung der beiden Raspis. Ich habe leider nur ein Live und kein dediziertes Testsystem.
Viele Grüße,
Tom

TomMajor
Beiträge: 1790
Registriert: 30.08.2017, 23:25
Hat sich bedankt: 175 Mal
Danksagung erhalten: 399 Mal
Kontaktdaten:

Re: Diskussion Daten loggen, ccu-historian, ioBroker

Beitrag von TomMajor » 15.06.2021, 17:36

Baxxy schrieb:
Ich gebe mal etwas OT-Senf dazu... :wink:

Bei mir lief der Historian über ca. 2 Jahre als Add-On direkt auf der originalen CCU3 Hardware inklusive original Netzteil völlig problemlos.
Seine Datenbank wurde auf eine USB-->SATA SSD geschrieben. "Heruntergefahren" wurde der nur bei Zentralen-Firmware-Upgrades oder ab und an mal zum "-recalc(en)" und -compact(en). Auch mein Historian erstellt ein wöchentliches Backup der Datenbank auf der SSD die ich dann extern wegsichere.

Inzwischen wurde die (CCU)Hardware geändert zum Pi4B-2GB. Durch die nun verfügbare USB3 Anbindung der SSD und dem mehr an "wumms" des Pi4B ist die Bedienung des Historian definitiv flotter geworden.

Wenn man die Möglichkeit hat sollte man m.E. den Historian aber auf performanterer Hardware laufen lassen.
Hier in meiner Testumgebung läuft der Historian in einer VM unter Windows und zeichnet zeitweise die Daten von bis zu 4 Zentralen gleichzeitig auf.
Man merkt den Unterschied zum Pi4B-Historian.

Grüße
Baxxy
Viele Grüße,
Tom

TomMajor
Beiträge: 1790
Registriert: 30.08.2017, 23:25
Hat sich bedankt: 175 Mal
Danksagung erhalten: 399 Mal
Kontaktdaten:

Re: Diskussion Daten loggen, ccu-historian, ioBroker

Beitrag von TomMajor » 15.06.2021, 17:38

Hi Ewald und Baxxy,

vielen Dank für euren input.

Ewald, deine Punkte 1-6 habe ich bereits bzw. hätte ich instinktiv für den Historian auch so gemacht.
Der Punkt 8. erstaunt mich schon, hängt sich das Teil sonst ab und zu auf, Memory läuft voll o.ä?

Hintergrund, nachdem ich gestern wieder 14 updates beim ioBroker gefahren habe, js-controller und diverse Adapter, und nachdem später der Broker nicht mehr übers WebUI erreichbar war, also wieder über SSH einloggen und neustarten, stelle ich gerade mal bei mir den Sinn des Brokers in Frage. Ist sicher ein tooles Teil, er hat aber 1000 Features die ich alle nicht nutze, sondern ich will nur Langzeitdaten speichern und Diagramme dafür haben.
Und kostet mich wie geschieben extra HW, Zeit und Pflege.

Mein Gedanke war deshalb den Historian als AddOn zu haben, und die extra HW für den Broker zu sparen.
Insofern sind Baxxy Erfahrungen auch sehr interessant. Habe momentan meine CCU auf einem PI3.
Wenn ich dich, Baxxy, richtig verstehe kannst du auch für diese Konstellation den Historian uneingeschränkt empfehlen?
Historian unter Windows würde mir nichts nützen da ich 24h Datenaufzeichnung brauche.
Viele Grüße,
Tom

Benutzeravatar
Baxxy
Beiträge: 10648
Registriert: 18.12.2018, 15:45
System: Alternative CCU (auf Basis OCCU)
Hat sich bedankt: 597 Mal
Danksagung erhalten: 2180 Mal

Re: Diskussion Daten loggen, ccu-historian, ioBroker

Beitrag von Baxxy » 15.06.2021, 17:59

FUEL4EP hat geschrieben:
15.06.2021, 17:33
Hi Baxxy,
danke für Deine Erfahrungen. Deinen Ansatz USB-->SATA SSD finde ich gut. Wie viel Leistung verbraucht denn USB-->SATA SSD mehr als ein reiner USB Stick?
Bei meinen 24/7/365 Geräten 'geize' ich um jedes Watt, da jedes Watt Dauerleistung mit ~ 2 Euro/Jahr zu Buche schlägt.
SmartHome muss m.E. auch 'smart' vom Leistungsbedarf sein.
Das ist eine sehr gute Frage, die ich aber leider momentan nicht exakt beantworten kann. Über den Daumen gepeilt würde ich beim Pi3B von ca. 0,5W mehr ausgehen wenn die SSD im Idle ist. (Historian schreibt auch bei mir nur ca. alle 3 Stunden) Bei aktivem Schreibzugriff ist es natürlich mehr.
Da muss man auch ein bisschen auf die SSD gucken. Gerade ältere Modelle sind teilweise mit 2.0 - 2.5A bei 5V angegeben, das ist natürlich nix.
Meine aktuell benutzten 120GB SSD's sind mit 1.0A bei 5V angegeben, damit lässt sich's leben.

Der Pi4B ist da schon ne andere Nummer. Glaube der liegt mit RPI-RF-MOD und SSD an USB3 so bei 3,9 -4,1 Watt im Normalbetrieb.

Wenn ich es die Tage mal schaffe schaue ich, ob ich etwas präzisere Werte liefern kann.

Grüße
Baxxy

Benutzeravatar
Baxxy
Beiträge: 10648
Registriert: 18.12.2018, 15:45
System: Alternative CCU (auf Basis OCCU)
Hat sich bedankt: 597 Mal
Danksagung erhalten: 2180 Mal

Re: Diskussion Daten loggen, ccu-historian, ioBroker

Beitrag von Baxxy » 15.06.2021, 18:09

TomMajor hat geschrieben:
15.06.2021, 17:38
Wenn ich dich, Baxxy, richtig verstehe kannst du auch für diese Konstellation den Historian uneingeschränkt empfehlen?
Mit Datenspeicherung auf SSD sage ich mal... ja, das kann man problemlos so nutzen.
Vorausgesetzt der Historian ist gut konfiguriert, also nur relevante Sachen aufzeichnen, Datenpunkt-Kompression nutzen wo es möglich ist, ab und zu mal recalc(en) und compact(en) um die Datenbankgröße im Zaum zu halten.
TomMajor hat geschrieben:
15.06.2021, 17:38
Historian unter Windows würde mir nichts nützen da ich 24h Datenaufzeichnung brauche.
Das war eher als Beispiel gedacht. :wink:
Wer z.B. einen Proxmox-Server oder ein unterstütztes NAS sowieso am laufen hat sollte lieber deren Hardware anstelle eines Pi nutzen.

Grüße
Baxxy

Benutzeravatar
FUEL4EP
Beiträge: 584
Registriert: 01.11.2017, 17:26
System: Alternative CCU (auf Basis OCCU)
Hat sich bedankt: 76 Mal
Danksagung erhalten: 77 Mal
Kontaktdaten:

Re: Diskussion Daten loggen, ccu-historian, ioBroker

Beitrag von FUEL4EP » 15.06.2021, 18:09

Danke Baxxy. Bin gespannt, wie viel mehr eine SSD braucht.

@Tom:
Der Punkt 8. erstaunt mich schon, hängt sich das Teil sonst ab und zu auf, Memory läuft voll o.ä?
Punkt 8 und 9 sind reine Vorsichtsmaßnahmen, die eher historisch gewachsen sind. Ich hatte mal einen Python Skript mit Memory-Leak für einen Sensor, der direkt an den Raspi angeschlossen war. Dazu kam dann der Aha-Effekt als sich der Historian mitten im Urlaub aufhing und ich dann leider nicht mehr über VPN zuhause nach dem Rechten schauen konnte :-(
Grüße

Ewald

Meine SmartHome Entwicklungen gibt es hier: FUEL4Ps Homeautomation Github Repository oder als ZIP
Das passende RaspberryMatic Addon ist hb-ep-devices-addon
Passende Platinen gib es hier: PCBs

Benutzeravatar
Baxxy
Beiträge: 10648
Registriert: 18.12.2018, 15:45
System: Alternative CCU (auf Basis OCCU)
Hat sich bedankt: 597 Mal
Danksagung erhalten: 2180 Mal

Re: Diskussion Daten loggen, ccu-historian, ioBroker

Beitrag von Baxxy » 15.06.2021, 18:28

FUEL4EP hat geschrieben:
15.06.2021, 18:09
Bin gespannt, wie viel mehr eine SSD braucht.
Da hier gerade ein Pi3B+ mit aufgestecktem RPI-RF-MOD als Testsystem werkelt...
Hochpräzises Messgerät (bitte nur schmunzeln nicht lachen... ) PM 231 E...
  • Pi mit angestecktem 32GB USB3-Stick ~ 3,2W
  • Pi mit angesteckter USB-->SATA SSD 120GB ~ 3,4W
Denke ein SSD-Upgrade ist akzeptabel. :wink:

Grüße
Baxxy

Edit-1: Beim Schreiben einer 1GB großen Datei auf die SSD liegt die Leistungsaufnahme bei ~ 5,2W

Code: Alles auswählen

root@Test-CCU-RMatic-Pi3Bplus:~# dd if=/dev/random of=/media/usb1/measurement/1000MB.rand bs=1M count=1000
1000+0 records in
1000+0 records out
1048576000 bytes (1000.0MB) copied, 34.457004 seconds, 29.0MB/s
Edit-2: Beim Schreiben einer 1GB großen Datei auf den Stick liegt die Leistungsaufnahme bei ~ 4,2W schwankt aber stark.

Code: Alles auswählen

root@Test-CCU-RMatic-Pi3Bplus:~# dd if=/dev/random of=/media/usb1/measurement/1000MB.rand bs=1M count=1000
1000+0 records in
1000+0 records out
1048576000 bytes (1000.0MB) copied, 90.883245 seconds, 11.0MB/s
Zuletzt geändert von Baxxy am 15.06.2021, 18:51, insgesamt 2-mal geändert.

Benutzeravatar
Baxxy
Beiträge: 10648
Registriert: 18.12.2018, 15:45
System: Alternative CCU (auf Basis OCCU)
Hat sich bedankt: 597 Mal
Danksagung erhalten: 2180 Mal

Re: Diskussion Daten loggen, ccu-historian, ioBroker

Beitrag von Baxxy » 15.06.2021, 18:37

Noch ein Hinweis:
Ich nutze als Dateisystem für meine externen USB-Datenspeicher (an der Zentrale) ausschließlich F2FS.

Das wird von RaspberryMatic nativ unterstützt. Wie das bei original CCU3 und deren Derivate ist weiß ich nicht.
Auch wenn ich primär Windows Nutzer bin würde ich einer Linux-Zentrale kein NTFS oder FAT anbieten wollen.

Grüße
Baxxy

klassisch
Beiträge: 3974
Registriert: 24.03.2011, 04:32
System: Alternative CCU (auf Basis OCCU)
Hat sich bedankt: 110 Mal
Danksagung erhalten: 70 Mal

Re: Diskussion Daten loggen, ccu-historian, ioBroker

Beitrag von klassisch » 15.06.2021, 19:23

Als ich im anderen Thread "USB Stick" gelesen hatte, dachte ich sofort an die SSD. Schließlich will man ja eine stabile Infrastruktur und nicht ständg vermeidbaren Fehlern nachrennen.

In dem anderen Thread geht es ja um Schimmelwarner. Und bei mir damit auch um Steuerung eines Luftentfeuchters. Und das ist eine Kältemaschine, die ordentlich Strom braucht. An feuchtwarmen Sommertagen bei mir auch mal 4 kWh. Da muß man sich keine Gedanken mehr über den Stromverbrauch von SSD oder USB machen.

Da ist sogar mein refurbished Laptop für ioBroker ein Waisenknabe dagegen.
Und den möchte ich nicht mehr missen.
Bin ja schon seit ca. 10 Jahren bei HM. Damals war das Aufzeichnen von Daten nicht wirklich gut und stabil möglich. Vielleicht ein paar Kanäle oder so.
Abhilfe war CCU.io aus dem ioBroker entstand.
Damit kann man viele Daten loggen und anzeigen.
Mittlerweile wächst meine Hausautomatisierung im Bereich HM praktisch kaum noch. Das meiste findet auf ioBroker statt.
Wenn Funktionen modifiziert oder bearbeitet werden müssen, wandern sie oft von der HM auf den ioBroker.
In WebUI kann man bis heute
* nicht rechnen
* nicht kommentieren
* nicht ordentlich dokumentieren
Die TCL Skriptsprache ist eine Singularität und damit praktisch eine Sackgasse. ioBroker verwendet JavaScript. Auch nicht mein Liebling, aber sehr verbreitet und man findet überall etwas.
In ioBroker gibt es Adapter für sehr viel.
Mein Stromzähler wird auf Smartmeter zwangsumgestellt: ioBroker liest die Daten im Sekundentakt.
Daten aus dem Auto, von meinen ESPs, Shelly, Zigbee, 433MHz. Auch Z-Wave, wenn es sein muß. Da gibt es ganz andere Möglichkeiten. Ich wollte die Beleuchtung auf PWM weißton umrüsten. Durchgerechnet mit HM Zwikanal PWM Dimmer + Bedienelemente. Ikea Floalt Panels sind schneller gemacht und oft günstiger als selbst gebaut, wenn man alles - also auch die Mechanik - betrachtet. Die meisten Leuchten werden über Zigbee angesteuert. Bei ioBroker kein Problem. Passende 6-fach Taster (jede Taster mit 4 Funktionen belegbar) 12 bis 15 EUR.
HM-BWM? Ja meine beiden arbeiten gut. Die 433MHz Noname Dinger auch nicht schlecht und viel billiger. Aqara Zigbee BWM, <15 EUR und sehr klein. Klasse Teile. Helligkeitssensoren <9 EUR. TFKs in 433MHz 2 bis 5 EUR, in Zigbee 4 bis 5 EUR.
Mir fehlten noch 2 Gurtwickler. Neuankündigung: Rademacher Wickler mit DECT über Fritte. 2 zum Einführungspreis gekauft und läuft mit ioBroker.
Leistungsmessende Steckdose? HM 60 bzw 35 EUR (Bausatz) Shelly 20 EUR und Zigbee Blitzwolf ca. 12 EUR.
Ich werfe jetzt mein HM Zeug nicht raus, aber es wird praktisch nicht mehr erweitert. Mit den Mod-8 xxx Modulen noch hie und da eine Erweiterung.
Unterputz Schaltaktoren: Shelly 10 EUR oder Zigbee <10 EUR. HM 60 EUR.
HM hat sich überholen lassen.

Also, ich möchte auf ein Integrationssystem wie ioBroker nicht mehr verzichten. Ich möchte an der Moderne teilhaben.

Antworten

Zurück zu „Hardwareentwicklung und Selbstbau von Aktoren und Sensoren“