Daten automatisch löschen

[Goersch]

Hallo,

ich würde mir noch ein Feature wünschen (hab hoffentlich nichts übersehen und das gibt es schon):

a) Funktion, die Daten die älter als x-Tage sind (Parameter in der config), automatisch einmal am Tag löscht
oder
b) das ganze nicht automatisiert aber über das Web-Interface unter "Werkzeuge" mit Eingabe der Tage
oder
c) Daten, die älter als x-Tage sind, werden automatisch in eine separate DB ausgelagert. Wenn Zugriff auf die alten Daten notwendig wird, dann müsste das Web-Interface das handlen können.

Meine Datenbankdatei ist mittlerweile fast 2,5GB groß und die Anzeige von Trends dauert häufig sehr lange (> 1 Min). Da in der Datenbank pro Datenpunkt eine eigene Tabelle angelegt wird, ist das manuelle Löschen doch sehr aufwendig.

Gruß
Georg

[Mathias]

a) Funktion, die Daten die älter als x-Tage sind (Parameter in der config), automatisch einmal am Tag löscht
oder
b) das ganze nicht automatisiert aber über das Web-Interface unter "Werkzeuge" mit Eingabe der Tage
oder
c) Daten, die älter als x-Tage sind, werden automatisch in eine separate DB ausgelagert. Wenn Zugriff auf die alten Daten notwendig wird, dann müsste das Web-Interface das handlen können.

Meine Datenbankdatei ist mittlerweile fast 2,5GB groß und die Anzeige von Trends dauert häufig sehr lange (> 1 Min). Da in der Datenbank pro Datenpunkt eine eigene Tabelle angelegt wird, ist das manuelle Löschen doch sehr aufwendig.

Ich habe die Punkte a) und b) notiert (siehe http://www.ccu-historian.de/index.php?n ... ntwicklung).

Punkt c) ist zu aufwändig zu implementieren. Folgende Punkte würde ich vorziehen, um die Datenmenge zu reduzieren:

• Automatisches Löschen von Einträgen, die ein konfigurierbares Alter überschreiten. (wie vorgeschlagen)
• Nur Werte, die sich mindestens um einen bestimmten Betrag ändern, sollen gespeichert werden. Die Funktion kann je Datenpunkt konfiguriert werden.

Gruß
Mathias

[Goersch]

Hallo Mathias,

danke - und super Idee, Daten nur dann zu speichern, wenn sie sich um den Betrag x ändern - hätte mir auch selber einfallen können, da das eine von mir jahrelang eingesetzte Real-Time Datenbank auch gemacht hat (bzw. das zugehörige Recording und Playback Tool).

Mit a) und der obigen Lösung kann ich sehr gut leben

Danke !
Georg

[Goersch]

Hallo Mathias,

mh, Datei ist mittlerweile 6GB groß - sieht so aus, als ob viele der Systemvariablen alle 30 Sekunden gespeichert werden (evtl. ab der V07.x.x ?), obwohl die sich max. 2 mal im Jahr ändern. Ich habe jetzt edliche auf "inaktiv" gesetzt, was mir auch nicht gefällt.

Kann ich das wieder so einstellen, dass nur bei Änderung gespeichert wird (so wie es anscheinend bei der 0.6... war) ?

Gruß
Georg

[Mathias]

Schick mir mal bitte eine detaillierte Log-Datei (s.a. Handbuch 7.1).

Gruß
Mathias

[Goersch]

anbei kleine Sammlung an Dateien, die die Unschärfe zeigen

1) Screenshot eines "select *" einer Systemvariable vom Typ String, die nur um 00:00 Uhr beschrieben wird
2) aktuelle config Datei (falls es hilft)
3) log-Datei mit zum screenshot passender Uhrzeit

Man erkennt, dass die Systemvariable für einen Zeitraum alle 30 Sekunden gespeichert wird, obwohl keine Änderung erfolgt.

[Mathias]

Hallo,

ich habe mir mal Deine Log-Datei angeschaut. Folgende Zeilen sind mir dabei aufgefallen:

Code: Alles auswählen

2014-04-21 11:26:09|FINE   |Timestamp 2014-04-21 12:38:06 of system variable AlarmzoneEGStatus is out of range
2014-04-21 11:26:09|FINE   |Timestamp 2014-04-21 13:18:53 of system variable AlarmzoneOGStatus is out of range
2014-04-21 11:26:09|FINE   |Timestamp 2014-04-21 13:21:01 of system variable Anwesenheit is out of range
2014-04-21 11:26:09|FINE   |Timestamp 2014-04-21 12:00:00 of system variable AnwesenheitsAlarmGesendet is out of range
2014-04-21 11:26:09|FINE   |Timestamp 2014-04-21 11:59:00 of system variable GMPSStartUpTime is out of range
2014-04-21 11:26:09|FINE   |Timestamp 2014-04-21 11:59:01 of system variable GMPSStartUpTrigger is out of range
2014-04-21 11:26:09|FINE   |Timestamp 2014-04-21 12:03:07 of system variable HZR_UWP_EIN_HEIZUNG is out of range
2014-04-21 11:26:09|FINE   |Timestamp 2014-04-21 12:03:08 of system variable HZR_UWP_EIN_SOLAR is out of range
2014-04-21 11:26:09|FINE   |Timestamp 2014-04-21 12:00:00 of system variable Sonnenaufgang is out of range
2014-04-21 11:26:09|FINE   |Timestamp 2014-04-21 12:00:00 of system variable Sonnenuntergang is out of range
2014-04-21 11:26:09|FINE   |Timestamp 2014-04-21 13:26:06 of system variable StatusTVWZ is out of range
2014-04-21 11:26:09|FINE   |Timestamp 2014-04-21 13:24:27 of system variable StatusTrockner is out of range
2014-04-21 11:26:09|FINE   |Timestamp 2014-04-21 13:24:12 of system variable StatusWaschmaschine is out of range
2014-04-21 11:26:09|FINE   |Timestamp 2014-04-21 13:25:00 of system variable VerbrauchStromAktuell is out of range
2014-04-21 11:26:09|FINE   |Timestamp 2014-04-21 13:25:00 of system variable VerbrauchStromCounter is out of range
2014-04-21 11:26:09|FINE   |Timestamp 2014-04-21 13:25:00 of system variable VerbrauchStromGesamt is out of range

Die Werte dieser System-Variablen besitzen alle einen Zeitstempel, der in der Zukunft liegt. Der CCU-Historian ignoriert diesen, und ersetzt ihn durch die aktuelle Uhrzeit. Und da sich die bei jeder Abfrage ändert, wird auch jeses Mal ein Datenbankeintrag gemacht.

Überprüfe bitte mal die Uhren von CCU und Historian-Rechner!

Eine Sonderbehandlung dieses Falls habe ich bereits in die nächste Version des CCU-Historians eingebaut.

Gruß
Mathias

[borstel67]

Hallo,
die Variante c finde ich auch gut. Ist ja auch sinn voll da die DB sonst zu groß wird. Bei mir dauert es ziemlich lange bis alle daten geladen sind. Vieleicht läst sich da ja was machen.

c) Daten, die älter als x-Tage sind, werden automatisch in eine separate DB ausgelagert. Wenn Zugriff auf die alten Daten notwendig wird, dann müsste das Web-Interface das handlen können.

Ralf