Historian Datenbankexport/-import

[Bernd-Joras]

Hallöle ... Ich habe da mal bitte eine Frage zum Historian 4.0 …

Mit der neuen Version 4 habe ich nun einige Restore Tests gemacht.
Wiederherstellung aus dem erstellten Backup war immer erfolgreich …
Alle Datenpunkte aus der Vergangenheit und neu gesammelte sind vorhanden und werden angezeigt.
Danke! Vertrauen zum Historian Backup ist hergestellt

Wenn ich jedoch ein Datenbankexport/-import mache, habe ich Probleme mit den alten Datenpunkten.
Der (vermeintliche) Datenbankexport (export.csv) ist laut extra Webseitenansicht erfolgreich beendet.
Den Datenbankimport mache ich mit den im Screeshot gezeigten Einstellung und ohne Fehlermeldung.
Jedoch werden mir im Anschluss keine „alten“ Datenpunkte angezeigt.
Muss ich hier 2 Tage warten, bis alles einsortiert ist oder Kann mir jemand sagen was ich hier verkehrt mache?

Danke, BGB

[Bernd-Joras]

Hallo, ich habe hier nun noch ein wenig (mehr) getestet und probiert.

Fazit: Bei mir, in zwei unterschiedlichen Standorten (je Raspberrymatic 3.75.7.20240420 und Historian 4.0) werden nicht alle alten Datenbankpunkte bei DB-Import importiert.
Ich kann leider keine Systematik wie z.B. nur IP oder nur diese Werte (z.B. State / Current) usw. erkennen.
Fazit jedoch ist, bei meinen DB Größen von ~ 350 MB werden nicht alle Werte importiert.
Das ist auch im Import-Log (Extra-Import-Log-Webseite) deutlich zu sehen, bzw. fehlen hier etliche Geräte und deren Datenpunkte.
Ich habe nun einmal einen Export (CSV) geöffnet und meine Geräte "HMW-Sen-SC-12-DR" (Wired RS485 Schließerkontakt, Hutschienenmontage) gesucht, ohne Erfolg, wurde scheinbar nicht exportiert.

Es wäre wahrscheinlich hilfreich, wenn das noch einmal wer überprüfen kann. (ggf mit Wired RS485 Schließerkontakt => HMW-Sen-SC-12-DR) Nicht, dass es hier vielleicht doch eher kein Layer-8 Problem sondern einen wirklichen Fehler (Bug) gibt.

BGB, Bernd

[Mathias]

..., bei meinen DB Größen von ~ 350 GB ...

Mit 350 GB ist das bisher die größte bekannte CCU-Historian-Datenbank. Zumindest habe ich noch nicht von einer größeren gehört. Wie groß ist denn die exportierte Datei?

Gruß
Mathias

[Bernd-Joras]

Hallöle .... UPSsss... da hat einer aufgepasst ... "Danke Mathias" ... mein Fehler ...Sorry nicht GB sondern MB.
Die DB ist also ~ 350 MB und das csv zum Import ist 135 MB
(Somit auch im Betrag verbessert) BGB

[Bernd-Joras]

Hallöle ...

Ich habe weitere Analysen vorgenommen, auch wenn ich noch immer nicht sicher sagen kann, ob nur an meinen Installationen liegt oder ein genereller Fehler beim DB-Export ist.

Ein -recalc und -compact beider DB´s habe ich schon gemacht, leider jedoch wird im Anschluss immer noch nicht jeder Datenpunkt exportiert.

Gibt es noch eine Möglichkeit die DB zu prüfen, um Fehler der DB und somit ggf. einen fehlerhaften Export auszuschließen.

Danke vorab, BGB

[Bernd-Joras]

Nur mal schnell zwischendurch .... nochmals die logfiles gesichtet und was gefunden ... ich bleibe dran ...

Code: Alles auswählen

2024-05-05 08:25:10|INFO   |Dumping database to temp.sql
2024-05-05 08:25:50|SEVERE |Exception: General error: "org.h2.mvstore.MVStoreExc                                             eption: Unable to read the page at position 666029241115282, chunk 2423, offset                                              1134218 [2.1.214/6]"; SQL statement:
SCRIPT  DROP TO 'temp.sql' [50000-214]
2024-05-05 08:25:50|SEVERE |Detail: org.h2.jdbc.JdbcSQLNonTransientException: Ge                                             neral error: "org.h2.mvstore.MVStoreException: Unable to read the page at positi                                             on 666029241115282, chunk 2423, offset 1134218 [2.1.214/6]"; SQL statement:

[Bernd-Joras]

OK, zu mindestens eine der DB´s scheint defekt, auch reparatur Versuche scheitern ..
Da muss ich wohl die letzten 5 Jahre Historian in die Tonne werfen und neu anfangen ... oder ? hat noch wer eine Idee ?

Code: Alles auswählen

/opt/java/bin/java -cp /usr/local/addons/ccu-historian/ccu-historian/lib/h2-2.1.214.jar org.h2.tools.Recover -dir /media/usb0/ccu-historian -db history

Exception in thread "main" java.nio.BufferUnderflowException
        at java.base/java.nio.Buffer.nextGetIndex(Unknown Source)
        at java.base/java.nio.HeapByteBuffer.get(Unknown Source)
        at org.h2.mvstore.DataUtils.readString(DataUtils.java:363)
        at org.h2.mvstore.DataUtils.readString(DataUtils.java:350)
        at org.h2.mvstore.type.StringDataType.read(StringDataType.java:63)
        at org.h2.mvstore.MVStoreTool.dump(MVStoreTool.java:248)
        at org.h2.tools.Recover.process(Recover.java:242)
        at org.h2.tools.Recover.runTool(Recover.java:136)
        at org.h2.tools.Recover.main(Recover.java:102)
root@homematic-raspi:/usr/local/addons/ccu-historian/ccu-historian#

BGB

[Bernd-Joras]

So, ich bin nicht Fachmann genug um hier mit tagelangen Aufwand die Daten irgendwie zu retten, womit ich von vorne, mit eine neuen Historian DB anfange.

Jedoch, so genial ich den Historian finde, so sehr hat er mich auch von Zeit zu Zeit geärgert.
Muss man nun wirklich jede Woche und/oder jeden Monat langwierige Tests machen, um zu kontrollieren ob die Historian DB noch OK ist ?

Bei mir funktionierte scheinbar monatelang die DB, das Backup und das Restore, welches ich einmal/zweimal im Jahr probiere, tadellos und trotzdem ist die DB irgendwann vor Monaten oder Jahren mit einem Defekt behaftet, welchen ich erst bei einem export-import-test feststellen konnte.
So langsam finde ich das alles nicht mehr so richtig stabil und auch vom Anwender nicht immer beherrschbar.
Nicht falsch verstehen … möchte eher nicht meckern … DANKE daher für dieses tolle Tool … bin jedoch auch gerade voll gefrustet.

BGB

[Bernd-Joras]

Ich möchte hier einmal transparent schildern, was in meiner Umgebung, speziell mit dem Historian AddOn bzw. der Datenbank passiert ist.

Backups der Datenbank wurden zuverlässig jeden Tag erstellt.
Leider jedoch, habe ich nicht bemerkt, dass die Größe der „db-backup_xxxxxxxxx.zip“ irgendwann von ca.170 MB auf 6 MB geschrumpft ist.

Nach dem Update auf die Version 4.0 des Historian habe ich Backup und Restore Test gemacht.
Diese waren vom Ablauf immer erfolgreich jedoch habe ich den Datenbestand nicht ausreichend gesichtet / getestet.

Bei einem weiteren Test des Datenbank export/import, ist mir aufgefallen, dass nicht alle Datenpunkte exportiert wurden.
Somit waren auch nach dem Import nicht alle Datenpunkte vorhanden.

Auch das Restore mittels „-runscript backup.sql“ und der Backupdatei hat nur wenige Datenpunkte wiederhergestellt.
Die Backupdatei war/ist einfach zu klein.

Für mich sieht es bisher so aus, als ob die Historian DB defekt ist und somit auch das Backup sowie der Export unbrauchbar ist.

Reparatur Versuche mittel org.h2.tools.Recover, -recalc und -compact sind leider fehlgeschlagen und immer wieder auf unterschiedliche Fehler gelaufen. (Reparatur Versuche mit einer neu angelegten DB waren erfolgreich … Befehls Syntax test)

Bei mir läuft also im Moment eine DB von ~350 MB welche alle Datenpunkte hat, jedoch kann ich kein vollständiges Backup erstellen.
Es gibt beim Backup keinen Fehler aber nur ein 6 MB kleines Backup-File. Auch der Export der DB ist nicht vollständig, womit ich auch hier nichts sinnvolles importieren kann.

Hat noch jemand eine Idee, wie ich die Datenpunkte aus der DB rausbekomme und in eine neue DB reinpumpen kann ?

BGB

[Mathias]

Die Datenbank kann immer durch einem Defekt des Datenträgers oder einer Stromwegnahme in einem ungünstigen Fall teilweise beschädigt werden. Wenn es sich dabei um einen Datenbereich handelt, der sehr selten mal gelesen wird, fällt dies auch lange Zeit nicht auf. Das einzige Merkmal ist anscheinend eine kleinere Backup-Datei.

Vielleicht kann ich einen regelmäßigen Health-Check einbauen. Ich muss nur mal überlegen, auf was denn geprüft werden soll.

Gruß
Mathias