CCU-Historian V3.0.0-beta.2

[wak]

Hallo Mathias,

jetzt habe ich nochmal unter 2.8.1 mein Backup eingespielt, dann über Browser exportiert, neue Datenbank erstellt, über Browser importiert und dann noch ein Backup erstellt. Anschließend funktioniert auch der import ins 3.0.0.Beta. Scheint mit meiner Datenbank ist etwas anders als es sein sollte.

Somit können wir das Thema PG_CATALOG abschliesen und vergessen

LG wak

[wak]

Hallo Mathias,

bezüglich Performance, scheint es auch bei mir jetzt mit Version V3.0.0-beta.2 keine Probleme zu geben, das starten erfolgt mit dieser Version wieder schnell.

Werde das noch etwas verfolgen!

Hab die Version jetzt seit 1 Tag ohne Probleme intensive am laufen!

LG Walter

[JoMass]

Hallo Mathias,

Hab jetzt auch versucht die 3.0.0.0-beta.2 zu installieren. Leider war das ein sehr "steiniger" Weg, aber der Reihe nach:

zunächst hab ich mit 2.8.1 ein CSV Dokument exportiert (letzte 2 Jahre).
dann 3.0... installiert, gestartet und dann versucht die erstellte CSV Datei zu importieren. ging nicht! zu wenig Speicherplatz auf meinem QNAP NAS ?? da sind aber 6.3 TeraByte frei und allen Nutzern zur Verfügung ! (Schreiberlaubnis auf Datenbank gesetzt)
Fehlermeldung im Log File:

Code: Alles auswählen

2022-01-03 18:31:13|SEVERE |Exception: java.io.IOException: No space left on device
2022-01-03 18:31:13|SEVERE |Detail: org.eclipse.jetty.io.RuntimeIOException: java.io.IOException: No space left on device
	at org.eclipse.jetty.server.Request.extractContentParameters(Request.java:548)
	at org.eclipse.jetty.server.Request.getParameters(Request.java:435)
	at org.eclipse.jetty.server.Request.getParameter(Request.java:1075)
	at mdz.ccuhistorian.webapp.ImportServlet$_doPost_closure1.doCall(ImportServlet.groovy:65)
	at mdz.ccuhistorian.webapp.ImportServlet$_doPost_closure1.call(ImportServlet.groovy)
	at mdz.Exceptions.lambda$0(Exceptions.java:84)
	at mdz.Exceptions.catchToLog(Exceptions.java:74)
	at mdz.Exceptions.catchToLog(Exceptions.java:84)
	at mdz.ccuhistorian.webapp.ImportServlet.doPost(ImportServlet.groovy:55)
	at org.eclipse.jetty.servlet.ServletHolder$NotAsync.service(ServletHolder.java:1459)
	at org.eclipse.jetty.servlet.ServletHolder.handle(ServletHolder.java:799)
	at org.eclipse.jetty.servlet.ServletHandler$ChainEnd.doFilter(ServletHandler.java:1626)
	at org.eclipse.jetty.servlets.CrossOriginFilter.handle(CrossOriginFilter.java:319)
	at org.eclipse.jetty.servlets.CrossOriginFilter.doFilter(CrossOriginFilter.java:273)
	at org.eclipse.jetty.servlet.FilterHolder.doFilter(FilterHolder.java:201)
	at org.eclipse.jetty.servlet.ServletHandler$Chain.doFilter(ServletHandler.java:1601)
	at org.eclipse.jetty.servlet.ServletHandler.doHandle(ServletHandler.java:548)
	at org.eclipse.jetty.server.handler.ScopedHandler.handle(ScopedHandler.java:143)
	at org.eclipse.jetty.security.SecurityHandler.handle(SecurityHandler.java:602)
	at org.eclipse.jetty.server.handler.HandlerWrapper.handle(HandlerWrapper.java:127)
	at org.eclipse.jetty.server.handler.ScopedHandler.nextHandle(ScopedHandler.java:235)
	at org.eclipse.jetty.server.session.SessionHandler.doHandle(SessionHandler.java:1624)
	at org.eclipse.jetty.server.handler.ScopedHandler.nextHandle(ScopedHandler.java:233)
	at org.eclipse.jetty.server.handler.ContextHandler.doHandle(ContextHandler.java:1435)
	at org.eclipse.jetty.server.handler.ScopedHandler.nextScope(ScopedHandler.java:188)
	at org.eclipse.jetty.servlet.ServletHandler.doScope(ServletHandler.java:501)
	at org.eclipse.jetty.server.session.SessionHandler.doScope(SessionHandler.java:1594)
	at org.eclipse.jetty.server.handler.ScopedHandler.nextScope(ScopedHandler.java:186)
	at org.eclipse.jetty.server.handler.ContextHandler.doScope(ContextHandler.java:1350)
	at org.eclipse.jetty.server.handler.ScopedHandler.handle(ScopedHandler.java:141)
	at org.eclipse.jetty.server.handler.HandlerWrapper.handle(HandlerWrapper.java:127)
	at org.eclipse.jetty.server.Server.handle(Server.java:516)
	at org.eclipse.jetty.server.HttpChannel.lambda$handle$1(HttpChannel.java:388)
	at org.eclipse.jetty.server.HttpChannel.dispatch(HttpChannel.java:633)
	at org.eclipse.jetty.server.HttpChannel.handle(HttpChannel.java:380)
	at org.eclipse.jetty.server.HttpConnection.onFillable(HttpConnection.java:277)
	at org.eclipse.jetty.io.AbstractConnection$ReadCallback.succeeded(AbstractConnection.java:311)
	at org.eclipse.jetty.io.FillInterest.fillable(FillInterest.java:105)
	at org.eclipse.jetty.io.ChannelEndPoint$1.run(ChannelEndPoint.java:104)
	at org.eclipse.jetty.util.thread.QueuedThreadPool.runJob(QueuedThreadPool.java:882)
	at org.eclipse.jetty.util.thread.QueuedThreadPool$Runner.run(QueuedThreadPool.java:1036)
Caused by: java.io.IOException: No space left on device
	at org.eclipse.jetty.util.MultiPartInputStreamParser$MultiPart.close(MultiPartInputStreamParser.java:161)
	at org.eclipse.jetty.util.MultiPartInputStreamParser.parse(MultiPartInputStreamParser.java:834)
	at org.eclipse.jetty.util.MultiPartInputStreamParser.getParts(MultiPartInputStreamParser.java:475)
	at org.eclipse.jetty.server.MultiParts$MultiPartsUtilParser.getParts(MultiParts.java:112)
	at org.eclipse.jetty.server.Request.getParts(Request.java:2437)
	at org.eclipse.jetty.server.Request.extractContentParameters(Request.java:543)
	... 40 more

2ter versuch: Am NAS wieder 2.8.1 installiert und ein File nach Anleitung mit createscript erstellt. o.k. Dann wieder 3.0... installiert und mittels runscript versucht zurückzuspielen. erneut Fehler

Code: Alles auswählen

[raspi@NM4 ccu-historian]$ java  -jar  ccu-historian.jar -runscript datenbank.script
2022-01-03 19:43:48|INFO   |CCU-Historian V3.0.0-beta.2
2022-01-03 19:43:48|INFO   |(C)MDZ (info@ccu-historian.de)
2022-01-03 19:43:51|INFO   |Starting base services
2022-01-03 19:43:52|INFO   |Running script datenbank.script on database
2022-01-03 19:43:54|SEVERE |Exception: Function alias "CURRENT_SCHEMA" already exists; SQL statement:

CREATE FORCE ALIAS "PUBLIC"."CURRENT_SCHEMA" FOR "org.h2.server.pg.PgServer.getCurrentSchema" [90076-202]
2022-01-03 19:43:54|SEVERE |Detail: org.h2.jdbc.JdbcSQLSyntaxErrorException: Function alias "CURRENT_SCHEMA" already exists; SQL statement:

CREATE FORCE ALIAS "PUBLIC"."CURRENT_SCHEMA" FOR "org.h2.server.pg.PgServer.getCurrentSchema" [90076-202]
        at org.h2.message.DbException.getJdbcSQLException(DbException.java:632)
        at org.h2.message.DbException.getJdbcSQLException(DbException.java:477)
        at org.h2.message.DbException.get(DbException.java:223)
        at org.h2.message.DbException.get(DbException.java:199)
        at org.h2.command.Parser.parseCreateFunctionAlias(Parser.java:8284)
        at org.h2.command.Parser.parseCreate(Parser.java:7752)
        at org.h2.command.Parser.parsePrepared(Parser.java:1140)
        at org.h2.command.Parser.parse(Parser.java:1068)
        at org.h2.command.Parser.parse(Parser.java:1037)
        at org.h2.command.Parser.prepareCommand(Parser.java:965)
        at org.h2.engine.SessionLocal.prepareLocal(SessionLocal.java:614)
        at org.h2.engine.SessionLocal.prepareCommand(SessionLocal.java:552)
        at org.h2.jdbc.JdbcConnection.prepareCommand(JdbcConnection.java:1111)
        at org.h2.jdbc.JdbcStatement.executeInternal(JdbcStatement.java:237)
        at org.h2.jdbc.JdbcStatement.execute(JdbcStatement.java:223)
        at org.h2.tools.RunScript.process(RunScript.java:263)
        at org.h2.tools.RunScript.process(RunScript.java:194)
        at org.h2.tools.RunScript.process(RunScript.java:321)
        at org.h2.tools.RunScript.runTool(RunScript.java:144)
        at org.h2.tools.RunScript.main(RunScript.java:71)
        at mdz.ccuhistorian.Database.runScript(Database.groovy:592)
        at mdz.ccuhistorian.OfflineMaintenanceSystem$_closure1$_closure2.doCall(OfflineMaintenanceSystem.groovy:39)
        at mdz.ccuhistorian.OfflineMaintenanceSystem$_closure1$_closure2.doCall(OfflineMaintenanceSystem.groovy)
        at mdz.Exceptions.lambda$0(Exceptions.java:84)
        at mdz.Exceptions.catchToLog(Exceptions.java:74)
        at mdz.Exceptions.catchToLog(Exceptions.java:84)
        at mdz.ccuhistorian.OfflineMaintenanceSystem$_closure1.doCall(OfflineMaintenanceSystem.groovy:39)
        at mdz.ccuhistorian.OfflineMaintenanceSystem$_closure1.doCall(OfflineMaintenanceSystem.groovy)
[raspi@NM4 ccu-historian]$

3ter Versuch jetzt auf einem Testsystem Rasperrymatic mit aktueller FW und Historian 3.0.Beta2.
Import von dem CSV File funktioniert grundsätzlich! Aber da gab es einen gravierenden Nachteil! Die Historien ID's sind alle neu und damit funktioniert kein einziges Bookmark mit den Graphiken mehr ! (Hab etwa 40 davon)

4ter Versuch: Import mit createscript. bricht mit obigen Fehler auch bei der Raspberrymatic Installation ab. Mit dem gestern erzeugten File wie auch mit dem entpackten nightly backup.

5ter Versuch: auf Raspberrymatic wieder 2.8.1. installiert und Import mit createscript. das funktioniert mit der erzeugten Script-Datei und auch mit dem Nightly Backup. Da sind auch alle ID_s gleichgeblieben.

so im Moment funktioniert wieder die V2.8.1 am NAS mit dem nightly Backup.

Eine Idee was ich ggf. falsch gemacht habe oder wie ich ein Rückspielen zumindest des letzten Nightly Backups von 2.8.1 unter 3.0.0 zum Laufen bekomme. am liebsten wäre mir der CSV Import unter 3.0... mit gleichbleibenden ID's, hab mir das CSV File auch angesehen, da sind die richtigen ID's noch vorhanden.

[Mathias]

zunächst hab ich mit 2.8.1 ein CSV Dokument exportiert (letzte 2 Jahre).
dann 3.0... installiert, gestartet und dann versucht die erstellte CSV Datei zu importieren. ging nicht! zu wenig Speicherplatz auf meinem QNAP NAS ?? da sind aber 6.3 TeraByte frei und allen Nutzern zur Verfügung ! (Schreiberlaubnis auf Datenbank gesetzt)
Fehlermeldung im Log File:

Code: Alles auswählen

2022-01-03 18:31:13|SEVERE |Exception: java.io.IOException: No space left on device

Während des Hochladens wird die CVS-Datei in dem Ordner für temporäre Dateien des Betriebssystems zwischengespeichert. Dies kann auch auf einem anderen Laufwerk sein.

2ter versuch: Am NAS wieder 2.8.1 installiert und ein File nach Anleitung mit createscript erstellt. o.k. Dann wieder 3.0... installiert und mittels runscript versucht zurückzuspielen. erneut Fehler

Code: Alles auswählen

[raspi@NM4 ccu-historian]$ java  -jar  ccu-historian.jar -runscript datenbank.script
2022-01-03 19:43:54|SEVERE |Exception: Function alias "CURRENT_SCHEMA" already exists; SQL statement:

Der Fehler wurde bereits einmal von wak gemeldet. Die einzige Lösung ist zurzeit die fehlerverursachenden Blöcke aus der Backup-Datei zu entfernen. Zeitreihen gehen nicht dadurch verloren.

3ter Versuch jetzt auf einem Testsystem Rasperrymatic mit aktueller FW und Historian 3.0.Beta2.
Import von dem CSV File funktioniert grundsätzlich! Aber da gab es einen gravierenden Nachteil! Die Historien ID's sind alle neu und damit funktioniert kein einziges Bookmark mit den Graphiken mehr ! (Hab etwa 40 davon)

Das ist bekannt und dokumentiert. Ich denke aber, dass die Import-Funktion doch nochmal angepasst werden muss, sodass die IDs gleich bleiben.

4ter Versuch: Import mit createscript. bricht mit obigen Fehler auch bei der Raspberrymatic Installation ab. Mit dem gestern erzeugten File wie auch mit dem entpackten nightly backup.

s.o.

5ter Versuch: auf Raspberrymatic wieder 2.8.1. installiert und Import mit createscript. das funktioniert mit der erzeugten Script-Datei und auch mit dem Nightly Backup. Da sind auch alle ID_s gleichgeblieben. Allerdings wenn ich diese Datenbank unter 2.8.1. am NAS installiere werden zwar Geräte aber keins SYSVAR aufgezeichnet.

Schau bitte in der Datenpunktkonfiguration nach, ob die Sysvars nicht deaktiviert worden sind.

Gruß
Mathias

[JoMass]

Danke Mathias für die rasche Antwort

das folgende Thema habe ich im Post schon korrigiert

JoMass hat geschrieben: ↑04.01.2022, 18:02
5ter Versuch: auf Raspberrymatic wieder 2.8.1. installiert und Import mit createscript. das funktioniert mit der erzeugten Script-Datei und auch mit dem Nightly Backup. Da sind auch alle ID_s gleichgeblieben. Allerdings wenn ich diese Datenbank unter 2.8.1. am NAS installiere werden zwar Geräte aber keins SYSVAR aufgezeichnet.

Schau bitte in der Datenpunktkonfiguration nach, ob die Sysvars nicht deaktiviert worden sind.

habe den Vorgang erneut am NAS durchgeführt (und nicht die am Raspberry generierte Datenbank kopiert). demnach kann ich auch bestätigen dass auch bei mir das Rückspielen der Datensicherung bei Version 2.8.1 funktioniert. jetzt läuft 2.8.1 wieder wie gewohnt.

Während des Hochladens wird die CVS-Datei in dem Ordner für temporäre Dateien des Betriebssystems zwischengespeichert. Dies kann auch auf einem anderen Laufwerk sein.

Da bin ich Ratlos wo dies bei einem QNAP NAS sein kann ?? Hab einen eigenen User angelegt und in dessen Datenbereich konnte ich noch keine Limits feststellen