CCU3 - WebUI stürzt teilweise alle paar Tage ab

[Florian_S]

Hallo zusammen,

Ich habe seit kürzlich das Problem das meine CCU3 von zeit zu zeit unreproduzierbar abstürzt. Ich blicke jedoch nicht "warum" Sie das tut Ich verzweifel langsam.

An der CCU sind insg. 3 FAL Fußbodenheizungsaktoren und div. WTH-IP Raumthermostate, 2 HMIP Präsenzmelder, 2 Schaltmessaktoren und 1 Dimmaktor angelernt. Ich "vermute" es hat etwas mit meinem Programm des Dimmaktors zu tun, ist aber wie gesagt, nur eine Vermutung. Ist die letzte Komponente welche hinzugekommen ist. Ich steuere hierüber eine Treppenhausbeleuchtung (Präsenzmelder) tageszeitabhängig. Program-s.u.

Ich habe insg. 3 Wochen gebraucht um mal eine Log-Datei mit einem ERROR zu ziehen...
Der Ausfall der CCU wird erst bemerkt wenn z.B. die Beleuchtungssteuerung versagt, die FB Heizung läuft anstandslos weiter.
Spreche ich das Webinterface der CCU an, bekomme ich auch die Startseite angezeigt und ggf. anliegende Störmeldungen werden auch angezeigt. Die CCU steigt jedoch just in dem Moment aus sobald ich z.B. in die Geräteliste oder Diagramme wechseln möchte. Wenn man ca. 1 std. wartet, kommt es vor das sich die WebUI wieder fängt und man kommt auch in die Systemsteuerung, so gelang es mir eine der LOGs zu ziehen.

Im Logfile sind nach Systemstart prinzipbedingt recht viele ReGaHss Warnungen. Dies sind die WTH Thermostaten, die melden sich nunmal nur Zyklisch und nicht in jenem Moment wenn ich die CCU neustarte.. Nach ein paar Stunden "normalisiert" sich das wieder.

Wenn man im Log recht weiter runter scrollt:

Code: Alles auswählen

Feb 5 22:52:47 de.eq3.cbcs.server.core.persistence.AbstractPersistency ERROR [vert.x-worker-thread-1] AP 3014F711A0001F98A99A3603: The config file for the AP could not be written 
java.nio.file.FileSystemException: /etc/config/crRFD/data/3014F711A0001F98A99A3603.ap: Too many open files

Allerdings kam ich hier mit Google und Co nicht weiter..

Logs im Anhang - OK - LOG nach Neustart
FAIL - Log mit Fehlermeldung
Sämtliche Fireware ist up2date..
Duty bei unter 30%

Bis jetzt konnte ich den Absturz nicht zielgenau reproduzieren. Die CCU läuft immer mal ein paar Tage (unterschiedliche länge) und schmiert dann teils ab. Bis dahin funktioniert jedoch alles einwandfrei. Hab ich mir mit dem Program irgendwo eine Schleife geschossen?!

Der Dimmaktor und der zweite Präsenzmelder sind die beiden zuletzt hinzugefügten Komponenten, bis dahin lief eigentlich alles Einwandfrei. Wodran könnte es liegen?

LG
Florian

[66er]

Du bist nicht allein ...

Gerade heute morgen geht nix mehr.

Nach reboot per ssh session läuft es dann ca. 1 Woche wieder bei mir. Die Abstürze kamen erst mit dem Update auf die 3.55.10.

Ich werde heute die Systeme downgraden und mich meiner Devise erinnern: Never change a running system.

Schönes WE.
Stefan

[inidona]

ich hab sowas auch, allerdings geht auch das webinterface nicht mehr. Reboot per SSH geht noch. War auch vor dem update auf die 3.55.10 schon so.

bin ratlos

[alchy]

@TE
Tu dir selber einen Gefallen und erzeuge dir im Fehlerprotokoll einen Heartbeat.
Die Zeitfehler würde ich als erstes angehen.

Alchy

[simmon]

Ich habe die selben Probleme, allerdings mir Raspberrymatic. Duty Cycle < 5% (Fast alles HMIP Wired)
Ich merke es immer daran dass plötzlich keine Programme mehr funktionieren. Die Direktverknüpfungen jedoch fehlerfrei funktionieren...

Code: Alles auswählen

Feb 15 13:12:49 de.eq3.cbcs.server.core.otau.DeviceBackgroundUpdateSubsystem INFO  [vert.x-eventloop-thread-6] SYSTEM: Permanent-/Burstlistener Handler utilization: 0/50 used 
Feb 15 13:12:49 de.eq3.cbcs.server.core.otau.DeviceBackgroundUpdateSubsystem INFO  [vert.x-eventloop-thread-6] SYSTEM: Eventlistener Handler utilization: 0/50 used 
Feb 15 13:14:39 de.eq3.cbcs.server.core.persistence.AbstractPersistency ERROR [vert.x-worker-thread-3] AP 3014F711A0001F5A4993E967: The config file for the AP could not be written 
java.nio.file.FileSystemException: /etc/config/crRFD/data/3014F711A0001F5A4993E967.ap: Too many open files
	at sun.nio.fs.UnixException.translateToIOException(UnixException.java:91)
	at sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:102)
	at sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:107)
	at sun.nio.fs.UnixFileSystemProvider.newByteChannel(UnixFileSystemProvider.java:214)
	at java.nio.file.spi.FileSystemProvider.newOutputStream(FileSystemProvider.java:434)
	at java.nio.file.Files.newOutputStream(Files.java:216)
	at de.eq3.cbcs.persistence.kryo.KryoPersistenceWorker.saveAccessPoint(KryoPersistenceWorker.java:544)
	at de.eq3.cbcs.persistence.kryo.KryoPersistenceWorker.handle(KryoPersistenceWorker.java:209)
	at de.eq3.cbcs.persistence.kryo.KryoPersistenceWorker.handle(KryoPersistenceWorker.java:88)
	at io.vertx.core.eventbus.impl.HandlerRegistration.deliver(HandlerRegistration.java:212)
	at io.vertx.core.eventbus.impl.HandlerRegistration.handle(HandlerRegistration.java:191)
	at io.vertx.core.eventbus.impl.EventBusImpl.lambda$deliverToHandler$3(EventBusImpl.java:505)
	at io.vertx.core.impl.ContextImpl.lambda$wrapTask$2(ContextImpl.java:337)
	at io.vertx.core.impl.TaskQueue.lambda$new$0(TaskQueue.java:60)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
	at java.lang.Thread.run(Thread.java:748)

Standard Wert für Ulimit Open Files:

Code: Alles auswählen

root@homematic-raspi:/var/log# ulimit -n
2048

Ich erhöhe nun mal testweise den wert, evtl. hilft das ja schon?
Sonst noch jemand eine Idee?
Reboot behebt bei mir ebenfalls das Problem, ich steuere nur Homematic IP und Wired, keine Fremdgeräte oder sonstige fancy Scripte.

Code: Alles auswählen

root@homematic-raspi:/var/log# ulimit -n 8192
root@homematic-raspi:/var/log# ulimit -n
8192

[Bulli]

Hallo
setzt doch bitte mal folgende Befehle ab und poste die Ausgaben. Vielleicht kann man sehen wo das Problem ist.

top -n 1

lsof

ps -T

netstat -an

Gruß
Bulli

[66er]

Hast Du bitte eine kurze Erklärung, was diese Befehle machen bzw. abfragen?

Vielen Dank.
Stefan

[Florian_S]

Im Anhang mal die Ausgaben, meine Frau hatte dummerweise frisch rebootet weil die Steckdose vom Fernseher nicht wollte..
Dennoch sehe ich nichts was mich jetzt stutzig machen würde. Kann also nur warten bis der Effekt wieder auftaucht und mich dann nochmal per Putty aufschalte, bis jetzt idle´t die nur fröhlich vor sich hin...

lg
florian

ps. zur Erklärung Die heutige Welt ist viel zu Windows-fixiert

netstat zeigt alle Netzwerktechnischen und aktuell geöffneten Netzwerkverbindungen an
Top die laufenden Prozesse und u.a. auch die CPU Last
lsof = LS List OF open files
ps zeigt ebenfalls die Prozesse an, jedoch im vergleich zu "top" eher statisch

viele der unix Befehle funktionieren auch in der Windows Powershell und sind durchaus eine hilfe beim aufspüren

[Florian_S]

Nachsatz,
ich hab gerade die CCU beim Absturz erwischt.

lsof lieferte hier den deutlichen hinweis im Bereich Java weiter zu "forschen".. Putty konnte schon gar nicht mehr soweit zurück das es mir überhaupt die vollständige Liste aller geöffneten Dateien angezeigt hat.. zumindest der reboot über SSH funktioniert, brauch ich nicht jedesmal den Stromstecker ziehen..

/edit
ggf. kommen zwei weitere mögl. Ursachen mit in die Gleichung. Zumindest in der Theorie. Dadurch das das logfile mit offenen Sockets förmlich überquirlt habe ich mir den USB Stick mal etwas genauer vorgenommen. Zuerst mit Windows Bordmitteln, später dann per SSH auf der CCU.

Windows meldet - Laufwerk beschädigt, bitte reparieren -> wie üblich: es konnte beim reparieren kein Fehler festgestellt werden
Kurzer Prozess - neu formartiert, FAT32 standardgrößen
Ab in die CCU und fsck /dev/sda1, schau mal einer guck -> falsche Clustergröße gefunden..
Korrigiert und dirtybit resettet.
Dem Logfile nach, scheint da auch was mit dem Broadcom-Treiber im argen zu sein.

Jetzt bin ich mal auf die nächsten Tage gespannt und hoffe das Problem schrittweise eingrenzen zu können.

[Bulli]

lsof lieferte hier den deutlichen hinweis im Bereich Java weiter zu "forschen".. Putty konnte schon gar nicht mehr soweit zurück das es mir überhaupt die vollständige Liste aller geöffneten Dateien angezeigt hat.. zumindest der reboot über SSH funktioniert, brauch ich nicht jedesmal den Stromstecker ziehen..
...
Dem Logfile nach, scheint da auch was mit dem Broadcom-Treiber im argen zu sein.
...

Hallo
Putty kann auch mehr Anzeigen. Bitte beim nächsten mal alle Befehle ab setzen und hier zeigen.
>>>Putty Session links oben (links klick)
>>> dann Change Settings (klicken)
>>> neues Fenster Window (klicken)
>>> hier Lines of scrollback ändern in 999999999999
fertig kannste dann in deine txt Datei alle Zeilen reinhauen/makieren.

Wahrscheinlich ist es der Java (hmipserver id 709) Prozess. Hat bei deiner TXT 1895 offene Files.
Vieleicht sollten wir mal Logging ändern um mehr zu sehen. Du könntest in der log4j.xml alles auf debug stellen dann sollte in der hmserver.log mehr an kommen, aber erst nach einen restart des hmipserver.
Datei liegt /usr/local/etc/config

Gruß Bulli