Seite 1 von 4
Watchdog Alarm 'rfd restarted'
Verfasst: 21.04.2019, 11:33
von Matthias K.
Hallo Gemeinde und frohe Ostern!
Mit der aktuellen RaspberryMatic (3.45.5.20190330) und dem darin erstmal implementierten Monit habe ich das Problem, dass in unregelmäßigen Abständen (alle paar Tage) Monit beim RFD zuschlägt.
Syslog:
Code: Alles auswählen
Apr 21 10:51:06 192.168.1.220 local0:de.eq3.cbcs.lib.remotecommadapter.device.service.AccessPointWatchdog INFO [vert.x-eventloop-thread-1] SYSTEM: Access Point Watchdog running periodic connection check...
Apr 21 10:52:04 192.168.1.220 root: check_mk_agent - connection accepted from 192.168.1.4:56404
Apr 21 10:52:06 192.168.1.220 kernel: [1438395.528466] eq3loop: eq3loop_close_slave() mmd_bidcos
Apr 21 10:52:27 192.168.1.220 monit[2707]: 'rfd' process is not running
Apr 21 10:52:27 192.168.1.220 monit[2707]: 'rfd' trying to restart
Apr 21 10:52:27 192.168.1.220 monit[2707]: 'rfd' restart: '/etc/init.d/S61rfd restart'
Apr 21 10:52:27 192.168.1.220 kernel: [1438416.122043] eq3loop: eq3loop_open_slave() mmd_bidcos
Apr 21 10:52:41 192.168.1.220 monit[2707]: 'rfd' service restarted 1 times within 1 cycles(s) - exec
Apr 21 10:52:41 192.168.1.220 monit[2707]: 'rfd' exec: '/bin/triggerAlarm.tcl rfd restarted WatchDog-Alarm'
Apr 21 10:52:41 192.168.1.220 monit[2707]: 'rfd' process is running with pid 8569
Apr 21 10:52:41 192.168.1.220 monit[2707]: 'rfd' process is running after previous restart timeout (manually recovered?)
Apr 21 10:53:04 192.168.1.220 root: check_mk_agent - connection accepted from 192.168.1.4:56544
Apr 21 10:54:04 192.168.1.220 root: check_mk_agent - connection accepted from 192.168.1.4:56680
Wo kann ich da ansetzen zur Fehlersuche?
Das System lief bis zu dieser Firmware eigentlich recht unauffällig, alle bisherigen Probleme konnte ich auf eigene Fehler (meist in Skripten) zurückführen und dementsprechend beheben.
Re: Watchdog Alarm 'rfd restarted'
Verfasst: 21.04.2019, 12:28
von jmaus
Ich würde sagen das umgedreht ein schuh draus wird. D.h. Der Monit deckt nun einfach ein problem auf das einfach bis ketzt noch nicht aufgefallen ist. Aus irgendeinem Grund stürzt bei dir der 'rfd' Dienst ab und Monit startet diesen dann eben automatisch neu um das Problem zu kompensieren. Warum das passiert müsste man nun einmal genauer analysieren indem man z.b.den loglevel des rfd hochstellt und versucht rauszubekommen welche aktion dazu führt das der rfd dienst abschmiert...
Re: Watchdog Alarm 'rfd restarted'
Verfasst: 21.04.2019, 17:21
von Matthias K.
Danke für die Rückmeldung.
Und wie stelle ich den Log Level des RFD hoch? Bzw. was macht der RFD genau?
Bisher dachte ich, dass der für die (Funk-)Kommunikation zu den einzelnen Geräten zuständig ist. D.h. wäre das Problem vorher schon dagewesen hätte ich das doch nach kurzer Zeit merken müssen!? Meine RM lief aber bisher wochenlang problemlos durch.
Oder bringe ich da was durcheinander?
Re: Watchdog Alarm 'rfd restarted'
Verfasst: 21.04.2019, 17:46
von alchy
scorpionking hat geschrieben: ↑21.04.2019, 17:21
hätte ich das doch nach kurzer Zeit merken müssen!? Meine RM lief aber bisher wochenlang problemlos durch.
Oder bringe ich da was durcheinander?
Nein machst du nicht.
Wenn vorher Bidcos RF ebenfalls abgestürzt wäre, würde das weiße Popup "Eine Komponente.:" auftauchen und die CCU würde nicht mehr mit den RF Geräten kommunizieren und vieles mehr.
Alchy
Re: Watchdog Alarm 'rfd restarted'
Verfasst: 21.04.2019, 18:08
von Matthias K.
Hallo Alchy,
danke für deine Antwort. Eine derartige Meldung hatte ich zuletzt vor gefühlten Ewigkeiten (kann mich nur erinnern an die Anfänge von HmIP, dass ich das mal hatte, ist aber mind. 2-3 Jahre her, eher länger).
Dann kann ich das Problem also bisher nicht gehabt haben. Bleiben die Fragen:
Hat Monit Recht?
Wenn ja, wie finde ich raus, was das verursacht? Fehlerprotokoll für HM Funk auf alles loggen?
Setze einen Syslog-Server ein (rotate 21, daily), kann also im Zweifel auch recht große Logs nachträglich noch analysieren.
scorpionking
Re: Watchdog Alarm 'rfd restarted'
Verfasst: 21.04.2019, 18:31
von alchy
Natürlich bemerkt man die Meldung auch nur, wenn man die Klickibunti geöffnet hat.
Was du aber bestimmt bemerkt hättest, wenn die RF Geräte nicht mehr am Funktionieren gewesen wären.
Denn wenn du nicht selber Hand angelegt hattest, wäre ein einmal abgestürzter Service eben auch dauerhaft abgestürzt. Jetzt wird er wohl automatisch restartet bei der RaspberryMatic.
scorpionking hat geschrieben: ↑21.04.2019, 18:08
Hat Monit Recht?
Keine Ahnung, ich setze keine RaspberryMatic ein.
Aber es wird schon so gewesen sein das der RF weg war. Jedoch ist auch nicht die richtige Frage, sondern was bringt den RF bei dir regelmäßig dazu seine Arbeit einzustellen, wo er doch vorher Jahre bei dir problemlos lief. Ursache und Wirkung
Sich drüber zu freuen, das die Dienste automatisch restarten wäre mir zu flach.
Alchy
Re: Watchdog Alarm 'rfd restarted'
Verfasst: 21.04.2019, 18:49
von Matthias K.
alchy hat geschrieben: ↑21.04.2019, 18:31
Aber es wird schon so gewesen sein das der RF weg war. Jedoch ist auch nicht die richtige Frage, sondern was bringt den RF bei dir regelmäßig dazu seine Arbeit einzustellen, wo er doch vorher Jahre bei dir problemlos lief. Ursache und Wirkung
Sich drüber zu freuen, das die Dienste automatisch restarten wäre mir zu flach.
Mir auch, deshalb will ich ja wissen, wie ich weitere Infos finde...
Übrigens nicht regelmäßig, sondern unregelmäßig. Seit die FW 3.45.5.20190330 drauf ist waren es insgesamt 3 Mal.
Ich fühle mich übrigens auch durchaus auf der Linux Shell wohl, also immer her mit den Tipps...
Re: Watchdog Alarm 'rfd restarted'
Verfasst: 21.04.2019, 19:11
von jmaus
Du könntest einfach mit dem Befehl
Das monitoring des rfd deaktivieren und dann mal abwarten was passiert. Wenn er dann abschmiert weisst du zumindest das monit recht hatte. Dann weisst du zwar immer noch nicht warum, aber dann wäre man zumindest ein schritt weiter.
Ich vermute aktuell aber auch das monit recht hat weil man in deinem logfileauszug sieht das vor der monit meldung das eq3loop device meldet das die Verbindung zum rfd geschlossen wurde, was wiederum auf den absturz des rfd schliessen lässt.
Re: Watchdog Alarm 'rfd restarted'
Verfasst: 21.04.2019, 19:45
von Matthias K.
jmaus hat geschrieben: ↑21.04.2019, 19:11
Das monitoring des rfd deaktivieren und dann mal abwarten was passiert. Wenn er dann abschmiert weisst du zumindest das monit recht hatte. Dann weisst du zwar immer noch nicht warum, aber dann wäre man zumindest ein schritt weiter
Hab ich jetzt mal gemacht. Mal schauen...
Kann man den Monit nicht auch anweisen, den Absturz nur zu protokollieren anstatt den Dienst neuzustarten? Dann würde ich es ggf. etwas schneller merken...
jmaus hat geschrieben: ↑21.04.2019, 19:11
Ich vermute aktuell aber auch das monit recht hat weil man in deinem logfileauszug sieht das vor der monit meldung das eq3loop device meldet das die Verbindung zum rfd geschlossen wurde, was wiederum auf den absturz des rfd schliessen lässt.
Womit wir wieder bei der Frage sind: Welches Log Level muss ich hochsetzen, damit ich hier mehr Output bekomme und den Fehler hoffentlich finde?
Dadurch dass das nicht regelmäßig passiert, möchte ich für's nächste Mal so gut wie möglich gewappnet sein...
Re: Watchdog Alarm 'rfd restarted'
Verfasst: 22.04.2019, 07:17
von NickHM