Kann man einen HMIP-HAP an RaspberryMatic im Docker-Container anlernen?

[jmaus]

Es kommt hoffentlich bald eine Folgeversion; ein Hinwirken auf einen Hotfix war leider nicht erfolgreich.
viewtopic.php?f=65&t=68514&p=670107#p670106

Am Wochenende, Kinder, wird's was geben

[jmaus]

Im Moment kämpfe ich gerade mit zwei DRAPs. Wie oben erwähnt, wird der Großteil der Haustechnik über HMIP wired laufen. Auch die DRAPs lassen sich bei mir nicht unter der aktuellen RaspberryMatic anlernen. Also nochmal zurück auf 3.55.5.20201226, Geräte anlernen, Backup ziehen und mit restoreBackup.sh* auf dem Produktivsystem wieder einspielen. Alles, wohlgemerkt, auf der gleichen Hardware, nur unterschiedliche Bootmedien. Leider scheint das nicht zu funktionieren. Die DRAPS werden in RM angezeigt, aber die Geräte blinken nur in türkis vor sich hin, bekommen keinen Kontakt zur Zentrale. Wäre ja auch zu einfach, wenn es mit den DRAPs genauso ginge wie mit den HAPs.

Im zweiten Versuch habe ich das alte System mitsamt der angelernten DRAPs auf RaspberryMatic 3.59.6.20210703 akutalisiert, erneut ein Backup gezogen und im Produktivsystem eingespielt. Die DRAPs blinken hilflos vor sich hin. Auch ein paar Minuten stromlos machen ändert nichts. Ich hab also jetzt die gleiche RaspberryMatic-Version mit den gleichen Parametern einmal direkt auf der Hardware und einmal unter Ubuntu im Docker-Container laufen.

Was gut wäre, wäre wenn du statt solcher eigener experimente helfen könntest den vermeintlichen Anlernproblemen von HAP und DRAP in neueren RaspberryMatic Version irgendwie auf die Schliche zu kommen. Es gibt dazu wohl meiner Wahrnehmung nach leider unterschiedliche Erfahrungen. Es gibt anscheinend Leute die konnte auch unter aktueller RM Version problemlos ein HAP / DRAP anlernen, aber dann gibt es aber eben auch Leute wie dich die damit irgendwie Probleme haben und so ganz wurde das noch nicht verstanden und auf den Punkt gebracht. Eben auch weil die betroffenen Leute meist irgendwie selbst rumexperimentiert bzw. wild downgegraded haben, dann den HAP/DRAP angelernt bekommen haben und dann sofort auf die aktuellste Version wieder zurückgesprungen sind. Das mag vielleicht den betroffenen Nutzern unmittelbar zu helfen - leider aber hilft es nicht dem zugrundelegenden Problem (wenn es denn eins gibt) auf die Schliche zu kommen. Deshalb habe ich im besagten GitHub Ticket dazu (https://github.com/jens-maus/RaspberryMatic/issues/1350) bereits mehrfach darum gebeten, das sich doch bitte jemand mit einem HAP/DRAP erbarmt hier einmal genauere Analysen zusammen mit mir durchzuführen damit man aus Logfiles bzw. Herangehensweisen versuchen kann herauszufinden ab welcher RaspberryMatic Version genau denn anscheinend das anlernen nicht mehr funktioniert. Denn auch wenn du auf die 3.55.5.20201226 zurückgegangen bist, so heisst das IMHO noch lange nicht das die nächste darauf folgende version die ist die das Anlernen dann quasi kaputt gemacht hat.

Wenn es hier also interessierte gibt die dem Problem auf die Schliche kommen wollen und nicht einfach nur ihren HAP / DRAP schnell angelernt haben wollen um mit ihrer Installation weiter zu machen oder wenn jemand einen DRAP übrig hat den er mir zu weiteren Test vllt. überlassen könnte, dann gerne vortreten. Denn in meiner eigenen Installation bekomme ich die Probleme leider momentan nicht reproduziert und insofern stehe ich da leider etwas ratlos da.

[tsgmnd]

Im Moment kämpfe ich gerade mit zwei DRAPs. Wie oben erwähnt, wird der Großteil der Haustechnik über HMIP wired laufen. Auch die DRAPs lassen sich bei mir nicht unter der aktuellen RaspberryMatic anlernen. Also nochmal zurück auf 3.55.5.20201226, Geräte anlernen, Backup ziehen und mit restoreBackup.sh* auf dem Produktivsystem wieder einspielen. Alles, wohlgemerkt, auf der gleichen Hardware, nur unterschiedliche Bootmedien. Leider scheint das nicht zu funktionieren. Die DRAPS werden in RM angezeigt, aber die Geräte blinken nur in türkis vor sich hin, bekommen keinen Kontakt zur Zentrale. Wäre ja auch zu einfach, wenn es mit den DRAPs genauso ginge wie mit den HAPs.

Im zweiten Versuch habe ich das alte System mitsamt der angelernten DRAPs auf RaspberryMatic 3.59.6.20210703 akutalisiert, erneut ein Backup gezogen und im Produktivsystem eingespielt. Die DRAPs blinken hilflos vor sich hin. Auch ein paar Minuten stromlos machen ändert nichts. Ich hab also jetzt die gleiche RaspberryMatic-Version mit den gleichen Parametern einmal direkt auf der Hardware und einmal unter Ubuntu im Docker-Container laufen.

Was gut wäre, wäre wenn du statt solcher eigener experimente helfen könntest den vermeintlichen Anlernproblemen von HAP und DRAP in neueren RaspberryMatic Version irgendwie auf die Schliche zu kommen. Es gibt dazu wohl meiner Wahrnehmung nach leider unterschiedliche Erfahrungen. Es gibt anscheinend Leute die konnte auch unter aktueller RM Version problemlos ein HAP / DRAP anlernen, aber dann gibt es aber eben auch Leute wie dich die damit irgendwie Probleme haben und so ganz wurde das noch nicht verstanden und auf den Punkt gebracht. Eben auch weil die betroffenen Leute meist irgendwie selbst rumexperimentiert bzw. wild downgegraded haben, dann den HAP/DRAP angelernt bekommen haben und dann sofort auf die aktuellste Version wieder zurückgesprungen sind. ...
Wenn es hier also interessierte gibt die dem Problem auf die Schliche kommen wollen und nicht einfach nur ihren HAP / DRAP schnell angelernt haben wollen um mit ihrer Installation weiter zu machen oder wenn jemand einen DRAP übrig hat den er mir zu weiteren Test vllt. überlassen könnte, dann gerne vortreten. Denn in meiner eigenen Installation bekomme ich die Probleme leider momentan nicht reproduziert und insofern stehe ich da leider etwas ratlos da.

Hallo Jens,

ich bilde mir ein, dass ich genau das gemacht habe. Weiter oben schrieb ich:

ich hab noch ein bisschen weiter experimentiert. Mit RaspberryMatic-3.57.5.20210525-rpi4 geht das anlernen noch problemlos, mit RaspberryMatic-3.59.6.20210703-rpi4 nicht mehr.

Hat noch jemand eine Idee, wie man das weiter eingrenzen kann?

@alle, die hier über Erfolge und Misserfolge berichten: Gebt bitte an, was genau Ihr im Einsatz habt - welche Software-Version, welche Hardware. Ein einfaches "bei mir funktioniert's" hilft nur bedingt weiter.

Als darauf nicht viel Feedback kam, hab ich weiterexperimentiert. Nur ein User konnte das Problem reproduzieren, aber da habe ich leider keine Infos über Details des Setups bekommen.

Aktueller Stand aus meiner Sicht:

- Anlernen von HAP und DRAP an einer frischen RaspberryMatic-Installation (image auf SD-Karte kopiert, gebootet, Admin-Passwort vergeben, ssh enabled, Anlernen gestartet) geht reproduzierbar mit 3.57.5.20210525 und geht nicht mit 3.59.6.20210703. Betonung auf reproduzierbar. Ich hab das mit mehreren Geräten getestet und bin in den Software-Versionen vorwärts und rückwärts gesprungen.

- Einmal angelernt funktionieren HAP und DRAP auch mit 3.59.6.20210703 und neuer. Das Problem mit dem angelernten DRAP im Docker-Container habe ich jetzt auch verstanden und vorläufig gelöst. Mir ist aufgefallen, dass die Standalone-RaspberryMatic im Netfinder sichtbar ist, das gleiche Setup im Docker-Container jedoch nicht. Also hab ich mir mit Wireshark angesehen, was Netfinder macht. Das sieht so aus:

Code: Alles auswählen

Netfinder auf 10.10.15.1, zwei DRAPs auf 10.10.15.100 und 10.10.15.101
No.	Time	Source	Destination	Protocol	Length	Info
4	0.648462575	10.10.15.1	255.255.255.255	UDP	52	43537 → 43439 Len=10
6	1.348330504	10.10.15.100	255.255.255.255	UDP	103	43439 → 43537 Len=61
7	1.410798515	10.10.15.101	255.255.255.255	UDP	103	43439 → 43537 Len=61

Netfinder schickt also einen UDP Broadcast, und die DRAPs antworten sofort. Damit ist die Kommunikation etabliert. Mit Raspberrymatik im Container funktioniert das nicht - soweit ich weiß unterstützt Docker keine Broadcasts.

Ich hab deshalb in meine docker-compose.yml ein

Code: Alles auswählen

network_mode: host

eingefügt.

Code: Alles auswählen

version: "3.7"
services:
  raspberrymatic:
    image: ghcr.io/jens-maus/raspberrymatic:latest
    container_name: ccu
    hostname: homematic-raspi
    privileged: true
    restart: unless-stopped
    stop_grace_period: 30s
    network_mode: host
    volumes:
      - ccu_data:/usr/local:rw
      - /lib/modules:/lib/modules:ro
    ports:
      - "80:80"
      - "1999:1999"
      - "2001:2001"
      - "2010:2010"
      - "9292:9292"
      - "8181:8181"

Damit ist das Port-Mapping natürlich obsolet. Aber sofort nach dem Neustart des Containers hörten die DRAPs auf zu blinken.

Ich würde vorschlagen, dass wir die Diskussion um's Anlernen im Gitlab-Issue fortsetzen. Das hatte ich noch nicht entdeckt.

[jmaus]

Danke für diese sehr ausführlichen Informationen. Diese bringen mich in der Tat zumindest einen halben schritt weiter.

Verstehe ich es also richtig? Das sind also zwei getrennte Probleme, d.h. Das erste Problem ist das du mit der 3.59.x keinerlei DRAP/HAP anlernen kannst egal ob direkt auf einem Pi oder in einem Docker Container?

Und unabhängig davon geht bei dir ein DRAP/HAP auch nicht innerhalb eines Docker (egal ob 3.59.x oder 3.57.x) weil das UDP Broadcast ja nicht in einem Docker Container funktioniert und du den docker auf das host Netzwerk setzen musst? Und was ist in dem Kontext mit dem Anlernproblem? Geht das Anlernen vllt nachdem du den docker im
Host network starten lassen hast oder bleibt es dabei das es egal ist ob der docker im host oder isolated mode läuft und da weiterhin nicht das anlernen funktioniert?

[tsgmnd]

Genau, zwei Probleme.

Und unabhängig davon geht bei dir ein DRAP/HAP auch nicht innerhalb eines Docker (egal ob 3.59.x oder 3.57.x) weil das UDP Broadcast ja nicht in einem Docker Container funktioniert und du den docker auf das host Netzwerk setzen musst? Und was ist in dem Kontext mit dem Anlernproblem? Geht das Anlernen vllt nachdem du den docker im
Host network starten lassen hast oder bleibt es dabei das es egal ist ob der docker im host oder isolated mode läuft und da weiterhin nicht das anlernen funktioniert?

Na ja, im Docker konnte ich bisher nur neuere RM-Versionen testen. Siehe einen der vorherigen Posts. Ich würde erwarten, dass die auch mit network_mode = host nicht funktionieren.

Die Verbindungsprobleme im Docker betrafen seltsamerweise nur den DRAP - HAP funktioniert auch im isolated mode, nachdem er auf der älteren Software angelernt war.

[jmaus]

Kannst du das gleiche auch mal als HomeAssistant Addon testen? Dort existiert nämlich prinzipiell das selbe problem.

Und bzgl anlernen müsstest du mal das debuglevel vom HmIPServer hochsetzen damit im /var/log/hmserver.log bzgl anlernphase vielleicht mehr infos zu sehen sind.

[tsgmnd]

Und bzgl anlernen müsstest du mal das debuglevel vom HmIPServer hochsetzen

Wie mache ich das? Zentralenwartung -> Fehlerprotokoll -> Logikschicht: alles loggen?

[tsgmnd]

Hallo nochmal,

ich habe versucht eine Log-Datei zu produzieren:

- HMIP-HAP aus dem Produktivsystem abgemeldet
- Frisches RaspberryMatic-3.59.6.20210703-rpi4.img auf die SD-Karte geschrieben
- Passwort gesetzt, ssh-Zugang an, Loglevel auf "alles"
- CCU neu gestartet
- HAP mit Strom versorgt. Blink grün, blinkt blau, leuchtet blau.
- Wieder stromlos gemacht, Taste gedrückt beim Einschalten, usw.

Leider war das Ergebnis nicht wie erwartet. Dauerte nur ein paar Sekunden, dann leuchtet die Led in türkis. Ich hab die Übung in den letzten Tagen ein paar Dutzend mal gemacht, und immer ist das Anlernen von genau diesem HAP mit genau dieser Hard- und Software-Kombi gescheitert. Jetzt auf einmal geht*s.

Ich hab daraufhin noch den Werksreset via Netfinder ein paar mal gemacht. Keine Chance, das Problem lässt sich nicht mehr reproduzieren. Das Anmelden funktioniert jetzt auch an der RaspberryMatic im Docker problemlos. Schön für mich, aber ich weiß im Moment nicht, wie ich so mit der Fehlersuche helfen kann. Die einzige Idee, die ich jetzt noch habe, ist das Teil erst abzulernen und dann eine Weile stromlos zu machen ...

VG

Thomas

[tsgmnd]

Nachtrag: auch nach einer Nacht ohne Strom ließ sich der HAP an 3.59.6.20210703 problemlos anlernen. Ebenso ein gerade eingetroffener nagelneuer DRAP, der als Reserve gedacht ist.

[jmaus]

Nachtrag: auch nach einer Nacht ohne Strom ließ sich der HAP an 3.59.6.20210703 problemlos anlernen. Ebenso ein gerade eingetroffener nagelneuer DRAP, der als Reserve gedacht ist.

Und beides innerhalb der Docker Umgebung? Komisch in der Tat. Also doch alles falscher Alarm bzgl. der beiden Probleme wie es aussieht, oder? Und wie steht es auf einem reinen RaspberryPi System? Und kannst du mal unter HomeAssistant testen wenn das für dich möglich ist?