RaspberryMatic 3.63.9.20220521 – Neue Version

[jmaus]

Hallo,

nach fast einem Monat Entwicklungsarbeit an RaspberryMatic habe ich soeben eine neue stabile Version (3.63.9.20220521) freigegeben. Bei dieser handelt es sich um ein Maintenance Release welcher vor allem einige in der letzten Version aufgetretenen Fehler beseitigt und darüberhinaus auch noch ein paar kleinere Verbesserungen mit sich bringt die sicherlich für den Einen oder Anderen durchaus interessant sein könnten.

Hervorzuheben ist hierbei vor allem die Integration eines neuen Port-Forwarding WatchDog-Skriptes welcher standardmäßig nun jeden Sonntag um ca. 04:00 nachts eine Überprüfung der Internetverbindung vornimmt. Hierbei wird versucht ein etwaig aktiviertes Port-Forwarding auf die CCU/RaspberryMatic Zentrale im genutzten Internet-Router zu identifizieren und davor explizit dann via WebUI Alarmmeldung zu warnen. Wie eigentlich bekannt sein sollte, ist gerade solch ein direktes Port-Forwarding auf eine CCU bzw. RaspberryMatic-Zentrale - auch wenn diese prinzipiell via HTTPS und Login+Passwort vermeintlich "abgesichert" ist - aus verschiedensten Gründen als hoch sicherheitskritisch zu betrachten und es wird daher allgemein von jeglichem Port-Forwarding zur direkten Freigabe einer CCU/RaspberryMatic abgeraten. Trotzdem existieren leider zahllos frei zugängliche CCU/RaspberryMatic Systeme im Internet die mit solchen einem Port-Forwarding von deren Besitzern wissentlich oder unwissentlich somit für jedermann freigegeben wurden und diese auch bereits aktiv attackiert werden. Um diesem Umstand Rechnung zu tragen und vor solch einem sicherheitskritischen Port-Forwarding zu warnen wurde nun dieser besagte Port-Forwarding WatchDog integriert. Damit sollte dann hoffentlich früher oder später irgendwann keine RaspberryMatic Zentrale frei verfügbar im Internet mehr zu finden sein und stattdessen die Nutzer hoffentlich alle auf eine sichere VPN-basierte Zugangslösung (wie z.B. via dem integrierten Tailscale) umgestiegen sein.

Darüberhinaus wurden in dieser Version zahllose kleinere und größere Fehler/Bugs beseitigt die im gesamten die Stabilität und Kompatibilität weiter verbessern sollte.

Die kompletten Änderungshistorie kann wie immer wie folgt eingesehen werden (wurde mit DeepL automatisiert übersetzt):

Änderungen:

CCU/HomeMatic-System Änderungen:

• ein neues /bin/checkPortForwarding.sh Prüfskript hinzugefügt, das regelmäßig jeden Sonntag gegen 4:00 Uhr morgens per Cron ausgeführt wird. Dieses neue Prüfskript wird versuchen, jede sicherheitskritische Portweiterleitung zu identifizieren, die in dem Internet-Router, mit dem RaspberryMatic verbunden ist, wirksam ist. Sobald eine solche bösartige Portweiterleitung identifiziert wird, wird eine WebUI WatchDog Alarmmeldung ausgelöst, so dass die Benutzer reagieren können und ihnen geraten wird, diese kritische Portweiterleitung in ihrem Internet-Router zu deaktivieren und stattdessen VPN-basierte Lösungen zu verwenden (z.B. tailscale).
• generic_raw_uart homematic Kernelmodul auf die neueste verfügbare Version (1.26) aktualisiert.
• detect_radio_module auf die neueste verfügbare Version aktualisiert.
• das maximale HMIPServer-Startintervall auf 150 erhöht, was zu einer maximalen Zeit von 300 Sekunden (5 min) beim Versuch führt, HMIPServer auf langsamerer Hardware (z.B. RaspberryPi1) zu starten (#1817).

WebUI Änderungen:

• eine weitere Reihe von Kodierungsproblemen bei der Konvertierung zwischen UTF-8 und ISO-8859-1 Zeichenkodierung in den verschiedenen internen und externen APIs behoben, so dass die Verwendung von deutschen Umlauten in der WebUI nicht mehr fälschlicherweise als UTF-8 kodiert in der zentralen ReGaHss-Datenbank enden sollte. Dies sollte bestimmte Probleme mit der Umlautkodierung beheben, die entweder in der WebUI bei der Umbenennung von Geräten/Kanälen auftraten, aber auch bei der Verwendung der rega scripting oder rpc api mit Remote-Aufrufen und utf-8 kodierten Namen, die Umlaute enthalten (#1825, #1821, #1782).
• Der Patch für die WebUI-Hilfeseite wurde angepasst, um auch die ausgelieferte Java- und Node.js-Version anzuzeigen.
• CodeMirror auf die neueste Version 5.65.3 aktualisiert
• eine neue Einstellungsoption zum 0135-WebUI-Add-ControlPanel-AdvancedSettings WebUI-Patch hinzugefügt, um die neue Portforwarding-Prüfung zu deaktivieren (#1822, @jp112sdl).

Betriebsystem Änderungen:

• Upstream-Linux-Kernel auf die neueste Version 5.15.41 LTS aktualisiert
• rpi-eeprom-Paket aktualisiert, um die neueste pieeprom-2022-04-26.bin-Version auszuliefern.
• Tailscale auf die neueste Version 1.24.2 aktualisiert und ein entsprechendes Update der go 1.18.x-Abhängigkeit hinzugefügt.
• qemu Gast-Agent auf die neueste Version 7.0.0 aktualisiert.
• Java Azul auf die neueste Version 8.62.0.19-ca-jdk8.0.332 aktualisiert.
• Behebung eines Fehlers in der lighttpd-Konfiguration, der bestimmte URL-kodierte Zeichen wie %Fx verschluckte, wobei x einer beliebigen Hexadezimalzahl entspricht. Dies verhinderte die Verwendung der URL-Kodierung zum Senden von HTTPS-Anfragen mit iso-8859-1 kodierten Umlauten (#1831).
• Hinzufügen der fehlenden CONFIG_E1000E Linux-Kernel-Konfigurationsoption für die Intelnuc-Plattform, die zu fehlenden Netzwerkschnittstellen für bestimmte NUC-Generationen seit dem Kernel 5.15.x-Upgrade führte.
• "StarTech.com SATA to USB Cable - USB 3.0 to 2.5" SATA III Hard Drive Adapter" zur Liste der unterstützten USB-Quirks hinzugefügt (vgl. home-assistant/operating-system#1883)
• "-x jitter" zu Standard-DAEMON_ARGS hinzugefügt, so dass die zeitaufwendige JITTER-Entropiequelle weggelassen wird und hwrng oder urandom verwendet wird, was trotzdem mehr Entropiedurchsatz liefert (#1817).
• Fehlerhaftes S08argononed-Startskript behoben, dem die notwendige .sh-Erweiterung zum Ausführen des argonone-Daemon-Skripts fehlte, was dessen Autostart verhinderte (#1819).
• fehlende CONFIG_SENSORS_PWM_FAN Kernelkonfiguration hinzugefügt, damit der RaspberryPi POE/FAN HAT wieder funktioniert (#1838).

Mitwirkende (diese Version, alphabetisch):

• @jens-maus
• @jp112sdl

Support:
Hier sei auch noch einmal auf die umfangreiche Dokumentation von RaspberryMatic hingewiesen an der bereits seit einiger Zeit gearbeitet wird und die auch sukzessive mit jeder Version verbessert wird. Zu erreichen ist die Dokumentation unter folgender Stelle:

• RaspberryMatic - Dokumentation
• RaspberryMatic - Forum
• RaspberryMatic - Documentation
• RaspberryMatic - Discussions

Wie die URLs schon vermuten lassen, handelt es sich hierbei teils um einen öffentlichen Wiki an dem sich wirklich jeder gerne (nach entsprechender technischer Selbst-Einarbeitung) beteiligen kann um Anderen vor allem den Einstieg rund um das Thema "RaspberryMatic" zu erleichtern.

Download:

Die neue Version kann wie gehabt von folgender URL als *.zip Datei für die verschiedenen RaspberryPi Modelle heruntergeladen und installiert werden:

https://github.com/jens-maus/RaspberryM ... ses/latest

Zu beachten gilt, das auf Grund der Unterstützung unterschiedlicher Geräte es getrennte Installationsarchive (*.zip Dateien) gibt die für die folgende Hardware jeweils einheitlich ist:

• RaspberryPi4 Model B, RaspberryPi4 Compute Module, RaspberryPi 400 - (Installation):
  RaspberryMatic-3.63.9.20220521-rpi4.zip
  SHA256: 76b98ea4c704dff4d7880b39c5345121ab99e9b2c6138a7e9c4aea6ce3373b82
• CCU3, ELV-Charly, RaspberryPi3 Model B+, RaspberryPi3 Model B, RaspberryPi3 Model A+, RaspberryPi Compute Module 3, RaspberryPi Compute Module 3 lite, RaspberryPi Zero 2 W – (Installation):
  RaspberryMatic-3.63.9.20220521-rpi3.zip
  SHA256: afd6860d64478e47d7e1e830fc88a5b6305731f2265f6c506b6f53a242c43068
  RaspberryMatic-3.63.9.20220521-ccu3.tgz (nur für den initialen Umstieg von CCU3 Firmware zu RaspberryMatic)
  SHA256: 795becf0b7197ba07238d35b78adeddc428981bb3b6a2bd03842bc10aacb4cf7
• RaspberryPi2 Model B – (Installation):
  RaspberryMatic-3.63.9.20220521-rpi2.zip
  SHA256: 8935e59558c64941348b5902d214d659b229e226e7f6bd0e643d1d816b35a1c9
• RaspberryPi Zero W, RaspberryPi Zero, RaspberryPi Compute Module 1, RaspberryPi1 (A+/B+) – (Installation):
  RaspberryMatic-3.63.9.20220521-rpi0.zip
  SHA256: 99a6a1ca7c831976e7881c2a0c50a3fcd6b42caad015606e2e8530e5a8eb0897
• Tinker Board S, Tinker Board – (Installation):
  RaspberryMatic-3.63.9.20220521-tinkerboard.zip
  SHA256: 8309f4b7cce1e64e11552e1eb2c3f38b3fc927442409db937fbd57a8948143c2
• ODROID-N2/N2+/C4/C2 – (installation):
  RaspberryMatic-3.63.9.20220521-odroid-n2.zip
  SHA256: 51dd115ef4f7fb54af33a5412499027031e7d21c16264f0cd0377cd7ac16f726
  RaspberryMatic-3.63.9.20220521-odroid-c4.zip
  SHA256: 7a1ea2bd5705c8bf71b51d63b896c2288b4c2aae2aff9c4448c18887e237bce6
  RaspberryMatic-3.63.9.20220521-odroid-c2.zip
  SHA256: 20e35cea7b32afc3845eebfcc2ff17589c7cce352ad288f497e5cf6b4b306817
• Intel NUC – (Installation):
  RaspberryMatic-3.63.9.20220521-intelnuc.zip
  SHA256: 9e97eaf4dbcca90aeae18d9418ea4b13a52783832afc9bb3f0bb9a704f0af286
• Open Virtual Appliance (OVA) – (ESXi, Proxmox, VirtualBox, Synology, QNAP, Workstation Player, QEmu, UNRAID, HyperV):
  RaspberryMatic-3.63.9.20220521-ova.zip
  SHA256: de87dd9207193370981e609716539f5b78cbf83f1750563452fb1f90b723f480
  RaspberryMatic-3.63.9.20220521.ova (nur für die initiale OVA installation)
  SHA256: 9f8601b808acdccde04f1eab000ea7e01c6747e8252e17be92754bdec04bdd5f
• Docker / Open Container Initiative (OCI) – virtual appliance (Installation):
  RaspberryMatic-3.63.9.20220521-oci_amd64.tgz (amd64/x86_64)
  SHA256: abe19f634830245e2d4d3b30f6355bea685c149ddf70ca72ea2446a896199940
  RaspberryMatic-3.63.9.20220521-oci_arm64.tgz (arm64/aarch64)
  SHA256: 66f72eb1aff68af860b0011f5471ac00470c927e3c458da0c0db0c01fec610a9
  RaspberryMatic-3.63.9.20220521-oci_arm.tgz (arm/armhf)
  SHA256: a6c0cf8416a2c7b9131cf9742656f1139e98e775fab43a772654ce0bca47dd57
• Kubernetes / K8s – virtual appliance:
  siehe Installation Kubernetes
• Home Assistant Add-on – virtual appliance:
  siehe Installation HomeAssistant

Update/Upgrade:
Das Update auf diese Version kann bei Einsatz einer Vorversion unter "Einstellungen->Systemsteuerung->Zentralen-Wartung" durch Upload der jeweiligen *.zip oder *.tgz Datei (Nicht ausgepackt!) erfolgen. Alternativ kann natürlich weiterhin auch einfach eine neue SD-Karte verwendet werden und das im Archiv befindliche *.img auf die neue SD Karte kopiert werden um dann von dort aus neu zu booten und via Backup-Restore das jeweils aktuelle Backup wiederherstellen zu lassen.

Hinweis:
Bitte beachten, dass natürlich vor jedem Update erst einmal ein manuelles Backup erfolgen sollte damit bei eventl. Fehlschlagen des WebUI-basierten Updates man mittels einer neuen SD-Karte dann sein aktuellstes Backup einfach wieder einspielen kann.

Für Bugreports und Featurerequests bitte den GitHub Issue-Tracker nutzen damit ich die Anfragen geordnet abarbeiten kann. Support- und Hilfeanfragen bei vermeintlichen Nutzungsproblemen bitte weiterhin hier als erstes im Forum platzieren und erst daraus ein Bugreport im GitHub machen wenn das Problem von anderen Nutzern bestätigt werden konnte.

Viel Spass mit der neuen RaspberryMatic Version!

[JensDev]

Hallo Jens,

wollte eigentlich gerade endlich auf die 3.63.9.20220430 gehen, nun dann also mal nicht die anderen vorgelassen...

Kurz: Update von Version 3.61.7 hat soweit geklappt auf meinem Raspi 3B (Rev 1.2) mit RPI-RF-MOD.

Vielen Dank für die tolle Arbeit!!

Jens

[1techone]

Hallo
danke für die 3.63.9.20220521,
update problemlos und schnell
die neue Version läuft bei mir super auf meinem pi 3+
Gruß Jürgen

[McPan]

...
Hervorzuheben ist hierbei vor allem die Integration eines neuen Port-Forwarding WatchDog-Skriptes welcher standardmäßig nun jeden Sonntag um ca. 04:00 nachts eine Überprüfung der Internetverbindung vornimmt. Hierbei wird versucht ein etwaig aktiviertes Port-Forwarding auf die CCU/RaspberryMatic Zentrale im genutzten Internet-Router zu identifizieren und davor explizit dann via WebUI Alarmmeldung zu warnen.
...

Erst einmal Danke an Jens für seine Arbeit.

Vielleicht sollte die Uhrzeit der Prüfung in irgend einer Form konfigurierbar gemacht werden, damit die Uhrzeit nicht mit der Zwangstrennung des ISPs kollidiert? Die findet bei mir z.B. gerne auch schon mal so ca. um diese Uhrzeit statt. Keine Internetverbindung, kein Portforwarding, alles gut 5 Minuten später sieht's wieder ganz anders aus.
Ich kann die Uhrzeit zur Zwangstrennung an meiner FritzBox zwar konfigurieren, aber ob das bei allen Routern grundsätzlich der Fall ist sei mal dahingestellt.

Gruß,
Marco

[Baxxy]

Es ist ja nur etwa 04:00. Tatsächlich hat Jens eine Zufallszeit von 900s implementiert.
Die "Erfahrenen" schalten das vermutlich eh aus, denn eigentlich sollte man ja wissen ob man Portforwarding aktiv hat oder eben nicht.
Bei meinem LTE-Router wird auch i.d.R. alle 24h zwangsgetrennt, die Zeit verschiebt sich trotzdem gerne mal.

Grüße, Baxxy

[Hackertomm]

Ich habe die Neue Version gerade endeckt, weil ich auf die WebUI zugegrifen habe und die Mitteilung gesehen habe, das es eine Neue Version gibt.
Die wurde soeben Installiert.
Lief alles Problemlos.

[Raspihausfan_1]

Habe gerade die neue FW auf Tinkerboard S installiert, ohne Probleme. Danke an alle Mitwrkenden!
Der Link

ODROID-N2/N2+/C4/C2 – (installation):

scheint nicht zu Odroid* Installation zu führen.

[Nemex]

Leider funktioniert das HMip-WKP Codeschloss nicht richtig. Es wird im Programm nur Kanal 0 angezeigt. Bei der Orig. CUU Firmware werden wohl alle Kanäle (0-16) angezeigt.

[Ukle]

Seit gestern Nachmittag läuft die neue Version nach problemlosem Update meiner Produktiv-Installation per Webui unauffällig.
Ebenso ging es mit meinen Testversionen.
Danke an alle Beteiligten für die tolle Arbeit, die ihr in eurer Freizeit geleistet habt!

[Roland M.]

Hallo Jens!

Auch bei mir keine Auffälligkeiten, alle fünf Test- und (Pre-) Produktivsysteme (Ersatz für CCU2), OVA und rpi3, gestern manuell und automatisch upgedated.

Wie immer danke für die Arbeit!


Roland