RaspberryMatic – Firmware Upgrade Probleme - Analyse

Einrichtung, Nutzung und Hilfe zu RaspberryMatic (OCCU auf Raspberry Pi)

Moderatoren: jmaus, Co-Administratoren

Benutzeravatar
Baxxy
Beiträge: 10648
Registriert: 18.12.2018, 15:45
System: Alternative CCU (auf Basis OCCU)
Hat sich bedankt: 597 Mal
Danksagung erhalten: 2180 Mal

RaspberryMatic – Firmware Upgrade Probleme - Analyse

Beitrag von Baxxy » 28.04.2021, 18:33

Aktuell melden ja einige User (hauptsächlich CCU3 --> RM Umsteiger) Probleme beim Upgrade auf die neueste Version.
Man kann da auch größtenteils von Misserfolg sprechen.

Die vermutete Ursache liegt darin, das die Umsteiger ein zu kleines userfs* haben und somit das Image beim Upgradevorgang wegen Platzmangel nicht korrekt/vollständig entpackt wird und der Vorgang dann abbricht.

*User die nach dem Umstieg keinen Werksreset machten oder anderweitig die Partitionen veränderten haben nur 2 GB, RaspberryMatic'er nutzen normalerweise fast die komplette Größe der SD-Karte.

Ich habe das nachgestellt und konnte das Verhalten reproduzieren.

Ausgangslage:
Reguläre aber nackte CCU3 (keine Geräte, Programme etc.) mit der kleinsten (8GB) und lahmsten (Class 2) SD-Karte die ich finden konnte.
(Tipps für Ungeduldige... benutzt keine Class 2 Karte. Die CCU3 hat original Class 4 glaube ich)
Firmware: 3.57.5

Step 1:
Mit der "Wechselversion" [RaspberryMatic-3.57.4.20210320-ccu3.tgz (only for initial CCU3 Firmware -> RaspberryMatic Upgrade)] das System per regulärem WebUI-Upload problemlos zu RaspberryMatic konvertiert.
Punkt 9 der "Wechselanleitung" absichtlich ignoriert um das userfs bei 2GB zu belassen

Step 2:
In der laufenden 3.57.4.20210320 das Upgrade auf die 3.57.5.20210424 per normalem WebUI-Upload angeworfen und die Zentrale bespitzelt.

Die Datei wird häppchenweise hochgeladen/gespeichert:
A_Upload_Dateien.JPG
Die Häppchen waren vollständig und es wurde das temporäre Upgrade-Verzeichnis angelegt.
B_Unzip_Dateien.JPG
Nach einer gefühlten Ewigkeit war das Image vollständig und theoretisch upgradebereit:
C_alle_Dateien_vorhanden.JPG
In diesem letzten Stadium sieht die Speicherbelegung wie folgt aus:

Code: Alles auswählen

root@ccu3-webui:~# du -ha /usr/local/tmp
1.0K    /usr/local/tmp/tmp.XTVaw0-dir/RaspberryMatic-3.57.5.20210424-rpi3.img.sha256
1.3G    /usr/local/tmp/tmp.XTVaw0-dir/RaspberryMatic-3.57.5.20210424-rpi3.img
3.0K    /usr/local/tmp/tmp.XTVaw0-dir/EULA.de
12.0K   /usr/local/tmp/tmp.XTVaw0-dir/LICENSE
3.0K    /usr/local/tmp/tmp.XTVaw0-dir/EULA.en
1.3G    /usr/local/tmp/tmp.XTVaw0-dir
0       /usr/local/tmp/.nobackup
254.6M  /usr/local/tmp/tmp.XTVaw0
0       /usr/local/tmp/.watchdog
1.5G    /usr/local/tmp
Also noch Luft.

Soweit sieht das also gut aus, das Problem ist nur... die WebUI rödelt noch immer.
D_WebUI_arbeitet.JPG
D_WebUI_arbeitet.JPG (23.78 KiB) 3736 mal betrachtet
Und das gut eine Stunde nach Erstellung der Dateien.

Gibt es hier womöglich ein Timeout oder ähnliches?

Ich werde das bei Gelegenheit noch mal mit einer schnelleren Karte probieren.

Benutzeravatar
jmaus
Beiträge: 9819
Registriert: 17.02.2015, 14:45
System: Alternative CCU (auf Basis OCCU)
Wohnort: Dresden
Hat sich bedankt: 459 Mal
Danksagung erhalten: 1856 Mal
Kontaktdaten:

Re: RaspberryMatic 3.57.5.20210424 – Firmware Upgrade Problem - Analyse

Beitrag von jmaus » 28.04.2021, 20:01

Danke für diese sehe gute Analyse! In der Tat denke ich auch das es hier ggf irgendein timeout gibt in das die WebUI rennt. Kannst du vielleicht mal überwachen wie lange es dauert bis die zip datei vollständig hochgeladen und ausgepackt ist?

Auch darfst du nicht vergessen, das nach dem hochladen +auspacken noch ein checksum check usw passiert der ggf auch nich etwas dauern kann. Beobachte also mal noch zusätzlich die prozessauslastung via top usw. da sollte dann ein sha256sum prozess nochmal am schluss über die img datei fräsen.
RaspberryMatic 3.75.6.20240316 @ ProxmoxVE – ~200 Hm-RF/HmIP-RF/HmIPW Geräte + ioBroker + HomeAssistant – GitHub / Sponsors / PayPal / ☕️

Benutzeravatar
Baxxy
Beiträge: 10648
Registriert: 18.12.2018, 15:45
System: Alternative CCU (auf Basis OCCU)
Hat sich bedankt: 597 Mal
Danksagung erhalten: 2180 Mal

Re: RaspberryMatic 3.57.5.20210424 – Firmware Upgrade Problem - Analyse

Beitrag von Baxxy » 28.04.2021, 20:03

So, der exakt gleiche Test nur mit anderer SD-Karte (Sandisk Extreme U3 / V30) ist durch.

Ergebnis:
Firmwareupdate erfolgreich in ca. 15Min durchgeführt.
(3.57.4.20210320 --> 3.57.5.20210424 mit 2GB userfs über WebUI Upload)

Schein also tatsächlich (zumindest in diesem Fall) ein Timeout-Problem zu sein.

Grüße
Baxxy

Benutzeravatar
Baxxy
Beiträge: 10648
Registriert: 18.12.2018, 15:45
System: Alternative CCU (auf Basis OCCU)
Hat sich bedankt: 597 Mal
Danksagung erhalten: 2180 Mal

Re: RaspberryMatic 3.57.5.20210424 – Firmware Upgrade Problem - Analyse

Beitrag von Baxxy » 28.04.2021, 20:11

jmaus hat geschrieben:
28.04.2021, 20:01
wie lange es dauert bis...
Ok, die Zeiten hatte ich jetzt nicht gestoppt. Ich lasse das nochmal mit ner Sony 8GB Class 4 laufen. Die sollte ja von der Geschwindigkeit nahe an der Class 4 der CCU3 liegen.

Ich glaube zum checksum check kam es gar nicht mehr. Aber ich beobachte nochmal genauer.

Grüße
Baxxy

Benutzeravatar
Baxxy
Beiträge: 10648
Registriert: 18.12.2018, 15:45
System: Alternative CCU (auf Basis OCCU)
Hat sich bedankt: 597 Mal
Danksagung erhalten: 2180 Mal

Re: RaspberryMatic 3.57.5.20210424 – Firmware Upgrade Problem - Analyse

Beitrag von Baxxy » 28.04.2021, 22:27

Sorry Jens, ich werfe das Handtuch... denke ich.

Mit der Sony 8GB Class 4 schaffe ich es nicht mal die "RaspberryMatic-3.57.5.20210424-rpi3.zip" über die WebUI hochzuladen. Der Upload ist quälend langsam und nach exakt 10 Minuten scheint er abzubrechen und von vorn zu beginnen. In /usr/local/tmp bleiben dann jedesmal "verstümmelte" Dateien zurück.

Mit Etcher unter Windows wurde die Karte mit rund 10 MB/s beschrieben. Mache ich unter RM einen einfachen Test...

Code: Alles auswählen

root@ccu3-webui:~# dd if=/dev/zero of=/usr/local/tmp/100MB.test_1 bs=1M count=100
100+0 records in
100+0 records out
104857600 bytes (100.0MB) copied, 231.714078 seconds, 441.9KB/s
sieht das echt mau aus.

Klar kann man das nicht direkt vergleichen aber der Unterschied ist schon enorm. Wenn die CCU3-SD tatsächlich auch so lahm ist wundert mich nix.
Das passt dann auch zu einigen Aussagen im anderen Thread das es "ewig dauert".

Momentan läuft das "direkt-Upgrade". Mal sehen.

Grüße
Baxxy

Benutzeravatar
Baxxy
Beiträge: 10648
Registriert: 18.12.2018, 15:45
System: Alternative CCU (auf Basis OCCU)
Hat sich bedankt: 597 Mal
Danksagung erhalten: 2180 Mal

Re: RaspberryMatic 3.57.5.20210424 – Firmware Upgrade Problem - Analyse

Beitrag von Baxxy » 28.04.2021, 23:52

Ein richtiges Fazit kann ich leider nicht liefern. :roll:

Auffällig ist, das die RaspberryMatic's die ich mit dem "Wechselimage" [RaspberryMatic-3.57.4.20210320-ccu3.tgz] erzeugt habe eine drastisch reduzierte Schreibrate der SD-Karten aufweisen. (Grob geschätzt 1/10 der normalerweise möglichen Schreibrate)
Dieser Umstand gepaart mit der recht langsamen Original CCU3 SD-Karte führt teilweise zu wiederkehrenden Abbrüchen des Uploads (die man aber nicht sieht) so das man da schon in einer Endlosschleife hängen bleibt. (passiert wenn der Upload länger als 10Min dauert)
Schafft man den Upload dauert das entpacken und erzeugen des Images teilweise so lange das man auch da wieder in irgendeinen Timeout läuft.
Mit "Glück" läuft das vielleicht mal durch, aber drauf verlassen kann man sich aktuell nicht.

Möglich das nur die von mir benutzte RaspberryMatic-3.57.4.20210320-ccu3.tgz diese Probleme aufweist.

Meine Empfehlung für alle CCU3 --> RM Umsteiger!
  • schnappt euch eine frische gute SD-Karte und bespielt sie mit dem aktuellen RaspberryMatic-Image
  • schnappt euch einen TX6 Schraubendreher, öffnet eure CCU3 und tauscht die SD-Karte gegen die frische RM-Karte aus
  • macht die kurze Ersteinrichtung auf der RaspberryMatic im CCU3-Pelz und spielt dann Euer Backup ein
Dann habt ihr nicht nur die volle Größe der SD-Karte zur Verfügung sondern seid auch bestens für die Zukunft gerüstet.

Grüße
Baxxy

Edit der Vollständigkeit halber:
Die im Test verwendete lahme Class 2 SD Karte ließ sich mit einer regulär geflashten 3.57.4.20210320 in ca. 23Min problemlos auf die 3.57.5.20210424 upgraden.

jp112sdl
Beiträge: 12085
Registriert: 20.11.2016, 20:01
Hat sich bedankt: 847 Mal
Danksagung erhalten: 2139 Mal
Kontaktdaten:

Re: RaspberryMatic 3.57.5.20210424 – Firmware Upgrade Problem - Analyse

Beitrag von jp112sdl » 29.04.2021, 07:20

Wenn ich es richtig sehe, bleibt die Geschichte hier irgendwo hängen:
https://github.com/jens-maus/RaspberryM ... #L927-L948

# check for .zip läuft durch. Die ZIP wird entpackt und auch das file delete -force -- $filename kam noch, weil die ZIP nun fehlt.
# check for .img soll die .img nach new_firmware.img umbenennen - dazu kommt es aber nicht mehr.

Da das vorher nie aufgetreten ist:
Könnte es mit dem lighttpd zusammenhängen, der nach zu langem Warten die Verbindung wegschmeißt?
Wir hatten mit dem Kollegen ja erst kürzlich das Problem mit langen URLs.

Vielleicht lässt sich zwischen den einzelnen if {$file_invalid != 0} {...}-Abschnitten noch Debug in eine Datei schreiben.
Aber CGI ist nicht so meins. :|

VG,
Jérôme ☕️

---
Support for my Homebrew-Devices: Download JP-HB-Devices Addon

Benutzeravatar
Baxxy
Beiträge: 10648
Registriert: 18.12.2018, 15:45
System: Alternative CCU (auf Basis OCCU)
Hat sich bedankt: 597 Mal
Danksagung erhalten: 2180 Mal

Re: RaspberryMatic 3.57.5.20210424 – Firmware Upgrade Problem - Analyse

Beitrag von Baxxy » 29.04.2021, 09:22

Irgendwie scheinen die "Umsteige-RaspberryMatic's tatsächlich mit gezogener Handbremse (bezüglich SD Schreibgeschwindigkeit) zu laufen wenn nach dem Umstieg der System-Reset nicht ausgeführt wurde.
Am zu kleinen userfs (2GB) liegt das eher nicht. Denn selbst wenn ich die Partition auf 3 oder 4GB vergrößere bleibt das so.

Hier nochmal der Vergleich mit meiner schnellsten SD (Sandisk Extreme U3 / V30):

Code: Alles auswählen

Ohne System-Reset:
zwischen 3,2 und 3,9 MB/s

mit System-Reset:
zwischen 11,2 und 13,5 MB/s
Also grob gesagt 1/3 Schreibgeschwindigkeit wenn kein System-Reset durchgeführt wurde.

Ist die "Handbremse" durch den System-Reset gelöst worden läuft mit dieser Karte ein reguläres Update in ca. 10Min durch.

Damit ist für mich klar das sich die Probleme durch den "System-Reset" lösen lassen.

Und fertig... :wink:

Grüße Baxxy

Anbeku
Beiträge: 50
Registriert: 12.02.2021, 08:41
System: CCU
Hat sich bedankt: 15 Mal
Danksagung erhalten: 4 Mal

Re: RaspberryMatic – Firmware Upgrade Probleme - Analyse

Beitrag von Anbeku » 29.04.2021, 14:11

Bei mir hat der System-Reset der CCU3 leider nicht das Problem gelöst. Egal ob ich in der Gui das Image vom Rechner hochlade oder alles in einem Schritt, der Ladebalken geht auch nach Ewigkeiten nicht weg. Keine Ahnung, was ich da machen soll.

Benutzeravatar
Baxxy
Beiträge: 10648
Registriert: 18.12.2018, 15:45
System: Alternative CCU (auf Basis OCCU)
Hat sich bedankt: 597 Mal
Danksagung erhalten: 2180 Mal

Re: RaspberryMatic – Firmware Upgrade Probleme - Analyse

Beitrag von Baxxy » 29.04.2021, 14:28

Anbeku hat geschrieben:
29.04.2021, 14:11
Keine Ahnung, was ich da machen soll.
Hmm, bei meinen Test's hatte das mehrfach erfolgreich funktioniert.
Vielleicht doch mal in Erwägung ziehen eine neue SD-Karte mit frischem RM-Image in deine Zentrale einzupflanzen.
Support und Garantie seitens eQ-3 sind eh flöten gegangen durch das aufspielen einer Fremdsoftware.

Das "schwierigste" dabei ist, meines Erachtens, einen passenden TX6 Schraubendreher aufzutreiben.

Grüße
Baxxy

Antworten

Zurück zu „RaspberryMatic“