RaspberryMatic 3.57.5.20210525 – Neue Version

Einrichtung, Nutzung und Hilfe zu RaspberryMatic (OCCU auf Raspberry Pi)

Moderatoren: jmaus, Co-Administratoren

Benutzeravatar
Baxxy
Beiträge: 10647
Registriert: 18.12.2018, 15:45
System: Alternative CCU (auf Basis OCCU)
Hat sich bedankt: 597 Mal
Danksagung erhalten: 2180 Mal

Re: RaspberryMatic 3.57.5.20210525 – Neue Version

Beitrag von Baxxy » 14.06.2021, 00:23

Soc007 hat geschrieben:
13.06.2021, 14:51
Vielleicht hat jemand Bock mir den Prozess des Upgrade zu erläutern, um z.B. folgende Fragen zu klären:
Eine grobe Analyse hatte ich im verlinkten Thread ja schon gemacht.
  • Das update.zip wird nach usr/local/tmp in ca. 16MB Häppchen (lighttpd-upload-xxxxxx) hochgeladen und dort dann zu einer tmp.xxxxxx zusammengefügt.
  • Anschließend wird die tmp.xxxxxx nach /usr/local/tmp/tmp.xxxxxx-dir entpackt.
  • Dort finden sich dann 5 Dateien wieder (EULA.de, EULA.en, LICENSE, RaspberryMatic-3.59.5.20210613-rpi3.img, RaspberryMatic-3.59.5.20210613-rpi3.img.sha256)
  • Danach wir die Checksumme geprüft und anschließend erscheint in der WebUI der Endbenutzer-Lizenzvertrag dem man zustimmen muss um die neue Firmware zu installieren.
  • Ein Klick auf "Installieren" startet dann das System ins Recoverysystem? wo dann /bootfs und /rootfs mit den neuen Dateien überschrieben werden.
Es ist auf jeden Fall lobenswert das du das Problem weiter analysieren möchtest!
Ist dir die Lust vergangen dann kommst du am schnellsten zum Ziel wenn du eine neue SD-Karte mit RaspberryMatic flashst und dein Backup dort einspielst. Grob geschätzt eine Sache von 10 Minuten.

Soc007
Beiträge: 88
Registriert: 16.01.2021, 17:23
System: Alternative CCU (auf Basis OCCU)
Hat sich bedankt: 2 Mal

Re: RaspberryMatic 3.57.5.20210525 – Neue Version

Beitrag von Soc007 » 14.06.2021, 05:21

Danke für die Details.
Wird der Installationsprozess irgendwo mirgelogt?

Benutzeravatar
jmaus
Beiträge: 9818
Registriert: 17.02.2015, 14:45
System: Alternative CCU (auf Basis OCCU)
Wohnort: Dresden
Hat sich bedankt: 459 Mal
Danksagung erhalten: 1855 Mal
Kontaktdaten:

Re: RaspberryMatic 3.57.5.20210525 – Neue Version

Beitrag von jmaus » 14.06.2021, 09:04

Baxxy hat geschrieben:
14.06.2021, 00:23
  • Das update.zip wird nach usr/local/tmp in ca. 16MB Häppchen (lighttpd-upload-xxxxxx) hochgeladen und dort dann zu einer tmp.xxxxxx zusammengefügt.
  • Anschließend wird die tmp.xxxxxx nach /usr/local/tmp/tmp.xxxxxx-dir entpackt.
  • Dort finden sich dann 5 Dateien wieder (EULA.de, EULA.en, LICENSE, RaspberryMatic-3.59.5.20210613-rpi3.img, RaspberryMatic-3.59.5.20210613-rpi3.img.sha256)
  • Danach wir die Checksumme geprüft und anschließend erscheint in der WebUI der Endbenutzer-Lizenzvertrag dem man zustimmen muss um die neue Firmware zu installieren.
  • Ein Klick auf "Installieren" startet dann das System ins Recoverysystem? wo dann /bootfs und /rootfs mit den neuen Dateien überschrieben werden.
Danke Baxxy für die erneute schöne Zusammenfassung. Das beschreibt das Prozedere eigentlich genau richtig. Hinzufügen möchte ich noch, das der Ablauf dieser Vorgehensweise bzw. die Zeit die der Upload des Updates bis zum Aufpoppen des EULA Fensters braucht sehr sehr stark davon abhängig ist welche SD Karte (Geschwindigkeit) bzw. welche darunterliegende CPU/Netzwerk Hardware verwendet wird. Und so ist es, das es z.B. unter einer virtuellen RaspberryMatic lediglich wenige Sekunden dauerr, hingegen mitunter auf einem RaspberryPi1 mit langsamer SD Karte bis zu 10-20 Minuten dauern kann und da rennen dann gewisse Browser bzw. Webserver-basierte Dinge wohl in ein Timeout, sodass es mitunter gar nicht mehr zum Aufpoppen des EULA Fensters und folglich nicht mehr zur möglichkeit des anwenden des hochgeladenen Updates kommt.

Die Frage wäre also wie man das ganze sinnvoll beschleunigen könnte. Da fällt mir eigentlich einzig alleine ein, das man z.B. probieren könnte Schritt 3 (prüfen der Checksummen) komplett wegzulassen weil unterm strich die Checksummen ohnehin noch einmal innerhalb des anwenden des Updates im Recovery System dann geprüft werden. Das ist also ein redundanter Schritt den ich eigentlich hinzugefügt hatte um ein unnötiges Rebooten zu vermeiden wenn das hochgeladene Update mal defekt sein sollte. Aber zur Not könnte man den auch weglassen. Wenn du das mal testen willst (ob das bereits zum Erfolg führt) dann kannst du einfach mal probieren folgende Zeilen in der /www/config/cp_maintenance.cgi Datei auszukommentieren, dann sollte das Checksumme-prüfen komplett nicht stattfinden:

https://github.com/jens-maus/RaspberryM ... #L974-L980

Abgesehen davon könnte man natürlich über generelle Verbesserungen in der WebUI nachdenken um dafür zu sorgen das bei diesem verfahren 1. er nicht in das benannte Timeout mehr rennt (wenn es dann mal wieder zu lange dauert) - denn nichts anderes macht dieses rm-update Addon - und 2. man da etwas mehr feedback dem nutzer liefert während das Update hochgeladen wird, etc.
RaspberryMatic 3.75.6.20240316 @ ProxmoxVE – ~200 Hm-RF/HmIP-RF/HmIPW Geräte + ioBroker + HomeAssistant – GitHub / Sponsors / PayPal / ☕️

Raspihausfan_1
Beiträge: 392
Registriert: 26.06.2018, 11:02
Hat sich bedankt: 4 Mal
Danksagung erhalten: 11 Mal

Re: RaspberryMatic 3.57.5.20210525 – Neue Version

Beitrag von Raspihausfan_1 » 14.06.2021, 11:29

jmaus hat geschrieben:
14.06.2021, 09:04
... auf einem RaspberryPi1 mit langsamer SD Karte bis zu 10-20 Minuten dauern kann und da rennen dann gewisse Browser bzw. Webserver-basierte Dinge wohl in ein Timeout, ...
Mein Vorschlag wäre, auf einen RasPi 1 zu verzichten, weil das unnötige Kapazitäten der Entwickler und User, welche antworten, bindet.
Wenn ich mal die Wartezeit (Reaktionszeit) für Update und Funktionen auf dem WebUI bis zum Erscheinen auf dem Screen zusammenrechne, und das mit dem Mindestlohn multipliziere, dann dürfte das gigantische Gelder ergeben, welche es erlauben, locker auf einen Pi 4 umzusteigen.

Soc007
Beiträge: 88
Registriert: 16.01.2021, 17:23
System: Alternative CCU (auf Basis OCCU)
Hat sich bedankt: 2 Mal

Re: RaspberryMatic 3.57.5.20210525 – Neue Version

Beitrag von Soc007 » 14.06.2021, 11:48

Sinnvoll ist sicherlich auch dem Endbenutzer einen Fortschritt(sbalken) zu präsentieren, in welchen Prozess sich das Update sich gerade befindet.
In meinem Fall ist der Raspi in der CCU3 intensiv mit irgendwas beschäftigt.
Die rote LED leuchtet ständig durch und laut TOP ist 48% der Auslastung im io zu finden.

Mir fehlt leider der Punkt wo (wenn überhaupt vorhanden) ein Log geschrieben wird um zu sehen in welchen Prozess sich der Update befindet.

Soc007
Beiträge: 88
Registriert: 16.01.2021, 17:23
System: Alternative CCU (auf Basis OCCU)
Hat sich bedankt: 2 Mal

Re: RaspberryMatic 3.57.5.20210525 – Neue Version

Beitrag von Soc007 » 14.06.2021, 12:01

Baxxy hat geschrieben:
14.06.2021, 00:23
Ist dir die Lust vergangen dann kommst du am schnellsten zum Ziel wenn du eine neue SD-Karte mit RaspberryMatic flashst und dein Backup dort einspielst. Grob geschätzt eine Sache von 10 Minuten.
Damit würde ich zwar das Problem "lösen", aber es nicht erklären.
Da ich keinen Zugzwang habe, analysiere ich lieber das Problem. Damit gibt es die Möglichkeit, wenn andere es auch haben (einer hier hat ja das gleiche Problem gehabt), ein eventuell vorliegendes Softwareproblem zu fixen, oder es wenigstens dokumentiert zu haben wo dieses Problem liegt.

Gruß

Soc007

Benutzeravatar
jmaus
Beiträge: 9818
Registriert: 17.02.2015, 14:45
System: Alternative CCU (auf Basis OCCU)
Wohnort: Dresden
Hat sich bedankt: 459 Mal
Danksagung erhalten: 1855 Mal
Kontaktdaten:

Re: RaspberryMatic 3.57.5.20210525 – Neue Version

Beitrag von jmaus » 14.06.2021, 12:15

Raspihausfan_1 hat geschrieben:
14.06.2021, 11:29
jmaus hat geschrieben:
14.06.2021, 09:04
... auf einem RaspberryPi1 mit langsamer SD Karte bis zu 10-20 Minuten dauern kann und da rennen dann gewisse Browser bzw. Webserver-basierte Dinge wohl in ein Timeout, ...
Mein Vorschlag wäre, auf einen RasPi 1 zu verzichten, weil das unnötige Kapazitäten der Entwickler und User, welche antworten, bindet.
Das mag dein Vorschlag sein, wird aber nicht kommen. Bis auf weiteres werden weiterhin alle RaspberryPi Generationen unterstützt werden. Und ob ich meine Kapazitäten daran binde obliegt nunmal mir :)
RaspberryMatic 3.75.6.20240316 @ ProxmoxVE – ~200 Hm-RF/HmIP-RF/HmIPW Geräte + ioBroker + HomeAssistant – GitHub / Sponsors / PayPal / ☕️

Benutzeravatar
jmaus
Beiträge: 9818
Registriert: 17.02.2015, 14:45
System: Alternative CCU (auf Basis OCCU)
Wohnort: Dresden
Hat sich bedankt: 459 Mal
Danksagung erhalten: 1855 Mal
Kontaktdaten:

Re: RaspberryMatic 3.57.5.20210525 – Neue Version

Beitrag von jmaus » 14.06.2021, 12:18

Soc007 hat geschrieben:
14.06.2021, 12:01
Baxxy hat geschrieben:
14.06.2021, 00:23
Ist dir die Lust vergangen dann kommst du am schnellsten zum Ziel wenn du eine neue SD-Karte mit RaspberryMatic flashst und dein Backup dort einspielst. Grob geschätzt eine Sache von 10 Minuten.
Damit würde ich zwar das Problem "lösen", aber es nicht erklären.
Da ich keinen Zugzwang habe, analysiere ich lieber das Problem.
Dann versuch doch die Zeilen Code die ich @Baxxy benannt habe einfach mal bei dir auszukommentieren und dann zu schauen ob das schon entlastung bringt. Und das die WebUI rottig ist in vielen Belangen ist leider so und lässt sich schwer bis gar nicht ändern. Wenn du allerdings kapazitäten hast, dann kannst du dich gerne ransetzen und den gesamten Update-Prozess in der WebUI verbessern. Dem Autor des "rm-update" Addons hatte ich das ursprünglich auch so angeraten - er hatte sich aber leider dazu entschieden das ganze in dieses Add-on einzubauen statt sein KnowHow zu nutzen die WebUI dahingehend zu patchen das solch ein Fortschrittsbalken usw gleich native von der WebUI angezeigt/genutzt wird.
RaspberryMatic 3.75.6.20240316 @ ProxmoxVE – ~200 Hm-RF/HmIP-RF/HmIPW Geräte + ioBroker + HomeAssistant – GitHub / Sponsors / PayPal / ☕️

Soc007
Beiträge: 88
Registriert: 16.01.2021, 17:23
System: Alternative CCU (auf Basis OCCU)
Hat sich bedankt: 2 Mal

Re: RaspberryMatic 3.57.5.20210525 – Neue Version

Beitrag von Soc007 » 14.06.2021, 15:35

Die CheckSum Zeile werde ich die Tage (bin aktuell beruflich leider Land unter) mal ausbauen und einen neuen Test durchführen.

Ich würde gerne bei der Weiterentwicklung unterstützen, aber habe vermutlich nicht das KnowHow hier den Prozess anzupassen.
Mir ist wder bekannt welche Programmiersprache verwendet wird, noch kenne ich mich mit GitHub aus.
Ich schaue mir das alles mal an. Vielleicht ist es doch zu bewältigen mit meinem rudimentären Wissen in dem Bereich.

Ist jemand bekannt ob der Update Prozess irgendwo mit ge-logged wird?

Benutzeravatar
Baxxy
Beiträge: 10647
Registriert: 18.12.2018, 15:45
System: Alternative CCU (auf Basis OCCU)
Hat sich bedankt: 597 Mal
Danksagung erhalten: 2180 Mal

Re: RaspberryMatic 3.57.5.20210525 – Neue Version

Beitrag von Baxxy » 14.06.2021, 16:23

Soc007 hat geschrieben:
14.06.2021, 15:35
ob der Update Prozess irgendwo mit ge-logged wird?
Soweit ich das sehe gibt es kein Logging des Prozesses.
Soc007 hat geschrieben:
14.06.2021, 15:35
Die CheckSum Zeile werde ich die Tage (bin aktuell beruflich leider Land unter) mal ausbauen
Damit entspricht die Funktionalität dem des rmupdate-AddOns, dort wird auch auf Checksummen-Prüfung nach dem Upload verzichtet.

Ob der Verzicht auf die Checksummen-Prüfung reicht um nicht in den Timeout zu rennen ist schwer vorherzusagen.
Bei meinen Test's lief teilweise schon der Upload in den Timeout, wurde der geschafft dauerte das entzippen zu lange.

Der eigentliche Fehler liegt m.E. nicht in der Update-Routine sondern irgendwo tiefer.
Mir fiel ja auf das die RaspberryMatics teilweise mit drastisch reduzierten SD-Schreibraten arbeiteten. Wieso, weshalb, warum... weiß ich nicht. Aber da kommt eben 1und1und1 zusammen. Irgendein Timeout, gepaart mit lahmer SD-Karte und zusätzlich reduzierter SD-Schreibrate.

Meine Empfehlungen lauten (in absteigender Reihenfolge) daher weiterhin:
  • neue SD-Karte mit frischem Image bespielen und dann Backup einspielen
  • das eigene System werksresetten und dann sein Backup einspielen
  • mit dem rmupdate-AddOn updaten

Letzteres hilft möglicherweise nur temporär und behebt den eigentlichen Fehler nicht.
Werksreset scheint auch nicht immer 100%ig zum Erfolg zu führen.

Grüße
Baxxy

Gesperrt

Zurück zu „RaspberryMatic“