Webseitenabfrage mit JSON

Einrichtung, Nutzung und Hilfe zu RaspberryMatic (OCCU auf Raspberry Pi)

Moderatoren: jmaus, Co-Administratoren

Fonzo
Beiträge: 6743
Registriert: 22.05.2012, 08:40
System: CCU
Hat sich bedankt: 25 Mal
Danksagung erhalten: 485 Mal

Re: Webseitenabfrage mit JSON

Beitrag von Fonzo » 14.05.2021, 08:41

cmjay hat geschrieben:
14.05.2021, 08:34
weil ich für die Abfrage einen Browser benötige?
Nein brauchst Du nicht zwingend, das geht mit JavaScript selber, siehe oben.

cmjay
Beiträge: 2391
Registriert: 19.09.2012, 10:53
System: CCU
Wohnort: Jottweedee
Hat sich bedankt: 251 Mal
Danksagung erhalten: 351 Mal

Re: Webseitenabfrage mit JSON

Beitrag von cmjay » 14.05.2021, 18:56

Nicht ganz, das hängt davon ab wie RaspberryMatic konfiguriert ist, aber da ist zunächst genauso wie auf der CCU3 auch der NEO Server installiert
Bin gerade dabei, mich mit dem vorgeschlagenen NEO Server zu beschäftigen (nach Anleitung im Homematic Know-How Teil 27). Hab ihn in der RM aktiviert, aber dann brauche ich ja scheinbar noch den AIO Creator NEO um irgendwas damit anstellen zu können.
Bevor ich da unnötig was installiere:
Verstehe ich das richtig, dass ich für das Dingen auf jeden Fall eine Lizenz kaufen muss, um ihn benutzen zu können? Kein Free Trial oder eingeschränkte Benutzung oder sowas? Beim Kauf einer CCU3 liegt ja scheinbar eine Lizenz bei. Bei RM selbstverständlich nicht.

Ich hatte eigentlich nicht vor, für dieses Experiment auf gut Glück Geld auszugeben, ohne zu wissen, ob der Ansatz über den NEO Server mich überhaupt zum Ziel führt.
Es kann leider nicht ganz ausgeschlossen werden, dass ich mich irre.
HmIP muss leider draussen bleiben. in Ausnahmefällen erlaubt
ACHTUNG! Per Portweiterleitung aus dem Internet erreichbare CCU-WebUI ist unsicher! AUCH MIT PASSWORTSCHUTZ! Daher: Portweiterleitung deaktivieren!

Fonzo
Beiträge: 6743
Registriert: 22.05.2012, 08:40
System: CCU
Hat sich bedankt: 25 Mal
Danksagung erhalten: 485 Mal

Re: Webseitenabfrage mit JSON

Beitrag von Fonzo » 14.05.2021, 19:06

cmjay hat geschrieben:
14.05.2021, 18:56
Hab ihn in der RM aktiviert, aber dann brauche ich ja scheinbar noch den AIO Creator NEO um irgendwas damit anstellen zu können.
Ja die Skripte erstellt Du auf Deinem Rechner und überträgst die dann auf die CCU bzw. RaspberryMatic.
cmjay hat geschrieben:
14.05.2021, 18:56
Verstehe ich das richtig, dass ich für das Dingen auf jeden Fall eine Lizenz kaufen muss, um ihn benutzen zu können?
Wenn Du das im größerem Umfang nutzten willst brauchst Du einen Lizenz. Zwei Tasks zum Ausprobieren sind frei. Wenn Du also erst mal nur dafür nutzten willst, geht das auch ohne eine Lizenz.
cmjay hat geschrieben:
14.05.2021, 18:56
Kein Free Trial oder eingeschränkte Benutzung oder sowas?
Doch gibt einen Testmodus, diesen müsstst Du nur aktivieren.
cmjay hat geschrieben:
14.05.2021, 18:56
Ich hatte eigentlich nicht vor, für dieses Experiment auf gut Glück Geld auszugeben
Würde ich an Deiner Stelle auch nicht, daher erst mal prüfen ob das so funktioniert wie Du Dir das vielleicht vorstellst. Der ganze Ansatz ist auch eher nur was wenn Du Dich zumindest ein wenig mit Javascript auskennen solltest. Nur für das eine Skript bzw. Task der das Skript aufruft, brauchst Du auch kein Geld ausgeben.

Benutzeravatar
jmaus
Beiträge: 9862
Registriert: 17.02.2015, 14:45
System: Alternative CCU (auf Basis OCCU)
Wohnort: Dresden
Hat sich bedankt: 464 Mal
Danksagung erhalten: 1880 Mal
Kontaktdaten:

Re: Webseitenabfrage mit JSON

Beitrag von jmaus » 14.05.2021, 19:47

Alternativ könntest du das ganze auch (wenn du unbedingt javascript nutzen willst) das via entsprechender .js skripte und ausführung via „node“ kommando auf der kommandozeile in einer ssh sitzung zur CCU/RaspberryMatic ausführen.
RaspberryMatic 3.75.7.20240420 @ ProxmoxVE – ~200 Hm-RF/HmIP-RF/HmIPW Geräte + ioBroker + HomeAssistant – GitHub / Sponsors / PayPal / ☕️

cmjay
Beiträge: 2391
Registriert: 19.09.2012, 10:53
System: CCU
Wohnort: Jottweedee
Hat sich bedankt: 251 Mal
Danksagung erhalten: 351 Mal

Re: Webseitenabfrage mit JSON

Beitrag von cmjay » 14.05.2021, 20:31

Sooooo. Hab mich jetzt durch alle Irrungen und Wirrungen bis hin zum Skripteditor im NEO Automation Manager gekämpft und Fonzo's Beispielskript mit der URL aus meinem Ursprungspost ausgeführt.
Und - TROMMELWIRBEL - es kommt derselbe Fehler 503 "Service Temporarily Unavailable". :cry:
Gleiches Ergebnis mit den IDs aller anderen Impfzentren.
Irgendwie beschleicht mich das Gefühl dass dieser Impfserver mich nicht leiden kann.

NEO AM Impfabfrage.png

Denke das war's dann mit dem NEO- Ansatz. Trotzdem nochmal ein Danke dafür!
Es kann leider nicht ganz ausgeschlossen werden, dass ich mich irre.
HmIP muss leider draussen bleiben. in Ausnahmefällen erlaubt
ACHTUNG! Per Portweiterleitung aus dem Internet erreichbare CCU-WebUI ist unsicher! AUCH MIT PASSWORTSCHUTZ! Daher: Portweiterleitung deaktivieren!

Benutzeravatar
Black
Beiträge: 5480
Registriert: 12.09.2015, 22:31
System: Alternative CCU (auf Basis OCCU)
Wohnort: Wegberg
Hat sich bedankt: 424 Mal
Danksagung erhalten: 1074 Mal
Kontaktdaten:

Re: Webseitenabfrage mit JSON

Beitrag von Black » 14.05.2021, 20:36

ich denke, du müsstest dir dem wget den header einer browserabfrage simuliert unterschieben, den ein browser auch verschicken würde.

also "User-Agent", "Content-Type" und "Accept" ,am besten mal das telegramm mit wireshark ansehen.

dann sollte der server schon mal nicht auf anhieb erkennen, das ein bot ihn versucht abfragen.

wenn die antwort ein JSON ist, kannst du es auf der RMatik auch mit JQ direkt parsen.

Black
Wenn das Fernsehprogramm immer mehr durch nervende Werbung unterbrochen wird und der Radiomoderator nur noch Müll erzählt, ist es besser, die Zeit für sinnvolle Dinge zu nutzen -
mal aufs Klo zu gehen, ein Bier zu holen oder einfach mal den roten AUS-Knopf zu drücken. Klick - und weg

Script Time Scheduler V1.3
AstroSteuerung über Zeitmodul flexibel mit Offset / spätestens, frühestens
SDV 5.03.01 Das umfassende Entwicklungs und Diagnosetool für Homematik
Selektive Backups - Nützliche Dinge, die die WebUI nicht kann

Intel NUC6 Celeron 16GB mit 512GB SSD unter Proxxmox mit insgesamt 5 VM: 2 x bloatwarebefreiter Raspberrymatik, 2 x IOBroker als Middleware und einer MariaDB zur Archivierung. Verbrauch: 6W

technical contribution against annoying advertising

cmjay
Beiträge: 2391
Registriert: 19.09.2012, 10:53
System: CCU
Wohnort: Jottweedee
Hat sich bedankt: 251 Mal
Danksagung erhalten: 351 Mal

Re: Webseitenabfrage mit JSON

Beitrag von cmjay » 14.05.2021, 20:49

jmaus hat geschrieben:
14.05.2021, 19:47
Alternativ könntest du das ganze auch (wenn du unbedingt javascript nutzen willst)
Leider will der blöde Server offensichtlich unbedingt JavaScript benutzen. Ich wäre da gerne bereit zu verhandeln. :lol:
Ich kenne mich mit dem ganzen Web-Geraffel ja rein gar nicht aus. Dank Wikipedia weiss ich ja wenigstens, dass JSON ein Datenformat und keine Programmier- bzw. Skriptsprache ist. Aber dann hört's auch schon auf mit dem Verständnis, wie das alles zusammenhängt und -spielt. Sieht so aus als müsste man das tatsáchlich studieren.
via entsprechender .js skripte und ausführung via „node“ kommando auf der kommandozeile in einer ssh sitzung zur CCU/RaspberryMatic ausführen.
Ich glaube ich brauche einen Übersetzer ... :lol:
Hat ein "node" Kommando was mit Nodejs zu tun? Muss ich da was installieren?
Es würde aber schon daran scheitern, dass ich die .js Skripte nicht gebacken bekomme.

Hatte mir das alles irgendwie einfacher vorgestellt. Mit einer HTML-Webseite hätte ich's vielleicht noch mit meinem Laienwissen hingekriegt. :D
Es kann leider nicht ganz ausgeschlossen werden, dass ich mich irre.
HmIP muss leider draussen bleiben. in Ausnahmefällen erlaubt
ACHTUNG! Per Portweiterleitung aus dem Internet erreichbare CCU-WebUI ist unsicher! AUCH MIT PASSWORTSCHUTZ! Daher: Portweiterleitung deaktivieren!

Fonzo
Beiträge: 6743
Registriert: 22.05.2012, 08:40
System: CCU
Hat sich bedankt: 25 Mal
Danksagung erhalten: 485 Mal

Re: Webseitenabfrage mit JSON

Beitrag von Fonzo » 14.05.2021, 21:02

cmjay hat geschrieben:
14.05.2021, 20:31
Irgendwie beschleicht mich das Gefühl dass dieser Impfserver mich nicht leiden kann.
Der Server verfügt über eine DDoS Protection, daher kommt da bei so einer simplen Skript Anfrage offensichtlich auch diese Fehlermeldung. Das auszuhebeln bzw. den Server ständig mit automatischen Abfragen zu belasten ist so offensichtlich vom Betreiber auch nicht gewünscht.
Daher hilft es in dem speziellen Fall vielleicht eher noch ein wenig Geduld zu haben. Sobald generell mehr Impfstoff vorliegt, wird die Wahrscheinlichkeit auch höher, dass man entsprechend einen Termin zugewiesen bekommt.

cmjay
Beiträge: 2391
Registriert: 19.09.2012, 10:53
System: CCU
Wohnort: Jottweedee
Hat sich bedankt: 251 Mal
Danksagung erhalten: 351 Mal

Re: Webseitenabfrage mit JSON

Beitrag von cmjay » 14.05.2021, 21:07

Black hat geschrieben:
14.05.2021, 20:36
ich denke, du müsstest dir dem wget den header einer browserabfrage simuliert unterschieben, den ein browser auch verschicken würde.
dann sollte der server schon mal nicht auf anhieb erkennen, das ein bot ihn versucht abfragen.
wenn die antwort ein JSON ist, kannst du es auf der RMatik auch mit JQ direkt parsen.
Boah Leute, bitte behaltet im Hinterkopf, dass ich nur ein kleines Gehirn und zudem noch keine Ahnung von der Materie habe ... :D
also "User-Agent", "Content-Type" und "Accept" ,am besten mal das telegramm mit wireshark ansehen.
Das können glücklicherweise die Web Developer Tools im FF schon von Hause aus. Hab mal Screenshots der entsprechenden Ausgaben angehängt.
header1.png
header1.png (23.05 KiB) 339 mal betrachtet
header2.png
Aber was will mir das sagen?
Es kann leider nicht ganz ausgeschlossen werden, dass ich mich irre.
HmIP muss leider draussen bleiben. in Ausnahmefällen erlaubt
ACHTUNG! Per Portweiterleitung aus dem Internet erreichbare CCU-WebUI ist unsicher! AUCH MIT PASSWORTSCHUTZ! Daher: Portweiterleitung deaktivieren!

Fonzo
Beiträge: 6743
Registriert: 22.05.2012, 08:40
System: CCU
Hat sich bedankt: 25 Mal
Danksagung erhalten: 485 Mal

Re: Webseitenabfrage mit JSON

Beitrag von Fonzo » 14.05.2021, 21:17

cmjay hat geschrieben:
14.05.2021, 21:07
Aber was will mir das sagen?
Das will Dir sagen das Du am Cloudflare Server an der DDOS Protection scheiterst, dazu ist diese da. Und das zu umgehen ist eine Straftat, daher bin ich hier persönlich dann mit weiteren Tipps auch raus.
Zuletzt geändert von Fonzo am 14.05.2021, 21:21, insgesamt 1-mal geändert.

Antworten

Zurück zu „RaspberryMatic“