Webseitenabfrage mit JSON

Einrichtung, Nutzung und Hilfe zu RaspberryMatic (OCCU auf Raspberry Pi)

Moderatoren: jmaus, Co-Administratoren

Fonzo
Beiträge: 4421
Registriert: 22.05.2012, 08:40
System: CCU
Hat sich bedankt: 19 Mal
Danksagung erhalten: 272 Mal

Re: Webseitenabfrage mit JSON

Beitrag von Fonzo » 14.05.2021, 08:41

cmjay hat geschrieben:
14.05.2021, 08:34
weil ich für die Abfrage einen Browser benötige?
Nein brauchst Du nicht zwingend, das geht mit JavaScript selber, siehe oben.

cmjay
Beiträge: 1487
Registriert: 19.09.2012, 10:53
System: CCU
Wohnort: Jottweedee
Hat sich bedankt: 142 Mal
Danksagung erhalten: 156 Mal

Re: Webseitenabfrage mit JSON

Beitrag von cmjay » 14.05.2021, 18:56

Nicht ganz, das hängt davon ab wie RaspberryMatic konfiguriert ist, aber da ist zunächst genauso wie auf der CCU3 auch der NEO Server installiert
Bin gerade dabei, mich mit dem vorgeschlagenen NEO Server zu beschäftigen (nach Anleitung im Homematic Know-How Teil 27). Hab ihn in der RM aktiviert, aber dann brauche ich ja scheinbar noch den AIO Creator NEO um irgendwas damit anstellen zu können.
Bevor ich da unnötig was installiere:
Verstehe ich das richtig, dass ich für das Dingen auf jeden Fall eine Lizenz kaufen muss, um ihn benutzen zu können? Kein Free Trial oder eingeschränkte Benutzung oder sowas? Beim Kauf einer CCU3 liegt ja scheinbar eine Lizenz bei. Bei RM selbstverständlich nicht.

Ich hatte eigentlich nicht vor, für dieses Experiment auf gut Glück Geld auszugeben, ohne zu wissen, ob der Ansatz über den NEO Server mich überhaupt zum Ziel führt.
Es kann leider nicht ganz ausgeschlossen werden, dass ich mich irre.
HmIP muss leider draussen bleiben.
ACHTUNG! Per Portweiterleitung aus dem Internet erreichbare CCU-WebUI ist unsicher! AUCH MIT PASSWORTSCHUTZ! Daher: Portweiterleitung deaktivieren!

Fonzo
Beiträge: 4421
Registriert: 22.05.2012, 08:40
System: CCU
Hat sich bedankt: 19 Mal
Danksagung erhalten: 272 Mal

Re: Webseitenabfrage mit JSON

Beitrag von Fonzo » 14.05.2021, 19:06

cmjay hat geschrieben:
14.05.2021, 18:56
Hab ihn in der RM aktiviert, aber dann brauche ich ja scheinbar noch den AIO Creator NEO um irgendwas damit anstellen zu können.
Ja die Skripte erstellt Du auf Deinem Rechner und überträgst die dann auf die CCU bzw. RaspberryMatic.
cmjay hat geschrieben:
14.05.2021, 18:56
Verstehe ich das richtig, dass ich für das Dingen auf jeden Fall eine Lizenz kaufen muss, um ihn benutzen zu können?
Wenn Du das im größerem Umfang nutzten willst brauchst Du einen Lizenz. Zwei Tasks zum Ausprobieren sind frei. Wenn Du also erst mal nur dafür nutzten willst, geht das auch ohne eine Lizenz.
cmjay hat geschrieben:
14.05.2021, 18:56
Kein Free Trial oder eingeschränkte Benutzung oder sowas?
Doch gibt einen Testmodus, diesen müsstst Du nur aktivieren.
cmjay hat geschrieben:
14.05.2021, 18:56
Ich hatte eigentlich nicht vor, für dieses Experiment auf gut Glück Geld auszugeben
Würde ich an Deiner Stelle auch nicht, daher erst mal prüfen ob das so funktioniert wie Du Dir das vielleicht vorstellst. Der ganze Ansatz ist auch eher nur was wenn Du Dich zumindest ein wenig mit Javascript auskennen solltest. Nur für das eine Skript bzw. Task der das Skript aufruft, brauchst Du auch kein Geld ausgeben.

Benutzeravatar
jmaus
Beiträge: 7302
Registriert: 17.02.2015, 14:45
System: Alternative CCU (auf Basis OCCU)
Wohnort: Dresden
Hat sich bedankt: 196 Mal
Danksagung erhalten: 775 Mal
Kontaktdaten:

Re: Webseitenabfrage mit JSON

Beitrag von jmaus » 14.05.2021, 19:47

Alternativ könntest du das ganze auch (wenn du unbedingt javascript nutzen willst) das via entsprechender .js skripte und ausführung via „node“ kommando auf der kommandozeile in einer ssh sitzung zur CCU/RaspberryMatic ausführen.
RaspberryMatic 3.57.5.20210525 @ ESXi, ~190 Hm-RF/HmIP-RF/HmIPW Geräte, ioBroker – RaspberryMatic GitHub Projekt / Twitter

cmjay
Beiträge: 1487
Registriert: 19.09.2012, 10:53
System: CCU
Wohnort: Jottweedee
Hat sich bedankt: 142 Mal
Danksagung erhalten: 156 Mal

Re: Webseitenabfrage mit JSON

Beitrag von cmjay » 14.05.2021, 20:31

Sooooo. Hab mich jetzt durch alle Irrungen und Wirrungen bis hin zum Skripteditor im NEO Automation Manager gekämpft und Fonzo's Beispielskript mit der URL aus meinem Ursprungspost ausgeführt.
Und - TROMMELWIRBEL - es kommt derselbe Fehler 503 "Service Temporarily Unavailable". :cry:
Gleiches Ergebnis mit den IDs aller anderen Impfzentren.
Irgendwie beschleicht mich das Gefühl dass dieser Impfserver mich nicht leiden kann.

NEO AM Impfabfrage.png

Denke das war's dann mit dem NEO- Ansatz. Trotzdem nochmal ein Danke dafür!
Es kann leider nicht ganz ausgeschlossen werden, dass ich mich irre.
HmIP muss leider draussen bleiben.
ACHTUNG! Per Portweiterleitung aus dem Internet erreichbare CCU-WebUI ist unsicher! AUCH MIT PASSWORTSCHUTZ! Daher: Portweiterleitung deaktivieren!

Benutzeravatar
Black
Beiträge: 3935
Registriert: 12.09.2015, 22:31
System: Alternative CCU (auf Basis OCCU)
Wohnort: Wegberg
Hat sich bedankt: 128 Mal
Danksagung erhalten: 439 Mal
Kontaktdaten:

Re: Webseitenabfrage mit JSON

Beitrag von Black » 14.05.2021, 20:36

ich denke, du müsstest dir dem wget den header einer browserabfrage simuliert unterschieben, den ein browser auch verschicken würde.

also "User-Agent", "Content-Type" und "Accept" ,am besten mal das telegramm mit wireshark ansehen.

dann sollte der server schon mal nicht auf anhieb erkennen, das ein bot ihn versucht abfragen.

wenn die antwort ein JSON ist, kannst du es auf der RMatik auch mit JQ direkt parsen.

Black
Wenn das Fernsehprogramm immer mehr durch nervende Werbung unterbrochen wird und der Radiomoderator nur noch Müll erzählt, ist es besser, die Zeit für sinnvolle Dinge zu nutzen - mal aufs Klo zu gehen, ein Bier zu holen oder einfach mal den roten AUS-Knopf zu drücken.
Klick - und weg

technical contribution against annoying advertising

cmjay
Beiträge: 1487
Registriert: 19.09.2012, 10:53
System: CCU
Wohnort: Jottweedee
Hat sich bedankt: 142 Mal
Danksagung erhalten: 156 Mal

Re: Webseitenabfrage mit JSON

Beitrag von cmjay » 14.05.2021, 20:49

jmaus hat geschrieben:
14.05.2021, 19:47
Alternativ könntest du das ganze auch (wenn du unbedingt javascript nutzen willst)
Leider will der blöde Server offensichtlich unbedingt JavaScript benutzen. Ich wäre da gerne bereit zu verhandeln. :lol:
Ich kenne mich mit dem ganzen Web-Geraffel ja rein gar nicht aus. Dank Wikipedia weiss ich ja wenigstens, dass JSON ein Datenformat und keine Programmier- bzw. Skriptsprache ist. Aber dann hört's auch schon auf mit dem Verständnis, wie das alles zusammenhängt und -spielt. Sieht so aus als müsste man das tatsáchlich studieren.
via entsprechender .js skripte und ausführung via „node“ kommando auf der kommandozeile in einer ssh sitzung zur CCU/RaspberryMatic ausführen.
Ich glaube ich brauche einen Übersetzer ... :lol:
Hat ein "node" Kommando was mit Nodejs zu tun? Muss ich da was installieren?
Es würde aber schon daran scheitern, dass ich die .js Skripte nicht gebacken bekomme.

Hatte mir das alles irgendwie einfacher vorgestellt. Mit einer HTML-Webseite hätte ich's vielleicht noch mit meinem Laienwissen hingekriegt. :D
Es kann leider nicht ganz ausgeschlossen werden, dass ich mich irre.
HmIP muss leider draussen bleiben.
ACHTUNG! Per Portweiterleitung aus dem Internet erreichbare CCU-WebUI ist unsicher! AUCH MIT PASSWORTSCHUTZ! Daher: Portweiterleitung deaktivieren!

Fonzo
Beiträge: 4421
Registriert: 22.05.2012, 08:40
System: CCU
Hat sich bedankt: 19 Mal
Danksagung erhalten: 272 Mal

Re: Webseitenabfrage mit JSON

Beitrag von Fonzo » 14.05.2021, 21:02

cmjay hat geschrieben:
14.05.2021, 20:31
Irgendwie beschleicht mich das Gefühl dass dieser Impfserver mich nicht leiden kann.
Der Server verfügt über eine DDoS Protection, daher kommt da bei so einer simplen Skript Anfrage offensichtlich auch diese Fehlermeldung. Das auszuhebeln bzw. den Server ständig mit automatischen Abfragen zu belasten ist so offensichtlich vom Betreiber auch nicht gewünscht.
Daher hilft es in dem speziellen Fall vielleicht eher noch ein wenig Geduld zu haben. Sobald generell mehr Impfstoff vorliegt, wird die Wahrscheinlichkeit auch höher, dass man entsprechend einen Termin zugewiesen bekommt.

cmjay
Beiträge: 1487
Registriert: 19.09.2012, 10:53
System: CCU
Wohnort: Jottweedee
Hat sich bedankt: 142 Mal
Danksagung erhalten: 156 Mal

Re: Webseitenabfrage mit JSON

Beitrag von cmjay » 14.05.2021, 21:07

Black hat geschrieben:
14.05.2021, 20:36
ich denke, du müsstest dir dem wget den header einer browserabfrage simuliert unterschieben, den ein browser auch verschicken würde.
dann sollte der server schon mal nicht auf anhieb erkennen, das ein bot ihn versucht abfragen.
wenn die antwort ein JSON ist, kannst du es auf der RMatik auch mit JQ direkt parsen.
Boah Leute, bitte behaltet im Hinterkopf, dass ich nur ein kleines Gehirn und zudem noch keine Ahnung von der Materie habe ... :D
also "User-Agent", "Content-Type" und "Accept" ,am besten mal das telegramm mit wireshark ansehen.
Das können glücklicherweise die Web Developer Tools im FF schon von Hause aus. Hab mal Screenshots der entsprechenden Ausgaben angehängt.
header1.png
header1.png (23.05 KiB) 176 mal betrachtet
header2.png
Aber was will mir das sagen?
Es kann leider nicht ganz ausgeschlossen werden, dass ich mich irre.
HmIP muss leider draussen bleiben.
ACHTUNG! Per Portweiterleitung aus dem Internet erreichbare CCU-WebUI ist unsicher! AUCH MIT PASSWORTSCHUTZ! Daher: Portweiterleitung deaktivieren!

Fonzo
Beiträge: 4421
Registriert: 22.05.2012, 08:40
System: CCU
Hat sich bedankt: 19 Mal
Danksagung erhalten: 272 Mal

Re: Webseitenabfrage mit JSON

Beitrag von Fonzo » 14.05.2021, 21:17

cmjay hat geschrieben:
14.05.2021, 21:07
Aber was will mir das sagen?
Das will Dir sagen das Du am Cloudflare Server an der DDOS Protection scheiterst, dazu ist diese da. Und das zu umgehen ist eine Straftat, daher bin ich hier persönlich dann mit weiteren Tipps auch raus.
Zuletzt geändert von Fonzo am 14.05.2021, 21:21, insgesamt 1-mal geändert.

Antworten

Zurück zu „RaspberryMatic“