Speicherverbrauch / RAM von Debmatic

[deifel]

Danke!
Also mit
echo 1 > /proc/sys/vm/drop_caches
räumt er zwar wieder Platz frei, aber nach ner Stunde ist wieder alles belegt.
Muss ich hier allgemein tätig werden, wenn der Kernel so viel Ram für Caches nutzt oder ist das okay?
Hab das bisher bei noch keinem Linux gehabt...

free-m sagt


total used free shared buff/cache available
Mem: 1956 224 65 20 1666 1551
Swap: 1997 0 1997

und bestätigt damit Alex Aussage.

[deimos]

Hi,

auf meinem System tritt das in der Form nicht auf. Wie sind denn deine Einstellungen der VM genau? Hast du der VM fix 2GB zugewiesen oder hast du da die Einstellungen mit Min/Max für den RAM?

Viele Grüße
Alex

[deifel]

Also den RAM hab ich fest zugewiesen (wie bei meinen anderen VMs auch).
Habe ein identisches Debian parallel laufen (ohne debmatic), dort habe ich das Problem lustigerweise auch nicht.
Hier sind die Einstellungen der VM:

Könnte mal versuchen, die VM zu kopieren und Debmatic runterzuwerfen um zu schauen, ob es sich dann anders verhält...

[deimos]

Hi,

ein "leere" Debian Installation wird sich anders verhalten: Die Caches werden bei Dateizugriffen aufgebaut. Ein "leeres" System hat kaum Dateizugriffe, irgendein Homematic Prozess sorgt aber für einige Zugriffe. Grundsätzlich sind die Caches auch absolut nichts Böses, weil der belegte RAM sofort freigegeben wird, wenn irgendein Prozess (innerhalb der VM) RAM anfordert. Blöd ist das nur, wenn der Host gerne mehr RAM hätte, weil die VM davon nichts mitbekommt. Da kann es dann helfen, wenn man einfach das mit dem drop_caches per Cron alle paar Stunden durchführt. Zusätzlich ist es auch hilfreich, wenn man der VM dynamische Memory Limits angibt, bei meinen Installationen von debmatic hat sich da 512/2048MB RAM als recht sinnvoll rausgestellt.

Viele Grüße
Alex

[deifel]

Hi Alex,

guter Hinweis!
Ich stelle die VM mal um auf variable RAM und beobachte, wie es sich dann verhält.
Wenn das nichts hilft, dann mach ich wirklich einfach per Cron alle paar Stunden drop-caches.

Herzlichen Dank für Deine Hilfe
Frank

[deifel]

Hallo nochmals,

habe jetzt den Speicher variabel von 500MB bis 3GB vergeben und 2 Tage beobachtet. Leider tritt der Problem immer noch auf.
Werde wohl doch einen cron anlegen müssen und den Cache so leeren.

Grüße
Frank

[Ahnungsbefreit]

Hallo @deifel,

hast Du das Problem lösen können? Ich habe das gleiche Phänomen, auch nachdem ich RAM auf MIN/MAX umgestellt habe.

[Ahnungsbefreit]

Hallo,

da ich keine Lösung für das Problem gefunden habe, bin ich jetzt (wieder) auf RaspberryMatic umgestiegen. Da es ja inzwischen ein Script zur Erstellung einer "turnkey" VM gibt, die sofort unter ProxMox läuft und jetzt konstant etwa 500MB Speicher belegt, war der Umstieg mit dem Einspielen eines Backups von DebMatic unter RaspberryMatic ganz schnell und problemlos erledigt. Eigentlich schade, mir hätte eine dauerhafte Lösung mit Debmatic als LXC besser gefallen (weil resourcenschonender), aber nachdem ich hier immer wieder Probleme mit Kernel-Headern hatte, bin ich jetzt wieder bei VM und RaspberryMatic.

Wie auch immer, ich bin sehr froh über die tolle Arbeit, die in beiden Projekten geleistet wird, danke dafür!

[wok1415]

Hi,

während der letzten Wochen habe ich mir genauer angesehen wie viel RAM von debmatic (und node-red) belegt wird - allerdings ohne virtuelle Maschine und direkt auf einem Pi Zero 2 W, der nur mit 512MB RAM ausgestattet ist.

Das RasPi OS (Bullseye 64 bit) belegt nur 71MB RAM, wenn man alle unnötigen Services abschaltet. Zusammen mit debmatic sind es dann 265MB und wenn zusätzlich noch node-red läuft werden insgesamt nur 354 MB RAM belegt. Das System läuft stabil - ohne swap ! Das Betriebssystem verwendet in diesem Fall nur soviel buffer/cache, dass noch mindestens 50 MB RAM verfügbar sind.

Im Vergleich dazu habe ich testweise RaspberryMatic auf einem Pi4 mit 4GB RAM installiert (incl RedMatic Addon). Die Kombination belegt mehr als 600MB RAM.

Daraus würde ich schließen, dass die beobachteten Probleme nicht auf debmatic an sich zurückzuführen sind. Ehrlich gesagt bin ich ziemlich begeistert davon wie gut es läuft.

Viele Grüße

Speicherbelegung:

Code: Alles auswählen

RasPiOS 64bit
# free -m
               total        used        free      shared  buff/cache   available
Mem:             467          71         293           0         101         342
Swap:              0           0           0

RasPiOS 64bit + debmatic
# free -m
               total        used        free      shared  buff/cache   available
Mem:             467         265         106           0          94         148
Swap:              0           0           0

RasPiOS 64bit + debmatic + node-red
 free -m
               total        used        free      shared  buff/cache   available
Mem:             467         354          23           0          89          59
Swap:              0           0           0

Services loaded:

Code: Alles auswählen

# systemctl --type=service
  UNIT                                                        LOAD   ACTIVE SUB     DESCRIPTION
  console-setup.service                                       loaded active exited  Set console font and keymap
  cron.service                                                loaded active running Regular background program processing daemon
  dbus.service                                                loaded active running D-Bus System Message Bus
  debmatic-eq3configd.service                                 loaded active running debmatic eq3configd
  debmatic-hmserver.service                                   loaded active running debmatic hmserver
  debmatic-hssled.service                                     loaded active running debmatic HssLED
  debmatic-lighttpd.service                                   loaded active running debmatic lighttpd
  debmatic-monitor-hb-rf-eth.service                          loaded active running debmatic Monitor HB-RF-ETH
  debmatic-multimacd.service                                  loaded active running debmatic multimacd
  debmatic-prepareinterfaceslist.service                      loaded active exited  debmatic prepare InterfacesList.xml
  debmatic-rega.service                                       loaded active running debmatic rega
  debmatic-rfd.service                                        loaded active running debmatic rfd
  debmatic-ssdpd.service                                      loaded active running debmatic ssdpd
  debmatic-startupfinished.service                            loaded active exited  debmatic startup finished
  debmatic-updatelgwfirmware.service                          loaded active exited  debmatic update lgw firmware
  debmatic-updatelgwkey.service                               loaded active exited  debmatic update lgw key
  debmatic-updaterffirmware.service                           loaded active exited  debmatic update rf firmware
  debmatic.service                                            loaded active exited  debmatic
  dhcpcd.service                                              loaded active running DHCP Client Daemon
  fake-hwclock.service                                        loaded active exited  Restore / save the current clock
  getty@tty1.service                                          loaded active running Getty on tty1
  ifupdown-pre.service                                        loaded active exited  Helper to synchronize boot up for ifupdown
  keyboard-setup.service                                      loaded active exited  Set the console keyboard layout
  kmod-static-nodes.service                                   loaded active exited  Create list of static device nodes for the current kernel
  lighttpd.service                                            loaded active running Lighttpd Daemon
  networking.service                                          loaded active exited  Raise network interfaces
  nodered.service                                             loaded active running Node-RED graphical event wiring tool
  raspi-config.service                                        loaded active exited  LSB: Switch to ondemand cpu governor (unless shift key is pressed)
  rc-local.service                                            loaded active exited  /etc/rc.local Compatibility
  rng-tools-debian.service                                    loaded active running LSB: rng-tools (Debian variant)
  serial-getty@ttyAMA0.service                                loaded active running Serial Getty on ttyAMA0
  ssh.service                                                 loaded active running OpenBSD Secure Shell server
  systemd-fsck-root.service                                   loaded active exited  File System Check on Root Device
  systemd-fsck@dev-disk-by\x2dpartuuid-493e4477\x2d01.service loaded active exited  File System Check on /dev/disk/by-partuuid/493e4477-01
  systemd-logind.service                                      loaded active running User Login Management
  systemd-modules-load.service                                loaded active exited  Load Kernel Modules
  systemd-random-seed.service                                 loaded active exited  Load/Save Random Seed
  systemd-remount-fs.service                                  loaded active exited  Remount Root and Kernel File Systems
  systemd-sysctl.service                                      loaded active exited  Apply Kernel Variables
  systemd-sysusers.service                                    loaded active exited  Create System Users
  systemd-timesyncd.service                                   loaded active running Network Time Synchronization
  systemd-tmpfiles-setup-dev.service                          loaded active exited  Create Static Device Nodes in /dev
  systemd-tmpfiles-setup.service                              loaded active exited  Create Volatile Files and Directories
  systemd-udev-trigger.service                                loaded active exited  Coldplug All udev Devices
  systemd-udevd.service                                       loaded active running Rule-based Manager for Device Events and Files
  systemd-update-utmp.service                                 loaded active exited  Update UTMP about System Boot/Shutdown
  systemd-user-sessions.service                               loaded active exited  Permit User Sessions
  user-runtime-dir@0.service                                  loaded active exited  User Runtime Directory /run/user/0
  user@0.service                                              loaded active running User Manager for UID 0
  wpa_supplicant.service                                      loaded active running WPA supplicant

Filesystems mounted:

Code: Alles auswählen

# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/root        58G  2.6G   53G   5% /
devtmpfs        104M     0  104M   0% /dev
tmpfs           234M     0  234M   0% /dev/shm
tmpfs            94M  908K   93M   1% /run
tmpfs           5.0M  4.0K  5.0M   1% /run/lock
/dev/mmcblk0p1  253M   31M  222M  13% /boot
tmpfs            47M     0   47M   0% /run/user/0