Ny hemmaserver plan - letar feedback

Några tankar:
Proxmox fick jag aldrig att fungera 100% stabilt: Ibland ”glömde” servern starta containrar eller virtuella maskiner vid boot. Min killgissning är att Proxmox försöker vara lite för smart för sitt eget bästa och att något/några av de verktyg systemet tillhandahåller för att förenkla för användare inte är hundraprocentigt stabila.
Jag har sedan flera år gått över till att köra vanliga serveroperativsystem på min hårdvara och har sedan dess inte haft den sortens problem. Med konfiguration som kod och dessutom tillgång till grafiska verktyg som Cockpit och Virt-Manager ser jag väldigt liten nytta av ett operativsystem specifikt inriktat på att agera hypervisor. Vill du köra ZFS problemfritt kan jag säga att stödet i Ubuntu är så bra jag sett utanför FreeBSD.

Att ”partitionera” funktioner eller områden i separata virtuella maskiner är generellt sett en bra idé, tycker jag: litar du lika mycket på all programvara som går på din server? Troligen inte. Då är det bra med mer skydd mellan dessa.

Enda kommentaren jag har om nätverksdesign är egentligen att allt som kan bör kopplas via kabel. Kör du allt på ett platt subnät går ju all trafik till andra kabelanslutna enheter bara genom switchen, inte via routern. Den senare används bara för kommunikation mot Internet, samt i ditt fall mot trådlösa enheter då du verkar använda (en nod i) meshsystemet både som router och som AP.

Varför blanda in pi-hole när du kommer undan med blocky eller adguard-home?

Home Assistant kör du väl i VM med deras egna image

Wireguard är väldigt enkelt i sig men vill du köra det mer komplicerat med Tailscale så visst

Iom att det är en hemserver hade jag nog kollat på att köra allt i FreeBSD men går väl att köra vad som helst så länge det finns paket så är det lätt att underhålla också.

Undrar om din bild/karta beskriver att du ska köra VM's med docker installerat och köra containers i dessa VM's? Det tycker jag låter som en lite mindre bra idé (om du inte senare ska köra flera hypervisors som kan migrera VM's mellan sig). Då tappar du mycket av grejen att köra containers om du ändå måste underhålla underliggande OS i VM och sedan också underhålla hypervisorn (proxmox, KVM bla bla). Då är det bättre, tycker jag, att minska mängden lager och köra containers direkt på proxmox, unraid eller vad du nu väljer.

Jag kör själv med flera av de du listat som containers. Dock kör jag på Unraid och vill absolut slå ett slag för det.
Det har även ZFS-stöd, nu i senare versioner om man nödvändigtvis vill ha det.
Container-hanterare á la Portainer är föga nödvändigt när man kör t ex Unraid. Är osäker på hur det är med Proxmox.
Unraid har redan ett fungerande webGUI för all managering.

Det mesta tycker jag är förhållandevis enkelt att sätta upp. Finns också en vettig YT:are som beskriver många grejor på ett bra sätt.
Om vi pratar containers så sparas respektive containers config som xml (under /boot/config/plugins/dockerMan/templates-user).
Dessa ligger på den USB-disk som man laddar OS från (glöm inte att ta backup på den med jämna mellanrum). Med hjälp av det biblioteket kan man sedan återskapa containers. Vill du editera, kopiera eller generalisera kan du göra det också i dessa xml's.
Själva datat som containern använder mountas in i de flesta fall och ligger fördelaktigen på en snabbare cache-disk (á la SSD i mirror). Beroende på hur mycket som konfigueras inne i containern, och hur ofta, så kanske den också behöver backas upp med jämna mellanrum.

Se till att fixa något som enkelt går att uppdatera och underhålla. Jag har satt mig i skiten att jag har en så "bred" installation av prylar att man inte orkar hänga med i updates. Har VM:ar som inte uppdaterats / bootats om på över 365 dagar

Nästa sak är lagring. Jag kör Truenas virtualiserat och det är i min valda setup inte helt lätt att få till bra direktacess mot diskarna.
Ett annat problem är att man behöver köra en delay på starten av grejorna som ska accessa nätverksshares eftersom Truenas:en måste hinna boota först.

Inga jätteproblem kanske, men problemet är att när nått skiter sig efter 17 månader så sitter man där och kliar huvudet över hur sin coola, men extremt grötiga frankenstein-setup egentligen fungerar.

Så. Keep it simple.

Min nästa setup kommer förmodligen bli två fysiska maskiner:
1) Någon form av nätverksdisk / lagring
2) En maskin med nån typ av containerkörning i botten. Dvs skala bort Virtuellmaskiner.

Utöver de som är förinstallerade så rekommenderar jag följande plugins:
Fix Common Problems
Unassigned Devices
unBALANCE
User Scripts

En annan grej som jag rekommenderar långt över starkt är att ha minst en cache-pool som är SSD's bara.
Jag kör en pool (i mirror) för VM-diskarna och appdata för containers och en pool (i stripe) för inkopiering av data (nedladdning eller kopiering av data från annan dator).

Jag har gjort det enkelt för mig och köpte en begagnad Dell Optiplex för 700kr med en äldre i5. Låg strömförbrukning men mer än tillräcklig prestanda för mina egna ändamål.

Jag kan ingenting om Proxmox och liknande och har ingen lust att lära mig och krångla. Jag flashade därför Home Assistant direkt på SSDn och löser allting från Home Assistant. Det passar kanske inte alla beroende på vad man vill göra, men låter inte som något hinder för dig.

Home Assistant samlar alla enheter från Philips Hue, diverse WiFi-pluggar, IKEA-prylar osv. i samma gränssnitt och låter mig även hantera allt med Apple HomeKit (inkl. allt som inte har stöd för HomeKit, tack vare Home Assistant) samt Google Home och via röstassistenter.

AdGuard för reklamfri surfning på både dator, mobiler och konsoler finns tillgängligt. Jag delar ut filmer och serier från en hårddisk för uppspelning med Infuse (eller valfri annan klient) och den agerar även Time Machine-backup för min Mac.

Wireguard gör att jag får reklamfritt på alla enheter även när jag inte är hemma samt att jag kommer åt nätverket utifrån.

Jag använder mitt egna domännamn med subdomän så att det alltid är smidigt att ansluta, oavsett var jag är.

Lite tankar bara:

Att isolera och bryta upp är självklart alltid positivt. Men någonstans i kalkylen måste man ta in sin egen riskprofil och hur mycket mervärde det faktiskt ger i det aktuella fallet.
Containrar i sig erbjuder en ganska rigorös isolering och jag har ganska svårt att se hur en hemmaserver skulle kvalificera sig för en hårdare säkerhet. Vill man gruppera applikationer är poddar som Podman erbjuder ett bra alternativ.

Jag hade själv valt att köra det så rent som möjligt för att inte skapa för många komplexitetslager. Kör ett OS du är bekväm med bare-metal och lägg containrar ovanpå det, docker eller podman är en smaksak. Men funktioner som ”userns=auto” i Podman kan erbjuda en lite mer säker medelväg även om det kräver en del pillande att få till med alla rättigheter till de tjänsterna du vill köra.

Oavsett hade jag nog kastat bort alternativet att ha Proxmox i en monolit.

@LicKeN
Jag håller med, mycket mer problem också om man inte förstår hur det fungerar sen när något börjar krångla...

Du kan helt klart köra med Pi-hole även om du använder blockering i webbläsare, kanske främst då det även täcker enheter som telefoner och TV-apparater. Själv tycker jag dock Adguard Home fungerar betydligt bättre än Pi-hole.

Japp, det är så jag kör redan idag, mountar NFS-shares på VM:arna som sen i sin tur kör Docker.

Jag har kört Proxmox i några år, på ett par olika maskiner, och aldrig upplevt problem.

Kör HaOS i en VM, ingen PI som får problem med sdkort.

Och jag tvivlar på att Proxmox skulle ha det goda rykte det har om det jag upplevt var ett generellt problem. Felet kan ha berott på hur mina backupjobb fungerar, eller på i vilken ordning mina ZFS pools startar, eller något helt annat, men faktum kvarstår att jag hade sällsynta men återkommande fel med det systemet som jag aldrig sett sen jag gick över till ett renare operativsystem som i mindre utsträckning försöker vara intelligent åt mig. 🙂

Precis, de gör mer eller mindre samma sak, men Pi-hole är rätt pilligt och Adguard Home känns mer slipat. Just att använda Pi-hole för DHCP fungerade även rätt dåligt för mig.

Adguard Home har en lista på skillnader.

Tips är att köpa typ ett LSI-kort och sätta snurrdiskarna på den och sätta SSD's på moderkortet. Det gör att trim fungerar.
Men jag tycker det låter bra att testa lite först i 30 dagar 👍👍

Jag kör vanlig Ubuntu LTS. Kör inga VM utan kör LXD för det jag vill köra som isolerade "maskiner" och docker när jag vill isolera applikationer. Kör ZFS för Docker och LXD, det är enkelt att sätta upp.

Har inte upplevt något behov av att köra något grafiskt gränssnitt. Tycker att det räcker med det som erbjuds i consolen.

Homeassistant m.m. kör jag i containers. Wireguard-tunneln och lite andra grejer kör jag i LXD-containers.

Skulle jag vilja ha gränssnitt för LXD-containers/VM:s, så jobbas det på LXD-UI som erbjuder detta (LXD kan numera hantera både containers och VM:s).

För nätverk och domän så kör jag en wild-card under en subdomän, typ "*.internt.min-domän.tld", denna pekar jag på en intern address till servern (192.168.xx.xx) som exponerar traefik genom docker. Jag kör letsencrypt i traefik som lägger till ett wild-card-cert så att alla mina tjänster (som kör i docker) exponeras via https under olika subdomäner, ex. homassistant.intern.min-domän.tld. På detta sättet slipper bråka med self-signed certs och kan enkelt exponera nya tjänster iom att det är en wild-card-pekning till traefik. Jag kan även använda samma traefik-instans för att exponera saker jag vill exponera publikt. Ex. homeassistant för att kunna kolla läget när jag inte är hemma. Finns möjligheten att exponera på någon obskyr subdomän som är svårgissad, samt att det går att köra IP restrictions osv.

Att använda tailscale mellan lokala maskiner låter som kaka på kaka. Kör du allt i samma interna virtuella nätverk på din host så kommer det ändå inte att exponeras, inget behov av att köra wireguard-tunnlar. Bättre att lägga nån dag på att förstå hur nätverk-interfaces (bridges) och iptables fungerar i Linux. Ger dig mycket bättre kontroll och förståelse.

För att automatisera installation av VM:s skulle jag kolla på att använda ansible. Det stöder typ allt du kan tänka dig. Jäkligt kraftfullt.

Jag tror att din auto-correct har fått fnatt!

Jag höll på att vela fram och tillbaka mellan olika lösningar på min nya hemmaserver men har nog till slut landat i MergerFS + SnapRAID. Tror jag kör den på proxmox. Blev inspirerad av denna bloggen, kan verkligen rekommendera!

https://perfectmediaserver.com/