Forum Datorer och system Server Tråd Inlägg

Bygga Proxmox/NAS

1
Skriv svar
Permalänk
Medlem
●

Bygga Proxmox/NAS

Jag behöver lite inspiration för ett bygge. Har en gammal Qnap-rack nas idag som är EOL och inte kan göra så mycket kul. Den är för seg helt enkelt och för krånlig att ha att göara med.

Så jag tänkte bygga en hemmaserver som ska köra proxmox i grunden för VMs/NAS/etc.

Kikar på mini-itx men formfaktor spelar egentligen ingen roll då den ska stå i en källare.

Plats för 6-8 3.5 hdd. Köper refurb för att hålla ner priset och maxa totalmängden.
Kommer köra Raid 5 på dom mest troligt.

Kikar på något Kina-mobo med dubbla CPUs eller så kör jag bara en Intel i7 11/12/12 gen.
Har hellre fler cores för att köra mer i VM.

Blir det kina mobo så kan man klämma på rätt ordentligt med ECC minnen, blir det nyare mobo så kanske det blir lite begärnsat.

Vad har ni andra byggt där ute?

Totalkostnad för bygge utan diskar 4-5k Gärna så lite som möjligt givetvis.

Redigera
Citera flera Citera
Permalänk
Moderator
Festpilot 2020, Antiallo ★
●
Skrivet av Math-ematics:

Jag behöver lite inspiration för ett bygge. Har en gammal Qnap-rack nas idag som är EOL och inte kan göra så mycket kul. Den är för seg helt enkelt och för krånlig att ha att göara med.

Så jag tänkte bygga en hemmaserver som ska köra proxmox i grunden för VMs/NAS/etc.

Kikar på mini-itx men formfaktor spelar egentligen ingen roll då den ska stå i en källare.

Plats för 6-8 3.5 hdd. Köper refurb för att hålla ner priset och maxa totalmängden.
Kommer köra Raid 5 på dom mest troligt.

Kikar på något Kina-mobo med dubbla CPUs eller så kör jag bara en Intel i7 11/12/12 gen.
Har hellre fler cores för att köra mer i VM.

Blir det kina mobo så kan man klämma på rätt ordentligt med ECC minnen, blir det nyare mobo så kanske det blir lite begärnsat.

Vad har ni andra byggt där ute?

Totalkostnad för bygge utan diskar 4-5k Gärna så lite som möjligt givetvis.

Gå till inlägget

mITX med dubbla CPU:er? What?

Jag kör mITX med en 8kärnig lite äldre Ryzen, det som tar slut är inte CPU utan RAM.
Ingen ECC, men jag har inget som är "mission critical".

System huseras i Jonsbo N2, kunde likväl fortsatt på min Fractal Design Node 304.

Kör Proxmox i grunden med HBA-adapter skickad till VM med TrueNAS som sköter alla diskar. Dubbla NVME-diskar som alla VMs kör på.

Kostar nog lite mer än 4-5k nytt, men inte mycket mer. Snegla på lite äldre Ryzen + mITX så kommer du nog galet långt!

Visa signatur

 | PM:a Moderatorerna | Kontaktformuläret | Geeks Discord |
Testpilot, Skribent, Moderator & Geeks Gaming Huvudadmin

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Jag kör 2 gamla nucar som mitt "server" kluster... 6500T eller nått sånt med 64GB ram, fungerar svinbra.. skulle nog gå som överstående säger och köpa nått annat än dubbla cpuer. (notera den servern i min footer ska bytas också mot singlecpu)

Visa signatur

Battlestation: 12700k - RTX3090 - 32gb ram - 1tb M2 990 PRO - 2TB M2 crucial
Server: 2x Xeon E5-2670 - 64GB Ecc ram

Redigera
Citera flera Citera
Permalänk
Medlem
●

Jag har mycket i serverväg och kan säga följande:
Konsument CPU'er är bättre för de flesta, då snabbare kärnorna spelar större roll i många single-core applikationer som inte klarar att dela all last på alla kärnor. Och Ryzen är bra av två anledningar:
1. Billigt om du inte köper nyaste grejerna.
2. Det går att köra ECC-minnen (ej R-DIMM)

Och som nämnt, HBA kort är bra för NAS-delen.
Om ditt chassi har plats för större moderkort så kan du likväl strunta i formfaktorn och bara köpa det billigaste som funkar bra för dig.

Gå inte mot enterprise ifall du inte är ute efter enterprise-funktioner.

Visa signatur

Jag kan hittas på 127.0.0.1

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av DavidtheDoom:

mITX med dubbla CPU:er? What?

Jag kör mITX med en 8kärnig lite äldre Ryzen, det som tar slut är inte CPU utan RAM.
Ingen ECC, men jag har inget som är "mission critical".

System huseras i Jonsbo N2, kunde likväl fortsatt på min Fractal Design Node 304.

Kör Proxmox i grunden med HBA-adapter skickad till VM med TrueNAS som sköter alla diskar. Dubbla NVME-diskar som alla VMs kör på.

Kostar nog lite mer än 4-5k nytt, men inte mycket mer. Snegla på lite äldre Ryzen + mITX så kommer du nog galet långt!

Gå till inlägget

Jag vet inte vad jag tänkte när jag skrev mITX riktigt. E-ATX eller liknande. Har kikat lite på x99 kort som andra här har byggt med för dual cpu. Det går att få till rätt bra pris med mycket ram.

Dessvärre drar det ju mer el men kanske inte så himla farligt.

Kikade en del här förra året - https://www.sweclockers.com/forum/trad/1696481-bygga-nas-vs-k...
Behöver dock inget fancy chassi (Jonsbo n3) även om det ser trevligt ut. Kommer inte se lådan och den kommer stå i ett källarföråd.

Jag kör idag en racknas som sagt som huserar 24tb på ett gäng 4tb diskar som ska bytas ut. Den är för gammal och seg helt enkelt.

Det kommer köras 4-5vms och en del servrar som ligger och tuggar i bakgrunden.

Inte så mycket jättetungt förvisso men vill ha så det räcker och blir över.
Det du kör är ungefär vad jag siktar på. Kostar det mer så är det så, det är inte hela världen.

Ville hålla ner kostnaden för boxen då diskarna kommer gå på mycket mer än så.
Jag har ett gammalt Fractal chassi också som står någonstans. Får kika på det.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Jag kör proxmox på en AM4-baserad burk med ECC-minnen. Skaffade ett pcie-sata-kort med 10 portar som jag forwardar till en Vm som kör TrueNAS Scale, så att VM'en har direktacess till diskarna. Kör zfs med parvis speglade diskar i NAS'en och det har funkat klockrent.

Väldigt billigt samtidigt som funktionaliteten och pålitligheten är skapligt "enterprise"!

Redigera
Citera flera Citera
Permalänk
Sötast ★
●
Skrivet av Math-ematics:

Jag behöver lite inspiration för ett bygge. Har en gammal Qnap-rack nas idag som är EOL och inte kan göra så mycket kul. Den är för seg helt enkelt och för krånlig att ha att göara med.

Så jag tänkte bygga en hemmaserver som ska köra proxmox i grunden för VMs/NAS/etc.

Kikar på mini-itx men formfaktor spelar egentligen ingen roll då den ska stå i en källare.

Plats för 6-8 3.5 hdd. Köper refurb för att hålla ner priset och maxa totalmängden.
Kommer köra Raid 5 på dom mest troligt.

Kikar på något Kina-mobo med dubbla CPUs eller så kör jag bara en Intel i7 11/12/12 gen.
Har hellre fler cores för att köra mer i VM.

Blir det kina mobo så kan man klämma på rätt ordentligt med ECC minnen, blir det nyare mobo så kanske det blir lite begärnsat.

Vad har ni andra byggt där ute?

Totalkostnad för bygge utan diskar 4-5k Gärna så lite som möjligt givetvis.

Gå till inlägget

Du vill inte köra kinamoderkort för virtualisering och dyl. Ofta saknas funktioner i bios som behövs för att gör det. Det finns vissa hemmasnickrade bios man kan fixa men.... är det en bra startpunkt tro?

Visa signatur

https://imgur.com/sxldiIg

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av Allexz:

Du vill inte köra kinamoderkort för virtualisering och dyl. Ofta saknas funktioner i bios som behövs för att gör det. Det finns vissa hemmasnickrade bios man kan fixa men.... är det en bra startpunkt tro?

Gå till inlägget

Nja vi får se, det var mest för att komma åt fler cores och mycket ram. Det går förvisso på en single CPU bräda också med ECC.
Det kommer ligga en hel del och tugga samtidigt.

Redigera
Citera flera Citera
Permalänk
Medlem
●

https://www.ebay.co.uk/itm/386226605332?chn=ps&_ul=GB

Det här är lite åt hållet jag kikar.

Supermicro X10DRl-i LGA2011-3 Motherboard+2x Intel Xeon E5-2697v4 36c/72t 2.3GHz
Stödjer virtualisering bra också.

Redigera
Citera flera Citera
Permalänk
Sötast ★
●
Skrivet av Math-ematics:

https://www.ebay.co.uk/itm/386226605332?chn=ps&_ul=GB

Det här är lite åt hållet jag kikar.

Supermicro X10DRl-i LGA2011-3 Motherboard+2x Intel Xeon E5-2697v4 36c/72t 2.3GHz
Stödjer virtualisering bra också.

Gå till inlägget

Supermicro är fina grejer dock, inte en sk kinabräda

Visa signatur

https://imgur.com/sxldiIg

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av Allexz:

Supermicro är fina grejer dock, inte en sk kinabräda

Gå till inlägget

Nej med kinabräda menade jag ett x99 med cpu och ram. Finns en uppsjö på Ali/amazon.

Redigera
Citera flera Citera
Permalänk
Moderator
Festpilot 2020, Antiallo ★
●
Skrivet av Math-ematics:

Nej med kinabräda menade jag ett x99 med cpu och ram. Finns en uppsjö på Ali/amazon.

Gå till inlägget

Absolut, de har avhandlats tidigare och stödet för ordentlig virtualisering är inte så bra. Mer slump än regel att gå på tyvärr. Mest en varning, hittar du något som löser virtualisering bra så lär det vara fler som vill veta vilken modell det är som gäller!

Visa signatur

 | PM:a Moderatorerna | Kontaktformuläret | Geeks Discord |
Testpilot, Skribent, Moderator & Geeks Gaming Huvudadmin

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av DavidtheDoom:

Absolut, de har avhandlats tidigare och stödet för ordentlig virtualisering är inte så bra. Mer slump än regel att gå på tyvärr. Mest en varning, hittar du något som löser virtualisering bra så lär det vara fler som vill veta vilken modell det är som gäller!

Gå till inlägget

Jag ska höra mig lite med lite säljare av kinabrädor. Kanske går att hitta något som dom påstår sig stödja det och få hem ett prov. Borde inte vara omöjligt.

Det blir säkert ett Supermicro islutändan ändå eller ett singel med ett gäng cores.

Redigera
Citera flera Citera
Permalänk
Medlem
●

Kört unraid på min som jag jag pma dig om om du ville köpa , med en Windows vm och linux vm

Xeon 2680 v3 12c 24th
- 128GB RAM DDR4 ECC
- HUANANZHI X99 F8

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av DavidtheDoom:

mITX med dubbla CPU:er? What?

Jag kör mITX med en 8kärnig lite äldre Ryzen, det som tar slut är inte CPU utan RAM.
Ingen ECC, men jag har inget som är "mission critical".

System huseras i Jonsbo N2, kunde likväl fortsatt på min Fractal Design Node 304.

Kör Proxmox i grunden med HBA-adapter skickad till VM med TrueNAS som sköter alla diskar. Dubbla NVME-diskar som alla VMs kör på.

Kostar nog lite mer än 4-5k nytt, men inte mycket mer. Snegla på lite äldre Ryzen + mITX så kommer du nog galet långt!

Gå till inlägget

dela resurs via nätverk nfs smb ect. går bra om man inte har ngåra krav på prestanda.

bättre att mount lagringen direkt i containrar, så får man låg latens för allt man kör

Visa signatur

Nätverksnörd

Redigera
Citera flera Citera
Permalänk
Moderator
Festpilot 2020, Antiallo ★
●
Skrivet av moire:

dela resurs via nätverk nfs smb ect. går bra om man inte har ngåra krav på prestanda.

bättre att mount lagringen direkt i containrar, så får man låg latens för allt man kör

Gå till inlägget

Ja, beror ju helt på vad man vill åstadkomma. Min nasen har inga prestandakrav. De grejer som jobbar ligger på två speglade NVME-diskar så det finns ju långt mer lokal prestanda den vägen om man ska jobba med lagring.

Visa signatur

 | PM:a Moderatorerna | Kontaktformuläret | Geeks Discord |
Testpilot, Skribent, Moderator & Geeks Gaming Huvudadmin

Redigera
Citera flera Citera
Permalänk
Medlem
●

Kan jag fråga dig om vilka VM å services du tänker köra?
Ingen mening att köpa 72 cores om du inte ska virtualisera Windows, AI, cloudgaming eller liknande. Det hamnar bara på din ström räkning🤣.
Oavsett...köp en massa RAM. Det är det som tar slut först. Ju mer du har desto bättre. Bara en xeon v4 är nog till väldigt mycket. Lenovo p700/710/520 får du för billigt. Xeon v4 är att föredra framför v3 pga strömförbrukning. De modeller av epyc som börjar bli billiga men de har låg clock speed.

Rekommenderar också HBA+SAS enterprise diskar. En 6gb/d HBA räcker långt men 12gb/s börjar bli billiga.

Visa signatur

Fractal Design Define R6, ASUS X99a, Xeon E5-2697v3@3.5Ghz allcore, 64gb Hynix ECC REG 2133Mhz, 7900xt, 2.5gb nic

Server: Proxmox med OMV7, Teuenas och annat virtuellt: Supermicro X9SRH-7F, 64gb RAM, Xeon 2651v2, 4x10tb, 2.5gb Nic

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av Gnarf:

Kan jag fråga dig om vilka VM å services du tänker köra?
Ingen mening att köpa 72 cores om du inte ska virtualisera Windows, AI, cloudgaming eller liknande. Det hamnar bara på din ström räkning🤣.
Oavsett...köp en massa RAM. Det är det som tar slut först. Ju mer du har desto bättre. Bara en xeon v4 är nog till väldigt mycket. Lenovo p700/710/520 får du för billigt. Xeon v4 är att föredra framför v3 pga strömförbrukning. De modeller av epyc som börjar bli billiga men de har låg clock speed.

Rekommenderar också HBA+SAS enterprise diskar. En 6gb/d HBA räcker långt men 12gb/s börjar bli billiga.

Gå till inlägget

Bra fråga!

Jag har inte strukturen helt klar men det som kommer köra är
Proxmoxy som OS, sen blir det VMs med Truenas, Ubuntu,Win, pfsense/OPNsense (som kanske körs separat på egen hårdvara)
Ett par VMs för docker containers, gitlab, OpenVPN, Dns, webserver (har en del grejer som ligger både utåt och på LAN), Plex
NVR för videoövervakningen hemma och i stugan och Home assistant.

Men i dockers kommer det höras SQL (eller i VM) men containers kör eventuellt i lxc, pihole etc

Det körs en del temporära VMs idag på desktopen för jobbet. Gitlab mm.

Ett hemmalabb som också är Nas men jag vill inte behöva fundera på vad den klarar och inte.

Jobbar med IT-säkerhet så det är mycket testande där.

Kikar lite på åt detta hållet just nu https://www.ebay.com/itm/155747101868
https://www.ebay.com/itm/175882115966
https://www.ebay.com/itm/155747101868

Samma säljare bara olika cpu, säljaren kan gå ner i pris också med 120€~
Så då känns det inte helt bortkastat längre.

Redigera
Citera flera Citera
Permalänk
Medlem
●

Fin hårdvara! Jag ser att budgeten är på plats😀. Kan inte någonstans se att du behöver 48cores för det du ska köra. Epyc är enormt kraftfull men boost speed är låg. Har du sett lite åt Intel 11-14 serien eftersom ecores numera stöds i Proxmox? Eller en epyc med färre cores å högre cpu boost? Sen är det ju bra med allt ram å pci-e som epyc plattformen stöder å det finns ju en massa CPU att välja på PM du vill utveckla vad du ska köra på sikt. De allra flesta lxc klarar sig med 1-2 cores å VMs med 4ish. (Nu är jag väldigt generell). Om du tänker köra AI med t.ex stable diffusion etc så är det mest gpu som det står på och mest möjligt Vram. RAM är det som Proxmox äter så där ser det väldigt bra ut iaf 😀

Jag hade lagt NAS+pbs på en annan, svagare burk, gärna virtualiserat men att ha nas på primär proxmox är inte att rekommendera mtp redundans om något sker och det vill ske något någon gång, tro mig 🤣. Been there

Det fina men moderkortet du länkar till är att du kan starta med en CPU om du går för epyc å sen köpa en till eller en annan typ. Mer än nog cores på en av dem oavsett

Senast redigerat
Visa signatur

Fractal Design Define R6, ASUS X99a, Xeon E5-2697v3@3.5Ghz allcore, 64gb Hynix ECC REG 2133Mhz, 7900xt, 2.5gb nic

Server: Proxmox med OMV7, Teuenas och annat virtuellt: Supermicro X9SRH-7F, 64gb RAM, Xeon 2651v2, 4x10tb, 2.5gb Nic

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av Gnarf:

Fin hårdvara! Jag ser att budgeten är på plats😀. Kan inte någonstans se att du behöver 48cores för det du ska köra. Har su sett lite åt Intel 11-14 serien eftersom ecores numera stöds i Proxmox? Sen är det ju bra med allt ram å pci-e som epyc plattformen stöder å det finns ju en massa CPU att välja på PM du vill utveckla vad su ska köra på sikt. De allra flesta containers klarar sig med 1-2 cores å VMs med 4. Nu är jag väldigt generell. Om du tänker köra AI med t.ex stable diffusion etc så är det mest gpu som det står på och mest möjligt Vram.

Gå till inlägget

Du har givetvis helt rätt och budgeten kommer spricka rätt hårt ändå.
Men känner jag mig själv rätt kommer den köra rätt mycket som jag aldrig behöver.

Landade en ny tjänst med mycket bättre lön sedan jag postade första inlägget Så kommande lönerevison och bonus kan nog täcka upp en hel del.

Diskarna kommer ju kosta mer än resten oavsett inser jag ju.

Redigera
Citera flera Citera
Permalänk
Medlem
●

finns ju sådant här också

https://www.ebay.com/itm/134470421913?_trksid=p4375194.c10177...
epyc sedan 256 GB ram på det.

ska du köra lite egen NAS på samma hårdvara går det ju utmärkt, 8 hdds får man plats med i många chassin fractal R5, med XL får du långt fler diskar. tyvärr pga chia är alla rack chassin ap dyra.

Jag kör själv en heldel säk labbade på min NAS/server med proxmox

Visa signatur

Nätverksnörd

Redigera
Citera flera Citera
1
Skriv svar
Senaste nyheterna
Hårdvara
Mjukvara
Övrigt
Nytt i forumet
Datorkomponenter
System
Ljud, bild och kommunikation
Spel och mjukvara