Köpråd: Homelab Server

Permalänk
Medlem

Köpråd: Homelab Server

Hej!

Jag planerar att bygga/köpa min första hemmaserver och skulle verkligen uppskatta lite input från er med erfarenhet. Min tanke är att använda Proxmox och köra olika VMs för flera ändamål:

- Mediaserver
Streama filmer och bilder.

- Cybersecurity lab
Möjlighet att sätta upp flera webbservrar, databaser, osv., för pentestning och andra säkerhetsrelaterade övningar.

- Utvecklingsmiljö
VMs för utveckling av diverse applikationer och hobbyprojekt.

- Serverhosting
Hosting av webbplatser, spelservrar (t.ex. Minecraft, CS), med mera.

- Cloud gamehosting
Har ett Nvidia Tesla M40 som jag tänkte experimentera med för att se om det räcker till att hosta spelbara VMs.

Som ni ser är det en hel del olika användningsområden jag vill kunna utforska med min kommande server. Jag behöver inte ha allt igång samtidigt, men jag vill ha möjligheten att labba runt med olika tekniker/scenarion.

Eftersom jag är ny inom serverhårdvara, skulle jag gärna vilja veta vad ni tror jag behöver i termer av disk, RAM och CPU? Jag har en budget på max 20k, men köper gärna begagnat för att få mer för pengarna.

Jag hittade t.ex. denna på Blocket: https://www.blocket.se/annons/ostergotland/supermicro_4u_serv.... Vad tror ni om den?

Tack på förhand för all hjälp och tips!

Permalänk

Första frågan: Har du någonstans att ha servern där den kan stå utan att du stör ihjäl dig på fläktljudet samtidigt som datorn får tillräcklig kylning? I så fall kan en rackmonterbar pjäs vara aktuell. Annars rekommenderar jag starkt att antingen bygga själv, eller om du prompt vill ha serverhårdvara (det ville jag), köpa ett tornchassi och vara beredd på att byta+styra lite fläktar.

Vad gäller serverkraft för de flesta av de ändamål du beskriver skulle jag säga "mindre CPU men mer minne än du hoppas", om du huvudsakligen är ensam om maskinen. Jag har dock ingen erfarenhet av spelservrar: Kan hända någon av dem är väldigt hungrig, men jag har som sagt ingen aning.

Permalänk
Medlem
Skrivet av Det Otroliga Åbäket:

Första frågan: Har du någonstans att ha servern där den kan stå utan att du stör ihjäl dig på fläktljudet samtidigt som datorn får tillräcklig kylning? I så fall kan en rackmonterbar pjäs vara aktuell. Annars rekommenderar jag starkt att antingen bygga själv, eller om du prompt vill ha serverhårdvara (det ville jag), köpa ett tornchassi och vara beredd på att byta+styra lite fläktar.

Vad gäller serverkraft för de flesta av de ändamål du beskriver skulle jag säga "mindre CPU men mer minne än du hoppas", om du huvudsakligen är ensam om maskinen. Jag har dock ingen erfarenhet av spelservrar: Kan hända någon av dem är väldigt hungrig, men jag har som sagt ingen aning.

Håller med, jag har 2 xeon cpu:er som är begade, köpte ett Supermicro Moderkort från proshop, samt hade ECC DDR4 ram liggandes, sen har jag helt vanliga SATA diskar som mass storage som en pci-e slot med några m.2 diskar i för VM Datastores m.m.

Har även haft HP rackservrar hemma, största fördelen med denna typ är ju i datacenter å supportavtal m.m. som hemma pulare duger det gott med någon form av hemmabygge tycker jag.

Permalänk
Medlem

Servern kommer stå i eget rum i lägenheten, och det bästa hade ju såklart varit om man inte märker av att den överhuvudtaget, men det kanske är önsketänkande.

Att bygga själv är absolut ett alternativ, vill gärna lära mig mer om hårdvara. Men vad menar du att det blir för skillnad om jag bygger själv jämfört med att köra serverhårdvara med tornchassi? Det blir väl likadant i slutändan ändå? (Sorry för dumma frågar.. )

Permalänk
Medlem
Skrivet av aboocs:

Servern kommer stå i eget rum i lägenheten, och det bästa hade ju såklart varit om man inte märker av att den överhuvudtaget, men det kanske är önsketänkande.

Att bygga själv är absolut ett alternativ, vill gärna lära mig mer om hårdvara. Men vad menar du att det blir för skillnad om jag bygger själv jämfört med att köra serverhårdvara med tornchassi? Det blir väl likadant i slutändan ändå? (Sorry för dumma frågar.. )

Ja och nej, för de ändamålen du skall ha din server till så har du troligen ingen större nytta av de funktioner som finns i en färdigbyggd Rackserver/Towerserver från HP eller Dylikt..
Man kan styra dessa centralt, bios m.m. är rätt kapabel också med ILO m.m. Samt garantier i bios / firmware på att den är kompatibel med version bla bla av ex VMWARE osv, finns även special image:ar för just esxi m.m.

Jag skulle utan tvekan ha satsat på en hemmabyggd variant med nån form av Supermicro Moderkort, kolla även blocket på begade cpu:er samt ram

Permalänk
Medlem
Skrivet av Hansar:

Ja och nej, för de ändamålen du skall ha din server till så har du troligen ingen större nytta av de funktioner som finns i en färdigbyggd Rackserver/Towerserver från HP eller Dylikt..
Man kan styra dessa centralt, bios m.m. är rätt kapabel också med ILO m.m. Samt garantier i bios / firmware på att den är kompatibel med version bla bla av ex VMWARE osv, finns även special image:ar för just esxi m.m.

Jag skulle utan tvekan ha satsat på en hemmabyggd variant med nån form av Supermicro Moderkort, kolla även blocket på begade cpu:er samt ram

Okej! Tack för bra input! Kul att test på ett hemmabygge!

Men du skulle inte kunna ge exempel på chassi och "nån form av Supermicro Moderkort"? Jag har dålig koll men tänker att åtminstone moderkortet är väl viktigt att välja rätt från början.

Permalänk
Medlem

vilket moderkort beror ju på vilken cpu du hittar begat osv, sen angående chassi, vanligt ATX eller dyl duger beror på hur många diskar du har.
sök först på blocket efter ram minnet samt CPU, efter det kan du börja söka moderkort och sen chassit och disk

Permalänk
Snusfri

Jag kör en whitebox (egenbyggd) med liknande uppgifter som du vill ha
CPU: i5-10400F
RAM: 64GB
SSD: 500GB
HDD: 2x16TB, 3x4TB
OS: Proxmox

Sedan körs TrueNAS Core som ett VM och kör passtrough från mitt LSI 9223-8i för diskarna.

Har även ett gäng andra VM/LXC för Jellyfin Mediaserver, LEMP-server, Pihole, HAOS, Ollama etc.

Skulle jag bygga nytt idag skulle jag kika på något typ Xeon E5 2690v4 + 128GB RAM.

Visa signatur

WS: i9 13900K - 128GB RAM - 6.5TB SSD - RTX 3090 24GB - LG C2 42" - W11 Pro
LAPTOP 1: Lenovo Gaming 3 - 8GB RAM - 512GB SSD - GTX 1650
LAPTOP 2: Acer Swift 3 - 8GB RAM - 512GB SSD
SERVER: i5 10400F - 64GB RAM - 44TB HDD
NALLE: Pixel 9 Pro XL

Permalänk
Medlem
Skrivet av THB:

Jag kör en whitebox (egenbyggd) med liknande uppgifter som du vill ha
CPU: i5-10400F
RAM: 64GB
SSD: 500GB
HDD: 2x16TB, 3x4TB
OS: Proxmox

Sedan körs TrueNAS Core som ett VM och kör passtrough från mitt LSI 9223-8i för diskarna.

Har även ett gäng andra VM/LXC för Jellyfin Mediaserver, LEMP-server, Pihole, HAOS, Ollama etc.

Skulle jag bygga nytt idag skulle jag kika på något typ Xeon E5 2690v4 + 128GB RAM.

+1 för Aliexpress, kör min proxmox på en liknande setup (jingsaha och 2696v4 + 256GB) och tycker att det är svårslaget prismässigt för "hemmapul", även om en vill sätta upp rätt avancerade cluster.
Mina nästa steg blir troligen att sätta upp en till liknande server för att få redundans om något skulle hända med den första maskinen

Visa signatur

CPU: R7 5800X3D | GPU: XFX 6900XT Merc 319 | MB: Gigabyte X570 PRO-I| RAM: 2x16 Corsair LPX@3600MHz CL18|Cooling: Scythe Ninja 5 (Noctua A12x25)|PSU: Corsair SF750|SSD: Samsung 970 EVO Plus 1TB + Corsair MP510 4TB + Samsung 850 EVO 2TB + Samsung 850 PRO 2TB|CASE:NR200P

Permalänk
Medlem

Tack för bra tips!

Ja, prismässigt är det ju riktigt bra! långt under maxbudget! Man blir ju sugen att beställa direkt!

Ett krav är dock att jag ska kunna ansluta ett: https://www.techpowerup.com/gpu-specs/tesla-m40.c2771. Vilka specs på moderkortet ska jag kolla på för det?

Permalänk
Medlem

Jag noterade dessutom att du skrev "lägenheten", jag bor också i lägenhet, och det enda jag har i min setup som är "riktig server grade" är en poe-switch från TP-link som kan leverera typ 300W, och den lät satan stock (har mitt i en stängd klädkammare, och det var för högljutt), så satte i noctua ULN-adaptrar på fläktarna.
Tänk på att all "riktig" server-utrustning kommer att vara satta efter samma standard

Visa signatur

CPU: R7 5800X3D | GPU: XFX 6900XT Merc 319 | MB: Gigabyte X570 PRO-I| RAM: 2x16 Corsair LPX@3600MHz CL18|Cooling: Scythe Ninja 5 (Noctua A12x25)|PSU: Corsair SF750|SSD: Samsung 970 EVO Plus 1TB + Corsair MP510 4TB + Samsung 850 EVO 2TB + Samsung 850 PRO 2TB|CASE:NR200P

Permalänk
Medlem

jag rekommenderar att du kör likt ovan rekommenderat, Xeon E5 2690v4 + 128GB RAM. Sedan eget chassi och psu på det.
det blir så jäkla livat med fläktarna annars.

du kan leta efter ett supermicro moderkort också om du vill men de kostar ca 3000 kr.

Visa signatur

Nätverksnörd

Permalänk
Medlem

Tack för alla tips! Uppskattas verkligen!

Ja, jag har kikat en hel del nu på X99 kombon från ali express, verkar prisvärt! Men det finns ju en hel del kombinationer att välja bland. Kan det det vara värt att "slå på stort" om man har råd? eller blir det overkill?

128 vs 256GB RAM
2133 MHz vs 2400 MHz
1 vs 2 CPUer

Jag är nog inne på denna som länkades tidigare: https://vi.aliexpress.com/item/1005006439243148.html, men med 256 GB RAM.

Permalänk
Medlem
Skrivet av aboocs:

Tack för alla tips! Uppskattas verkligen!

Ja, jag har kikat en hel del nu på X99 kombon från ali express, verkar prisvärt! Men det finns ju en hel del kombinationer att välja bland. Kan det det vara värt att "slå på stort" om man har råd? eller blir det overkill?

128 vs 256GB RAM
2133 MHz vs 2400 MHz
1 vs 2 CPUer

Jag är nog inne på denna som länkades tidigare: https://vi.aliexpress.com/item/1005006439243148.html, men med 256 GB RAM.

du kommer sjukt långt med 128gb.

kör du proxmox och containers där det är lämpligt spar du massa ram.

VMar där du behöver extra säkerhet, tex malware labbandes.

Visa signatur

Nätverksnörd

Permalänk
Medlem

Snabba ryck, klickade hem ett X99 D8 + Xeon E5 2690v4 + 128GB RAM.
2568kr + eventuella tullavgifter, som hittat!

Kommer säkerligen räcka gott och väl för mina ändamål. Nu återstår bara att fundera på psu, chassi och diskar.

Tack för all hjälp!

Permalänk
Moderator
Festpilot 2020, Antiallo
Skrivet av aboocs:

Okej! Tack för bra input! Kul att test på ett hemmabygge!

Men du skulle inte kunna ge exempel på chassi och "nån form av Supermicro Moderkort"? Jag har dålig koll men tänker att åtminstone moderkortet är väl viktigt att välja rätt från början.

Skrivet av THB:

Jag kör en whitebox (egenbyggd) med liknande uppgifter som du vill ha
CPU: i5-10400F
RAM: 64GB
SSD: 500GB
HDD: 2x16TB, 3x4TB
OS: Proxmox

Sedan körs TrueNAS Core som ett VM och kör passtrough från mitt LSI 9223-8i för diskarna.

Har även ett gäng andra VM/LXC för Jellyfin Mediaserver, LEMP-server, Pihole, HAOS, Ollama etc.

Skulle jag bygga nytt idag skulle jag kika på något typ Xeon E5 2690v4 + 128GB RAM.

Skrivet av aboocs:

Tack för alla tips! Uppskattas verkligen!

Ja, jag har kikat en hel del nu på X99 kombon från ali express, verkar prisvärt! Men det finns ju en hel del kombinationer att välja bland. Kan det det vara värt att "slå på stort" om man har råd? eller blir det overkill?

128 vs 256GB RAM
2133 MHz vs 2400 MHz
1 vs 2 CPUer

Jag är nog inne på denna som länkades tidigare: https://vi.aliexpress.com/item/1005006439243148.html, men med 256 GB RAM.

Jag kör Ryzen R7 3700 + 64 GB i min Proxmox maskin och använder ungefär hälften.
Spelservrar, reverse proxy, backup-tjänst, fil-cloud, TrueNAS mm.

Jag hade helt klart nöjt mig med både 128 GB och en socket. Känns som mycket mindre bekymmer. Vet du att du behöver mer så behöver du såklart mer. Om du inte vet så behöver du troligen inte 2S + 256 GB RAM. 😁

X99 (LGA2011-3) känns som rätt sweet spot i dag för att sätta upp en hemmaserver. Svinbilliga moderkort och DDR4 kostar inte många kronor. Gott med PCIe-lanes och finns moderkort med M.2-platser.
Jag har dålig koll på hur bra kina-moderkorten stödjer VT-X och riktig virtualisering. Om någon kan vouch:a så är det bara att köra.

Förut hängde ju @Miyconst lite i forumet och han testar rätt mycket Aliexpress-brädor. Går ju snegla på om han testat virtualisering på Aliexpressbrädorna i hans YT-videos om han inte flikar in här efter taggningen.

Visa signatur

 | PM:a Moderatorerna | Kontaktformuläret | Geeks Discord |
Testpilot, Skribent, Moderator & Geeks Gaming Huvudadmin

Permalänk
Medlem
Skrivet av DavidtheDoom:

Jag kör Ryzen R7 3700 + 64 GB i min Proxmox maskin och använder ungefär hälften.
Spelservrar, reverse proxy, backup-tjänst, fil-cloud, TrueNAS mm.

Jag hade helt klart nöjt mig med både 128 GB och en socket. Känns som mycket mindre bekymmer. Vet du att du behöver mer så behöver du såklart mer. Om du inte vet så behöver du troligen inte 2S + 256 GB RAM. 😁

X99 (LGA2011-3) känns som rätt sweet spot i dag för att sätta upp en hemmaserver. Svinbilliga moderkort och DDR4 kostar inte många kronor. Gott med PCIe-lanes och finns moderkort med M.2-platser.
Jag har dålig koll på hur bra kina-moderkorten stödjer VT-X och riktig virtualisering. Om någon kan vouch:a så är det bara att köra.

Förut hängde ju @Miyconst lite i forumet och han testar rätt mycket Aliexpress-brädor. Går ju snegla på om han testat virtualisering på Aliexpressbrädorna i hans YT-videos om han inte flikar in här efter taggningen.

I am still around. 🙂

Regarding the Chinese X99 motherboards and virtualization, I can say the following:

- In general, it works.
- TBU is not very friendly with non-Windows OSes, I had all sorts of strange behaviors with Proxmox and Ubuntu.
- Usually, Chinese BIOS is complete crap, PCI-E passthrough, IOMMU groups, VT-D might be either missing, non-working, or partially-working.
- If virtualization is the main target then I would pick a motherboard that has BIOS from iEngineer.
- For example Machinist X99-MR9A: https://s.click.aliexpress.com/e/_DmjFvNz
- Ask iEngineer and ensure that the BIOS has features you need before buying it.
- Also consider used Dell T5810/7810/7820 workstations from eBay, some can be found for rather cheap: https://ebay.us/zTJhr3

And last but not least: I strongly recommend staying away from the Chinese hardware if it's a mission critical device. From the brands, lately Machinist is the best, Huananzhi is close by, JginYue, JingSha, Atermiter, and other nonames - big no go for a workstation. Qiyida - mixed bag.

Visa signatur

Core i9-10850k | RX 7900 XTX | 32 GB DDR4-3200 | Samsung Evo 970 1TB, 860 2 TB | Elgato 4K60 Pro
https://www.youtube.com/c/Miyconst

Permalänk
Moderator
Festpilot 2020, Antiallo
Skrivet av Miyconst:

I am still around. 🙂

Regarding the Chinese X99 motherboards and virtualization, I can say the following:

- In general, it works.
- TBU is not very friendly with non-Windows OSes, I had all sorts of strange behaviors with Proxmox and Ubuntu.
- Usually, Chinese BIOS is complete crap, PCI-E passthrough, IOMMU groups, VT-D might be either missing, non-working, or partially-working.
- If virtualization is the main target then I would pick a motherboard that has BIOS from iEngineer.
- For example Machinist X99-MR9A: https://s.click.aliexpress.com/e/_DmjFvNz
- Ask iEngineer and ensure that the BIOS has features you need before buying it.
- Also consider used Dell T5810/7810/7820 workstations from eBay, some can be found for rather cheap: https://ebay.us/zTJhr3

And last but not least: I strongly recommend staying away from the Chinese hardware if it's a mission critical device. From the brands, lately Machinist is the best, Huananzhi is close by, JginYue, JingSha, Atermiter, and other nonames - big no go for a workstation. Qiyida - mixed bag.

Thanks, that's some really great and valuable input!

Visa signatur

 | PM:a Moderatorerna | Kontaktformuläret | Geeks Discord |
Testpilot, Skribent, Moderator & Geeks Gaming Huvudadmin

Permalänk
Medlem
Skrivet av DavidtheDoom:

Thanks, that's some really great and valuable input!

Ok so don't get Chinese boards dor virtualization. Good to know.

Visa signatur

Nätverksnörd

Permalänk
Medlem

Hej Alla,

Många pratar om bygg själv eller köp färdig, problem med ljudet o.s.v.
Byggde både och köpte färdiga. Kortfattat allt beror på hur mycket du vill lägga.
Här kommer min Supermicro server SC847 med andra fläktar. Nästa helt tyst, inga problem med värme.
Den rullar 24/7.

//Njanja

Visa signatur

Server
FUJITSU PRIMERGY TX100 S3P XE E3-1220V2 3.5-8MB 24GB

Permalänk
Medlem

Tack för alla tips! Men som sagt, jag var snabb och har redan klickat hem: https://vi.aliexpress.com/item/1005006439243148.html?pdp_npi=...

Såg nu i efterhand att CPUn inte har integrerad grafik, hur gör man då för att t.ex. installera proxmox? Kan man få video output på något annat sätt? Kommer att styra proxmox remote via webb/ssh sen när allt är installerat, men tänker hur det blir med bios inställningar osv vid installation om jag inte har video output?

Sen tar jag gärna emot förslag på pmu, chassi, och diskar också. Man måste ju passa på när man har ett gäng proffs på tråden..

Permalänk
Medlem
Skrivet av aboocs:

Tack för alla tips! Men som sagt, jag var snabb och har redan klickat hem: https://vi.aliexpress.com/item/1005006439243148.html?pdp_npi=...

Såg nu i efterhand att CPUn inte har integrerad grafik, hur gör man då för att t.ex. installera proxmox? Kan man få video output på något annat sätt? Kommer att styra proxmox remote via webb/ssh sen när allt är installerat, men tänker hur det blir med bios inställningar osv vid installation om jag inte har video output?

Sen tar jag gärna emot förslag på pmu, chassi, och diskar också. Man måste ju passa på när man har ett gäng proffs på tråden..

Proxmox körs i regel som headless, du kan ju med fördel plocka ut hårddisken och installera proxmox på den med ngn adapter, konfa in den sen plugga in den i din server. Så kommer du åt proxmox via webbläsaren inom LAN. Behövs ingen gpu, min proxmox server körs enbart med en ryzen 3600 processor.

Permalänk
Medlem
Skrivet av Särimner:

Proxmox körs i regel som headless, du kan ju med fördel plocka ut hårddisken och installera proxmox på den med ngn adapter, konfa in den sen plugga in den i din server. Så kommer du åt proxmox via webbläsaren inom LAN. Behövs ingen gpu, min proxmox server körs enbart med en ryzen 3600 processor.

Tack! Ja, det låter rimligt!

Men hur blir det om man måste ändra i bios?

Permalänk
Sötast
Skrivet av aboocs:

Tack! Ja, det låter rimligt!

Men hur blir det om man måste ändra i bios?

Ploppa i en gpu och gör dina ändringar. Kan vara värt att låta den sitta tills du är nöjd med installationen och allt funkar till synes väl.

När allt är klart så har du enablat SSH access och kan göra allt (utom just bios ändringar) och så har du tillgång till proxmox gui via webb

Permalänk

Tänkte kränga min Dell R730, 2x2650v3, 128GB ram, 2st 300Gb, 2st 600Gb, 2st 4TB Sas diskar. Den gör precis allt med vitualisering, kör den just nu som Unraid server, med en 50-tal dockers, 28TB lagring, har ett T400 graffe för transcoding. Tuffar ganska tyst faktiskt, men har för litet utrymme där den kan stå, typ 1,5kvm skrubb, som blir för varm.

Visa signatur

| i7 5820K | QNIX QX2710 27" | LG 24" | CM Hyper 212 Evo | Gigabyte GA-X99-UD3 | SB Zx | ASUS ROG Orion | 2x512GB Samsung 840 PRO | Ballistix 32GB DDR4 | Powercolor 290X 4GB | AX1200i | FDD R2 | Logitech G710+ | Logitech G500 | Logitech F310 | Logitech G930 | Logitech C920e | Winows 10 Pro [B]