Xcp-ng, tankar och funderingar om lagring och HA? Eller bara en tråd där vi kan diskutera våra erfarenheter om Xen.

Finns det fler som leker med Xcp-ng?
Jag har tidigare lekt lite med proxmox, och blev helt såld på hela ideen med Virtuella maskiner.. Men kände ändå att Pve hade lite att önska, Det kändes mycket som en helt vanlig Linux dist där man lagt på ett web-gui (vilket det ju förvisso också är)
Xcp-ng känns betydligt mer polerat hypervisor i det fallet. Om än betydligt mer komplicerat och svårjobbat.
Med pve gjorde man ju typ allt via web gui, medans Xcp sitter man lika mycket med ssh och cli.

Nåväl...
Har satt upp ett litet cluster om 3 noder med Xcp-ng, och börjat labba lite.. Har ännu inte bestämt all hårdvara eller configuration på det än.

Ungefär så här ser varje nod ut iaf nu medans jag labbar med det.
Local vdi-sr 150gb nvme
Local iso-sr 120gb ssd
Xostor shared storage 1tb
ceph diskar 2st 1tb hdd
1gbit nätverk
64gb ram
amd 5600g
asus prime b450

--ceph--
I nuläget kör jag en ceph host från varje nvme disk med hdd i passthrough. Dvs inte HA via xostor.
Det fungerar okej, om än lite långsamt. replication 3 kanske inte var smartaste valet? ca 30-40Mbyte/s är väl inte det roligaste..
Borde jag sätta upp en replication 2 som ett andra test? och vad kan jag förvänta mig av detta?

Är det ens värt att köra ceph för hemmabruk, med så få hostar som 3, och om inte, Finns det bättre alternativ?

----Lagring--
Att en modern hemmaserver behöver seriösare o snabbare lagring än mina tråkiga hdd från 2008 (enterprise köpta från ggsp.se) begriper tillomed jag!

Men vad kan va rimligt, prismässigt/prestandamässigt, att köpa?
Tanken efter att ha googlat runt allt för länge, så tänker jag mig wd red sa500, ex 3x500gb till Xostor (dvs 9st 4,5tb totalt replication 2 betyder ca 2tb för vm) Prismässigt okej, men frågan är om det finns billigare som ändå skulle funka?

Efter att ha testat några billiga Pny i zfs mirror, men även raidz1 så är jag långt ifrån impad, varken av Pny eller för den delen av Zfs på ssd.. Xostor "borde" va snällare mot ssd tänker jag?

För ceph är jag osäker? köra ssd där med vore ju det allra roligaste, men fy farao va dyrt per Gbyte!!!
3-4st mekaniska per host? (om jag ens ska köra ceph sedan?)

--Övrigt--
Har även börjat fundera på om man skulle köra Opnsense i en vm? HA naturligtvis.
Nån som testat om det fungerar?
Tanken var att lägga till ett nätverkskort i varje maskin, koppla mot en dum switch och mot wan. Sen antar jag att man bara skapar ett "shared network" över hela clustret?

Tror det var allt för denna gången?
Diskussioner om Xcp-ng, oavsett dom är OT är välkomna.

Må väl //

Jag har läst typ detsamma, samtidigt som vissa personer säger att det funkar jättebra även i mindre skala.. Dock talas det inte om i "hur" liten skala det funkar för just dom..

Hmm, meningen var ju att jag skulle minska antalet diskar i hemmet! inte öka dom.. får se hur man gör då.
Det bästa är ju om jag kunde få loss ett tillräckligt stort antal diskar, bygga färdigt nätverket, och sedan testa på nytt?

Jag håller på o planera 10gbit i huset, men jag är inte riktigt där än.. som jag förstår det så gillar ceph snabba nätverk?
Förövrigt tycker jag det låter som ideen om ssd och ceph är lika kasst som Zfs?

Mycket möjligt.. Men då det är ett av få alternativ för klustad lagring som inte kostar pengar så har både jag och många privatpersoner inte så mycket val i frågan.. (Glusterfs verkar va halvdött, distar som petasan är ju bara ceph med snyggt gui bla)

Tja, antar att dom har chansen o tycka till i denna tråden då
Jag föredrar nog själv fysisk hårdvara, men i valet o kvalet om jag nu ska virtualisera så känns det som en bättre ide o köra HA än inte alls.
Körde opnsense i vm på proxmox tidigare. fubkade skitbra, men alltid det där strulet var gång man skulle göra nåt med burken så var man utan internet, vilket var skitstörigt!

Kan absolut hålla med där, och försöker undvika nästlade situtationer.
Just det där med att virtualisera routern handlar i detta fallet om att jag saknar vettig hårdvara för att bygga en fysisk burk.
Nuvarande sff socket775 känns som den sjunger på sista versen.. dessutom drar den mycket ström i förhållande till modernare plattformar.
Och så råkade jag tappa den i golvet när jag möblerade om i racket också, så nu är den ganska vind o krokig också

Har bara kört xcp-ng i knappt två veckor än, xostor är smidigt om man har alla förutsättningar för det (minst 3 burkar)
kör förövrigt xoa på fysisk hårdvara. installerade debian och körde scriptet från ronivay/github

Jag övervägde faktiskt att köra extern lagring, men kändes sådär när man äntligen köpt rymliga 4u lådor..

Vad är att anse som "mindre skala? mina nuvarande 6diskar på 3 noder? vilken storlek "borde" man köra för att det skall anses rimligt?
Lyckas jag bara migrera nuvarande nasen och tillhörande backup så får jag loss 12st 4tb diskar.. alternativt så köper jag nya diskar då dessa är lagom gamla (60k timmar)

Än så länge är det bara labb, i väntan på nya pengar för att shoppa speedparts.

Det är därför jag labbar lite i detta nuet, för att se hur krångligt allt är är det för krångligt och omständigt så blir det nog hellre en fristående nas! Men vi är inte där än..

Backup är än så länge bara på planeringstadiet.. Men jo, det kommer det också.

Har absolut noll koll på dedup och sånt där.. Jag är järnarbetare till yrket, hela konceptet med cluster och modern lagring, såsom lvm o sånt där, är rena star trek Men man får väl försöka lära sig så småningom..

Jag har förresten testat redan nu att sätta upp en backuphantering från xcp-ng till ceph utdelningen.. Gillar det faktum att man kan ta backup även på annat än bara vm.
Har dock inte satt mig in i "vad" den faktiskt tar backup av, men XO tex får mig o tro att den tog backup av orchestra? (som jag ju sade att jag kör på annan hårdvara än övriga clustret)

pool låter som den tar backup av xcp-ng configurationen, det är ju också tacksamt..

Ursäkta sen återkoppling! Ni vet, jobb o annat välbehövligt som kommer i vägen..

Tackar, men nån framtid inom it branschen hoppas jag slippa! Är rätt nöjd med att skava i järn om dagarna (Kör en större flerop, alltså cnc, så jag får min dos av yrkesrelaterade datorbekymmer den vägen. det räcker långt.)

Nä jag har förstått att den har en hel del funktioner och tänk från mer etablerade alternativ på marknaden. Just det där att man ser XOA som slit o släng är ett tänk jag gillar.
Om ett os går sönder ska det va lätt o byta ut.

För att återkoppla till tidigare! Alla installationer har rullat på som normalt hitills. Inga konstigheter med Xcp, Ceph har rullat på fint (minimal användning förvisso, men det har inte gått sönder iaf)
Hade en fedora server som mellanlandning Nfs från Ceph till några Smb utdelningar, mest som lek, men det har rullat på veckan som varit iaf.

I detta nuet har jag dock stängt av hela racket (förutom router och switch) för att installera några extra nätverkskort jag råkade ha liggandes. Tanken var att börja labba med en opnsense som vm nu till helgen
Och nästa vecka kommer det leksaker från computersaelg så då ska vi bygga om burkarna igen!