Forum Mjukvara Linux och övriga operativsystem Tråd

Truenas scale

1
Skriv svar
Permalänk
Medlem
●

Truenas scale

Skulle vilja snabba upp skrivningarna till min server utan att skaffa fler diskar.
Läst på nätet att man kan öka tiden som zfs cachar i ramminnet vid asynk skrivningar, standard är 5s men skulle vilja öka till kanske 30s. För märker idag att jag maxar mitt nätverk med 1,1Gb/s i ca 5s sen sjunker det till 400Mb/s.

Att risken att förlora data ökar är jag medveten om, men både server, sationära datorer ligger bakom ups så risken för störningar är minimal.

Det är värdet på zfs_txg_timeout man skall öka vad jag läst mig till.
problemet är att jag inte hittar hur man ändrar det.
Någon här som vet eller kan länka till en guide?

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Om det räcker för dig är det ju en OK workaround, men har du kollat på övrig tuning också för att göra något åt grundproblemet? ZFS mår exempelvis bra av att record size på de olika filsystemen stämmer någorlunda med användningsområdet.

https://klarasystems.com/articles/tuning-recordsize-in-openzf...
https://jrs-s.net/2018/08/17/zfs-tuning-cheat-sheet/

Jim Salter (sista länken) skrev för ett tag sen ett antal olika artiklar med djupdykningar i ZFS-prestanda.

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av Det Otroliga Åbäket:

Om det räcker för dig är det ju en OK workaround, men har du kollat på övrig tuning också för att göra något åt grundproblemet? ZFS mår exempelvis bra av att record size på de olika filsystemen stämmer någorlunda med användningsområdet.

https://klarasystems.com/articles/tuning-recordsize-in-openzf...
https://jrs-s.net/2018/08/17/zfs-tuning-cheat-sheet/

Jim Salter (sista länken) skrev för ett tag sen ett antal olika artiklar med djupdykningar i ZFS-prestanda.

Gå till inlägget

Hjälpte tyvärr inte med att ändra till 1Mib i recordsize, men det skall hjälpa mot defragmentation så jag låter den vara på det, har mest stora filer så det kommer inte på verka så mycket. Har dessutom onödigt mycket utrymme, för att jag ville få upp hastigheten. Teoretiskt sett så borde jag komma upp till 790mb/s men får max 430.
Beställt nytt hba kort till diskarna och letar efter nytt moderkort med fler pcie. idag sitter kortet i en pcie 3.0 1x port vilket skall ge 1Gb/s, men funderingarna är om det kan vara att kortet är gjort för 4x som ställer till det.

En annan grej jag funderat på som workaround, är att använda nvme disken som en skrivcache.
Har en nvme som jag har foton och sådant jag jobbar med på . Funderade på om man för över till den först sen har man någon automatisk funktion att det flyttas över till lagringsdisken med jämna mellanrum. Men så tappar jag redundansen på de filerna under den tiden.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av jope84:

Hjälpte tyvärr inte med att ändra till 1Mib i recordsize, men det skall hjälpa mot defragmentation så jag låter den vara på det, har mest stora filer så det kommer inte på verka så mycket. Har dessutom onödigt mycket utrymme, för att jag ville få upp hastigheten. Teoretiskt sett så borde jag komma upp till 790mb/s men får max 430.
Beställt nytt hba kort till diskarna och letar efter nytt moderkort med fler pcie. idag sitter kortet i en pcie 3.0 1x port vilket skall ge 1Gb/s, men funderingarna är om det kan vara att kortet är gjort för 4x som ställer till det.

En annan grej jag funderat på som workaround, är att använda nvme disken som en skrivcache.
Har en nvme som jag har foton och sådant jag jobbar med på . Funderade på om man för över till den först sen har man någon automatisk funktion att det flyttas över till lagringsdisken med jämna mellanrum. Men så tappar jag redundansen på de filerna under den tiden.

Gå till inlägget

Jag har en känsla av att du blandar friskt mellan bits (b) och bytes (B) i ditt inlägg, och det är till slut svårt att hålla reda på vad som är en helt vettig hastighet och vad som är en bråkdel av vad du borde få ut. 🙂

Den andra frågan är vilka överföringshastigheter du ser över nätverket, och vilka hastigheter disklösningen ger dig. Vet inte vad man kan göra direkt i TruNAS, men om du kan få en vanlig bashprompt kanske du kan testa lite benchmarks med exempelvis fio, för att se reella diskhastigheter. Glöm isåfall inte att göra testfilerna större än din minnesmängd så du inte bara mäter bandbredden mellan CPU och RAM: ZFS är bra på cache.
EDIT: den kompletterande regeln till ovanstående är naturligtvis att om du testar fall som stämmer med ditt användningsområde så är det en bra sak om filsystemets cache är effektiv för dig.

Att ta en konsument-SSD till skrivcache är rent slöseri: du kommer troligen skriva sönder den på några månader. Du vill ha enterprise-grade write intensive SSD till det ändamålet.

Senast redigerat
Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av jope84:

Skulle vilja snabba upp skrivningarna till min server utan att skaffa fler diskar.
Läst på nätet att man kan öka tiden som zfs cachar i ramminnet vid asynk skrivningar, standard är 5s men skulle vilja öka till kanske 30s. För märker idag att jag maxar mitt nätverk med 1,1Gb/s i ca 5s sen sjunker det till 400Mb/s.

Att risken att förlora data ökar är jag medveten om, men både server, sationära datorer ligger bakom ups så risken för störningar är minimal.

Det är värdet på zfs_txg_timeout man skall öka vad jag läst mig till.
problemet är att jag inte hittar hur man ändrar det.
Någon här som vet eller kan länka till en guide?

Gå till inlägget

Att ändra zfs_txg_timeout är tyvärr en riktigt dålig idé.

Du skriver ingenting om vad du har för hårdvara så det är svårt att ge andra råd.

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av warp64:

Att ändra zfs_txg_timeout är tyvärr en riktigt dålig idé.

Du skriver ingenting om vad du har för hårdvara så det är svårt att ge andra råd.

Gå till inlägget

Varför är det dålig ide?

Jag har 10 gbit nätverk
6diskar i mirrored stripe (RAID-10)
Lsi sas 3008 i it mode.
64gb ram
13700k

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av Det Otroliga Åbäket:

Att ta en konsument-SSD till skrivcache är rent slöseri: du kommer troligen skriva sönder den på några månader. Du vill ha enterprise-grade write intensive SSD till det ändamålet.

Gå till inlägget

TrueNAS har inte ett skrivcache. SLOG:en är inte det även om det är jättevanligt att nya användare drar den liknelsen.
SLOG:en används inte alls vid async-writes och kommer bara göra syncwrites något mindre sakta. Syncwrites är alltid saktare än asyncwrites, oavsett. De vanligaste fallen syncwrites används är om man använder NFS. Vid användning av iSCSI och databaser är det också vanligt att man slår på syncwrites.

Precis som du säger så kommer en hög mängd syncwrites slita på SSD:n. Hur lång tid det tar beror så klart på hur mycket du skriver.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av warp64:

TrueNAS har inte ett skrivcache. SLOG:en är inte det även om det är jättevanligt att nya användare drar den liknelsen.
SLOG:en används inte alls vid async-writes och kommer bara göra syncwrites något mindre sakta. Syncwrites är alltid saktare än asyncwrites, oavsett. De vanligaste fallen syncwrites används är om man använder NFS. Vid användning av iSCSI och databaser är det också vanligt att man slår på syncwrites.

Precis som du säger så kommer en hög mängd syncwrites slita på SSD:n. Hur lång tid det tar beror så klart på hur mycket du skriver.

Gå till inlägget

Ja just det; tack för rättelsen - du har helt rätt och jag hade glömt detta sen jag sysslade med det mer aktivt.

Relevant artikel: https://jrs-s.net/2019/05/02/zfs-sync-async-zil-slog/

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av jope84:

Varför är det dålig ide?

Gå till inlägget

Därför att många väljer ZFS för att man är ute efter stabilitet och dataintegritet. Genom att ändra timeouten frångår du en del av det skyddet. Glöm inte att även om du höjer timeouten så kommer ZFS behöva skriva av sig och då kommer det vara mycket mer att göra. Detta kommer märkas genom att hastigheten troligtvis kommer sjunka mer markant och under en längre tid vid varje dump av data från RAM till HDD, eventuellt kan systemet upplevas som icke-responsivt under en period. En UPS skyddar bara vid strömavbrott. Det kan hända andra saker som påtvingar en oplanerad omstart.

Med det sagt har jag ändrat mig i mitt råd till dig; kör istället. Ändra det du vill ändra, jag förutsätter att du har en backup eller att datat inte är viktigt. Testa och se vad som fungerar för dig inom ditt användningsområde, då väl vägt mot riskerna. Det är egentligen bara du själv som kan avgöra det.

Skrivet av jope84:

Jag har 10 gbit nätverk
6diskar i mirrored stripe (RAID-10)
Lsi sas 3008 i it mode.
64gb ram
13700k

Gå till inlägget

RAID10 inte direkt översättningsbart till ZFS så det är oklart vad du faktiskt har för pool-layout. Inga detaljer om diskarna.

Fler små VDEVs ökar IOPS. 13700K är väldigt mycket processor i en hemma(?)-NAS.

Senast redigerat Förtydligande IOPS-kommentaren
Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av warp64:

Därför att många väljer ZFS för att man är ute efter stabilitet och dataintegritet. Genom att ändra timeouten frångår du en del av det skyddet. Glöm inte att även om du höjer timeouten så kommer ZFS behöva skriva av sig och då kommer det vara mycket mer att göra. Detta kommer märkas genom att hastigheten troligtvis kommer sjunka mer markant och under en längre tid vid varje dump av data från RAM till HDD, eventuellt kan systemet upplevas som icke-responsivt under en period. En UPS skyddar bara vid strömavbrott. Det kan hända andra saker som påtvingar en oplanerad omstart.

Med det sagt har jag ändrat mig i mitt råd till dig; kör istället. Ändra det du vill ändra, jag förutsätter att du har en backup eller att datat inte är viktigt. Testa och se vad som fungerar för dig inom ditt användningsområde, då väl vägt mot riskerna. Det är egentligen bara du själv som kan avgöra det.

RAID10 inte direkt översättningsbart till ZFS så det är oklart vad du faktiskt har för pool-layout. Inga detaljer om diskarna.

Fler små VDEVs ökar läs-IOPS. 13700K är väldigt mycket processor i en hemma(?)-NAS.

Gå till inlägget

Oklart? Mirrored striped är ju en raid typ i zfs vilket motsvarar raid 10, kör 2+2+2 diskar.

Vist e de overkill för nas, men jag kör lite andra saker på den också och jag köppte den begagnad och fick den för ett bra pris.

Men som frågan var hur man gjorde, och det har jag redan klurat ut hur man gör.
Skulle något strula så kommer ändå inställningarna återgå till standard vi nästa omstart.

Redigera
Citera flera Citera
Permalänk
Avstängd
●

Kör själv med FreeNAS (TrueNas) använder själv overkill system, det största problemet är IOPS, dum som jag var så köpte jag dyra Slog diskar men kollade aldrig på IOPS så det segar ner alla min andra diskar.

Kör själv med 10 gbit nätverk, så blir max 600 MB skriv och 600 MB läs pga 10 gbit begränsning men har tillgång till ett 40 gbit nätverk som jag inte har kopplat in än.

Först så måste man börja med kolla vad max gränsen är för diskarna och det gör man att man kollar i TrueNas console och kör test disk av disk poolen, sen kollar man med slog och utan för att veta hur mycket man förlora. Sen när man testar över NFS så är det bra att man kör ett test bara med en server/VM så att det inte påverka testet.

Tänkt på att alltid göra en backup innan man ändra något.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av jope84:

Oklart? Mirrored striped är ju en raid typ i zfs vilket motsvarar raid 10, kör 2+2+2 diskar.

Vist e de overkill för nas, men jag kör lite andra saker på den också och jag köppte den begagnad och fick den för ett bra pris.

Men som frågan var hur man gjorde, och det har jag redan klurat ut hur man gör.
Skulle något strula så kommer ändå inställningarna återgå till standard vi nästa omstart.

Gå till inlägget

"6diskar" är i princip ingen information alls om vad du faktiskt har för hårdvara.

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av Catcode:

Kör själv med FreeNAS (TrueNas) använder själv overkill system, det största problemet är IOPS, dum som jag var så köpte jag dyra Slog diskar men kollade aldrig på IOPS så det segar ner alla min andra diskar.

Kör själv med 10 gbit nätverk, så blir max 600 MB skriv och 600 MB läs pga 10 gbit begränsning men har tillgång till ett 40 gbit nätverk som jag inte har kopplat in än.

Först så måste man börja med kolla vad max gränsen är för diskarna och det gör man att man kollar i TrueNas console och kör test disk av disk poolen, sen kollar man med slog och utan för att veta hur mycket man förlora. Sen när man testar över NFS så är det bra att man kör ett test bara med en server/VM så att det inte påverka testet.

Tänkt på att alltid göra en backup innan man ändra något.

Gå till inlägget

Vist är det roligt med overkill, också varit sugen på 40gbit men då blir de lite bökigt och dyrt.
Har exos och toshiba Enterprise diskar som skall klara upp till 260mb/s . Så 750Mb/s teoretisk hastighet.

Testade innan och ändra tiden den cachar , men den verkar få slut på ram och drar ned och stryper.
Skall testa och minska ark storleken och på så sätt frigöra lite ram.

Redigera
Citera flera Citera
Permalänk
Avstängd
●
Skrivet av jope84:

Vist är det roligt med overkill, också varit sugen på 40gbit men då blir de lite bökigt och dyrt.
Har exos och toshiba Enterprise diskar som skall klara upp till 260mb/s . Så 750Mb/s teoretisk hastighet.

Testade innan och ändra tiden den cachar , men den verkar få slut på ram och drar ned och stryper.
Skall testa och minska ark storleken och på så sätt frigöra lite ram.

Gå till inlägget

Kostar väl ca 10-20 tusen kr bara för att koppla in dom, tänker att jag kör med fiber pallar inte med koppar.
Hur stora är diskarna? Man bruka räkna med 1 GB per 1 TB.

Själv kör jag med dessa diskarna, WD Ultrastar DC HC310 ska dock skicka iväg en på RMA gjorde även en tabbe skulle köpa SAS men råka köpa SATA istället.

Du blandar ihop Megabit (mb/Mb) och Megabyte (MB), då vi pratar om både om hårddisken prestanda och nätverk så är det en storvikt att man håller isär dom.

Så om vi utgå från det du har skrivit så bör du kunna komma upp till 780 MB skrivning och 1 560 MB läsning (gäller vid bara vid "Raid 10"), men på grund av nätverksbegränsningar så kan du inte komma mer än 600 MB skriv och 600 MB läs, om det inte är någon belastning så skulle du kunna komma upp till 1200 MB läs och 780 skriv.

Jag är ingen expert men det är vad jag har fått lära mig kan vara något fel i uträkningen.

När du skriver att du testat syfta du på själva TrueNas server eller via NFS?

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av Catcode:

Kostar väl ca 10-20 tusen kr bara för att koppla in dom, tänker att jag kör med fiber pallar inte med koppar.

Gå till inlägget

Det dyra kommer att vara switcharna men kikar man på ebay och liknande går det att hitta dem för långt under 10k och nätverkskorten för några hundralappar. Företagen säljer ut för att det är gammal tech förstärkt av att just 40-linjen är något av en dead-end.

Skrivet av Catcode:

Hur stora är diskarna? Man bruka räkna med 1 GB per 1 TB.

Gå till inlägget

Den gamla rekommendationen har hängt kvar länge men var mer riktad till de som hade för avsikt att köra dedup.
Missförstå mig inte, ZFS älskar RAM för att den kan kan använda det till ARC men det finns sällan en anledning att öka det i den takten, särskilt inte för en hemmaanvändare.

Redigera
Citera flera Citera
Permalänk
Avstängd
●
Skrivet av warp64:

Det dyra kommer att vara switcharna men kikar man på ebay och liknande går det att hitta dem för långt under 10k och nätverkskorten för några hundralappar. Företagen säljer ut för att det är gammal tech förstärkt av att just 40-linjen är något av en dead-end.

Den gamla rekommendationen har hängt kvar länge men var mer riktad till de som hade för avsikt att köra dedup.
Missförstå mig inte, ZFS älskar RAM för att den kan kan använda det till ARC men det finns sällan en anledning att öka det i den takten, särskilt inte för en hemmaanvändare.

Gå till inlägget

Jag lyckas få tag på switchar för 8-12 tusen kr st, men har inte testat dom fullt ut då den låter som en trimmad dammsugare men hoppas att dom är felfria det är vad säljer skriv.

Ja dom bliv gamla rätt så snabbt nu finns det över 100G, du glömde räkna med modulerna till nätverkskorten och switchar om man inte väljer att köra med QSFP+ kabel.

Skrivet av warp64:

Den gamla rekommendationen har hängt kvar länge men var mer riktad till de som hade för avsikt att köra dedup.
Missförstå mig inte, ZFS älskar RAM för att den kan kan använda det till ARC men det finns sällan en anledning att öka det i den takten, särskilt inte för en hemmaanvändare.

Gå till inlägget

Nästan vare tråd man skapade för i FreeNas så var det alltid samma visa att ZFS älskar ram, därför tänkte jag inte snåla och tyckte in 256 GB DDR3 ram.

Tro inte verken jag eller TS vill kalla oss för vanliga hemmaanvändare, vi vill ju ha kvar våran titel som overkill.

Sen kanske jag inte tillhör den vanliga här med som har en svår hobby med att försöka komma upp till 1 PB, men upptäckte efter första NAS/SAN bygget fan vad allt är dyrt.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av Catcode:

Jag lyckas få tag på switchar för 8-12 tusen kr st, men har inte testat dom fullt ut då den låter som en trimmad dammsugare men hoppas att dom är felfria det är vad säljer skriv.

Ja dom bliv gamla rätt så snabbt nu finns det över 100G, du glömde räkna med modulerna till nätverkskorten och switchar om man inte väljer att köra med QSFP+ kabel.

Gå till inlägget

Ja, (o)ljudet är definitivt nackdelen med nätverksswitcharna som företagen säljer ut.
Transceivers går att få för 100-200 beg, några hundra till nya.

Skrivet av Catcode:

Nästan vare tråd man skapade för i FreeNas så var det alltid samma visa att ZFS älskar ram, därför tänkte jag inte snåla och tyckte in 256 GB DDR3 ram.

Tro inte verken jag eller TS vill kalla oss för vanliga hemmaanvändare, vi vill ju ha kvar våran titel som overkill.

Sen kanske jag inte tillhör den vanliga här med som har en svår hobby med att försöka komma upp till 1 PB, men upptäckte efter första NAS/SAN bygget fan vad allt är dyrt.

Gå till inlägget

Lycka till med 1 PB målet.

Redigera
Citera flera Citera
Permalänk
Avstängd
●
Skrivet av warp64:

Lycka till med 1 PB målet.

Gå till inlägget

Tack, fan diskarna hinner ju gå sönder innan man ens har kommit så långt. haha

Redigera
Citera flera Citera
1
Skriv svar
Senaste nyheterna
Hårdvara
Mjukvara
Övrigt
Nytt i forumet
Datorkomponenter
System
Ljud, bild och kommunikation
Spel och mjukvara