Ny filserver med FreeNAS

Jo, 10 GbE är trevligt, men det ska fungera bra också. Kommer posta när jag får till stabila resultat med kortet.

Jepp, hade också glömt bort när jag gjorde research att vissa Core i3-modeller stödjer ECC. Standard 1150-Xeon-modellen har ju TDP på 80W och uppåt, rätt smidigt att kunna köra en i3:a på 35/50 W istället.

IBM M1015 är egentligen bara ett rebrandat LSI Logic SAS2008-baserat kort. Som standard kommer det med en RAID-firmware där det krävs att du skapar en array för att operativsystemet ska se diskarna, det fungerar alltså inte som en normal kontroller. Genom att flasha från en "IR"-firmware till en "IT"-firmware blir kontrollerkortet ett "dumt" HBA som bara passar vidare information till OS:et och därmed blir det också ruskigt prisvärt då man pröjsar cirka 100 kronor per port. Det blir också idealiskt för FreeBSD/FreeNAS.

Det är heller inga problem att köra t.ex. 4 SSD:s i RAID då det stödjer både SATA/SAS 6 Gbit/s samt har en praktisk överföringshastighetstak på cirka 2.2 GB/s. Det finns otaliga guider på nätet hur man flashar kortet, jag har själv skrivit en i syfte att komma ihåg proceduren här.

Det är samma produkt faktiskt, ena är ett standard-SKU och den andra är mig veterligen en "FRU - Field Replaceable Unit". IBM har ju lite lustiga artikelnummerscheman kan man tycka. Lenovo kör samma.

Om du använder min guide, se om det finns någon nyare firmware, det kan ha släppts en nyare.

De ligger på cirka 35-40 grader just nu. Då har jag 7v-motstånd på de tre fläktarna inuti chassit. Med effektivare fläktar i 12V lär man kunna få ner det betydligt. Sedan har jag en del äldre 7200 RPM-diskar i slädarna vilket producerar en hel del värme. Kör man bara "green"-diskar med 5400/5900 RPM lär det bli kyligare. Jag har själv planerat att köpa två stycken perforerade 2U-täckplåtar och sedan installera 3 stycken 80mm-fläktar som man sätter under och över för att kyla ytterligare. Sedan har jag ju nätverkskortet som säkert drar 15-20 watt under belastning. Processorn är iskall vad jag märkt.

Jag har i alla tider varit förespråkare för hårdvaru-RAID. Det känns mer gediget på något sätt. Men när man inser fördelarna med blocksystem som ZFS hade jag inga större problem att slänga ut all hårdvaru-RAID över huvud taget. Det enda skälet att man vill köra hårdvaru-RAID nuförtiden är extrem prestanda möjligtvis. ZFS är extremt bra och skalbart, men med normala komponenter och kunskapsnivå är prestandan inte jättespännande - vad jag märkt hitills iaf.

Men säkerhet och redundans är viktigare än prestanda för mig personligen, speciellt om det gäller en filserver. Med de funktioner som ZFS erbjuder för långvarig säkerhet har jag aldrig känt mig mer säker på att min data inte försvinner plötsligt vilket hänt så många gånger sista 10 åren.

Kikade faktiskt upp det, och det visade sig att kortet maximalt förbrukar 6.5 Watt. Tänkte nog på mina gamla Adaptec 4-portars PCI-X-nätverkskort, de blir varma som attans och drar ruskigt mycket energi.

(Källa: SuperMicro)

Skulle vara intressant att testa med min nya switch, gissar endå att icke RJ45-enheter drar lite mer energi när de överför data, speciellt om det är 10 GbE. Jag har live-visning av aktuell strömförbrukning på racket, så det kan vara värt att testa om man kör iperf på alla fyra CX4-portar jag har i den exempelvis.

Skrev in kontrollerkort i komponentlistan.

Ungefärliga priser:
Moderkort: 1500:-
Processor: 1100:-
RAM: 2100:-
Nätagg: 400:-
Chassi (m. frakt): 2500:-
Kontrollerkort: 800:-
Diskar (3x4TB): 4500:-

I mitt serverrum har jag en jonisator, som gör att damm blir ett hyfsat minimalt problem. Chassit har inga egna dammfilter men ser jag att det blir ett problem i framtiden så kan jag rätt enkelt sätta in dammfilter framför dem.

Nej, jag använder den inte som L2ARC/ZIL idag, men jag använder den som en jail-disk samt iSCSI-target för små säkerhetskopior från webservern (cirka 10 GB i skrivande stund). Jag har dock planer på att sätta in en till SSD och använda som ZIL, undersöker hur mycket jag egentligen skulle tjäna på det atm.

Ljudnivån var initialt med fyra originalfläktar lite för hög, så jag satte dit 7v-motstånd på de återstående 3 fläktarna. Jag har svårt att bedömma ljudnivån då serverns ljud dränks av annat i serverrummet, men den låter nog som en vanlig kontorsdator gissar jag, inte speciellt högt. Intel-originalfläkten är i princip ljudlös och nätagget likaså.

Jag använder en Sandisk Cruzer Micro 8 GB för att boota FreeNAS.

Ptja, det beror helt på vilka du hittat. Normalt har äldre chassin exempelvis redundanta agg som drar enorma mängder energi och har riktigt högljudda 40-millimetersfläktar i sig. Fördelen med att bygga allting från scratch är att man helt kan välja komponenter.

Skulle man köra 12 stycken WD Black så skulle man nog behöva mer kylning än de fyra originalfläktarna möjligtvis. Eftersom chassit är så pass litet blir det varmt fort, men även att en fläkt kan göra stor skillnad. Jag har ju främst lågvarviga diskar och i skriande stund är det ingen som är över 40 grader.

Än så länge är jag mycket nöjd med temperaturerna, de ligger kanske 3-4 grader för högt på nätterna, men i övrigt har jag inget att klaga på. Jag planerar som sagt att köpa perforerade 2U-rackplåtar och sedan sätta 2-3 80mm-fläktar som ska sitta både under och över för att transportera bort värmen. Just nu "ligger" chassit på ett annat chassi i racket vilket inte är optimalt heller, det mest effektiva är om det sitter minst 2U från något anant chassi i sina rails (är på min ToDo-lista atm)

FreeNAS själva rekommenderar minst 8 GB om man planerar att köra ZFS. Det är ju ett rätt annorlunda blocksystem och även fast jag bara har cirka 15 TB användbart utrymme med ett par jails så har jag normalt bara cirka 2-4 GB ledigt minne, ZFS "suger upp" resten så att säga. Det är en rätt annorlunda arkitektur jämfört med NTFS exempelvis. Personligen skulle jag aldrig satsa på under 16 GB så länge man planerar att köra mer än ett par terabyte data. ECC är dock möjligen viktigare än storlek (hellre 8 GB ECC än 16 GB UDIMM alltså).

Det har det verkligen. Vi hade ju nyligen ett "Gubb LAN" i "Kr"-anda och planerar att genomföra något liknande evenemang nu i vår.

Jag har inte testat om hotswap fungerar, kan göra det och återkomma!

Jepp, det är en prisvärd låda. Norco är nog dock generellt mer robusta skulle jag spontant säga.

Att jag skaffade 10 GbE var främst för att jag hade tröttnat på 1 Gbit, tyckte överföringarna gick för segt, speciellt om man överförde mellan två SSD:s. Eftersom jag kör ZFS på denna filserver har inte överföringshastigheterna varit sådär super, men jag har ju andra Windows-baserade servrar med NTFS där farten är betydligt bättre. Det största problemet är att dra CX4-kablarna i lägenheten, de är inte lika böjbara som TP-kablar tyvärr.

ZFS är gjort för att skala på i princip vilka deployments som helst. Det har även jäkligt avancerade inbyggda checksumshantering och liknande, vilket gör att overheaden på själva blocksystemet blir rätt hög. ZFS allokerar i princip allt RAM man har i burken och använder det för att snabba upp interna funktioner och att använda som skrivcache. Jag skulle nog klara mig hyfsat bra på 8 GB exempelvis, men eftersom jag vill testa 10 GbE-prestanda samt kunna ha en mängd funktioner (jails och funktioner direkt i det underliggande FreeBSD-systemet) valde jag att köra på 24 GB från början.

ZFS har ju också swapteknik i form av ZIL/L2ARC som kan snabba upp prestandan i vissa scenarion, och för dessa använder man primärt SSD:s. Undersöker just nu om det är värt att köpa en 64 GB SSD och använda som ZIL för att snabba upp just skrivhastigheten.

Jag har testat både FreeNAS och Nas4Free på denna burk men bestämde mig för det förstnämnda då det har en mycket mer aktivare community samt har större utvecklingspotential. Själva funktionerna är väldigt lika mellan operativsystemen, men gillar webbgränssnittet mer i FreeNAS, samt att det har en smidigare och bättre hantering av plusins.

För många hemmaservrar duger desktopkomponenter utmärkt, det ser man bland annat på diverse appliances från tillverkare som använder relativt vanliga komponenter, även Cisco, HP, och så vidare. Men för ett blocksystem som ZFS är det bäst att exempelvis köra på ECC-minnen vilket minimerar risken för "silent" korruption och liknande.