Skapa stor filserver online. Helt galen!

Permalänk

Skapa stor filserver online. Helt galen!

Hej alla!

Jag filosoferar lite:
Jag och typ 15 st av mina vänner vill gå ihop och skapa en filserver online så att vi kan komma åt våra filer överallt. Vi är ju ganska många, och skulle vilja ha minst en terabyte var, så storleken å denna skulle väl vara ca 20TB... med möjlighet till utbyggnad/påbyggnad. Vi vill kunna överföra filer till/från servern snabbt över nätet.

Vi inser att det kommer att kosta en hel del och vi tänkte ha en budget på 40 000 kr.

För att göra det lite mer komplicerat så kan jag passa på att säga att vi alla är nybörjare vad gäller detta. Ingen har tidigare på allvar sysslat med hemsidor, databaser, raid, servrar eller dylikt.

Är detta helt galet eller går det att fixa på något sätt?

Tacksam för alla råd.

PS. Och säg inte att det är omöjligt. DS.

Permalänk
Inaktiv

Re: Skapa stor filserver online. Helt galen!

Citat:

Ursprungligen inskrivet av dl-express
Hej alla!

Jag filosoferar lite:
Jag och typ 15 st av mina vänner vill gå ihop och skapa en filserver online så att vi kan komma åt våra filer överallt. Vi är ju ganska många, och skulle vilja ha minst en terabyte var, så storleken å denna skulle väl vara ca 20TB... med möjlighet till utbyggnad/påbyggnad. Vi vill kunna överföra filer till/från servern snabbt över nätet.

Vi inser att det kommer att kosta en hel del och vi tänkte ha en budget på 40 000 kr.

För att göra det lite mer komplicerat så kan jag passa på att säga att vi alla är nybörjare vad gäller detta. Ingen har tidigare på allvar sysslat med hemsidor, databaser, raid, servrar eller dylikt.

Är detta helt galet eller går det att fixa på något sätt?

Tacksam för alla råd.

PS. Och säg inte att det är omöjligt. DS.

Varför inte bara använda Gmail och det faktum att du kan lagra filer på ett konto? Då kommer du åt det överallt du har tillgång till nätet och får 7GB per skalle eller vad det ligger uppe i.

Bara en tanke.

EDIT: Har hunnit vakna till och kom fram till att det är en otroligt stor skillnad mellan 1TB och 7GB. =P
Men ja, kanske kan fungera ändå? I värsta fall är det väl bara att skapa fler konton.

Permalänk
Medlem

det är inte omöjligt^^

Om ingen av er har en egen snabb lina, så måste ni egentligen titta på co-location eller vad det heter. Alltså att man hyr serverplats ngnstans.
Det kostar ganska mycket tror jag, men fördelen är att ni inte behöver betala mer om ni vill ha fler diskar i servern och ni får köra vilka program ni vill på servern. Dessutom ingår det bandbredd (dock kanske inte helt fri trafik) och el.

Angående hårdvaran så skulle det egentligen räcka med en vanlig lite kraftfullare dator med raid-kort och många diskar.

Och mjukvara skulle jag köra ftp, ungefär som ett webbhotell. Självklart kan man också lägga på apache eller ngt och få tillgång till sina filer via http.

Permalänk
Hedersmedlem

Har ni tänkt ställa filservern hemma hos nån av er och alla ska ha tillgång till den över nätet?

Att köpa lite hårdvara och köra in nån NAS mjukvara är ju inga större problem.

Visa signatur

» Don't argue, I am programmed to beat you.

Permalänk

Absolut bästa vore ju en iSCSI lösning, då kan man flytta filer precis som man gör med lokala diskar.

Det som kommer vara problematiskt är ju bandbredden till server'n - med mindre ni endast sitter på vanlig 24/3 DSL vill säga (i vilket fall lagring/läsning av filer kommer kännas som att banka skallen i en murvägg i fem minuter).

Själva kostnaden behöver inte bli så illa stor - ska den endast användas till lagring behövs inget monster precis, så med en budget på 40k kommer ni långt. Väldigt långt

Visa signatur

on the internet since 1993
[ Geek - Dad - Programmer - RC enthusiast - Technology evangelist ]

Basically, you’re the guy who survived the shipwreck because you had a lifeboat, and now you’re standing on the shore telling the people still drowning that the ocean isn’t that bad.

Permalänk

Tack för era svar!

Anders.149: Jo, man kommer kanske en bit med google. Men inte lika långt som vi vill komma.

Till er övriga:
Vi tänkte ställa grejerna hemma hos nån av oss. Vi är ett par stycken som sitter på 100/10 mbit fiber. Om det räcker vettefan dock...

I värsta fall får vi väl starta ett företag och skaffa 100/100 mbit, för det var det någon som hade hört att man kunde göra. Om det stämmer vet jag inte heller.

Huvudsaken är ju att det är riktigt snabbt och att det är praktiskt. Vi vill ju kunna bygga vidare och öka utrymmet och fixa en snygg websida där man kan logga in osv, precis som andra betaltjänster på nätet. Målet är helt enkelt att så småningom ska den se ut och fungera som vilken betaltjänst som helst (helst bättre), fast endast för oss och våra bekanta.

Och liksom andra tjänster så vill vi kunna dela ut mappar till andra utomstående och lösenordsskydda vissa och blablabla. Ni förstår. iSCSI som emigrating12 föreslog låter ju väldigt lockande. Särskilt när han/hon säger att kostnaden inte behöver bli så stor.

Frågan är hur vi går tillväga för att få allt det här? Och se till att förklara utförligt eftersom jag/vi inte är särskilt bra på det här.

Vad behöver jag för delar i datorn? Vad är det bäst att använda för hårddiskar? Hur kopplar jag ihop dem? Var behövs för mjukvara? etc... Gärna exempel på bra och energisnåla grejer.

Ni har ni fått mycket att arbeta med!

Tack!

Permalänk
Hedersmedlem

Varför ska ni ha en stor fet server istället för varsin NAS hemma eller dylikt? Det lär kännas drygt att bara kunna komma åt filerna via nätet.

Visa signatur

Asus ROG STRIX B550-F / Ryzen 5800X3D / 48 GB 3200 MHz CL14 / Asus TUF 3080 OC / WD SN850 1 TB, Kingston NV1 2 TB + NAS / Corsair RM650x V3 / Acer XB271HU (1440p165) / LG C1 55"
NAS: 6700K/16GB/Debian+ZFS | Backup (offsite): 9600K/16GB/Debian+ZFS

Permalänk
Avstängd

10mbit upload kommer aldrig att räcka för era syften. Minst 100mbit upp skulle behövas för att det ska vara någon mening med det. Men bygg en server i teorin så ser ni vart det lutar åt. Filsystem, hårdvara, mjukvara - kan vara rätt roligt.

Permalänk

Thomas:
Vi vill kunna dela filer med varandra och kunna dela ut till andra. Jag kan inte så mycket om det, men om det går med en NAS hemma så är det ju ett klart alternativ.

Damodred:
Precis. Det här är bara ett experiment för att se om det måhända skulle gå vägen. Än så länge bara i teorin och mest för skojs skull. Några tips på bra hårdvara/mjukvara?

Permalänk
Avstängd

Cool ide. Vi diskuterar precis detta i en annan tråd faktiskt:
http://www.sweclockers.com/forum/showthread.php?s=&threadid=8...

Ett alternativ är väl iSCSI, som emigrating12 föreslår. Då delar man ut en partition av RAIDet över LAN eller över internet(?). Datorn tror då att partitionen är en vanlig scsi hårddisk inkopplad rätt in i datorn och man kan köra som vanligt. Över LAN kan man även installera ett OS så man slipper ha en hårddisk alls i sin klientdator. Jag vet inte om att boota direkt från RAIDet även funkar över internet? Emigrating12 vet nog mera om detta. Lyssna på vad han säger.

40,000kr kommer ni väldigt långt på. Ett mycket billigt alternativ kan vara att köra nya filsystemet ZFS så slipper ni köpa dyr hårdvara, såsom hårdvaruraid kort och SAS diskar. Då kan ni köra ett gäng vanliga SATA diskar + Quad Core + 8 GB RAM + vanligt chassi och få grymma prestanda + en säkerhet som vanligtvis kräver mycket dyr specialiserad Enterprise hårdvara. T.ex. 48 vanliga SATA diskar läser 3GByte/sek och skriver 2GByte/sek. Läs tråden från början, jag länkat till ovan om ni vill veta mera om denna lösning.

Dock behöver ni nog mycket fetare lina.

Permalänk
Avstängd

Jag hade försökt minimera antalet diskar till att börja med. Ta åtta 1,5tb diskar från Seagate. Det ger 12tb. Sedan bör du ha ett kontrollerkort med dedikerat minne och processor, gå lös på Ebay och Tradera och tänk dig en prisklass mellan 2000kr och 5000kr. Se till så att det är ett pci-e kontrollerkort. Sedan hade jag valt en AMD- plattform för att spara pengar, ett Gigabyte-moderkort med 780G- kretsar och en Phenom- processor och åtta gb ram. Det är ytterligare 4500kr. Nu kan jag bara se till mig själv men jag har ett Chieftec JS-1500 chassi och det är nog det bästa jag någonsin haft. Tjock plåt, dörrar, separerade rum. Mycket bättre än något aluminiumtjohejsan från CoolerMaster eller Lian Li. Kostar ca 3500kr om det fortfarande går att få tag på. Ett nätagg från Corsair på 750w eller där runt. Lika bra att ta i lite om vi ska bygga server, driftsäkerhet är A och O. Kanske satsa på en UPS också, vi har ju lite tråkigt väder i Göteborg och det är synd att datorn stänger av sig pga lite blåst.

Tror kostnaden hamnar på ca 27 000kr. Kan då lägga på fler kontrollerkort och där med fler diskar. Lägg till ytterligare 1000kr för exempelvis CoolerMasters 4in3 hdd-burar och fläktar. Glöm ej heller bort att ha hotspare- diskar, alltså reservdisk när en fallerar. Sedan måste ni ta beslut om hur ni ska göra med backup. Ska det vara fullständig backup eller selektiv? Hårt att backa upp 12tb som det i värsta fall kan bli. Som operativsystem fungerar det mesta, jag gillar Windows men det har sina givna nackdelar. Dock är det ofta enklare än mycket annat pga igenkänning och det finns alltid bra dokumentation. Ska man nörda till det och vill pilla lite så är en Linux-dist given

Permalänk
Medlem

om ni ändå ska vara uppkopplade... vad är det för fel på att köra DC o dela filerna? då kan var o en ha den hårddisk de vill. Det kommer inte gå snabbare för att ni skaffar en server för det. Allt är beroende på upphastigheten

mina 0.02

Permalänk

Problemet är ju inte att slänga ihop en rejäl filserver, det klarar ni lätt på 40.000kr. Det riktiga problemet är ju att ställa den någonstans där ni får vettig hastighet och DET kommer kosta feta slantar varje månad. Det hela låter rätt naivt även om jag förstår entusiasmen och drömmarna

Visa signatur

Workstation: i5-6600K, 16GB DDR4, ASUS Z170 Pro Gaming, 250GB Samsung 850 Pro SSD, DELL Ultrasharp U2715 27" IPS
Laptop: MacBook Pro 13" Intel Core 2 Duo 2.4GHz, 8GB RAM, 1280x800, 250GB SSD, DELL Ultrasharp 2209WA 22" LCD
Filserver: HP Proliant DL120 G7, 16GB RAM, 4TB RAID 1

Permalänk
Medlem

Köp en host-service på ett moln typ Amazon med de spec:ar ni vill ha. Blir nog säkrare och snabbare (kanske också billigare).

Visa signatur

Whisky kan drickas på 3 sätt:
1. Utan vatten. 2. Med vatten. 3. Som vatten.

WS: z790 ProArt + 13900K + 4080 + 2x32GB 6400 MT/s + 19 TB NVME. Bambu labs P1S.
Server: Klassiskt PC-V2000 med skapligt mycket SSD (ca 33 + 57 TB) och dual 10G.

Permalänk
Citat:

Ursprungligen inskrivet av Damodred
Ta åtta 1,5tb diskar från Seagate.

Exakt denna serie utav tillverkaren som många rapporterat om att de dör efter någon månads användning. Har ju tillochmed stått som nyhet på SweC.

Visa signatur

Skaparna av Crysis är tre turkiska bröder.

Permalänk
Avstängd

Inget fel på diskarna i sig utan firmware'n. Det är väl dessutom åtgärdat nu.

Permalänk
Hedersmedlem

Som sagt co-location med mycket överföring kommer kosta en del.

Är ni femton pers och ska dela på en server som kör på 100 mbit upload kommer det ju ta väldigt lång tid att komma åt saker om flera gör det samtidigt då ni kommer ha massa utrymme på servern som jag antar ni tänkt använda.

Kan inte en idé vara att köra en privat bittorrent-tracker? Att ni helt enkelt konstant har filerna som ska finns utdelade. Sen kan man ha en server på en bra uppkoppling hos någon som delar ut rätt många filer men får hjälp av de andra på torrenten att hämta hem saker.
Överföringshastigheten lär ju öka rejält om ni haft samma upload som download-hastighet men hjälper ju även till lite ändå för de som kör 100/10.
Nackdelarna här är ju helt enkelt att de andra måste ha igång sina datorer för att det ska boosta.

Edit: Äh den här idén blev inte så bra som jag hade tänkt, blir en hel del investerande i utrymme på serverdelen.

Visa signatur

Forumregler | Feedbackforumet | Något som behöver modereras? Tryck på Anmäl inlägget och ge en anledning, någon moderator kommer granska inlägget och göra (egen) bedömning
"Fate. Protects fools, little children and ships named Enterprise." - Riker - ST:TNG

Permalänk

Ideen i sig är det inget fel på, problemet kommer bli bandbredden. En lösning vore att köra den på en 100/100 stadsnät tillkoppling vilket inte kostar så allt för mycket, evnt kan man slänga in ett par tre NIC's i den och köra round-robin DNS eller sätta en pfSense box framför den med MultiWAN och typ tre separata 100/100 tillkopplingar. Per person kommer man fortfarande bara ha en hastighet på max 100Mbps ned, men den kan då serva 3 personer med liknande hastighet samtidigt.

Själva servern borde ju köras på server HW så den kan remote administreras (f.ex. remote boot/powerup, bios etc etc) men klarar sig fint på en enkel Xeon processor och ett par GB ram. Tittar man på andrahands-marknaden bör man kunna hitta en komplett HP/Compaq (anbefalls) eller Dell server till 2500,- som har allt ni behöver förutom 20TB lagringsplats - vilket är enkelt att bygga ut med ett hemmabyggt DAS.

Visa signatur

on the internet since 1993
[ Geek - Dad - Programmer - RC enthusiast - Technology evangelist ]

Basically, you’re the guy who survived the shipwreck because you had a lifeboat, and now you’re standing on the shore telling the people still drowning that the ocean isn’t that bad.

Permalänk

Känns inte helt hundra att ställa en server smockfull med ware... semesterbilder hos någon operatör i stadstnätet? Jag tror du får låta den här idén stanna vid en dröm

Visa signatur

Workstation: i5-6600K, 16GB DDR4, ASUS Z170 Pro Gaming, 250GB Samsung 850 Pro SSD, DELL Ultrasharp U2715 27" IPS
Laptop: MacBook Pro 13" Intel Core 2 Duo 2.4GHz, 8GB RAM, 1280x800, 250GB SSD, DELL Ultrasharp 2209WA 22" LCD
Filserver: HP Proliant DL120 G7, 16GB RAM, 4TB RAID 1

Permalänk

Jag lär säga att det var mycket negativa tankar. Är det inte just såna har saker som Sweclockers.com riktar in sig mot?

Tycker det låter som en riktigt kul ide.
Det finns många lösningar på det här men jag skulle gå på en egen server, behövs verkligen ingen overkill hårdvara. Så länge man håller flaskhalsen till internetuppkopplingen.

På t.ex. 100mbit/s så är det ett krav på hårddiskens läsning, 12.5mb/s. Det klarar vilken hårddisk som helst idag.

Vet man med sig att man kanske även har någon annans semesterbilder på datorn så kan man alltid kryptera hela filsystemet. Har själv kört så för ett par år sedan och resultaten gav då 4ggr långsammare skrivning till diskarna och 3ggr långsammare läsning

Permalänk

Det är skillnad på att vara realist och negativ Kostnaden för den access som dl-express vill ha kommer äta upp den kvarvarande budgeten på nolltid. Eller så är det bara jag som har en avvikande definition av "hög hastighet"

Visa signatur

Workstation: i5-6600K, 16GB DDR4, ASUS Z170 Pro Gaming, 250GB Samsung 850 Pro SSD, DELL Ultrasharp U2715 27" IPS
Laptop: MacBook Pro 13" Intel Core 2 Duo 2.4GHz, 8GB RAM, 1280x800, 250GB SSD, DELL Ultrasharp 2209WA 22" LCD
Filserver: HP Proliant DL120 G7, 16GB RAM, 4TB RAID 1

Permalänk

superboss: Så en dator som ska klara av att hantera 20tb data och en t.ex. 100mbit lina är vad dl-express behöver. 100mbit sitter idag i var och varannan lägenhet och hårddiskar kostar inte mycket idag. Inget elakt menat så ta det inte fel men tycker du det skulle vara svårt att genomföra?

Permalänk

Njae jag tror du missar min poäng. Exempelvis kostar det 5000kr/mån att ha 10 Mbit/s reserverad kapacitet på F S Data co-location.Inte ens det skulle budgeten klara mer än ett par månader efter hårdvaruinköp. Alternativet blir då att ha burken ståendes hemma på den uppgivna 100/10-linan. Femton personer som ska dela på den.... Förstår du min poäng? Ska man sitta och skyffla så stora datamängder vill man nog inte vara femton personer delandes på en 10Mbit-uppströmsförbindelse.

Visa signatur

Workstation: i5-6600K, 16GB DDR4, ASUS Z170 Pro Gaming, 250GB Samsung 850 Pro SSD, DELL Ultrasharp U2715 27" IPS
Laptop: MacBook Pro 13" Intel Core 2 Duo 2.4GHz, 8GB RAM, 1280x800, 250GB SSD, DELL Ultrasharp 2209WA 22" LCD
Filserver: HP Proliant DL120 G7, 16GB RAM, 4TB RAID 1

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av superboss
Njae jag tror du missar min poäng. Exempelvis kostar det 5000kr/mån att ha 10 Mbit/s reserverad kapacitet på F S Data co-location.Inte ens det skulle budgeten klara mer än ett par månader efter hårdvaruinköp. Alternativet blir då att ha burken ståendes hemma på den uppgivna 100/10-linan. Femton personer som ska dela på den.... Förstår du min poäng? Ska man sitta och skyffla så stora datamängder vill man nog inte vara femton personer delandes på en 10Mbit-uppströmsförbindelse.

Men alla kanske inte skyfflar data 24/7, men jag försfår din tanke... Kan själv inte vara utan min 100 uppkoppling. 10mbit upload räcker ju bara knappt till 1 person beroende på hur stora mängder data man ska skyffla.

Låt säga att 2 personer loggar in sammtidigt och båda ska tanka ner 4GB då är det rätt kört med 10mbit.

Så 100mbit är föredra om det nu är hela 15 personer som ska ha sina saker på servern.

Projektet i sig är inga som helst problem...

Köp:

Chassi:
Nätagg:
Moderkort
Cpu
Minne
24 portars raid-6kontroller:
20st 1,5TB diskar +2st reserv

Detta borde du komma runt 40 000 på

Sedan installerar du linux på maskinen tex Gentoo eller Debian, Slänger in glftpd vipps så har du en fungerade server med alla dina behov.

glftpd kan du sedan skapa alla dina användare med privata mappar samt med delade mappar.

Utöver det kan du sedan installera någon webserver så att du även kan komma åt filerna över https:

Visa signatur

R.I.P Robert 2004-01-29 (klasskompis) Läs: Artikel Nr 1. | Artikel Nr 2. | Artikel Nr 3.

Permalänk

Nej hårdvaran är som sagt inga bekymmer, det är just anslutningen som är problemet...

Visa signatur

Workstation: i5-6600K, 16GB DDR4, ASUS Z170 Pro Gaming, 250GB Samsung 850 Pro SSD, DELL Ultrasharp U2715 27" IPS
Laptop: MacBook Pro 13" Intel Core 2 Duo 2.4GHz, 8GB RAM, 1280x800, 250GB SSD, DELL Ultrasharp 2209WA 22" LCD
Filserver: HP Proliant DL120 G7, 16GB RAM, 4TB RAID 1

Permalänk
Medlem

Lagring på internet.

http://aws.amazon.com/s3/

Ca 1500 för en terabyte + trafik. Kan har räknat fel.

Permalänk
Medlem

från amazon länken:

$0.180 per GB – first 50 TB / month of storage used

Data Transfer

* $0.100 per GB – all data transfer in

* $0.170 per GB – first 10 TB / month data transfer out
* $0.130 per GB – next 40 TB / month data transfer out
* $0.110 per GB – next 100 TB / month data transfer out
* $0.100 per GB – data transfer out / month over 150 TB

Så det kan springa iväg ganska bra.

$0,170 = 1,39SEK per gb ut.

Enligt forex.se

Visa signatur

| Steam - Toivo |

Permalänk
Hedersmedlem
Citat:

Ursprungligen inskrivet av mazk0
Lagring på internet.

http://aws.amazon.com/s3/

Ca 1500 för en terabyte + trafik. Kan har räknat fel.

Nu var det bra mycket mer än 1 TB de ville ha.
0,180 * 20 000 = 3 600 $ i månaden för bara utrymmet. Visseligen kommer de inte kunna trycka in 20 TB direkt men om de skulle nöjt sig med 1 TB så kostar det ändå 2 160 $ per år (som sagt bara lagring).
Kassan blev snabbt uppäten.

Visa signatur

Forumregler | Feedbackforumet | Något som behöver modereras? Tryck på Anmäl inlägget och ge en anledning, någon moderator kommer granska inlägget och göra (egen) bedömning
"Fate. Protects fools, little children and ships named Enterprise." - Riker - ST:TNG

Permalänk

varför inte så att alla har varsin nas hemma hos sig, som sedan kan anslutas till över internet, så kan man få 100/1000 mbit/sek anslutning till sina egna filer, 10mbit till alla andras, kanske inte mest optimala ,emn den lär funka relativt bra.

annars så får ni lov att skaffa bra internet och som många sagt, det kostar multum.

Permalänk

Det är ganska självklart att Amazon S3 inte är en lösning för detta (en jäkligt fin tjänst dock), men jag ser inga som helst problem att hitta en lokal med 100/100 stadsnätstillkoppling (eller liknande billiga lösningar) och köra den över en multiWAN link därifrån - även om man kör 3 abbonement kommer man undan med mindre än en tusenlapp i månaden.

Hårdvaran kostar som sagt inte mycket och den absolut största kostnaden kommer bli diskarna, typ 18000,- för de 20TB de var ute efter (om de körs som en RAID6 array med hotspare). Resten av vad som behövs kan man skaffa för några få tusenlappar, så ett pris på 25k är inte helt orealistiskt för en 21TB storageserver inkl absolut allt man behöver (förutom då bandbredden).

Visa signatur

on the internet since 1993
[ Geek - Dad - Programmer - RC enthusiast - Technology evangelist ]

Basically, you’re the guy who survived the shipwreck because you had a lifeboat, and now you’re standing on the shore telling the people still drowning that the ocean isn’t that bad.