[Löst] Google Drive funkar väldigt dåligt?

Permalänk

[Löst] Google Drive funkar väldigt dåligt?

Hej!

Jag har tidigare använt Google Drive och det har funkat helt OK.

Idag skulle jag ladda ner en mapp med en massa undermappar på semesterbilder totalt ca 600GB. Men när jag ska ladda ner mappen via webbläsaren så fastnar nedladdningen på "Zippar en fil". Har testat flera olika webbläsare och datorer.

Testar med finder i MacOS men där segar det alldeles för mycket.

Känns värdelöst, är det dags att sluta med Google och återgå till Synology NAS?

Mvh,
MacOS
500Mbit

Permalänk
Medlem

Hur länge har du låtit den tugga? att zippa 600 GB lär ta en stund för servern innan den kan börja ladda ner.

Permalänk
Medlem

Är nog inte tänkt att ta så stora mängder filer på en gång via webben... begränsningarna till att de fryser kan mycket väl ligga i din webbrowser inte kan hantera hur stora filer i överföring som helst, i alla fall inte en klump på 600 GB stor zippad kontainer som en enda fil på en gång...

prova att överföra några filer i taget och se om det fungerar då - om det fungerar i det läget så är storleken på förfrågan som är problemet.

Har inte google egen program i datorn som synkar/överför filer mellan molntjänsten och din dator och kan visa upp det som en mapp/enhetsbokstav ??

Annars får du prova med 'rclone' i en powershell och den vägen överföra filer eller tom. mappa molnlagringen mot en mapp eller en enhetsbokstav och sedan kan du kopiera/överföra filer med file exlorern typ .

Permalänk
Medlem
Skrivet av stefaneriksson123:

Känns värdelöst, är det dags att sluta med Google och återgå till Synology NAS?

Det som händer när du trycker 'download' på en 600GB stor mapp med småfiler är att filen ska läsas ut från ett relativt långsamt storage, till en server som sedan ska zippa den och kanske sedan skickas vidare ytterligare en gång till en server som börjar skicka datan till dig.

Så i bästa fall om filen ska skickas till dig direkt tar detta 3 timmar om de ens låter dig ladda hem den i 500Mbit. Ska den flyttas runt lite och zippas så är det i mitt exempel i värsta fall kanske 1 (från storage till zip) + 1 (från zip till server #2) + 3h (till dig) = 5h.

Du har för mycket data för att hantera den remote. En lokal NAS är ju inte mycket snabbare men skulle du t.ex. köra 2.5G och tillräckligt bra hårddiskar så kan du ju i alla fall få hem det på en halvtimme. En bra intern SSD har i jämförelse 25Gbit read och kan leverera datan rakt in i dina ögon på 3 minuter.

Skaffa dig någonting som synkar, t.ex. Google Drives klient. Då kommer den ladda hem datan i småbitar till dig direkt, istället för att försöka skicka en enorm blob över internet. Men det kommer fortfarande ta 3+ timmar att få hem allt.

Permalänk
Skrivet av Kamouflage:

Det som händer när du trycker 'download' på en 600GB stor mapp med småfiler är att filen ska läsas ut från ett relativt långsamt storage, till en server som sedan ska zippa den och kanske sedan skickas vidare ytterligare en gång till en server som börjar skicka datan till dig.

Så i bästa fall om filen ska skickas till dig direkt tar detta 3 timmar om de ens låter dig ladda hem den i 500Mbit. Ska den flyttas runt lite och zippas så är det i mitt exempel i värsta fall kanske 1 (från storage till zip) + 1 (från zip till server #2) + 3h (till dig) = 5h.

Du har för mycket data för att hantera den remote. En lokal NAS är ju inte mycket snabbare men skulle du t.ex. köra 2.5G och tillräckligt bra hårddiskar så kan du ju i alla fall få hem det på en halvtimme. En bra intern SSD har i jämförelse 25Gbit read och kan leverera datan rakt in i dina ögon på 3 minuter.

Skaffa dig någonting som synkar, t.ex. Google Drives klient. Då kommer den ladda hem datan i småbitar till dig direkt, istället för att försöka skicka en enorm blob över internet. Men det kommer fortfarande ta 3+ timmar att få hem allt.

Ni har helt rätt, märker att jag kräver för mycket.

Får nog börja köra allt i min Synology NAS, sen får den ladda upp en backup till Google Drive, tänker jag.

Då har jag allt lokalt sen en kopia på Google Drive, utöver andra kopior.

Hade det varit en fil på 600GB hade det säkert funkat.

Hmm, finns det någon teknisk lösning på gång eller något ni känner till för att även kunna snabba upp överföring av tusentals små filer? Intressant iallafall.

Tack för era värdefulla svar.

Permalänk
Medlem
Skrivet av stefaneriksson123:

Får nog börja köra allt i min Synology NAS, sen får den ladda upp en backup-klon till Google Drive, tänker jag.

Om du redan har en Synology så spana in HyperBackup. Den har stöd för Google Drive, verkar det som.
Jag kör det själv, fast till en annan NAS. Funkar klockrent och är smidigt med att återställa versioner av filer från specifika datum och liknande.
Men det är backup, inte en kopia, så du kan inte nå filerna direkt via Google Drive utan får ju göra det via din NAS alltid i det fallet.

Skrivet av stefaneriksson123:

Hade det varit en fil på 600GB hade det säkert funkat.

Antagligen, men om du någon gång under de 3-5 timmarna tappar internet så den timear ut får du börja om från början igen. Inte supersmidigt.

Skrivet av stefaneriksson123:

Hmm, finns det någon teknisk lösning på gång eller något ni känner till för att även kunna snabba upp överföring av tusentals små filer? Intressant iallafall.

Synk-klienter är lösningen oavsett om det är för stora eller för många filer. De har inbyggt stöd för att yxa ned och klumpa ihop filerna i delar så oavsett vad du skickar så skickas det inte fil för fil utan ett block på en optimal mängd data som sedan pusslas ihop till filerna igen på datorn.
Sen om det finns en klient och hur bra den funkar beror ju på vilken tjänst du använder, men för google drive är det helt enkelt Google Drive for Desktop

Permalänk

Jag ska titta på Hyperbackup! Tack!
(Verkar som det är krypterat på backupsidan, vilket hade varit ganska nice att ha det krypterat på Google Drive. Men kan nog iofs ändå tänka mig att om ett par år kan nog Google avkryptera det som är krypterat idag så vet inte om man bara lurar sig själv egentligen).

Vad är snabbaste sättet att skicka filer lokalt ifrån MacOS till Synology?

Extern SSD med filsystemet APFS verkar inte stödjas av Synology.
FTP?
Synology Drive Client?
MacOS finder -> Network -> NAS?
Någon specifik app som finns på synology? (Kanske iofs inte är värt trixandet då jag ändå inte gör detta så ofta).

Permalänk
Medlem

Prova Google Drive for desktop. Använder den själv och tycker det fungerar klockrent:
https://www.google.com/drive/download/

Visa signatur

"The following statement is false: The previous statement is true! Welcome to our corner of the universe"

Permalänk
Medlem
Skrivet av xxargs:

Är nog inte tänkt att ta så stora mängder filer på en gång via webben... begränsningarna till att de fryser kan mycket väl ligga i din webbrowser inte kan hantera hur stora filer i överföring som helst, i alla fall inte en klump på 600 GB stor zippad kontainer som en enda fil på en gång...

prova att överföra några filer i taget och se om det fungerar då - om det fungerar i det läget så är storleken på förfrågan som är problemet.

Har inte google egen program i datorn som synkar/överför filer mellan molntjänsten och din dator och kan visa upp det som en mapp/enhetsbokstav ??

Annars får du prova med 'rclone' i en powershell och den vägen överföra filer eller tom. mappa molnlagringen mot en mapp eller en enhetsbokstav och sedan kan du kopiera/överföra filer med file exlorern typ .

Nu kör ju Google Drive garanterat Blobs med strömmad data direkt mot disk (via webbläsaren), så det lär inte direkt vara något problem med webbläsaren i sig.

Men ja, att zippa 600GB lär ju ta en halv evighet med tanke på hur segt det vanligtvis är för GDrive att zippa något innan nedladdning

Visa signatur

NZXT H510 Flow MSI B450 Tomahawk MAX
AMD Ryzen 5800X3D RX 7900XTX Kingston Fury 64GB

Permalänk

Tack för alla svar men blä vad krångligt detta är.
Jag lyckades ladda ner allt med Google Drive for desktop.

Nu till nästa produkt som inte heller är någon dröm att peta på.
Försöker ladda upp alla bilder via Synology Drive client till vår lokala Synology ds918+. Men det går fruktansvärt segt. Skulle säkert ta 1 vecka i denna takt.

Har nästan istället lust att springa och köpa en extern SSD (Samsung T7) som jag formaterar med exFAT för att flytta mellan datorn och NASen.

Ska först prova Resilio sync får vi se.

Tacksam för tips!

Permalänk

Resilio Sync var inte så enkelt heller.

Är det tänkt att man ska styra via nasen för att synca ifrån macos eller ska man göra det via klienten i macos? Jag är verkligen inte bra på detta.

Permalänk

Nu har jag en Samsung T7 som jag kopplat in med usb till Synology ds918+ för att synca över bilderna med en synology app som heter USB copy.

Äntligen trodde jag att det var löst! Men nej!
Tydligen har Synology någon bug som gör att användning av USB-porten inte alls fungerar speciellt bra. https://community.synology.com/enu/forum/1/post/122991?page=5...

Snittar en läshastighet på ca 1-3MB/sec. Detta kommer ta 1 vecka att synca över allt.

Jag formaterade Samsung T7 med min Macbook till ExFAT men lösningen ska troligtvis vara att använda Synologyn för att formatera Samsung T7 till ext4.

Usch, ska det verkligen behöva vara så här krångligt?

Permalänk
Medlem
Skrivet av stefaneriksson123:

Nu till nästa produkt som inte heller är någon dröm att peta på.
Försöker ladda upp alla bilder via Synology Drive client till vår lokala Synology ds918+. Men det går fruktansvärt segt. Skulle säkert ta 1 vecka i denna takt.

Har nästan istället lust att springa och köpa en extern SSD (Samsung T7) som jag formaterar med exFAT för att flytta mellan datorn och NASen.

Du skriver att det tar lång tid men inte hur fort det går eller hur mycket data du har. Samsung T7 finns ju dock bara upp till 4TB så att föra över det på 1 Gb lina borde ta 9 timmar. Även i worst case scenario med mycket småfiler (bilder på 10MB+ är stora filer) så borde du kunna fixa det på under ett dygn. Och ett dygn är väl fine för en sak du gör en enda gång?

Om jag skulle föra över 4TB data från min macbook till min DS918+ så hade jag mountat NASen som ett nätverksshare och sedan använt rsync för att föra över datan. Det borde vara det absolut snabbaste.

Vill jag ha det mer användarvänligt så skippar jag rsync (Det är trots allt command line) och kör Synology Drive.

Om något av de går ohemult långsamt så skulle jag lugna mig lite och kolla varför. Vad har du t.ex. för hastighet till NASen, går det att flytta över något alls (en stor film är en bra testfil) i ungefär 1 gigabit / 125 megabyte per sekund eller får du i praktiken mycket lägre hastighet än så?

Du kommer inte hitta någon applikation eller inställning som pang tjong går mycket snabbare än de andra, går det extremt långsamt så har du ett fel du behöver leta reda på och fixa först.

Permalänk
Skrivet av Kamouflage:

Du skriver att det tar lång tid men inte hur fort det går eller hur mycket data du har. Samsung T7 finns ju dock bara upp till 4TB så att föra över det på 1 Gb lina borde ta 9 timmar. Även i worst case scenario med mycket småfiler (bilder på 10MB+ är stora filer) så borde du kunna fixa det på under ett dygn. Och ett dygn är väl fine för en sak du gör en enda gång?

Om jag skulle föra över 4TB data från min macbook till min DS918+ så hade jag mountat NASen som ett nätverksshare och sedan använt rsync för att föra över datan. Det borde vara det absolut snabbaste.

Vill jag ha det mer användarvänligt så skippar jag rsync (Det är trots allt command line) och kör Synology Drive.

Om något av de går ohemult långsamt så skulle jag lugna mig lite och kolla varför. Vad har du t.ex. för hastighet till NASen, går det att flytta över något alls (en stor film är en bra testfil) i ungefär 1 gigabit / 125 megabyte per sekund eller får du i praktiken mycket lägre hastighet än så?

Du kommer inte hitta någon applikation eller inställning som pang tjong går mycket snabbare än de andra, går det extremt långsamt så har du ett fel du behöver leta reda på och fixa först.

Hej! Det är semesterbilder på totalt ca 600GB.
Nu försöker jag ju synca över direkt via en usb Samsung T7 ExFAT, det segar också men ska tydligen vara p.g.a filsystemet som är ExFAT istället för Ext4.
Gör detta eftersom Synology Drive klienten på MacOS var alldeles för långsam.

Testade som du sa hastigheterna och här är vad jag fick:
# APF = snittar ca 90MB/sek
# Webbläsare drog en fil direkt in i rutan = snittar ca 90MB/sek
# Finder visar delade mappar under nätverk -> nas. Vet inte vad detta är för protokoll. = snittar ca 90MB/sek
# FTP = ej testat

Permalänk

Jag tror jag varit lite otydlig.

Jag försöker synca ifrån Samsung T7 ExtFAT till en mapp som delvis innehåller vissa bilder på Nasen.

Det är syncandet som segar, att direkt föra över går fort. Ber om ursäkt om det varit otydligt. Borde skapa en ny tråd egentligen om detta under Lagring.

Permalänk

Det verkar som att jag löst det!

Först använde jag Samsung T7 ExFAT till att kopiera över filerna till en mapp på NAS:en.
(Kopierade direkt i webbläsaren där jag drog mappen från usb:en till nas:en, detta fungerade snabbast av någon anledning).

Sen följde jag den citerade guiden nedan för att synca lokalt och det ser ut som att det går i maxfart!
https://community.synology.com/enu/forum/17/post/110172?page=...

Skrivet av twisted_world på community.synology.com:

Apr 09, 2018
I'm not sure if I even understand the reasons why people want to sync two folders on the same NAS, but since I've seen this topic pop up multiple times, I tried to find a (relatively) simple solution to this problem and I found one that doesn't need too much tweaking and works pretty well.

So you want to sync two local folders but the regular apps don't allow the source and destination to be on the same machine. Then "think outside of the box" and make the source APPEAR to be a different machine from the destination even though it is the same! :wink:

I solved this by installing WebDAV Server on my NAS (well, actually it was already installed, but those of you who haven't should do so).

Then I used Cloud Sync (you should also install that if you haven't already) to sync one folder with another one on "localhost". For those of you not familiar with networking thingies, "localhost" is a fixed DNS name that will always resolve to the machine itself.

So here's the step-by-step things you need to do to sync two folders on the same machine. For this example I named my shared folders "test1" and "test2"...
Install WebDAV Server
Install Cloud Sync
Start Cloud Sync and create a new task using the [+] icon
Select WebDAV as your "Cloud Provider"
Use "locahost" as the Server address and enter your login credentials. Remember to add the port-number you used for WebDAV after the Server address, for example "localhost:5005"
Give this task some name (I simply used "Localhost") and select one folder for the "Local path" and the other for "Remote path". In my screenshot you'll see "test1" and "test2", which are both shares on my NAS, but you could also select folders within shares if you wish.
Choose a sync direction. "Bidirectional" will make sure both folders are always the same, no matter in which folder you change things. "Download remote changes only" will cause changes in the "Remote path" to be synced to the "Local path" but not the other way around. "Upload local changes only" will cause changes in the "Local path" to be send to the "Remote path" but not the other way around.
That's all there is to it!

The nice bonus feature of using Cloud Sync like this is that you can also set a schedule for syncing. If you don't, any changes will be synced immediately, but if you do you can set the timeframe when syncing should occur, for example only during the night when you are not using your NAS.

Hope this is working the way you want it to.

Tack!