ESXi, otroligt långsamma nätverksförbindelser.

Permalänk
Medlem

ESXi, otroligt långsamma nätverksförbindelser.

Kör ESXi 5.5 Nested i ESXi 5.5 på en Dell Poweredge T20 med 20 GB ram, CPU är en Intel Pentium G3220 3.1 GHZ.

Kör följande VM "o-nestat" och alla är idle:
Server 2012r2 - DC 512 MB ram
Server 2012r2 - Edge/router 1 GB RAM
Server 2012r2 - Svr1 1 GB RAM

Server 2012r2 - DC/DNS 512 MB RAM
Server2012r2 - Edge/router 512 MB RAM
vCenter Appliance ver 5.5 4 GB RAM
ESXi1 4 GB RAM
ESXi2 4 GB RAM

Kör vmxnet3 nu och sedan tidigare E1000. Upplever dock att E1000 är snabbare.

Problemet är nu att all hastighet ifrån och inom ESXi hosten är segt! Har ett iSCSI target på en maskin, där jag får 906 mbit ifrån via min stationära maskin (SMB 3), och för att jämnföra med något praktiskt så tar det > 40 min att installera Windows 7 från en ISO. Kikar jag på "genomströmmning" på iSCSI servern så skrevs data i < 5 mb/sek, vilket är rätt segt. Att ladda upp en OVF tog 45 min, filstorleken var 1,8 GB. Har aktiverat jumbo frames. Labbat med Small Rx Buffers utan resultat. Även testat NFS shares, samma fenomen. Även testat att ha en NFS/iSCSI share på samma ESXi host.

Någon som har en eller flera idér vad jag kan göra för att få lite speed i nätverket?

Känns som denna tråd kommer bli svarsfattig.

Permalänk
Medlem

Jag vet inte om det är något liknande men efter några dagar sjunker hastigheten från Windows Server 2012 R2 -> Windows 8.1 -> Windows Server 2012 R2 från 300-600mb/s till ca 20-30mb/s tills jag startar om både Windows 8.1 VM och 2012 R2 VM.

Har inte lyckats lösa vad detta kan bero på än dock.

Detta gäller endast VM till VM transfers, genom det fysiska nätverket har jag alltid Gbit anslutning och hastighet.

Permalänk
Medlem

Jag antar att du kommit ihåg att slå på Jumbo Frames i vSwitcharna? Annars får man riktigt risig prestanda...

Är du säker på att det är risig nätverksprestanda och inte diskprestanda på host:en?

Du har väldigt snålt med RAM på flertalet VMar. Jag säger inte att det löser problemet men jag skulle minska vCenter App:en till 2-3GB (ska inte svära men jag har för mig att jag fått den att rulla på det i labb) och försöka ge 2012:orna lite mera.

Visa signatur

Intel Core Ultra 7 265K | Asus PROART Z890 CREATOR WIFI | Corsair Vengeance DDR5 7000MHz 2x48GB | ASUS TUF RTX 3080 OC | WD Black SN850X 2TB | WD Black SN850 1TB | Intel 660p 2TB | Crucial MX500 4TB | Noctua NH-D15S Chromax Black | Fractal Design North | Seasonic Focus GX 850W ATX 3.1

Permalänk
Medlem

Är inte säker på något. När jag har en SMB share på hosten så för jag över i över 100 mb/sek (900 mbit).

Och ha, dswitcharna har en mtu på 9000.

Ska för skojs skull testa med en vanlig vswitch.

Permalänk
Medlem
Skrivet av hardrade:

Är inte säker på något. När jag har en SMB share på hosten så för jag över i över 100 mb/sek (900 mbit).

...

Kontinuerligt eller tills RAM-bufferten är full? Hade också problem med risig prestanda pga att ESXi inte buffrade skrivningar till HBAn (M1015) medan den var mera promiskuös med mobots SATA-controller. Detta maskerades till viss del av Windows cachning men så fort den var full dök prestandan till typ dina nivåer.

Visa signatur

Intel Core Ultra 7 265K | Asus PROART Z890 CREATOR WIFI | Corsair Vengeance DDR5 7000MHz 2x48GB | ASUS TUF RTX 3080 OC | WD Black SN850X 2TB | WD Black SN850 1TB | Intel 660p 2TB | Crucial MX500 4TB | Noctua NH-D15S Chromax Black | Fractal Design North | Seasonic Focus GX 850W ATX 3.1

Permalänk

Har du koll så att du inte överlastat diskarna så de får läs och skriv timeouts genom att lägga för många maskiner på samma disk?

Permalänk
Medlem
Skrivet av Multicast:

Har du koll så att du inte överlastat diskarna så de får läs och skriv timeouts genom att lägga för många maskiner på samma disk?

Hur vet man om man gjort det?
Diskarna är i princip idle. Men vem vet.

Permalänk

Kommer inte precis ihåg vart man såg det men om du öppnar esxi så du ser alla dina VM:ar så har du logging eller var det heter i någon av menyerna och där kan du logga på disk aktivitet och så ser du hur många ms du har som lägst och högst.

På en 7200 rpm disk så gick det att trycka in tre VM:ar och sen började det bli timeouts så maskinen känns seg, om du samtidigt börjar skyffla stora mängder data blir det kännbart, om dessa ligger i samma datastore.

Eftersom du kör server kanske du till och med kör 10.000rpm eller 15.000 rpm på flera diskar men du kanske har raidat ihop dessa till en stor volym?
Om du tänker att varje mekanisk disk du använder har ett antal runda skivor och läsarmar som går fram och tillbaka för att skriva/läsa data så även om du tycker din maskin är idle så måste andå disken jobba med de processer som körs.

Om du trycker ihop för många VM:ar på samma datastore / disk hinner läsarmarna inte med och det börjar köas upp.
I min esxi lösning brukar jag ha en dedikerad datastore (hårddisk) enbart för image filer för operativ / ms mjukvara och sen delar jag upp så att jag inte lägger för många VM:ar på samma disk.

Permalänk
Medlem

Känns som om så lite ram-tilldelningar genererar mycket swap. Man kan trimma ram-användningen på vcenter, inget jag själv gjort dock

Permalänk
Medlem

Måste säga att det är extremt lite RAM som du har att spela på.
Min rekommendation är att du uppgraderar.

Permalänk
Medlem

Lånade 32 GB ECC ram, ingen skillnad.
Har nu fått upp hastigheten till 15-25 mb / sekunden. Tar nu inte lika lång tid att installera, men borde jag inte få bättre hastighet än det? Jag flyttade SSD, den låg på en mekanisk disk som var VARM, inte en aning om det var orasaken.

Permalänk
Medlem

Du kan få väldigt konstiga problem när man kör på hårdvara som inte är tänkt att köra ESXi på.
Därför vmware har en lista på vad dem rekommenderar för hårdvara att köra det på.

Permalänk
Medlem

Blir det någon skillnad ifall du bara har de VM/ar som behövs för testen igång samtidigt?

Visa signatur

Intel Core Ultra 7 265K | Asus PROART Z890 CREATOR WIFI | Corsair Vengeance DDR5 7000MHz 2x48GB | ASUS TUF RTX 3080 OC | WD Black SN850X 2TB | WD Black SN850 1TB | Intel 660p 2TB | Crucial MX500 4TB | Noctua NH-D15S Chromax Black | Fractal Design North | Seasonic Focus GX 850W ATX 3.1