Förslag på program som kör på tusentals CPU-kärnor?

Tog bort ett inlägg som inte bidrog med något.

Mvh
Moderator Shimonu

2010 estimerades det att Google kör på nästan en miljon servrar. Nu har dom ju iof mer tjänster än sin sökmotor.

Vad jag skulle göra om det vare lika lätt att programmera ett lokalt system som en distribuerat vore nog en databas utan de problem som finns i dagsläget för att hålla ACID (https://en.wikipedia.org/wiki/ACID) samt att hålla det snabbt.

Det stora, som pratas om i många många är väl att ta bort datorn eller din konsol och bara erbjuda tjänster över internet.

Som exempel skulle väl Microsoft, som har pengar kunna utveckla en ny plattform där du bara pluggar in en handkontroll via usb till din Smart-TV och laddar ner Xbox konsol appen, sedan så streamas bara allt material till din tv via deras datacenter i Sverige. Så all CPU och GPU kraft finns i deras Datacenter, de behöver inte utveckla och sälja dessa produkter i butiker.

Rendera extremt komplexa 3d animationer, förhållandevis lätt att distribuera frames och delar av frames till enskilda enheter som sedan sammanställs centralt hos en "task master".

Nackdelen att köra saker som MMO AI och liknande är latancy och att alla individer är beroende av varandra på deras reaktioner och positioner så blir enormt mycket overhead och mycket latancy mellan. Optimalt för distribuerad beräkning är när du kan ge delar av uppgifter till olika enheter och sedan samla in och ge nya batchar.

Folding@home och SETI@home är bra exempel på batchning av workload.

Det stora problemet är inte att skriva program som går att köra distribuerade. Det är lite krångligare än att skriva vanliga sekventiella program, men inte så väldigt mycket svårare.

Nej, det svåra är att göra program som faktiskt kan dra nytta av mer än ett fåtal trådar.

Vissa problem, som brukar kallas "embarrasingly parallell", är enkla att sprida ut på godtyckligt antal processorer och få en prestandavinst som är näst intill linjär med antalet processorer. Raytracing är ett klassiskt exempel på ett sådant problem.

Den stora merparten av problem/program är däremot svåra att få att utnyttja en massa distribuerade resurser på ett effektivt sätt - och i de flesta fall finns det ingen som vet ens teoretiskt hur man kan göra det.

Om man nu rent hypotetiskt antar att det var lätt att parellellisera program, vilka program skulle man vilja göra det med? Svaret är i princip detsamma som det på frågan "Om du kunde få en CPU som var tio gånger snabbare än den du har, vilka program skulle du vilja ha den till?", nämligen: ALLA program som har behov av mer CPU-kraft - vilket är merparten av dem.

Jag kanske missförstår frågan, men jag skulle nog köra typ allt på det viset om det var enkelt.

Det finns en massvis program/problem som ligger mellan "pinsamt parallella" och "inte alls parallella". Det var mest dem jag åsyftade. Problemet med merparten av dem är att medan det oftast går hyfsat att dela upp dem på ett fåtal (4-5) trådar/kärnor så är det svårt att sprida ut dem på fler på ett effektivt sätt - så att man inte förlorar mer prestanda på den extra kommunikation som behövs mellan trådarna än man vinner av de extra kärnorna.

(Det finns en anledning till att få persondatorer som som säljs idag har fler än fyra kärnor trots att det finns CPUer med fler - få program har nytta av fler kärnor än så.)

Det finns en mängder med program som skulle kunna använda mer CPU-kraft om det fanns, men inga som mer specifikt kräver en rent distribuerad modell.

Den enda anledningen till att använda distribuerade system alls är att vi inte kan bygga tillräckligt kraftfulla enkel-kärniga system.

Frågan "Om det var enkelt att skriva program som effektivt utnyttjar system med tusentals kärnor, vad skulle man ha ett sådant system till?" har exakt samma svar som "Om man hade ett enkel-kärnigt system som var tusentals gånger snabbare än nuvarande system, vad skulle man ha ett sådant system till?"

Allt som idag görs med hjälp av en GPU skulle ju istället kunna köras på en CPU med miljoner kärnor. De flesta problem som kräver parallella trådar löses ju med hjälp av grafikkort (CUDA et al).

Tror inte det finns något man idag inte kan göra för man inte har en miljon CPU-kärnor - Då använder man ju bara en GPU istället som utför jobbet utmärkt. - Sen som någon tidigare påpekat skulle ju samtliga program som existerar må bra av att kunna utnyttja fler kärnor samtidigt.

Någonting som hade varit helt magnifikt hade ju varit om man hade en form av lastbalanserare som löste det automatiskt - Man skickar en hel hög med jobb till balanseraren, som portionerar det till X trådar/processorer/kärnor och den hanterar också svaret och kön. - Då skulle man inte längre ha svårt att skriva program som utnyttjar parallella trådar, utan det skulle skötas automatiskt - Alla program på jorden skulle bli otroligt mycket snabbare!

Vore rätt så enkelt att köra en typ av trådlös brygga via USB som handkontrollen skickar signaler till.

Annars vad gäller tråden så tror jag i vissa fall att det kan bli problem med CPU kopplat i ett nätverk för du kommer ha en latens på millisekunder där instruktioner som utförs av en cpu kan beräknas ned till nano sekunder. Så du kommer troligtvis få en interrupt delay för nätverks lagret inte är lika snabbt. Fast det beror helt på vad det är för ide du vill skapa eller utföra.

Varför inte ett spel med grafik lika bra som verkligheten.. om du har 1.000.000 eller fler processorer så borde det ju gå ?

Alla tunga jävla java applikationer som har interna dependencies som gör att de inte kan skala ut så det enda alternativet är att köpa fetare servrar.

Skickades från m.sweclockers.com