TSMC utvecklar enorma kretsar med effekt mätt i kilowatt

Permalänk
Melding Plague

TSMC utvecklar enorma kretsar med effekt mätt i kilowatt

De största kretsarna blir allt större, och TSMC visar nu upp sina planer på tillverkningstekniker som möjliggör kretsar på 120 × 120 millimeter.

Läs hela artikeln här

Visa signatur

Observera att samma trivselregler gäller i kommentarstrådarna som i övriga forumet och att brott mot dessa kan leda till avstängning. Kontakta redaktionen om du vill uppmärksamma fel i artikeln eller framföra andra synpunkter.

Permalänk

De behövs verkligen. Min bild av Ai vid kodgenering idag är att det är väldigt mycket, wow herrej-vlar vilken kod den spottar ut sig. Sedan när man testkör koden inser man att f-nskapet har hittat på saker från tomma intet. Som använda icke existerande parametrar vid funktionsanrop och bygger sin lösning på att de existerar.

Men på andra områden går det snabbare och vi kommer behöva allt mer datakraft för all Ai.

Permalänk
Medlem
Skrivet av lillaankan_i_dammen:

De behövs verkligen. Min bild av Ai vid kodgenering idag är att det är väldigt mycket, wow herrej-vlar vilken kod den spottar ut sig. Sedan när man testkör koden inser man at f-nskapet har hittat på saker i tomma intet. Som använda icke existerande parametrar vid funktionsanrop och bygger sin lösning på att de existerar.

Men på andra områden går det snabbare och vi kommer behöva allt mer datakraft för all Ai.

Välkänt problem, vi kallar det för hallucination. Det kommer alltid finnas ett viss mått av det, det är ju statistiska modeller i grund och botten trotts allt.

Permalänk
Medlem

Räknas inte cerebras wafer scale om dessa är de största?

Visa signatur

CCNP

Permalänk
Datavetare

Härligt, så Moores lag lever vidare!

Bara vi ignorerar att perf/W inte längre skalar som tidigare, det dog någonstans vid 45-65 nm när Dennard scaling dog.

Och ignorerar att priset per mm² kisel inte längre är relativt konstant, de började krackelera vid övergången till FinFET och havererade helt när EUV började används.

Samt ignorerar att det blir allt svårare att göra riktigt stora monolitiska kretsar, istället är det klippa-klistra-kretsar både på bredden och höjden (CoWoS, Foveros).

Men bortsett från det kan Moore känna sig trygg att hans lag lever vidare

Visa signatur

Care About Your Craft: Why spend your life developing software unless you care about doing it well? - The Pragmatic Programmer

Permalänk
Medlem
Skrivet av lillaankan_i_dammen:

De behövs verkligen. Min bild av Ai vid kodgenering idag är att det är väldigt mycket, wow herrej-vlar vilken kod den spottar ut sig. Sedan när man testkör koden inser man att f-nskapet har hittat på saker från tomma intet. Som använda icke existerande parametrar vid funktionsanrop och bygger sin lösning på att de existerar.

Men på andra områden går det snabbare och vi kommer behöva allt mer datakraft för all Ai.

Kan inte sådant skapa allvarliga säkerhetsbrister?

Visa signatur

JJ2 Multiplayer
JJ2 ZStats

[1] Ryzen 5800X | 5500XT | Kingston A2000 | Lenovo G24-10 144Hz [2] Ryzen 5700G | RX 560 | WD Blue SN550 [3] Ryzen 5600G | Kingston A2000 [4] Ryzen 3600 | GT 740 | 850 EVO [5] Ryzen 3600 | Geforce 405 | 850 EVO (alla är i bruk)

Permalänk
Medlem

Antalet transistorer per mm^2 på dagens processorer är så löjligt många. Jag skulle inte äns lyckas göra en transistor som får plats på 1mm^2.

Men, men, ska bli intressant att se vad dessa kommer prestera.
Och hur många kommer Tvelander köpa...?

Visa signatur

www.fckdrm.com - DRM år 2024? Ha pyttsan.

Permalänk
Medlem
Skrivet av lillaankan_i_dammen:

De behövs verkligen. Min bild av Ai vid kodgenering idag är att det är väldigt mycket, wow herrej-vlar vilken kod den spottar ut sig. Sedan när man testkör koden inser man att f-nskapet har hittat på saker från tomma intet. Som använda icke existerande parametrar vid funktionsanrop och bygger sin lösning på att de existerar.

Men på andra områden går det snabbare och vi kommer behöva allt mer datakraft för all Ai.

Provat att sänka temperaturen? Det minskar risken för hallucinationer men kommer också att leda till att den oftare säger att den inte kan ge något svar vilket är att föredra vid kodgenerering.

Permalänk
Medlem

@alundberg En krets som utnyttjar hela utrymmet får i så fall 1,78 biljoner transistorer enbart i logikdelen. 🥱

GeForce RTX 4090 features 76 billion transistors, 16,384 CUDA® cores and 24GB of high-speed Micron ....

För att undvika missförstånd kanske man kan undvika biljoner?

Kretsen innehåller 1,78 tera (miljoners miljoner) transistorer i logikdelen, motsvarande 1,78×10¹² stycken.

Permalänk
Medlem
Skrivet av dblade:

@alundberg En krets som utnyttjar hela utrymmet får i så fall 1,78 biljoner transistorer enbart i logikdelen. 🥱

GeForce RTX 4090 features 76 billion transistors, 16,384 CUDA® cores and 24GB of high-speed Micron ....

För att undvika missförstånd kanske man kan undvika biljoner?

Kretsen innehåller 1,78 tera (miljoners miljoner) transistorer i logikdelen, motsvarande 1,78×10¹² stycken.

man kan skriva 1 780 miljarder transistorer... det är väldigt mycket transistorer. :).
Skämt åtsido så är 1.78 biljoner mycket tydligare på svenska än 1 780 miljarder eller 1,78 tera transistorer

Visa signatur

"Resistance is futile."

- Georg Ohm

Permalänk
Medlem
Skrivet av Selmalagerlöf:

man kan skriva 1 780 miljarder transistorer... det är väldigt mycket transistorer. :).
Skämt åtsido så är 1.78 biljoner mycket tydligare på svenska än 1 780 miljarder eller 1,78 tera transistorer

Tycker mest det är störigt när man inte lyckats definiera billions till att vara samma som biljoner och det skapar lätt förväxlingar. Själv är jag mest van vid att tänka på biljoner i mitt huvud som 10^9 i alla sammanhang. T.ex. en språkmodell som har 7B parametrar har alltså 7x10^9 parametrar.

Permalänk
Medlem

Problemet med så stora kretsar är interconnect och höga frekvenser. Det kostar mycket energi att överföra/synka minne på så stora avstånd

Permalänk
Medlem
Skrivet av Archibald:

Provat att sänka temperaturen? Det minskar risken för hallucinationer men kommer också att leda till att den oftare säger att den inte kan ge något svar vilket är att föredra vid kodgenerering.

Skämt gissar jag? Annars så får jag säga att temp på processor inte påverkar hallucinationer alls ....

Visa signatur

Hur många datorer är för många?

Permalänk
Medlem
Skrivet av kelthar:

Skämt gissar jag? Annars så får jag säga att temp på processor inte påverkar hallucinationer alls ....

Jag hoppas att du bara trollar. Svaret på din fråga är bara en Googling bort…

https://www.google.com/search?q=llm+temperature

Permalänk
Medlem
Skrivet av Archibald:

Jag hoppas att du bara trollar. Svaret på din fråga är bara en Googling bort…

https://www.google.com/search?q=llm+temperature

Nej, trodde du menade temperatur i kretsen. My bad.

Citat:

For example, when the temperature is set to zero, an LLM will produce the same output over and over again when given the same prompt. As the temperature parameter is raised, an LLM becomes more creative and offers more diverse outputs. However, when the temperature gets too high, the output can lose meaning and become erratic or nonsensical.

Visa signatur

Hur många datorer är för många?