Forum Datorer och system Stationära datorer Köpråd Tråd Inlägg

Dator för AI

1
Skriv svar
Permalänk
Medlem
●

Dator för AI

Hej!

Ska köpa en dator som ska användas för AI (egen träning) och LLM. Jag har bestämt mig för att bygga en dator (vilket jag aldrig har gjort tidigare). Det jag har införskaffat är ett Chassi (Define 7 XL) och gfx-kort (Gigabyte AORUS GeForce RTX 3090 MASTER 24G). Det jag har beslutat mig för är en AMD cpu och AM5-socket.

Jag har tagit fram en initial lista på komponenter:

Chassi: Define 7 XL
GFX: Gigabyte AORUS GeForce RTX 3090 MASTER 24G)
CPU: AMD Ryzen 7 7700X
Mobo: MSI MAG B650 TOMAHAWK WIFI ATX AM5
SSD: Kingston NV2 M.2 SSD 2TB
RAM: Corsair Vengeance 64 GB (2 x 32 GB) DDR5-5200 CL40 Memory
Cooler: Cooler Master Hyper 212
PSU: Be Quiet Pure Power 12 M 1000W

Det i fetstil har jag redan.

Då jag aldrig har byggt ihop en egen dator så är jag osäker på kylare och PSU. Jag är rätt säker på att 1000W kommer att räcka, men då jag lekt med tanken att eventuellt skaffa ett till gfxkort så tar jag lite höjd här. Kylare däremot har jag ingen aning om vad jag kommer att behöva, eller vad som är bra. Jag gick med den kylaren bara för att ha något att starta med.

Tar gärna all input, tips och tricks jag kan få då detta blir min första gång jag bygger ihop en egen dator.

Tack på förhand!

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Först om AI så testade jag att köra ollama med deepseek-r1:14b (14 miljarder parametrar mot fullskaliga 400 miljarder) lokalt i Win11 på Ryzen 5700X/32GB RAM/RTX 4070 med 12 GB RAM - funkar hyggligt bra och den svarar ganska snabbt (svaret kommer i skapligt lästempo). Den större :32b-modellen är betydligt segare (något ord per sekund till svars så "inte konversation") men bägge svarar på halvbra svenska. Provade även bildanalys med llava :13b och :34b som också funkar imponerande bra men långsamt med den större.

Har dock inte tränat några modeller, bara kört färdiga.

Frågade "den lokala" AI:n om skillnad mellan RTX 3090 och 4070 för AI-analys men well, ingen meningsfull faktor utan mest "AI-svammel" om 3090 kraftfull / 4070 valuta - men sannolikt ger "dubbla minnet" i 3090 en fördel även om 4070 har lite högre TFLOPS - och kortet hade Du redan så kör på det.

Kylning: 5700X har klart lägre effekt än 7700X, körde min med Be Quiet! Pure Rock Slim 2 (329 pix på Inet), liten, tyst, skall klara kyla uppo till 130 watt och räckte bra. Skulle tro den klarar 7700X rätt bra också. Bytte upp till en 360mm vattenkylare "mest för att" (något special price på Inet) och den är tystare även på hög last.

Annars generella tips om Du aldrig byggt dator: ha ordning och reda på nåt stort bord med bra belysning, kika på några videos (ex: Linus Tech Tips) på byggen, lägg mobo på kartongen, montera CPU:n extremt försiktigt, rätt ledd, böj INGA ben/kontakter under, lagom med kylpasta ovanpå till kylaren (oavsett fläkt eller vattenpump) och provmontera det mesta utanför datorlådan - tryck i minneskapslarna ordentligt (de kärvar lite, var "fast men inte hårdhänt"), tja, lite sånt. Och hoppas på "POST" - att den startar...

Lite impad av "kraftfull AI-PC" som första bygge men kommer säkert gå bra - wish U luck 😊

Visa signatur

Dell XPS 17 - RTX 2060 - 4k touch - ersätter MSI GS73VR efter tre år
Byggen: Simply Red med 950 Pro - Liten Lian Li

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av ErikLtz:

Först om AI så testade jag att köra ollama med deepseek-r1:14b (14 miljarder parametrar mot fullskaliga 400 miljarder) lokalt i Win11 på Ryzen 5700X/32GB RAM/RTX 4070 med 12 GB RAM - funkar hyggligt bra och den svarar ganska snabbt (svaret kommer i skapligt lästempo). Den större :32b-modellen är betydligt segare (något ord per sekund till svars så "inte konversation") men bägge svarar på halvbra svenska. Provade även bildanalys med llava :13b och :34b som också funkar imponerande bra men långsamt med den större.

Gå till inlägget

Jag har testat lite själv med de mindre modellerna, men är rätt långsam på cpu. Båda llama och gemma tycker jag har fungerat bra för svenska. Qwen (kinesisk LLM) däremot har inte varit lika imponerande på svenska. Ibland har jag upplevt att den svarar på engelska då jag skriver på svenska och att den även lägger in kinesiska tecken.

Skrivet av ErikLtz:

Kylning: 5700X har klart lägre effekt än 7700X, körde min med Be Quiet! Pure Rock Slim 2 (329 pix på Inet), liten, tyst, skall klara kyla uppo till 130 watt och räckte bra. Skulle tro den klarar 7700X rätt bra också. Bytte upp till en 360mm vattenkylare "mest för att" (något special price på Inet) och den är tystare även på hög last.

Annars generella tips om Du aldrig byggt dator: ha ordning och reda på nåt stort bord med bra belysning, kika på några videos (ex: Linus Tech Tips) på byggen, lägg mobo på kartongen, montera CPU:n extremt försiktigt, rätt ledd, böj INGA ben/kontakter under, lagom med kylpasta ovanpå till kylaren (oavsett fläkt eller vattenpump) och provmontera det mesta utanför datorlådan - tryck i minneskapslarna ordentligt (de kärvar lite, var "fast men inte hårdhänt"), tja, lite sånt. Och hoppas på "POST" - att den startar...

Lite impad av "kraftfull AI-PC" som första bygge men kommer säkert gå bra - wish U luck 😊

Gå till inlägget

Tack för din input. Har sett lite videos från Linus Tech Tips angående bygga en dator, men behöver nog kolla dessa igen.

Jag har nu beställt grejerna så förhoppningsvis får jag dessa i slutet av veckan.

Redigera
Citera flera Citera
1
Skriv svar