Forum Datorkomponenter Grafikkort Övrigt Tråd Inlägg

Prisvärt grafikkort för AI (ML/LLM/DL)?

1
Skriv svar
Permalänk
Medlem
●

Prisvärt grafikkort för AI (ML/LLM/DL)?

Jag håller på att förkovra mig i AI (LLM, ML, DL) och inser att det inte är hållbart att köra detta på mitt befintliga grafikkort (som verkar skicka allt till processorn). Jag är därför på jakt efter ett bra och prisvärt kort för att mina AI-tillämpningar ska gå snabbare. Har någon tips och råd om vad jag borde skaffa tar jag tacksamt emot detta.

Redigera
Citera flera Citera
Permalänk
Medlem
●

Vad har du för budget, och hur stora modeller är du intresserade av?

Jag har just nu en 7900 XTX som jag kom över billigt begagnat (7 000 kr) vilket jag är rätt nöjd med. Använder främst "ollama" för enkelhetens skull och "open-webui" för ett chatgpt liknande gränsnitt ovanpå ollama, med diverse webhooks och fördefinerade instruktioner etc.

Nackdelen med AMD (ROCm) är väl att jag inte hittat lika mycket information om bibliotek och tutorials såsom Nvidia (CUDA) har.

Själv önskat att jag kunnat komma över en 3090 för ett hyffsat pris begagnat, så jag kan sätta upp en separat rigg och kunna nyttja LLM:erna remote

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av ransomware:

Vad har du för budget, och hur stora modeller är du intresserade av?

Jag har just nu en 7900 XTX som jag kom över billigt begagnat (7 000 kr) vilket jag är rätt nöjd med. Använder främst "ollama" för enkelhetens skull och "open-webui" för ett chatgpt liknande gränsnitt ovanpå ollama, med diverse webhooks och fördefinerade instruktioner etc.

Nackdelen med AMD (ROCm) är väl att jag inte hittat lika mycket information om bibliotek och tutorials såsom Nvidia (CUDA) har.

Själv önskat att jag kunnat komma över en 3090 för ett hyffsat pris begagnat, så jag kan sätta upp en separat rigg och kunna nyttja LLM:erna remote

Gå till inlägget

Tack. Jag skulle nog säga en 4000-5000 för att komma igång. Min ambition är ungefär som den du beskriver, med Ollama och ett GUI varifrån jag kör diverse funktioner.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av sa_swe:

Tack. Jag skulle nog säga en 4000-5000 för att komma igång. Min ambition är ungefär som den du beskriver, med Ollama och ett GUI varifrån jag kör diverse funktioner.

Gå till inlägget

För 5k lär du hitta ett 3090

Visa signatur

Intel i5 12600k OC 5.2GHz | Arctic Freezer II 240 | MSI Pro Z690 A | 2x 16Gb Corsair LPX 3200MHz | Asus Tuf 4070 Ti | Corsair Rm850x V3 | 2x 1Tb Samsung 980 m2 | 7x Noctua A14x25

Redigera
Citera flera Citera
1
Skriv svar