Nvidia tappar över 6 biljoner kronor på börsen

Exakt. Man har ersatt mycket gammal kolkraft med modern kolkraft så en förbättring helt klart. Det hade såklart varit ännu bättre om de inte hade haft någon kolkraft alls men likväl en stor förbättring.

Minst sagt. Det har skett väldigt mycket när det gäller infrastruktur och byggande. Dock känns deras bostadsbyggande som ett pyramidspel med väldigt mycket spekulation.

De 15 senaste åren har jag varit runt 50 gånger i kina och det har hänt otroligt mycket.

Dock, som alltid, brukar de sista % svida i plånboken...
Sen tränar de på en modell som redan finns.
Nu verkar ju dock nvidia återhämta sig +6.77% idag och jag tror inte att mina versionen kommer få nvidia på fall. Speciellt om ryktet stämmer om deras 50k H100 gpuer som gjort grund jobbet stämmer

Med den lokala modellen så svarar den ju på frågor om himmelska fridens torg 1989 om man "kräver" det.

Fråga kring RTX4090: ungefär hur många tokens/s blir det där?
På M3/M4 Pro/Max går det att klämma in 70b modellen förutsatt att man har 64 GB RAM eller mer.

Är segt men ändå användbart på en M3 Max med ca 6 tokens/s och time-to-first-token på 1-2 sekunder (om man aktiverar "Flash Attention", en funktion som är i beta än, utan den tar det betydligt längre till första token).

Haha, vilken finkänslig censur. Kina har blivit bättre

Drakarna hoppade av tåget blixtsnabbt och ersätts nu av småspararna som hoppas att Nvidia kommer att repa sig.
Än en gång kommer många småsparare att få se sina tillgångar gå upp i rök.

Frågade min lokala Deepseek hur mycket minne som behövs för 32b-modellen som ju verkar fungera OK på min dator, svaret var en bekräftelse så det var ju trevligt!

"**Ideal RAM and GPU Memory Specifications for DeepSeek's 32B Model**

1. **RAM Requirements:**
- For inference purposes, a minimum of **32GB of RAM** is recommended.
- If training is intended, increasing to **64GB or more** would be beneficial due to the additional computational demands.

2. **GPU Memory (VRAM) Considerations:**
- A single high-end GPU with at least **16GB of VRAM** could suffice for inference.
- For training, especially in full precision, two GPUs with **16GB of VRAM each** might be necessary to distribute the workload effectively.

3. **Optimization Techniques:**
- Utilizing mixed-precision training (e.g., FP16) can significantly reduce memory usage and improve efficiency.

4. **Purpose (Training vs. Inference):**
- Training requires more resources, while inference is less intensive.
- Ensure that the chosen setup aligns with whether you need to train the model or only run it for predictions.

5. **Hardware Context:**
- For a personal computer, aim for at least **32GB RAM** and a high-end GPU with **16GB VRAM**.
- In a server cluster environment, higher specifications can be considered for scalability and future-proofing.

6. **Framework Considerations:**
- Be mindful of how different frameworks (e.g., TensorFlow, PyTorch) handle memory allocation and utilization.

7. **Precision Settings:**
- Running the model in lower precision (e.g., FP16) can reduce VRAM requirements but may necessitate adjustments to training procedures.

8. **Scalability and Future-Proofing:**
- Consider potential future needs, such as scaling up to larger models or running multiple tasks simultaneously.

By taking these factors into account, you can configure a system that effectively supports DeepSeek's 32B model while balancing performance, cost, and scalability."

Börsen är ett spel som går att styra med pengar, det krävs att någon förlorar för att någon annan ska vinna.

De har inte förlorat något förutom lite "confidence dollars" som jag hörde någon säga.

Hela aktiemarknaden är ju helt bananas, finns ingen rim och reson på vad saker är värda längre.

Absolut, så är det, och är aktören en stat kan man trycka mer pengar men då kan det bli inflation osv osv det är i slutändan ett rätt komplext samspel mellan många olika aktörer. Och inte helt lätt att förutsäga, för då skulle den smartaste de facto äga allt även om dom smartaste redan äger nästan allt.

Nu måste jag fråga. Hur mäter man att den gör ’samma’ här? Vad betyder ens det i det här sammanhanget?

Deep learning är ju massor med ’svart låda’ och statistik, och osäkerhet, och massa annat. Hur vet man om detta är ’samma’ eller inte? Och dessutom: om det nu är så effektivt så kan väl de med bra hårdvara köra ännu mer gigantiska modeller och träning och springa ifrån alla plebs ändå?

Jag fattar inte riktigt hotet förutom att många fler kan köra modeller med bra resultat

De pratar om Deekseek på var enda program nu på Tv. Det kan vara positivt för att få upp intresset av Ai.
Jag tror många är lite tröttna på LLM ofta är så dåliga, de behöver bli extremt mycket bättre och det traditonella sättet hade lett till extrem strömförbrukning.

Jag har själv ofta frågat en LLM en fråga och får svar att denna produkt ej har släpps än och produkten släpps ej före ett datum som var förra året. LLM faktagranskar inte ens om den anger ett kommande datum som redan har passeras för länge sedan.

Med det sagt så anser jag LLMer behöver bli extremt mycket bättre, om det sedan går att skala upp Deeksek blir intressant.

För övrigt är DeepSeek V3 förra årets nyheter egentligen men appen blev viral i helgen.

Ja, men vem som helst kan ju sätta upp en chattbot, den måste ju leverera funktioner och kvalitet som lever upp till en duglig nivå också. Vad är det denna kan som är nytt eller överskrider de andras?

Var inte bara Nvidia som tappade!

Nära på ALLA tech företag tappade i varierande omfattning...

Ja hemskt vad kul! :S

Jag hade en chattbot i terminalen vid millennieskiftet ungefär: den pratade massa strunt om vad som helst som man ’lärde’ den

https://en.wikipedia.org/wiki/MegaHAL

Inget nytt annat än att den gick att träna utan tillgång till Nvidias värsta chipp samt att den går att använda utan att betala prenumeration. Rent tekniskt går den att köra på en potatis.

Varför är den bättre än en chattbot från 20 år tillbaka? Till exempel kan den skriva koden för ett helt fungerande dataspel som du hittar på, på någon minut. Det kan inte en "chattbot". I det avseendet är "the skys the limit" dvs användarens fantasi att be den lösa problem.