Microsoft släpper Deepseek-modeller som kör på datorn

Aha, okej, tack. Jag blev mest nyfiken då jag precis börjat testa LM Studio här hemma, och så poppar nyheten upp. Bra timing.

Hade väl varit skojigare om bägge kom samtidigt.

Nyttan kanske är lite begränsad dock.

Det står väl tydligt i blogginlägget att det är 1.5B som avses till att börja med?

Vi som är äldre har varit med många nya tekniker, mobiltelefon, smartphone, parabol, internet, elbil osv.

I början så har dessa mycket varit en skrytprodukt eller att man vill vara först, ytterst få sparar tid/pengar på att skaffa prylarna.

När det gäller LLM så behövs ej väldigt dyr hårdvara för att testa det lokalt, bara labba runt lite och lära sig. Att däremot så ett resultat som man kan spara tid och pengar på är svårare. Den 80 000kr datorn som någon länkade till kunde köra en bra LLM men så segt.
Utvecklingen går dock fort framåt och kanske om 5år får man en dator för samma pris som fungerar lite bättre rent praktisk.

Sist så håller samhället på att bli konstigt, allt fler köper privat utrustning för att använda i sitt jobb. Det är knasigt på alla sätt och vis. Vi pratar om betalversion av LLM, abonnemang på Adobe/Microsoft mfl. Till att köpa en dyr dator för att köra LLM.
Undra hur denna utveckling ser ut om 20år, när LLM kan vara tidsbesparande för väldigt många.

I maj kanske nVIDIA project DIGITS finns tillgängligt för $3K (Antalet inte nämnt)

Det känns lite som det är "chip shortage" igen, kanske inte så illa som efter covid men det känns verkligen som det är svårt att få tag på de chip man vill ha.

Det hade det! Men ofta kommer ju i olika sammanhang stöd för "det ena" först och "det andra" sedan. Jag menade att det är kul att det är ARM-stödet, inte x86-stödet, som kommer först.

Säkerhet många LLM står det klart och tydligt att ens information kan granskas av personer och det får man godkänna. Sedan finns det betalversioner där data kan komma ut. En egen LLM kan man träna på egen data.

På frågan varför jag testar LLM lokalt, ja det tar ett par minuter att testa detta. Svårighetsgraden att göra det är ungefär samma nivå som att installera ett datorspel.
Vad jag fick ut av det, ja testa det. Funktionsmässigt så tillför dessa LLMer mig inte mycket jag har på tok för slö hårdvara för detta.
Den LLM jag hade datakraft att köra och få ett svar som jag orkar vänta på. Kunde inte ens ge mig rätt berättelse om jag frågade den saker som om Pelle Svanslös.

Jag tror dock datorutveckligen kommer leda till att en i dagens mått kraftfull Ai laptop inte kommer vara så dyr.

Typ som en MacBook Air M4?

Har bara kört Apple Intelligence på min MacBook och är begränsad till engelska just nu, men GPT-4o mini vet vem Pelle Svanslös är:

"Pelle Svanslös är en fiktiv karaktär skapad av den svenska författaren Gösta Knutsson. Han är en katt som är känd för sin snälla och vänliga natur, men också för att han saknar svans, vilket gör honom annorlunda jämfört med andra katter. Berättelserna om Pelle Svanslös utspelar sig i Uppsala och handlar om hans äventyr och vänskap med andra djur, samt hans kamp mot mobbning och orättvisor, särskilt från den elaka katten Måns. Pelle Svanslös har blivit en älskad karaktär i svensk barnlitteratur och har även adapterats till teater, film och TV."

Kör även FLUX.1 (Draw Things) lokalt på min MacBook och har hittills inte hittat någon person eller objekt den inte känner igen.

Vilka modeller testade du samt på vilken hårdvara?

Integritet?

Macmini M4 16GB med Deepsek-r1:14b
Fråga berätta om katten Pelle Svanslös.
Och den börjar prata om en svensk sångare som heter Pelle Svanslös, senare att den ej hittar någon information, sist så säger den att den kan skapa en en egen fiktiv berättelse om katten.

Jag påstår att katten Pelle Svanslös nästan är lika viktigt som information om påven. ; -)

Skämt åsido, jag ser ej en LLM på denna nivå tillför mig så mycket. Jag ställer då frågorna emot de LLM på nätet och tänker efter vad jag frågar. Däremot tror jag utvecklingen går snabbt framåt.

Sist på frågan om jag ångrar att jag ej köpte en dubbelt så dyr Macmini, så tror jag inte jag hade blivit nöjd med prestandan på den heller. Men om 10år, ja då kanske jag köper en Macmini för detta pris som jag kan använda till LLM.

För dagligt arbete kommer nog de flesta välja att använda de stora modellerna som ligger i datacenter. De ger bättre svar än mindre modeller och de ger svaren "inom rimlig tid".

Stora fördelen med att kunna köra lokalt är att ändå veta: om företag X blir totala assholes finns ändå andra sätt att fortsätta använda tekniken.

Sen beror det på vad man gör. En lokal modell kommer inte skicka något över nätet, något som kan vara direkt avgörande för vissa användarfall.

Att köra lokalt öppnar också upp för saker som integration av tekniken i egna applikationer. Om en sådan applikation har ett snävt fokus-område kan man ju då träna en modell som har "rimlig" storkel, men väldig hög träffsäkerhet för det som är viktigt för applikationen. Detta arbete kan underlättas en hel del om man kan starta från en redan tränad modell.

Och lite halv-relaterat: ni som pillar lite med Arduino, testa att koppla upp lite saker till kortet, beskriv hur ni dragit kablarna (vilken pinne de går till) och beskriv vad ni vill att den ska göra (t.ex. göra något med en serie neo-pixels). Detta verkar vara ett exempel på saker som DeepSeek R1 ofta slår ChatGPT o1 på fingrar, och då är ändå ChatGPT o1 normalt också imponerande träffsäker.

Det hjälpte ej. Jag har en för liten version.
Sunda förnuftet säger. Katten Pelle Svanslös är en fiktiv berättelse. Oavsett hur intelligent någon är så kan den ej från namnet räkna ut vad någon författare hittade på.

Det krävs då att sagan finns sparad på något sätt i imagefilen för LLM vad den nu heter. Denna kan var komprimerad på olika sätt. Men en fil på 9GB som jag hade och den var byggd på världens data, så blev katten Pelle Svanslös information som ej kom med.

Detta beskriver ett problem. Jag vill att en bra LLM ska ha väldigt mycket kunskap, sedan ska den själv gå ut på nätet och leta när man ställer en fråga. Man kan då få vänta länge på svaret, men man får ett aktuellt svar.
Så om man frågar LLM vilket lag vann VM för något, så kommer LLM ha denna inf9rmation direkt efter någon källa den använder på internet har den. Sedan bör den även faktagranska svaret.