Kinesiska Deepseek är det hetaste samtalsämnet inom AI. Något det snackas mycket om är just att den är från Kina och vilka risker det innebär i form av potentiell övervakning, censur och brist på integritetsskydd. Nyheter om hur Deepseeks databas har legat öppen mot internet och att tjänsten utsätts för konstanta angrepp gör att många potentiella användare drar öronen åt sig.
Men Deepseeks modeller är öppen källkod, och den som har resurserna kan köra dem på egen hårdvara. Den fullstora R1-modellen är alldeles för stor för att köra på någon vanlig persondator, men Deepseek har även ”destillerat” varianter av andra öppna modeller tränade med hjälp av R1 som har färre parametrar och därmed kan köras på enklare hårdvara.
Nu har Microsoft börjat göra några av dessa modeller tillgängliga att köra lokalt på Copilot Plus-datorer. I ett blogginlägg skriver företaget att den första modellen som släpps är DeepSeek-R1-Distill-Qwen-1.5B, den minsta modell som har visat sig ge någorlunda korrekta resultat. Den bygger på Alibabas Qwen-modell med 1,5 miljarder parametrar. Qwen-baserade modeller med 7 och 14 miljarder parametrar kommer inom kort.
Till att börja med fungerar dessa modeller enbart på bärbara datorer med Qualcomm Snapdragon X-systemkrets, men stöd för Intel och AMD är också på väg. Microsofts versioner av modellerna är optimerade för och kräver en systemkrets med NPU.
Den som har en passande dator och vill prova behöver installera VS Code-tillägget AI Toolkit, ladda ned modellen i det ONNX QDQ-optimerade formatet och sedan köra igång Playground-funktionen.
