Skrivet av lillaankan_i_dammen:
Ytterst få använder Ai på deras cpu & GPU idag till något meningsfullt, men utvecklingen går i rusande fart. Microsoft och Apple satsar mycket på att få detta bli mainstream och folk använder Ai utan att ens veta om det.
För min egen del vill jag ha en bra LLM. Man frågar chatgpt eller Google Gemini en fråga, på några sekunder får man ut ett riktigt dåligt svar och det står att någon manuell granskare kan kolla upp svaret och man är extremt begränsad vilken information som är så offentlig så man kan lämna ut den så.
Jag vill ha en LLM, där jag kan ställa en fråga. Jag behöver inte alltid ha svaret samma dag, jag kan vänta. Men när jag får svaret så jävlar vad bra svaret ska vara. Alltså precis raka motsatsen till vad det är idag med de populära publika tjänsterna
Men det krävs lite datakraft att driva en sådan, jag tänker att det ska finnas någon kompilator så att LLM utvärderar själv ens svar när man frågar om programmering.
Först: Min avsikt är att säga det här på snällast möjliga sätt, inte vara elak.
Men... Det låter litet som om du blandar ihop träningen av nätverken, med evalueringen av nätverken.
En modell kan behöva petabyte med data, och tusentals nVidia-kort (datorkraft) för att tränas, men den klarar sig ofta med en enda inputmening (några byte data), och några GB minne och en halvkass CPU (datorkraft), för att evalueras.
Det är inte på din CPU kraftbehovet finns, för den tränar inte modellen. Precis som bilarna inte behövde fenor, för de lämnade aldrig marken.
Det är därför jag menar att "AI"-stämplar på konsumentprodukter är som fenor på 50- och 60-talsbilar.
Sen...
En LLM som svarar exakt rätt på din fråga, gör det inte genom att få extra CPU-kraft/betänketid.
Den behöver data. Massor av data.
Och den måste tränas på att förstå vad *du* menar.
Det innebär att *du* måste stå för datat.
Och du skulle behöva tömma hjärnan på psykiatersoffan i flera livstider innan en Intel Celeron skulle ha tillräckligt med data för att behöva cruncha ens en dag. Även om det är träningssidan av processningen vi snackar om.
Som sagt, detta är inte menat som någon diss av dig på något sätt.
Däremot är jag rätt trött på den totala flod av skamlösa PR-trick och ren desinformation som sprider sig nu, när marknadsförare och charlataner ser det som en lätt inkomstkälla. Jämför med 'Blockchain' som var i ropet för några år sedan. Eller fenor på bilar.
(Jag håller på med maskininlärning i yrkeslivet just nu. Tog mina första stapplande steg runt 2003-2004.)
