Först: Min avsikt är att säga det här på snällast möjliga sätt, inte vara elak.
Men... Det låter litet som om du blandar ihop träningen av nätverken, med evalueringen av nätverken.
En modell kan behöva petabyte med data, och tusentals nVidia-kort (datorkraft) för att tränas, men den klarar sig ofta med en enda inputmening (några byte data), och några GB minne och en halvkass CPU (datorkraft), för att evalueras.
Det är inte på din CPU kraftbehovet finns, för den tränar inte modellen. Precis som bilarna inte behövde fenor, för de lämnade aldrig marken.
Det är därför jag menar att "AI"-stämplar på konsumentprodukter är som fenor på 50- och 60-talsbilar.
Sen...
En LLM som svarar exakt rätt på din fråga, gör det inte genom att få extra CPU-kraft/betänketid.
Den behöver data. Massor av data.
Och den måste tränas på att förstå vad *du* menar.
Det innebär att *du* måste stå för datat.
Och du skulle behöva tömma hjärnan på psykiatersoffan i flera livstider innan en Intel Celeron skulle ha tillräckligt med data för att behöva cruncha ens en dag. Även om det är träningssidan av processningen vi snackar om.
Som sagt, detta är inte menat som någon diss av dig på något sätt.
Däremot är jag rätt trött på den totala flod av skamlösa PR-trick och ren desinformation som sprider sig nu, när marknadsförare och charlataner ser det som en lätt inkomstkälla. Jämför med 'Blockchain' som var i ropet för några år sedan. Eller fenor på bilar.
(Jag håller på med maskininlärning i yrkeslivet just nu. Tog mina första stapplande steg runt 2003-2004.)
Jag jobbar inte med LLM utveckling på något sätt.
Men man får ofta riktigt dåliga svar ut. Dessa dåliga svar kan LLM själv granska och se att de inte är rätt. LLM/Ain skulle själv kunna köra koden i en kompilator och se här får jag kompileringsfel, då är mitt förslag inte korrekt och därefter anpassa koden efter de felmeddelande som den fick.
Speciellt dumt tycker jag det blir när LLM föreslår att man ska importera icke existerande bibliotek, sedan skriver utförligt hur man använder dessa icke existerande bibliotek.
Detta ligger säkert helt utanför vad som kallas LLM. Men jag själv skriver ibland till LLM att du är ute och seglar, vops helt plötsligt säger LLM att den hade fel och ger mig ett annat svar.
Jag ser det som en människa kan babbla på utan dess like och ge ett snabbt svar, om denna människa får några dagar på sig och utvärdera allt, så kan svaret bli bättre. Med utvärdera så söka på Google, andra uppslagslexikon, testa och kompilera kod. Ain skulle t.om kunna utvärdera om dens kod fungerar som den ska. Vissa utvärderingar är såklart svårare än andra.
Så jag köper inte alls detta med att ett svar på några sekunder är det bästa svar man kan få utan Ain kan allt utvädera deras svar väldigt länge. Som när LLM säger åt en importera detta bibliotek, ja hade bara LLMen gjort en kontroll om biblioteket existerade så hade svaret blivit bättre. Det ligger säkerligen utanför det folk kallar för LLM, men det går att skötas automatisk med Ai eller tom vanlig kodning som utvärderar svaret från Ai.
De finns flera som har skapat spel från LLM, då genom att hela tiden ställa nya frågor. Denna utvärderingsprocedur går att skötas automatisk. Alltså automatisk nya frågor till LLM beroende på hur dens svar fungerar i kompilatorn och hur bra den stämmer överens med andra källor.
*edit*
Jag tänker nog på generativ Ai och inte begränsad till en dum LLM som inte på något sätt kvalitetssäkrar sitt svar utan enbart spottar ut något.. Något som ska kallas för Ai ska gå igenom dens svar, kontrollera om det finns ny information om ämnet. Det kan vara att ladda hem pdf filer och gå igenom datan in dem, inte bete sig som en chatbot och endast se om den redan har informationen och ge ett dåligt svar till användaren.
*edit2*
Jag gnäller mycket. Men dagens chatGPT/gemeni ger för mycket icke kompileringsbar kod som man inte kan få den att fungera utan att helt bygga om den. Det känns som det är en LLM som bara antar att funktioner ska finnas i olika bibliotek.
För mig känns lösningen fel att Ain ska ha all information hos sig och spotta ut ett svar utan att aktivt leta ut på webben efter information till lösningen.. På samma sätt är det fel att en mänsklig utvecklare ska ha precis all information i huvudet och bara spotta ut kod.
