LLama3 eller "Hur kan en språkmodell stapla saker?"

En LLM tänker inte, den plockar det startiskt mest sannolika ordet givet alla parametrar. Modellen kan, eftersom den är tränad på stora mängder information, göra associationer mellan vitt skilda domäner. När jag frågar ChatGPT om detta förklarar den det såhär:

How would you explain how an LLM can reason about questions. Explain it to me by giving an example.

Example topic: "What are the potential impacts of AI on the job market?" Here's how I might handle it:

1. Input Parsing: Recognize key phrases like "impacts of AI" and "job market."

2. Activation of Relevant Knowledge: Retrieve sections of the model that were trained on economics, technology, and labor studies.

3. Pattern Matching: Identify how discussions on technology impacting jobs were framed in various sources.

4. Synthesizing Information: Pull together known impacts such as automation of routine tasks, creation of new tech jobs, and the need for re-skilling.

5. Response Generation: Formulate a balanced view that incorporates potential positive and negative aspects, based on observed patterns in discussions and conclusions from reputable sources.

6. Refinement and Formatting: Check the response for logical flow and clarity, adjust the structure and language for coherence.

Even though this process mimics reasoning, what's actually happening is a complex form of pattern matching and information synthesis based on pre-existing data, without the model "understanding" or "reasoning" about the content in the human sense.

Den här processen involverar inte tänkande i mänsklig mening. Istället handlar det mer om mönsterigenkänning, statistisk analys och generering baserat på sannolikheter härledda från träningsdata. Även om det kan verka som att en LLM tänker igenom ett problem, utnyttjar det i grund och botten ett stort arkiv av inlärda språkmönster och information för att simulera ett genomtänkt svar.

Det kan ju låta lugnade, men motfrågan blir ju då vad tänkande i mänsklig mening innebär och vad skillnaderna är. Det verkar ju inte vara något särskilt avancerat som pågår i hjärnan heller (även om komplexiteten är hög).

Den löser problem som den inte har tränats på. Eftersom den är mycket kraftfull när det gäller att omvandla språk till språk. Om du frågar efter ett recept på rosa våfflor med blåbärssmak så har modellen information om recept för våfflor, hur man skapar blåbärssmak och livsmedelsfärg och sätter samman ett recept. Sannolikt har ingen någonsin lagat just det receptet. På samma sätt kan StableDiffusion eller DALL·E 2 skapa bilder av saker som ingen någonsin har avbildat tidigare och som garanterat inte finns i träningsdatat.

För visso, men man kan inte analysera skillnaden mellan mänsklig intelligens och en AI hos en LLM enbart genom att bara titta på likheterna. Människor tar in stora mängder data, men mycket är annan information än text och språk. Exempelvis ljud, syn, smak, lukt och känsel. Dessa kan aggregerad till högre nivåer och användas för att förstå omvärlden och underlätta mellanmänsklig interaktion i form av att läsa av exempelvis kroppsspråk, ansiktsuttryck, tonläge på röst, gester, språk, kroppsdofter och beröring. En LLM tar bara in information i form av text. Saker som inte kan beskrivas i text så att en annan människa förstår det kan en LLM inte arbeta med. Det är för att människor har skapat text som en LLM kan förstå text. Om man kan bygga en maskin som har samma sensoriska känslighet som en människa så kanske det går att bygga en artificiell intelligens på nivå men en människa, men det kräver enorma mängder med information och sedan enorma mängder med beräkningskraft för att behandla informationen.

Varje hjärna är en egen LLM som är mycket kraftfullare och har betydlig fler intryck som byggt upp den genom lång tid av processing och relationsskapande. Att leva livet är som en livslång av finjustering (LLM fine-tuning) av den mänskliga hjärnan inom en massa olika områden. Idag har alla som använder exempelvis ChatGPT, Claud eller Llama 3 tillgång till samma "hjärna", och det finns gränser för hur olika resultat man kan få trots att modellerna är tränade på all möjlig information.

Att tänka är mer komplicerat än vad lagens LLMs gör. En människa behöver mindre information än en LLM för att kunna arbeta med den eftersom människan är bättre på att skapa kontext utifrån allt hon har lärt sig och kan ta inn. Om maskiner i framtiden kommer kunna efterlikna en hjärna vet vi i dagsläget inte. Men vi vet an en LLM är så bra på att efterlikna mänsklig interaktion att många människor tror att de interagerar med en annan människa.

Det är väl dock en hel del som ännu är ganska oklart, och vad ”kraftfull” betyder i sammanhanget är väl inte uppenbart? Filosofisk sett är det väl inte heller så intressant hur länge eller mycket man har tränat (man anser väl i regel inte att barn tänker i mindre utsträckning än vuxna)? Det är väl snarare processen som är intressant, och det är ju inte heller säkert att implementationen i den mänskliga hjärnan är optimal (eller ens särskilt bra)?
Huruvida andra människor är tänkande är ju också en klassisk fråga och man har ju inte så mycket mer än hur de beter sig att gå på. Man kan kanske inte kräva så mycket mer av en ai heller?

Rekommenderar att du läser följande: https://stackoverflow.blog/2023/07/03/do-large-language-model...

“When we train a large neural network to accurately predict the next word in lots of different texts from the internet, it is learning a world model,” Ilya Suskevy, chief scientist at OpenAI, said in a recent interview. “It may look on the surface that we are just learning statistical correlations in text, but it turns out that to just learn the statistical correlations in text, the neural network learns is some representation of the process that produced the text. This text is actually a projection of the world. The neural network learns more and more aspects of the world, of people, of the human conditions, their hopes, dreams, and motivations, their interactions in the situations that we are in. And the neural network learns a compressed, abstract, usable representation of that. This is what's being learned from accurately predicting the next word.”

Det är helt säkert att implementationen i den mänskilga hjärnan är optimal för en viss tillämpning, eftersom den skapats baserat på naturligt urval. Men det intefattar ju att vi ska jaga, orka bedriva jordruk utan fossila bränslen och kunna springa ifrån fiender. Att hjärnan är kraftfull är endast ett sätt att jämföra mänskligt tänkande med AI LLM genererande. Tänkande innefattar så mycket mer än att skapa text från text. Jag håller med om att dagens språkmodeller är oerhört imponerande, men jag håller inte med om att de tänker som en människa eller på nivå med en människa.

Ja en språkmodell blir en abstraktion av det den har tränats på, en projektion av mänsligt vetande. Men det är ju helt enligt vad vi förväntar oss. Det är människor som står för all det som en språkmodell kan inferera från träningsdatat. Dessutom är vi i en unik period nu, för att än så länge är inte majoriteten av träningsdata annan utdata från språkmodeller. Men inom ett par år kommer majoriteten av träningsdata vara genererad av andra språkmodeller. Då är det inte längre en proejktion av mänsligheten som modellerna tränas på utan något annat.

Nja, naturligt urval medför inte nödvändigtvis optimalitet. Det är ett sätt att anpassa sig på, men många faktorer påverkar och även om allt skulle gå åt rätt håll (och inte fastnar i återvändsgränder) är det ju inte säkert att processen har hunnit ända fram? Vi har förstås tagit vår snirkliga väg för att hamna där vi är, men det behöver ju inte innebära att det inte finns genvägar (särskilt om vi egentligen inte är så intresserade av alla biologiska kompromisser som måste till för att det skall fungera i praktiken). Att det hittils också främst handlar om text kan ju också låta som en begränsning, men är det verkligen så väsentligt? Text (ofta via tal) är väl hur vi normalt interagerar med andra intelligenser och även om vi föreställer oss att vi har ett rikt inre liv är det kanske på låg nivå inte särskilt mycket mer spännande än modellernas...
Jag säger inte heller att modellerna tänker som människor, men om man inte riktigt vet vad det innebär är det ju svårt att säga om det är bra eller dåligt. Det är ju lätt att hamna i det där att människor har själ (så vi är bra) till skillnad från djuren (som därför är dåliga).

Frågan är väl dock vad man förväntar sig? Det där gäller väl egentligen även om man pratar med en människa?

Detta verkar ju lovande: https://twitter.com/arankomatsuzaki/status/178259465976138965...

Ifall ni också vill testa 70b modellen av Llama3 rekommenderar jag Groq: https://groq.com/

Absolut, min poäng var mer att de inte är simpla stokastiska papegojor som de flesta verkar ha en uppfattning om att de är (gäller dock kanske för de mindre modellerna). Väldigt intressant ämne: https://en.wikipedia.org/wiki/Emergence

Annan intressant länk: https://en.wikipedia.org/wiki/Stochastic_parrot

Jag är ändå inte övertygad om att det är för att en språkmodell kan "tänka" som den teoretisk kan stapla saker på varandra. Det är för att människor kan stapla saker på varandra som en språkmodell kan det.

Jag är inte främmande för att människor bara är deterministiska system tränade genom miljö och genitik i en stokastisk värld, men det betyder inte att en språkmodell har mänskliga egenskaper. En människa är en biologisk produkt likt hur en språkmodell är en logisk produkt, men beräkningskapaciteten vi har tillgänglig idag räcker inte till för att simulera eller ens emulera något så komplext som en människa.

Jo men jag menar att de verkligen är stokastiska papegojor i meningen att de genererar trovärdiga svar. Papegojor som alltså är tränade på 600 GB text, dvs. ca 20 gånger mer än vad en människa går genom på en livstid. Att mänskliga egenskaper som känslor, slutledningsförmåga och liknande uppträder i en sådan modell är inte konstigt. Det som är överraskande är att det går att få ut så bra kvalitet som de moderna modellerna vi har idag, speciellt med tanke på den input som ges.

Vi människor har besjälat döda ting genom att tillskriva de med mänskliga egenskaper under hela vår tid på jorden. Jag förstår inte vad som är skillnaden med en LLM. Det är inte din kompis. Det är en projektion av mänskligheten som i våra ögon får liv.