LLama3 eller "Hur kan en språkmodell stapla saker?"

Permalänk
Hedersmedlem
Skrivet av beh:

Jag är ändå inte övertygad om att det är för att en språkmodell kan "tänka" som den teoretisk kan stapla saker på varandra. Det är för att människor kan stapla saker på varandra som en språkmodell kan det.

Men vad skulle kunna få dig att ändra dig? I princip kan man väl som sagt inte vara säker på att grannen heller är tänkande; han kanske bara uppträder som en människa? Man vill ju helst inte kräva mer av en ai än vad (helst alla) människor klarar…

Skrivet av beh:

Jag är inte främmande för att människor bara är deterministiska system tränade genom miljö och genitik i en stokastisk värld, men det betyder inte att en språkmodell har mänskliga egenskaper. En människa är en biologisk produkt likt hur en språkmodell är en logisk produkt, men beräkningskapaciteten vi har tillgänglig idag räcker inte till för att simulera eller ens emulera något så komplext som en människa.

Nu är det ju inte nödvändigtvis en fullständig simulering vi är intresserade av utan bara intelligensen, och det skulle ju kunna visa sig att det inte alls krävs hjärnans komplexitet för att uppnå den. Man kanske inte heller behöver bygga den på exakt samma sätt.

Permalänk
Medlem
Skrivet av Elgot:

Men vad skulle kunna få dig att ändra dig? I princip kan man väl som sagt inte vara säker på att grannen heller är tänkande; han kanske bara uppträder som en människa? Man vill ju helst inte kräva mer av en ai än vad (helst alla) människor klarar…

En språkmodell som uppvisar äkta empati och känslor. Som försöker uppnå egna mål. Som har ett livslångt context window och en identitet som är unik per "medvetande". En språkmodell som inte bara är aktiv när man frågar den om något, utan lever ett liv även när man inte är med den. En språkmodell som inte delar data med något företag och inte kommer med användarvillkor. Typ så.

Skrivet av Elgot:

Nu är det ju inte nödvändigtvis en fullständig simulering vi är intresserade av utan bara intelligensen, och det skulle ju kunna visa sig att det inte alls krävs hjärnans komplexitet för att uppnå den. Man kanske inte heller behöver bygga den på exakt samma sätt.

Mänsklig intelligens kräver mänskliga sinnen. Vi är våra sinnen. Det går inte att separera intelligensen eller medvetandet från den mänskliga kroppen. Möjligtvis går det att skapa en artificiell intelligens som efterliknar det, men utan att kunna träna en sådan modell på det vår hjärna upplever från den skapas i mammas mage till den föds och sinnen utvecklas allt mer så kommer man inte få något som motsvarar mänsklig intelligens. Samma gäller alla levande varelser. Livet är essentiellt för att skapa medvetande, identitet och intelligens.

Permalänk
Hedersmedlem
Skrivet av beh:

En språkmodell som uppvisar äkta empati och känslor. Som försöker uppnå egna mål. Som har ett livslångt context window och en identitet som är unik per "medvetande". En språkmodell som inte bara är aktiv när man frågar den om något, utan lever ett liv även när man inte är med den. En språkmodell som inte delar data med något företag och inte kommer med användarvillkor. Typ så.

En empatisk intelligens låter förstås trevligare än en likgiltig, men det är väl inte kritiskt för tänkandet? Helst vill man väl kanske inte heller att modellen skall ha alla mänskliga drag heller (som att bli trött eller föredra roliga saker framför de monotona uppgifter den får)?

Skrivet av beh:

Mänsklig intelligens kräver mänskliga sinnen. Vi är våra sinnen. Det går inte att separera intelligensen eller medvetandet från den mänskliga kroppen. Möjligtvis går det att skapa en artificiell intelligens som efterliknar det, men utan att kunna träna en sådan modell på det vår hjärna upplever från den skapas i mammas mage till den föds och sinnen utvecklas allt mer så kommer man inte få något som motsvarar mänsklig intelligens. Samma gäller alla levande varelser. Livet är essentiellt för att skapa medvetande, identitet och intelligens.

Detta är väl dock svårt att veta då vi hittills bara har ett exempel (oss själva) att titta på? Det skulle ju också kunna visa sig att det inte spelar så stor roll vilken hårdvara man använder eller exakt hur man tränar den så länge den är komplex nog.

Permalänk
Medlem
Skrivet av Elgot:

Frågan är väl dock vad man förväntar sig? Det där gäller väl egentligen även om man pratar med en människa?

En viktig skillnad som jag upplever sett till förväntningarna är just att man är van vid att motparten har något slags avsikt med det de säger/skriver och att det bland många andra saker vägs in i hur vi värderar svaren.

Men här får man avsiktslösa genererade texter som floppar runt över hela skalan utan någon bakomliggande tanke.
Det är helt enkelt en oberäknelighet på en annan nivå än när man normalt kommunicerar med människor.

Det är lite som att ha en rådgivare som samtidigt både är väldigt kunnig men också mytoman och inte har någon kontroll över sitt eget agerande.

Visa signatur

Desktop: Ryzen 5800X3D || MSI X570S Edge Max Wifi || Sapphire Pulse RX 7900 XTX || Gskill Trident Z 3600 64GB || Kingston KC3000 2TB || Samsung 970 EVO Plus 2TB || Samsung 960 Pro 1TB || Fractal Torrent || Asus PG42UQ 4K OLED
Proxmox server: Ryzen 5900X || Asrock Rack X570D4I-2T || Kingston 64GB ECC || WD Red SN700 1TB || Blandning av WD Red / Seagate Ironwolf för lagring || Fractal Node 304

Permalänk
Hedersmedlem
Skrivet av evil penguin:

En viktig skillnad som jag upplever sett till förväntningarna är just att man är van vid att motparten har något slags avsikt med det de säger/skriver och att det bland många andra saker vägs in i hur vi värderar svaren.

Men här får man avsiktslösa genererade texter som floppar runt över hela skalan utan någon bakomliggande tanke.
Det är helt enkelt en oberäknelighet på en annan nivå än när man normalt kommunicerar med människor.

Det är lite som att ha en rådgivare som samtidigt både är väldigt kunnig men också mytoman och inte har någon kontroll över sitt eget agerande.

Ofta har man ju ett hum om vad samtalspartnern rimligen kan (och förhoppningsvis hittar den inte på annars), men det är ju egentligen inget man kan förutsätta. Förr eller senare råkar man kanske ut för en mytoman.
Modellerna kan ju fungera klockrent så länge man befinner sig i domäner den behärskar, men självinsikten är lite dålig när man kommer utanför.

För övrigt kan väl människor också fundera lite sådär? Alla har vi väl stött på människor som kan vara fullt rimliga men har märkliga politiska åsikter, tror på konspirationsteorier eller liknande?

Permalänk
Medlem
Skrivet av Elgot:

Ofta har man ju ett hum om vad samtalspartnern rimligen kan (och förhoppningsvis hittar den inte på annars), men det är ju egentligen inget man kan förutsätta. Förr eller senare råkar man kanske ut för en mytoman.
Modellerna kan ju fungera klockrent så länge man befinner sig i domäner den behärskar, men självinsikten är lite dålig när man kommer utanför.

Ja, avsaknaden av självinsikt är ju definitivt en grej, att bara gå över i att generera fiktion istället för "jag vet inte" är ju ett utmärkande beteende.

Skrivet av Elgot:

För övrigt kan väl människor också fundera lite sådär? Alla har vi väl stött på människor som kan vara fullt rimliga men har märkliga politiska åsikter, tror på konspirationsteorier eller liknande?

Fast även där finns ju en rätt stor skillnad, det finns ju normalt en förutsägbarhet även i det udda mänskliga beteendet som du beskriver.

Vi träffar liksom inte på folk som under konversationens gång hittar på helt nya konspirationsteorier som inte hänger ihop med någonting öht särskilt ofta. Folk tror något och drivs av något, det finns liksom något som kan identifieras bakom agerandet.

Visa signatur

Desktop: Ryzen 5800X3D || MSI X570S Edge Max Wifi || Sapphire Pulse RX 7900 XTX || Gskill Trident Z 3600 64GB || Kingston KC3000 2TB || Samsung 970 EVO Plus 2TB || Samsung 960 Pro 1TB || Fractal Torrent || Asus PG42UQ 4K OLED
Proxmox server: Ryzen 5900X || Asrock Rack X570D4I-2T || Kingston 64GB ECC || WD Red SN700 1TB || Blandning av WD Red / Seagate Ironwolf för lagring || Fractal Node 304

Permalänk
Hedersmedlem
Skrivet av evil penguin:

Ja, avsaknaden av självinsikt är ju definitivt en grej, att bara gå över i att generera fiktion istället för "jag vet inte" är ju ett utmärkande beteende.

Det är förstås ett opraktiskt beteende, men det diskvalificerar kanske inte nödvändigtvis systemet från att vara intelligent (nu säger jag dock inte att det är det). Det finns ju som sagt mytomaner, och risken för att en eventuell ai visat sig vara illvillig, busig eller lätt defekt är kanske inte noll?
Frågan är väl också hur bra vi själva egentligen är på att värdera sanningshalten i det vi tror oss veta?

Skrivet av evil penguin:

Fast även där finns ju en rätt stor skillnad, det finns ju normalt en förutsägbarhet även i det udda mänskliga beteendet som du beskriver.

Vi träffar liksom inte på folk som under konversationens gång hittar på helt nya konspirationsteorier som inte hänger ihop med någonting öht särskilt ofta. Folk tror något och drivs av något, det finns liksom något som kan identifieras bakom agerandet.

Så är det kanske ofta, men jag vet inte om det är så fundamentalt. Det jag främst var ute efter var att man kan ha ett jättebra utbyte i vissa domäner men samtidigt ha svårt att nå fram till varandra i andra.

Permalänk
Medlem
Skrivet av Elgot:

En empatisk intelligens låter förstås trevligare än en likgiltig, men det är väl inte kritiskt för tänkandet? Helst vill man väl kanske inte heller att modellen skall ha alla mänskliga drag heller (som att bli trött eller föredra roliga saker framför de monotona uppgifter den får)?

Vi är redan där, om du påstår att det är Maj eller erbjuder dicks ska du enligt vissa erhålla bättre svar.
Men du frågade mig vad som skulle övertyga mig om att en språkmodell har intelligens på nivå med en människa, vilket jag svarade på. Inte vilka egenskaper det är önskvärt att en språkmodell har. Det är olika saker. Jag är nämligen helt säker på att dagens språkmodeller inte har medvetande eller något som ens liknar den intelligensen en människor besitter, exempelvis har de för låg nivå av kontext.

Skrivet av Elgot:

Detta är väl dock svårt att veta då vi hittills bara har ett exempel (oss själva) att titta på? Det skulle ju också kunna visa sig att det inte spelar så stor roll vilken hårdvara man använder eller exakt hur man tränar den så länge den är komplex nog.

Jag säger inte att hårdvaran spelar roll, jag säger att hjärnan bygger på genetiskt arv och miljöfaktorer. För att utveckla mänsklig intelligens tyder allt på att man även måste tillföra meningsfulla miljöfaktorer till träningen. Dagens 3D spel är tämligen realistiska, men om vi tränade ett AI på dessa världar och sedan förväntade att de skulle kunna navigera i verkligheten så är det inte säkert att det fungerat.

lade till ett mellanslag
Permalänk
Hedersmedlem
Skrivet av beh:

Men du frågade mig vad som skulle övertyga mig om att en språkmodell har intelligens på nivå med en människa, vilket jag svarade på. Inte vilka egenskaper det är önskvärt att en språkmodell har. Det är olika saker. Jag är nämligen helt säker på att dagens språkmodeller inte har medvetande eller något som ens liknar den intelligensen en människor besitter, exempelvis har de för låg nivå av kontext.

Man måste väl dock skilja på att ha intelligens som en människa och att ha alla egenskaper som en godtycklig människa har? Människor kan ju också sakna sinnen (som att vara blinda eller döva), men vi tvekar väl inte på att de är tänkande även om de kanske inte har samma erfarenheter som vi?

Skrivet av beh:

Jag säger inte att hårdvaran spelar roll, jag säger att hjärnan bygger på genetiskt arv och miljöfaktorer. För att utveckla mänsklig intelligens tyder allt på att man även måste tillföra meningsfulla miljöfaktorer till träningen.

Fast hur mycket vet vi om detta egentligen? Det är väl inte direkt något som går att testa, och även om det skulle gå känns det väl besvärligt att avgöra vad som spelar roll för vad? Vi kan väl inte riktigt bestämma oss för vad som är arv respektive miljö när det gäller oss själva heller?

Permalänk
Medlem
Skrivet av Elgot:

Man måste väl dock skilja på att ha intelligens som en människa och att ha alla egenskaper som en godtycklig människa har? Människor kan ju också sakna sinnen (som att vara blinda eller döva), men vi tvekar väl inte på att de är tänkande även om de kanske inte har samma erfarenheter som vi?

Intelligens hänger tätt samman med evolutionen för den ras man studerar och varierar därför mycket mellan raser. Definitionen av mänsklig intelligens är problemlösning och anpassningsbarhet. Den senare styrs både av de ärftliga- och miljöfaktorerna. Därav blir slutsatsen att det krävs liv (reproduktion) för att kunna erhålla något som liknar mänsklig intelligens. Även om du kan göra avtryck eller projektioner av ett medvetande eller tillståndet i hjärnan på en person så kommer denna "mjukvara" inte att fungera på "hårdvaran" hos en annan individ. Istället använder vi DNA för att överföra ärftliga information till nästa generation, men det blir en ny "build" i och med att man blandar generna från föräldrarna sedan påbörjas träningen av den nya modellen genom miljöfaktorerna.

När det gäller personer som saknar vissa sinnen brukar kunna kompensera genom att mer hjärnkapacitet frigörs till de resterande sinnena. Om vi skapar en värld där det inte är lika fördelaktigt att se så kommer synen antagligen med tiden att förändras eftersom det är ett oerhört kostsamt sinne att upprätthålla. Det finns mängder med intressanta exempel på hur människor som lider av olika sinnesrelaterade åkommor visar att våra sinnen är intrikat sammanlänkade till hjärnans aktivitet. Exempelvis lider vissa människor av afantasi, dvs. de har ingen fantasi och kan inte föreställa sig saker. Ibland tar dessa personer fler bilder med sin kamera för att försöka kompensera.

Skrivet av Elgot:

Fast hur mycket vet vi om detta egentligen? Det är väl inte direkt något som går att testa, och även om det skulle gå känns det väl besvärligt att avgöra vad som spelar roll för vad? Vi kan väl inte riktigt bestämma oss för vad som är arv respektive miljö när det gäller oss själva heller?

Allt som inte är DNA är miljöfaktorer. Vi har inte fullständig koll på vad allt DNA gör, men så mycket vet vi.

Permalänk
Hedersmedlem

Nu vill jag förstås inte mäta mig med den gode professorn, men låter inte det där som en lite väl djärv slutsats (och säger han verkligen så? Jag hittar inte motsvarande på den länkade sidan)? Att visa att det måste förhålla sig så måste väl ändå vara svårt? Jag undrar också om hans slutsats är den allmänt accepterade.

Skrivet av beh:

Även om du kan göra avtryck eller projektioner av ett medvetande eller tillståndet i hjärnan på en person så kommer denna "mjukvara" inte att fungera på "hårdvaran" hos en annan individ. Istället använder vi DNA för att överföra ärftliga information till nästa generation, men det blir en ny "build" i och med att man blandar generna från föräldrarna sedan påbörjas träningen av den nya modellen genom miljöfaktorerna.

Vi kräver väl inte heller att en ai skall vara exakt samma som en människa? Vi bör väl som sagt vara minst lika toleranta som vi är mot att vi har skiftande förmågor.

Skrivet av beh:

När det gäller personer som saknar vissa sinnen brukar kunna kompensera genom att mer hjärnkapacitet frigörs till de resterande sinnena. Om vi skapar en värld där det inte är lika fördelaktigt att se så kommer synen antagligen med tiden att förändras eftersom det är ett oerhört kostsamt sinne att upprätthålla. Det finns mängder med intressanta exempel på hur människor som lider av olika sinnesrelaterade åkommor visar att våra sinnen är intrikat sammanlänkade till hjärnans aktivitet. Exempelvis lider vissa människor av afantasi, dvs. de har ingen fantasi och kan inte föreställa sig saker. Ibland tar dessa personer fler bilder med sin kamera för att försöka kompensera.

Det intressanta är väl dock att i alla fall enskilda sinnen inte verkar vara kritiska? Kan man hävda att en ai inte kan vara intelligent utan mänskliga sinnen när människor uppenbarligen kan vara det trots att de är blinda, döva eller utan känsel? Eller måste vi införa någon begränsning på att man måste ha ett visst antal mänskliga sinnen? Det känns som att man närmar sig det där med att man måste ha själ för att vara människa...

Permalänk
Medlem
Skrivet av Elgot:

Nu vill jag förstås inte mäta mig med den gode professorn, men låter inte det där som en lite väl djärv slutsats (och säger han verkligen så? Jag hittar inte motsvarande på den länkade sidan)? Att visa att det måste förhålla sig så måste väl ändå vara svårt? Jag undrar också om hans slutsats är den allmänt accepterade.

Det är möjligt att den gode professorn har fel. Men någon får förklara hur en sådan intelligens skulle kunna uppstå. Innan någon kan göra det är det bara science fiction. Ett tankeexperiment som vi kan ägna oss åt just för att vi har en sådan fantastisk intelligens.

Vad får vi för svar när vi frågar en språkmodell (som inte har någon kropp) hur den upplever det att inte ha några ben? Vi får ett syntetiserat svar som delvis bygger på hur andra människor som har en kropp, men inte några ben, berättat att de upplever det blandat med en mängd andra upplevelser och tankar om ämnet som andra människor haft och som finns nedtecknade för en modell att göra analys av och representera i sin "projektion" av verkligheten. Tillsammans med vikter som representerar dramatiska, syntaktiska och rent logiska regler som går att härleda ur den text som modellen är tränad på kan den ge ett svar som en människa bedömer är i linje med hur en människa skulle kunna svara.

Skrivet av Elgot:

Vi kräver väl inte heller att en ai skall vara exakt samma som en människa? Vi bör väl som sagt vara minst lika toleranta som vi är mot att vi har skiftande förmågor.

Människor med olika typer av sensoriska begränsningar (medfödda eller något som tillkommit senare i livet) har inte lägre poäng på intelligenstest än andra och de har ofta betydligt högre förmågor än gemene man på de sinnen som de har kvar. Detta är mänsklig intelligens i et nötskal, förmågan att anpassa sig.

Skrivet av Elgot:

Det intressanta är väl dock att i alla fall enskilda sinnen inte verkar vara kritiska? Kan man hävda att en ai inte kan vara intelligent utan mänskliga sinnen när människor uppenbarligen kan vara det trots att de är blinda, döva eller utan känsel? Eller måste vi införa någon begränsning på att man måste ha ett visst antal mänskliga sinnen? Det känns som att man närmar sig det där med att man måste ha själ för att vara människa...

Du begår ett logiskt felslut i din härledning. Bortfall av några sinnen hos en människa gör inte människan mindre intelligent eftersom själva definitionen av intelligens är bland annat att klara av anpassning under sådana förhållanden, vilket vi har visat sker i stor omfattning. Du försöker att visa att en språkmodell, utan sinnen, kan vara intelligent eftersom att en människa med bortfall av något sinne kan vara det.

En språkmodell är begränsad till de data den tränats på och de algoritmer som styr dess processer. Den saknar förmågan att på egen hand söka ny information eller anpassa sig till nya miljöer på samma sätt som människor kan. Visst kan den söka information inom samtalets kontext, men den informationen är inte en del av modellen och således inte tillgänglig i framtida invokeringar av modellen. Modellen har inget medvetande. Den föds med information och kan framkalla fakta genom att tolka text till ny text.

Just förmågan till självmedvetenhet och subjektiv erfarenhet anser jag är en avgörande aspekt hos mänsklig intelligens och något som är helt frånvarande i de AI-modeller vi har sett hittills. Därför är det inte rättvist eller korrekt att jämföra intelligensen hos en person som anpassar sig till en sensorisk förlust med en AI som opererar utan sinnen.

Permalänk
Hedersmedlem
Skrivet av beh:

Det är möjligt att den gode professorn har fel. Men någon får förklara hur en sådan intelligens skulle kunna uppstå. Innan någon kan göra det är det bara science fiction. Ett tankeexperiment som vi kan ägna oss åt just för att vi har en sådan fantastisk intelligens.

Bara för att vi inte vet hur det fungerar kan vi väl dock inte avskriva det? Kanske visar det sig att det inte är något särskilt konstigt som pågår när vi kommer lite längre (numera tror vi väl till exempel att liv är något som har en god chans att uppstå bara förutsättningarna är någorlunda goda). Den neutrala hållningen är väl snarare "kanske"?

Skrivet av beh:

Vad får vi för svar när vi frågar en språkmodell (som inte har någon kropp) hur den upplever det att inte ha några ben? Vi får ett syntetiserat svar som delvis bygger på hur andra människor som har en kropp, men inte några ben, berättat att de upplever det blandat med en mängd andra upplevelser och tankar om ämnet som andra människor haft och som finns nedtecknade för en modell att göra analys av och representera i sin "projektion" av verkligheten. Tillsammans med vikter som representerar dramatiska, syntaktiska och rent logiska regler som går att härleda ur den text som modellen är tränad på kan den ge ett svar som en människa bedömer är i linje med hur en människa skulle kunna svara.

Men är det verkligen diskvalificerande (om det nu är så (chatgpt verkar inte göra det längre i alla fall))? Man skulle väl kunna föreställa sig ett barn (eller en berusad person) också sväva iväg om man frågar om något abstrakt? Man kommer förstås använda de intryck och metaforer man har tillgång till, och för modellerna är det ju bara text än så länge.

Skrivet av beh:

Människor med olika typer av sensoriska begränsningar (medfödda eller något som tillkommit senare i livet) har inte lägre poäng på intelligenstest än andra och de har ofta betydligt högre förmågor än gemene man på de sinnen som de har kvar. Detta är mänsklig intelligens i et nötskal, förmågan att anpassa sig.

Det här var mer ett svar på att man kanske inte exakt kan överföra ett tillstånd till annan hårdvara. Det jag var ute efter var att även om en ai visar sig ha egentheter och starka/svaga sidor kanske den inte sticker ut så mycket i en stor grupp människor (som ju alla förutsätts vara intelligenta)? Mytomaner har ju till exempel också en talang för att hitta på, så det kan ju inte riktigt anses diskvalificerande.

Skrivet av beh:

Du begår ett logiskt felslut i din härledning. Bortfall av några sinnen hos en människa gör inte människan mindre intelligent eftersom själva definitionen av intelligens är bland annat att klara av anpassning under sådana förhållanden, vilket vi har visat sker i stor omfattning. Du försöker att visa att en språkmodell, utan sinnen, kan vara intelligent eftersom att en människa med bortfall av något sinne kan vara det.

Nja, jag menar mera att det inte är oproblematiskt att påstå att mänskliga sinnen är kritiska. Uppenbarligen går det att klara sig utan vissa av dem, så varför inte alla? En modell kanske också kan anpassa sig genom att fokusera på de sinnen den har (text).

Skrivet av beh:

En språkmodell är begränsad till de data den tränats på och de algoritmer som styr dess processer. Den saknar förmågan att på egen hand söka ny information eller anpassa sig till nya miljöer på samma sätt som människor kan. Visst kan den söka information inom samtalets kontext, men den informationen är inte en del av modellen och således inte tillgänglig i framtida invokeringar av modellen. Modellen har inget medvetande. Den föds med information och kan framkalla fakta genom att tolka text till ny text.

Just förmågan till självmedvetenhet och subjektiv erfarenhet anser jag är en avgörande aspekt hos mänsklig intelligens och något som är helt frånvarande i de AI-modeller vi har sett hittills. Därför är det inte rättvist eller korrekt att jämföra intelligensen hos en person som anpassar sig till en sensorisk förlust med en AI som opererar utan sinnen.

Ett problem är väl att vi inte riktigt har någon definition av intelligens/tänkande eller vad det nu är vi talar om? Det är förstås praktiskt att kunna införliva ny kunskap på djupet, men är det verkligen kritiskt? Kanske klarar man sig långt med förkunskap och arbetsminne? En del saker är väl också mest implementationsdetaljer och annat, som medvetande, är ju besvärligt nog utan att blanda in ai. Egentligen kan man väl som sagt inte vara säker på att grannen är medveten (även om det verkar vara en fungerande hypotes)?