Det vet jag inte, som sagt, merparten av dom är inte mina egna, men absolut, det är ont om heterodoxa "tänkare" (det låter oerhört pretentiöst, men jag hittade inget annat ord att följa "heterodoxa") som resonerar utifrån "first principles".

Fast evolutionen är inte "ett område", därför hamnar du fel direkt.

Du behöver inte göra det så avancerat, en hammare är överlägsen våra händer för att slå in spikar.
Men som sagt, det är irrelevant.

Självklart inte, men om jag hade hävdat det som ni hävdar om någon annan art, eller under någon annan tidsperiod, så hade ni skrattat åt mig.

Det där är ju en intressant, om än ganska förmäten syn på evolutionen (men får jag kalla mig själv för tänkare så får du såklart ha en förmäten syn på evolutionen).
Det är ändå en process som har skapat oss på ett sätt där vi har överlevt i 100-300k år. Du kan hävda att vi hade klarat oss bättre och att det hade varit mer logiskt med 12 fingrar eller en annan konstruktion på ögonen.

Men, människan har i princip inte skapat något som har klarat sig kvar 500år

Men tillbaka till dina verktyg då, för det är ju vad hammare, kameror och annat är.
Så om du hade hävdat, och det är ju vad ni hävdar, att ni ska bygga en kamera som förbättrar sig själv, överlever oss och tar över världen, ja då hade jag hävdat att ni omkullkastar hela evolutionsteorin.

Och jag menar, det får man såklart göra, men tillstå då att det är det ni gör, för på det sättet menar jag att den här hypen hade sett helt annorlunda ut.

Det var du som tog Asimovs lagar allvarligt och argumenterade för att de borde vara implementerbara för en tillräckligt smart AI, inte jag.

Vad är detta för "might makes right"-resonemang? Skyddsvärd i vilken mening? Om den inte har ett medvetande och kan uppleva något så får inte en AI ut något av att skyddas. Eller av att ta över solsystemet. Som tidigare nämndes, om en omedveten gem-maximerare eller dylikt skulle överlista människorna skulle det kunna leda till ett universum där ingen någonsin mer känner lycka.

En bra början är att vara ödmjuk och inte naiv. Du svamlar om så många saker på ett "stensäkert" sätt och skriver under med dina titlar trots att du uppenbarligen inte har kvalifikationerna i ämnet.

Välkommen till SweClockers förresten. Intressant första inlägg

Jag tycker tvärtemot att hens inlägg är otroligt klartsynt och har väldigt svårt att hitta några som helst hål i hens argumentation.
Såklart finns möjligtheten att vi utvecklas i en positiv riktning under dom kommande 1000 åren men det är inte mycket som pekar på det.

Ja, det verkar alltså som att oron för framtida superintelligent AGI faktiskt var en signifikant del av skälen bakom kaoset i OpenAI. Detta stärks av att den tillfälliga VD:n som först tillsattes för att ersätta Altman, Emmet Shear, verkar vara en riktig AI-”doomer” (från SvD, betalvägg, men jag citerar det viktiga):

[P(doom) = sannolikheten för att en superintelligent AGI utrotar eller förslavar mänskligheten]

Det väcker alltid intressanta följdfrågor när man försöker sätta sannolikheter på vad som egentligen är osäkerhet om verklighetens beskaffenhet. I spannet 2% - 50% ingår inte 0%, betyder det att han utesluter möjligheten att ett datorprogram visar sig inte kunna bli superintelligent? För detta är något vi ännu inte vet, vi kan bara anta det ena eller det andra tills superintelligens eventuellt uppstår. Men om naturlagarna omöjliggör algoritmisk superintelligens (eller medvetande, känslor, eller någon annan egenskap som vi väntar oss att en superintelligent maskin ska ha) så är P(doom) = 0, oavsett vad vi tror om saken – vi kommer däremot i det fallet troligen aldrig att få veta hur det ligger till.

Men, det handlar också om hur man ser på sannolikhet. Det jag skriver ovan är kompatibelt med den sannolikhetsteori som kallas frekventism, som ligger bakom de vanligaste statistiska metoderna. I den teorin skiljer man i regel på sannolikhet och osäkerhet likt hur jag gör ovan. Ett annat synsätt som blivit mer populärt de senaste 20 åren eller så, särskilt bland de som jobbar med AI, är bayesianism – det är en mer tillåtande teori, på så vis att den tillåter att sannolikheter används för att beskriva alla former av osäkerhet. Sannolikhet är där ett annat ord för att vi inte vet, även för händelser som redan hänt men som vi inte fått veta utfallet av. Dessa olika synsätt är relevanta för hur man ser på flera av de öppna frågorna i debatten om risker och möjligheter med framtida superintelligent AGI – så jag tänkte med utgångspunkt i detta dela några av mina tankar om AI.

---

TL;DR: Tyvärr, det finns ingen. Lång rant följer...

Finns slumpen?

Ovanstående om bayesianism och frekventism är intressant mest utifrån hur man pratar om sannolikhet. Men båda teorierna är också löst kopplade till alternativa teorier om slump, som i sin tur kan kopplas till hur vi kan bedöma risken för AI-apokalyps. Med slump menar jag här händelser som är genuint oförutsägbara, där ingen information finns tillgänglig som kan förutsäga en händelse innan den faktiskt har börjat.

• (I) En möjlighet är att äkta slump inte finns, och allt är förutbestämt, vi vet bara inte vad som kommer att hända. Det vore helt kompatibelt med bayesianism, och det skulle också innebära att en tillräckligt intelligent varelse hade kunnat förutsäga allt som sker bara den vet tillräckligt mycket om utgångsläget. Jag får intrycket att detta är en latent accepterad teori bland de som oroar sig mest för AI-apokalyps, eller åtminstone att de menar att väldigt mycket är förutsägbart bara man har tillräckligt med data. Det som begränsar en intelligent varelses möjligheter att förutse händelser är här bara intelligensen, och vad den vet om naturlagarna och världens tillstånd just nu.

• (II) En annan möjlighet är att slumpen är verklig, och det finns händelser som saknar orsak. Saker som skulle kunna vara exempel på detta vore radioaktiva sönderfall, samt spontan avfyrning av nervceller i en biologisk hjärna. En dator har ingen sådan mekanism, tvärtom så är den designad för att vara förutsägbar, och måste därför matas med slump från omvärlden för att åstadkomma slumpmässiga händelser. (s.k. slumpalgoritmer skapar inte slump, deras uppgift är att ta ett värde från en okänd fördelning som input, och mappa det till den fördelning som programmeraren vill ha). Denna möjlighet ligger mer i linje med frekventism. Om verklig slump finns, så följer att det är svårare att förutsäga framtiden, oaktat intelligens och tillgång till information om världen. Mycket är såklart fortfarande lagbundet och kan förutsägas, men långt ifrån allt.

Att uppskatta risken för farlig superintelligens

Hur trovärdig är hypotesen om att en självförbättrande superintelligent AGI kan uppstå och bli en fara för mänskligheten?

Silicon Valley och ett antal filosofer och andra forskare verkar tro på detta, själv är jag mer skeptisk. Som jag ser det är det två saker som måste vara sanna för att det ska ske.

1. För att en superintelligent AGI ska kunna uppstå måste alla aspekter av intelligens utgöra beräkningsproblem, dvs. en maskin är intelligent i kraft av dess beräkningskapacitet. Det borde vara det samma som att säga att någon form av Computational Theory of Mind (CTOM) måste vara sann. Men detta vet vi inte idag. CTOM är inget krav för att vi någon gång ska kunna bygga en maskin eller artificiell organism som eventuellt är smartare än oss - vi människor utgör själva evidens för att materia kan vara intelligent - men jag uppfattar det som ett krav för superintelligens. För hypotesen om superintelligens bygger inte bara på att maskiner kan vara intelligenta, den bygger också på att dessa maskiner kan förbättra sig själva genom att samla på sig än större mängder beräkningskapacitet i form av datorhårdvara. Förutsättningarna för det finns bara om intelligensen själv kan realiseras som en beräkning, såvitt jag kan se.

2. För att en superintelligent AGI ska kunna vinna ett krig mot människor som är medvetna av vad den försöker göra, förutsatt att den inte har direkt tillgång till kärnvapen, så måste den kunna förutse våra motdrag nästan varje gång. Det kopplar direkt tillbaka till (II) ovan, ju mindre förutsägbar världen och människorna i den är, desto svårare är det för AGI:n att kunna försvara sig mot våra försök att stänga av den. Åtminstone för människor har det visat sig otroligt svårt att utifrån historiska data förutsäga hur människor kommer att handla i framtiden. Det kan vara för att vi som försökt hittills är alltför dumma i huvudet, det kan också vara för att informationen inte finns för att den beror av slumpmässiga händelser som ännu inte hänt (alternativt utslag av en fri vilja, ifall en sådan finns – men det behöver vi inte anta för att min invändning ska fungera).

Själv är jag skeptisk till både (1) och (2), men jag kan inte utesluta någon av dem. CTOM har visat sig vara en ganska dålig modell av mänsklig intelligens, det datorer gör snabbt (t.ex. söka av en finit sökrymd av t.ex. drag i schack) gör vi människor långsamt, och mycket av det som är så trivialt för oss att vi inte ens tänker på det som ett problem (t.ex. att se) är fortfarande inte helt löst för AI-modeller. Detta är ju saker som jobbas med, men det hela tyder på att algoritmisk intelligens är väldigt olika mänsklig. Avseende (2) har jag har också svårt att se att en fientlig AI skulle lyckas tänka ut en vattentät plan innan den börjar pröva sig fram och därmed avslöjar sig. Man ska inte underskatta hur mycket av människans framsteg som åstadkommits genom trial-and-error, snarare än att någon tänkt ut den perfekta planen.

Max Tegmarks teori om verkligheten

Det kan vara värt att ta upp en annan som pratar om P(doom) i storleksordningen > 50%, det är den (i AI-sammanhang) inflytelserike svenske kosmologen Max Tegmark, som Swec refererat till i en tidigare nyhet. Han är den första som jag hört sådana extrema siffror från, och han citeras ofta i ämnet. Han har dock en teori om verkligheten som är ganska speciell, ”The Mathematical Universe hypothesis”. Enligt hans teori består vår värld i första hand inte av materia, utan allt som existerar utgörs av matematiska strukturer som också är beräkningsbara. Så han går betydligt längre än CTOM, hans teori kan snarare kallas en ”computational theory of everything”. Om allt kan beräknas, då följer att båda mina (1) och (2) ovan är sanna, vilket kan förklara hans pessimistiska uppskattning av riskerna.

I hans bok om detta från 2014 argumenterar han också för att det är mer sannolikt att vårt universum är en simulering som körs i en dator av något slag i ett annat universum, än att det inte är det. Detta baserat på att varje universum (simulerat eller verkligt) kan innehålla flera simulerade universa, så vi kan helt enkelt vänta oss statistiskt att det finns många fler simulerade världar än verkliga världar. Om vi lever i en simulerad värld där allt är algoritmer, så blir det också trivialt sant att vårt mänskliga tänkande är algoritmiskt.

Nick Bostrom, en annan svensk som är central i diskussionerna om AGI har fört liknande resonemang. Så ett par av de största akademiska namnen i fältet har synsätt på verklighetens beskaffenhet som inte är mainstream bland fysiker, men som passar särskilt bra ihop med hypotesen om datorbaserad AGI.

AI-entusiasmens sociologi

Många är övertygade om att självförbättrande AGI är möjligt, även om de som vi sett är oense om riskerna och fördelarna. Något som förenar s.k. ”doomers” och ”boomers” är att båda läger verkar acceptera CTOM och att graden av (algoritmisk) intelligens skalar någorlunda linjärt med beräkningskapacitet. Jag ser övertygelsen mer i kretsarna kring de mer hajpade företagen i Silicon Valley än hos forskare, även om ett antal akademiker (mest filosofer och matematiker, däremot knappt några kognitionsvetare, psykologer eller neurovetare) också driver tesen starkt. De är genomgående väldigt intelligenta personer. Men jag undrar om inte intelligens kan bli en orsak till tunnelseende här, särskilt i kombination med personkult-kulturen runt Silicon Valley. Där höjer man gärna de som lyckats till skyarna, och tolkar deras lyckande som ett uttryck för deras höga intelligens. Detta på bekostnad av tillfälligheter och kontexten de verkar i, något som syns inte minst i de otaliga trådar här på Swec som handlar om Elon Musk. Om man är väldigt intelligent, vet om detta och upplever skillnaden mot de flesta man möter, får sin intelligens ständigt bekräftad av de som ser upp till en, kanske också ser intelligensen som en viktig del av vem man är – och dessutom jobbar med att utveckla AI – ligger det inte nära till hands då att tänka att just intelligens är den viktigaste egenskapen som för världen framåt? När det snarare är resurser och organisationsförmåga som gjort skillnad för de flesta mänskliga framsteg historiskt. Jag ser helt enkelt en stor risk att man överskattar nyttan av intelligens. Bonus är om man också hör till de i Silicon Valley som drömmer om evigt liv genom att ladda upp sitt medvetande i molnet, något som också förutsätter att CTOM är sann.

Detta är inget argument mot AGI-hypotesen i sig, men kan förklara varför de som hajpar AI och inte gör detta fördelar sig geografiskt och ämnesmässigt som de gör. Det kan användas åt andra hållet också, såklart, man kan förklara varför de som främst fokuserar på biologisk intelligens är mindre övertygade om AI:s potential. (Själv passar jag in på det senare mönstret, så till vida att min bakgrund är främst psykologi och kognitionsvetenskap om än med en del datavetenskap).

Slutord

Frågor om superintelligens och AGI handlar alltså inte bara om datavetenskap och teknik, utan faller tillbaka på svåra olösta frågor om hur universum och vårt eget tänkande är beskaffat.

Jag kan passa på att lägga till att det jag ifrågasätter här är bara de extrema apokalyptiska argumenten, jag tror vi kan räkna med att en del av den närmaste framtidens självlärande AI-program kan komma att löpa amok och ställa till rejäl oreda. T.ex. om man ser på datorvirus historiskt, där en del av dessa lett till mycket värre konsekvenser än skaparen tänkte sig. En nödvändig egenskap hos AI-program (som delas med människan) är att de försöker gå utanför vad som är givet som input. Det gör att även misstagen kommer att bli mer kreativa.

Vi kan förklara dom där sakerna, det kallas "slumpen" (även om slumpen inte finns) och att rationalisera saker i efterhand.

Ja, vad har vi lärt oss? För det första ifrågasätter jag hela idén att vi har lärt oss saker i 300.000år, jag är xx år gammal, det är så länge jag har lärt mig saker. Vill man hävda att vi har lärt oss saker i 300.000år så får man också ta i beaktning att vi har glömt saker lika länge.

För det andra, AI'n utvecklar inte sig själv, ackumulerande av data är varken intelligens eller utveckling.

Igen, ackumulernade av data är varken intelligens eller utveckling. Projicering...ja det beror såklart på vad du projicerar/visar. Om du visar samma data ut som du tar in, så är det ju inte speciellt användbart.
Hur bedömer du bättre?

Problemet med exponentiell utveckling är att vi vet att den har en broms.

Den där meningen är väldigt konstigt formulerad, för med ett "men med det borde vi inte.." så brukar man ju ställa upp ett motsatsförhållande, eller att det som kommer efter "men med det borde vi inte.." ifrågasätter det som kommer före.

Hade du formulerat den som min redigering visar så hade den varit vettig, nu är den som bäst en tautologi.

Som om vi inte vore kapabla att utrota oss själva..... oh,wait!

Lyssnar man på Lee Cronin's senaste medverkan hos Lex Fridman så säger han i princip samma sak som jag.

Jag lyssnade lite och jag ser inte likheten i det du skrev. Han säger att han inte är orolig för att dagens AI är så otroligt långt ifrån AGI att det är som att oroa sig för att världen brinner ner när man kommer på hur man startar en eld. Vad nu det betyder. Ytterligare en anledning att inte oroa sig eller reglera AI idag är "We would see it coming, and we would be able to do something about it.".

Sedan säger han också "I don't disagree that we're going to get to AGI, it's a matter of when and on what hardware".

Men jag hörde ingenting om att det skulle vara omöjligt för att det motbevisar evolutionen eller något åt det hållet. Jag förstår fortfarande inte dina argument där.

Då får vi vara överens om att inte vara överens.

Han pratar dels om att det här liknar skapandet av en religion, han pratar om att AI inte har någon agens, han pratar om att inte ens AI lever bortom dom fysiska begränsningar som gäller för alla, och att AGI enbart skapats av evolutionen (sen är det såklart så att OM vi skapar en AGI, så blir det per definition en del av evolutionen, men..)

Och absolut, han säger att vi kommer komma till (A)GI, men det ifrågasätter inte jag, det finns ju redan.

Det finns mig veterligen inte AGI, Artificiell Generell Intelligens. Vi kan säga att vi har Generell Intelligens, men såvida du inte tror på en skapare är den inte Artificiell. Det unika i det du sade var ju att det skulle vara omöjligt att skapa en AGI, med något argument som jag inte förstod som hade med evolutionen att göra.

Att man inte tror att AGI kommer skapas inom det närmaste är inget ovanligt.

Jag redigerade mitt inlägg, jag glömde lägga till parenteser runt (A), vilket bara visar varför man inte ska hålla på med det här medans man jobbar.

Jag tycker hans exempel med Anti Gravity är bra.

Mitt argument är helt enkelt att det finns ingenting historiskt som talar för att det ni påstår ska hända kommer att hända.

Det skulle innebära att evolutionen tog ett leap istället för små inkrementella steg.

Apropå vad som är artificiellt eller inte, så är väl ingenting artificiellt, eller så är allt artificiellt.

Och när du säger skapare så menar du...Gud?

Så när vi skapar AGI så blir vi...Gud?

Jag vet ju att det finns "en" skapare, evolutionen.

För att förtydliga,det jag har sagt är omöjligt är att skapa något som är mer intelligent än en själv.

Det är ju ni som hävdar att det här kan och kommer att hända som sitter på hela bevisbördan här, tyvärr.

På en planet med 8Miljarder människor så är knappt någonting ovanligt, på gott och ont.

Ämnet för tråden och orsaken till att vi diskuterar dom här sakerna just nu, är ju alla löjliga påståenden från människor som Max Tegmark och Sam Altman.

Det finns intressanta argument för att sannolikheten att vi lever i en simulering är höga.

Jag tror jag börjar förstå ditt argument nu allt eftersom jag skrivit om det här inlägget ett par gånger samtidigt som jag tänkt.

Det är förvisso ingen (eller få) som säger att "AGI doom" kan och kommer hända. Man vet inte. Man säger bara att det finns en risk, och eftersom konsekvenserna kan vara så ödesdigra bör man ta risken på allvar, även om man nu tror den är liten.

På ungefär samma sätt vet vi inte om det finns en Gud. Jag är själv övertygad ateist och hävdar att den som säger att det finns en Gud har bevisbördan pga Ockhams rakkniv, men man skulle ju kunna argumentera för att alla borde be till Gud varje dag eftersom det finns en risk att hen existerar och att konsekvenserna av att inte be varje dag kan vara ödesdigra (t ex hamna i helvetet för all framtid, eller att Gud skapar en ny syndaflod som dödar alla människor).

Det knyter ju även ihop det här du nämnt om att AI håller på att bli en religion.

På samma sätt skulle man ju kunna argumentera då för att vi inte borde skicka ut några signaler i rymden eftersom det kan locka hit utomjordingar som utplånar oss (t ex i förebyggande syfte, så vi inte utplånar dem senare). Eller att vi inte ska skräpa ner på jorden eftersom det skulle kunna störa "Gaia" (samspelet mellan levande organismer och den nästan lika levande planeten). Eller att vi inte ska göra massa konstiga partikelfysikexperiment eftersom vi kan råka skapa "stranglets" eller ett mikroskopiskt svart hål som sväljer planeten etc.

Intressanta tankar.

Detta tror jag är ett stickspår.

Jag kan knappast själv designa en maskin som är smartare än mig, och samtidigt förstå allt den gör. Men AGI-forskningen bygger väl snarare på att uppfinna maskiner som förbättrar sig själva, troligen då i en iterativ process med mycket trial-and-error (som kan gå mycket fortare än den biologiska evolutionen pga datortekniken). Då kan man ställa den filosofiska frågan om det är ingenjörerna som skapat maskinen eller maskinen som skapat sig själv, men det har ju ingen betydelse för maskinens eventuella intelligens.

Jag tror som sagt att det finns massor av andra hinder för både AGI generellt, och för superintelligens. Men att det skulle vara principiellt omöjligt baserat på att skaparen inte är smart nog, tror jag inte är ett sånt hinder.

Som jag skrev i ett inlägg längre upp, så bygger sådana argument på antagandet att medvetande och intelligens kan uppstå i ett datorprogram. Så det går inte riktigt att ta dessa sannolikhetsberäkningar som intäkt för att datorbaserad AGI/superintelligens är möjligt, utan att hamna i cirkelresonemang.

Säger man att man inte vet, så säger man ju indirekt att man vet att det kan hända.

Jag säger att jag vet att det inte kan hända. Sen lever jag iofs. efter principen att man ska aldrig använda ord som aldrig och alltid.

Men det är också ett underligt sätt att resonera, då måste vi sluta med all utveckling på alla områden, för vi vet inte vad det leder till imorgon.

Ja, människor som Sam Harris (the irony) och Max Tegmark borde göra detta, eftersom dom menar att man ska agera utifrån "allt kan hända, allt kan vara sant...".

Även om jag tycker att överanvändandet av begreppet AI i princip har eliminerat dess betydelse, så förnekar jag inte att tekniker som LLM och Chat- GPT-4 är intressanta, jag säger bara att det inte är vad "ni" (dom) tror att det är.

Man behöver inte hoppa direkt till AGI.

Med den exponentiella utveckling som ni påstår pågår, så räcker det om "ni" (jag menar inte att just du är skyldig mig något svar såklart) ger mig en tidsram på Chat GPT-5 och vad den kommer att kunna göra.

Jag är tämligen säker på att det här är nästa FSD, det ligger alltid 1 år framåt i tiden...

En iterativ process med mänsklig indata, du kommer liksom inte ifrån det.

SISO har varit ett begrepp så länge att jag tog för givet att alla var överens om det..

För det första är den frågan inte filosofisk. Det är ingenjörerna som har skapat maskinen (bara för att jag håller hammaren som jag slår i spiken med med en tång, så innebär inte det att det är tången som slår i spiken)

Maskiner är bra, men varför ska du bygga maskiner som ska bygga maskiner? Vad är problemet du vill lösa?

Absolut, att bygga robotar som bygger bilar är en sorts "maskiner bygger maskiner", att bygga "maskiner" som tillverkar processorer är ett annat exempel, men frågan måste alltid och ska ändå ställas, vilket problem är det du vill lösa?

(jag menar, tänk om det är så att det här är världens hype och bubbla, som inte leder till någonting, tänk vilka enorma resurser som har lagts på det här då, och alternativa saker dom resurserna dom hade kunnat läggas på)

Sen tror jag inte på begreppet kollektiv intelligens. Absolut, 10 ingenjörer som arbetar ihop kan skapa något som överstiger 1 enskild ingenjörs kompetens. Men samma 10 ingenjörer kan lika väl inte lyckas skapa något alls, just för att dom har (försökt) jobba ihop.
Vilket i praktiken innebär att den kollektiva intelligensen blir lägre än en enskilds, eller åtminstone det praktiska resultatet av den.

Eftersom "The Dunbar Number" är ca. 150, så inför jag här "The Xeonist Number", som är 15. Inom "vetenskapliga" sammanhang är siffran 15, och den gäller även inom LLM. Med fler datakällor än så så kommer du oundvikligen stöta på datakällor som motsäger dom du redan har, med allt vad det innebär.

Vad tror du att det finns för hinder? Hur känner du igen en "superintelligens"?

Tror du att apor t.ex. skulle kunna skapa en människa? (om vi nu menar att det är ett slags steg upp i evolutionen).
Om du växte upp bland enbart apor (jag hade tänkt ta ett annat exempel först, men jag tror att det här är mindre politiskt inkorrekt) tror du då att du skulle kunna lära dig läsa? Skriva? Prata?

Sen har människan såklart gått från att inte kunna läsa/skriva, till att kunna det...och den processen återkopplar lite till min fråga om "superintelligens" ovan, men möjligtvis blir den också off-topic och utsvävande.

@Xeonist Jag tror vi är betydligt mer överens än vad som direkt framgår av mitt förra inlägg. Jag svarar på dina frågor i lite blandad ordning.

Mycket bra fråga hur man känner igen en superintelligens. Detta är inget jag tror på kommer att finnas i den bemärkelse de som använder begreppet tänker sig. Men att döma av beskrivningarna, så är väl ett tecken att man är jagad av beväpnade robotar med lasersikten istället för pupiller samtidigt som man drunknar i gem. Men mer seriöst så finns det ju alltid ett brett spann mellan de lösningar på problem man kan hitta själv, och de man kan känna igen som bra lösningar. Men det är såklart inte oändligt. En relaterad fråga är hur "generell" mänsklig intelligens egentligen är, eller om det vi har är specifika lösningar på specifikt mänskliga problem (likt hur vi bedömer förmågorna hos alla andra organismer förutom oss själva) som vi bara uppfattar som generella för att vi inte kan tänka oss något utanför våra förmågor.

Varför jag själv inte tror på datorbaserad AGI eller superintelligens har jag skrivit om i ett långt inlägg längre upp, men i korthet handlar det om att jag inte tror att alla de egenskaper som krävs kan realiseras i datormjukvara. Däremot tror jag de kan uppstå i t.ex. artificiella biologiska system, men då faller istället tesen om superintelligens, eftersom alla sådana hypoteser (som jag känner till) bygger på att AGI kan uppstå i en dator, för att sedan rekrytera mängder av beräkningsresurser för att göra det den redan gör men mycket snabbare. Icke-dator-baserad AI är det idag ingen som jobbar med, vilket gör att detta förblir en högst teoretisk möjlighet. (Sen tror jag att även om AGI uppstår så har boomers och doomers en alltför optimistisk uppfattning om vad intelligens egentligen kan åstadkomma!)

I alla fall, åter till vårt meningsutbyte -

Min invändning handlade inte om dagens teknik utan mer principiellt om vad som är möjligt och inte, då jag uppfattade det som att du menar att det är principiellt omöjligt att skapa något smartare än en själv. Och då menar jag att det bara är väldigt snäva betydelser av "skapa" (snävare än vad AI-forskningen har till förfogande) som tydligt kan utesluta den möjligheten.

LLM:er kommer inte ifrån SISO, det håller jag helt med om. En AI som alls på något sätt liknar den intelligens som finns i djurriket förutsätter jag måste interagera med den fysiska verkligheten, inte bara med människogenererad text. (Fast där kommer en viktig begränsning på den föreställda superhastigheten som AGI-förespråkare menar att datorerna ska ge AI:n, för den kan i min version inte lära sig snabbare än omvärlden klarar av att svara på dess utforskande!)

Men jag är inte säker på att jag förstår dig fullt ut, för du nämner samtidigt evolutionen, och som jag ser det har den naturliga evolutionen redan visat att intelligens kan uppstå ur icke-intelligens (förutsatt att den fungerar som man normalt brukar anta d.v.s. utan inslag av s.k. "intelligent design"). Menar du att det inte skulle gå att enbart med kunskap om evolutionens principer, "skapa" en självförbättrande AI som tillåts möta den fysiska och sociala verkligheten som den är, och uppdatera sig själv beroende på resultat? Skapa inom citattecken just med tanke på det jag ser som en filosofisk fråga, om vem som egentligen är skaparen i en sådan process. Jag skulle vilja påstå att mänsklig intelligens är delvis skapad av människan. Men det är en filosofisk inveckling som vi kanske inte behöver just nu. Min poäng är bara att det är den typ av ingenjörskonst som jag beskriver här, som AGI-förespråkarna tänker sig.

Jag ser redan ett problem i det jag beskrev i förra stycket, och det är hur "resultat" ska mätas. Naturliga evolutionen har ju ett enkelt kriterium - överlevnad och i förlängningen fortplantning - men jag har svårare att komma på ett kriterium för artificiell evolution som inte bygger på att designern tänker ut detta (med de begränsingar det innebär). Detta problem kan eventuellt vara i linje med din invändning!

--

Ett annat möjligen upplysande exempel på hur jag tänker är från AI-forskningens historia. De första 20-30 åren som AI var ett begrepp dominerades forskningen av att smarta ingenjörer försökte skriva det längsta och mest komplicerade programmet, som skulle hantera varje möjlig eventualitet i programmets möte med den klass av problem det försökte lösa. I denna fas var AI helt begränsat av hur "smart" programmeraren var, vilka problem och lösningar hen kunde tänka sig.

Sen kom 80-talet med de neurala nätverken, och en del AI-labb skiftade fokus till att försöka modellera kända biologiska system så gott det går. Då byggde man datormodeller (och enstaka fysiska byggen) med (delar av) hjärnan som förlaga, och det visade sig att dessa kunde lösa en hel del ffa. perceptuella problem rätt så bra, där tidigare modeller gått bet. Men samtidigt försvann ingenjörernas detaljkontroll över hur lösningen kom till, och det blev ett separat problem att reda ut varför det fungerade. Vilket man i regel gjorde med tiden, men först efter att systemet var byggt.

Allt som vi kallar AI idag är arvtagare av dessa senare modeller, som grundas på inspiration från biologin. Och skaparna kan sällan veta helt på förhand vad de kommer att åstadkomma, eller förstå exakt hur de fungerar. Det verkar alltså inte längre här finnas någon tydlig koppling mellan skaparens intelligens, och systemets "intelligens" (eller förmågor oavsett vad man kallar dem).

Detta är väl på sidan av det övriga, men intressant. Jag kan se sätt på vilka du har helt rätt. Men jag kan också tillåta mig att bredda betydelsen av kollektiv intelligens, till att även inkludera de som skapat förutsättningarna för att de 10 ingenjörerna alls kan få något gjort - deras tekniska utrustning, HR-avdelningen, den specifika terminologi de använder när de pratar om sin arbetsuppgift, mm. De hade inte kunnat göra något vettigt utan hjälp av ett otal intelligenta föregångare.

Det relaterar på ett IMO intressant sätt till AGI. Av allt jag sett av den hajpade AI-forskningen så existerar inte begrepp som kollektiv intelligens eller ens kultur, allt tycks bygga på att en enskild artificiell agent ska själv komma på alla smarta ideer, förvisso med input från människors kultur (t.ex. text som hos en LLM). Medan människans möjligheter att åstadkomma det vi gör idag, bygger på att vi under årtusenden utvecklat språk, byggt infrastruktur, skapat våra ekologiska nischer etc. i samspel med varandra - dvs kulturell evolution. Visst, AIn är tänkt att kunna utnyttja mycket av detta, men en öppen fråga är om det finns aspekter av intelligens som måste vara resultatet av tidigare interaktioner med likvärdiga agenter.

Problemet här är nog mest att det vi idag kallar AI (LLM mm) har redan bevisat sig vara väldigt lukrativt och användbart, men tyvärr även för många dåliga syften. Och tekniken är i färd att låsas in och monopoliseras med hjälp av vaga hot om framtida ond superintelligens. Jag tror däremot inte att de som investerar i AI nu gör det för att de tror att en framtida kanske superintelligent AGI-maskin ska tjäna pengar åt dem, de ser profit på betydligt kortare horisont. Även om AGI-idéerna säkert tjänar en indirekt roll i att förstärka hypen.

Hur vet du, om...

Då säger du ju att vi är en intelligent skapare!? Ta bort begrepp som "artificiell" som i sammanhanget inte betyder någonting, det blir/är bara ett utfyllnadsord, och "simulera", som i sammanhanget är samma sak.
(och om du tycker att jag har fel i det får du gärna förklara hur/varför)

Om inte...(det finns en disclaimer här men du kan få svara på det där först...så drar jag den sen)