Forum Övrigt Nyhetskommentarer Tråd Inlägg

Forskningsrapport: Chat GPT blandar och ger som kodare

1
Skriv svar
Permalänk
Melding Plague
●

Forskningsrapport: Chat GPT blandar och ger som kodare

GPT-3.5 är ganska vass på att lösa kodproblem – åtminstone om de är enkla och gamla.

Läs hela artikeln här

Visa signatur

Observera att samma trivselregler gäller i kommentarstrådarna som i övriga forumet och att brott mot dessa kan leda till avstängning. Kontakta redaktionen om du vill uppmärksamma fel i artikeln eller framföra andra synpunkter.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

3.5 är otroligt gammal och 4/4o är ljusår bättre på kod.
Sen den bästa på kod idag är claude.ai

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Jag blir mest frustrerad över dagens LLM. Det finns dock vissa som är bättre gör kodning. Sedan har man problemet att all information som man skriver där ofta kan ses som offentlig.

Vad jag blir frustrerad över är. T.ex att man frågar om något enkel excelformel. Man får ett svar där LLM hallucinerar fram olika funktioner som den använder i sin formel, man säger åt LLM att funktionen finns ej, LLM ber om ursäkt och ger en lösning med exakt samma funktion som inte finns. Man säger till LLM igen att funktionen inte finns, LLM ber om ursäkt och ger en ännu igång en lösning med samma funktion som ej finns.

Jag tröttnar och söker på lösningen på Google och samtidigt funderar. Jag ställde en sådan superlätt fråga i ett sådan otroligt populärt program (Excel) som kom år 1995. Ändå detta dåliga resultat.

Men utvecklingen går som sagt snabbt framåt.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av lillaankan_i_dammen:

Jag blir mest frustrerad över dagens LLM. Det finns dock vissa som är bättre gör kodning. Sedan har man problemet att all information som man skriver där ofta kan ses som offentlig.

Vad jag blir frustrerad över är. T.ex att man frågar om något enkel excelformel. Man får ett svar där LLM hallucinerar fram olika funktioner som den använder i sin formel, man säger åt LLM att funktionen finns ej, LLM ber om ursäkt och ger en lösning med exakt samma funktion som inte finns. Man säger till LLM igen att funktionen inte finns, LLM ber om ursäkt och ger en ännu igång en lösning med samma funktion som ej finns.

Jag tröttnar och söker på lösningen på Google och samtidigt funderar. Jag ställde en sådan superlätt fråga i ett sådan otroligt populärt program (Excel) som kom år 1995. Ändå detta dåliga resultat.

Men utvecklingen går som sagt snabbt framåt.

Gå till inlägget

Vilket exempel använde du? Och var det gpt 3.5 eller 4o? Jag upplever nämligen inte alls det du beskriver. Känner dock igen mig hur det var för ett eller två år sen. Och kanske främst, vilket språk använde du? Svenska brukar ge kassa resultat

Visa signatur

Processor: Motorola 68000 | Klockfrekvens: 7,09 Mhz (PAL) | Minne: 256 kB ROM / 512 kB RAM | Bussbredd: 24 bit | Joystick: Tac2 | Operativsystem: Amiga OS 1.3

Redigera
Citera flera Citera
Permalänk
Medlem
●

"Det gällde dock bara problem som fanns på Leetcode före 2021. När Chat GPT försökte lösa problemen som tillkommit på Leetcode efter 2021 gick det desto sämre – de svåra problemen löstes bara i 0,66 procent av försöken."

Det där tolkar jag som att nuvarande LLM:er inte tycks uppnå någon så kallad Emergens där den kan extrapolera utifrån rådande träningsdata på aldrig tidigare tränade data. När den börjar lyckas med det över 50 % av gångerna då kommer jag att börja svettas på riktigt som utvecklare.

Mvh,
WKF.

Visa signatur

"Den säkraste koden är den som aldrig skrivs"
"Visste du förresten att det är ett mångmiljardbolag?"
"Jag lever inte för att koda utan kodar för att sen kunna leva"

Redigera
Citera flera Citera
Permalänk
Medlem
●

Finns LM Studio som jag pular lite med, men kräver lite hårdvara. Tusentals modeller tillgängliga, men man måste konfa dem rätt initialt

https://lmstudio.ai

Modellerna kommer härifrån, men det är INTE en lättbegriplig djungel.

https://huggingface.co

Har du en nyare CPU (eller två), vass GPU med över 4GB NVRam och snabba mängder DDR4 eller DDR5 RAM, kan det vara värt att testa och meka lite. Snabb disk hjälper också, minst 100GB ledigt, en modell kan lätt ta 8GB i anspråk, och man bör upp i storlekarna (20-30-90 GB) för bättre resultat. De minsta börjar på 2-3GB. Läs instruktioner.

Men, någon lokal ChatGPT4 får du inte. Eller Claude för den delen, men ganska nära med lite tid och ansträngning..

Visa signatur

Proud AMD customer since 1998!

Redigera
Citera flera Citera
Permalänk
Hedersmedlem ★
●
Skrivet av WebbkodsFrilansaren:

När den börjar lyckas med det över 50 % av gångerna då kommer jag att börja svettas på riktigt som utvecklare.

Gå till inlägget

En ansenlig del av en utvecklares vardag är ju dock att pussla ihop välkända algoritmer och bibliotek till något som fungerar bra ihop och där är ju ChatGPT redan rätt bra. Den når kanske inte alltid ända fram, men att få en grundläggande struktur och (mer eller mindre fungerande) utkast till funktioner kan spara väldigt mycket tid.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av Elgot:

En ansenlig del av en utvecklares vardag är ju dock att pussla ihop välkända algoritmer och bibliotek till något som fungerar bra ihop och där är ju ChatGPT redan rätt bra. Den når kanske inte alltid ända fram, men att få en grundläggande struktur och (mer eller mindre fungerande) utkast till funktioner kan spara väldigt mycket tid.

Gå till inlägget

Ibland ger det en bra startpunkt eller råd påvägen iaf.

Visa signatur

Citera för svar

Redigera
Citera flera Citera
Permalänk
Hedersmedlem ★
●
Skrivet av Baxtex:

Ibland ger det en bra startpunkt eller råd påvägen iaf.

Gå till inlägget

Ja, och oftast mycket mer än så. Den är också väldigt användbar om man har en fungerande lösning som man vill modifiera på något sätt. Istället för att behöva ändra på 20 olika ställen kan man kanske bara tala om vad man vill göra.

Att konvertera kod mellan olika språk brukar också fungera väldigt väl.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av talonmas:

Vilket exempel använde du? Och var det gpt 3.5 eller 4o? Jag upplever nämligen inte alls det du beskriver. Känner dock igen mig hur det var för ett eller två år sen. Och kanske främst, vilket språk använde du? Svenska brukar ge kassa resultat

Gå till inlägget

I Gemeni Pro. Se om två celler har nästan samma text var ett exempel.

Som sagt det finns LLM bättre för kodning.

Senast redigerat
Redigera
Citera flera Citera
Permalänk
Medlem
●

Håller med @Elgot

Förbannat bra på att komma på saker man kanske inte tänkt på samt så kallad brainstorming. Har kört med ChatGPT 3 och 3.5, samt senare 4o i över ett år nu och det har hjälpt enomrt mycket i en lång rad olika sammanhang, inte bara kod.

Visa signatur

Proud AMD customer since 1998!

Redigera
Citera flera Citera
Permalänk
Medlem
●

Min erfarenhet är att nästan alla som säger att X är dålig på Y själva är dåliga på att använda X.

Här löste en LLM det senate svåra problemet på Leetcode åt mig.

https://imgur.com/a/CQv0nD1

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Denna är lite rolig

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

GPT3.x är bara en glorifierad sökmotor, förväntningar bör anpassas till detta

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av Elgot:

Ja, och oftast mycket mer än så. Den är också väldigt användbar om man har en fungerande lösning som man vill modifiera på något sätt. Istället för att behöva ändra på 20 olika ställen kan man kanske bara tala om vad man vill göra.

Att konvertera kod mellan olika språk brukar också fungera väldigt väl.

Gå till inlägget

Japp. Också trevlig när man jobbar med mycket legacy och ber om förklaring kring koden eller refaktorering.

Visa signatur

Citera för svar

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av Egalitaristen:

Min erfarenhet är att nästan alla som säger att X är dålig på Y själva är dåliga på att använda X.

Här löste en LLM det senate svåra problemet på Leetcode åt mig.

https://imgur.com/a/CQv0nD1

Gå till inlägget

Min erfarenhet är de som säger LLM är mycket bättre än att "googla på frågan", är att de är dåliga på att "Goggla".

Skämt. Men det finns olika metoder för att lösa problem. Alla dessa metoder konkurrerar emot varandra, man vill ofta få ut ett så bra svar med lite arbete som möjligt. De flesta LLM är väldigt tidskrävande då man inte bör ställa exakt den fråga man skulle vilja, då frågan kan läsas av andra. Man ska då ställa en generell fråga och få ett generellt svar. När det generella svaret har så mycket fel så blir jag ofta inte nöjd.

Jämnför detta resultat emot vad man hade fått genom att googla.

Jag känner deja vu med läsplattor början av 2000 talet. De var coola, många imponerades över dem, men trots många hade köpt en sådan gick de snart tillbaka den gamla fysiska boken som för dem gav bättre studier.

Men utvecklingen går fort. Jag själv använder ej längre fysiska böcker.

Senast redigerat
Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av lillaankan_i_dammen:

Min erfarenhet är de som säger LLM är mycket bättre än att "googla på frågan", är att de är dåliga på att "Goggla".

Skämt. Men det finns olika metoder för att lösa problem. Alla dessa metoder konkurrerar emot varandra, man vill ofta få ut ett så bra svar med lite arbete som möjligt. De flesta LLM är väldigt tidskrävande då man inte bör ställa exakt den fråga man skulle vilja, då frågan kan läsas av andra. Man ska då ställa en generell fråga och få ett generellt svar. När det generella svaret har så mycket

Jämnför detta resultat emot vad man hade fått genom att googla.

Jag känner deja vu med läsplattor början av 2000 talet. De var coola, många imponerades över dem, men trots många hade köpt en sådan gick de snart tillbaka den gamla fysiska boken som för dem gav bättre studier.

Men utvecklingen går fort. Jag själv använder ej längre fysiska böcker.

Gå till inlägget

Jag använder fortfarande sökmotorer och Wikipedia för svar som jag känner med stor sannolikhet snabbt kan hittas och att svaret är okomplicerat. Men när jag vill få något gjort åt mig eller ha en mer komplex dialog om något så använder jag LLMer. Enligt min erfarenhet så är LLMer som används mer korrekt mycket mer tillförlitliga än människor när det kommer till att ge korrekta svar på saker. Sedan behöver man ju såklart veta deras begränsningar, men det är sant för människor också.

Senast redigerat felstavning
Redigera
Citera flera Citera
Permalänk
Hedersmedlem ★
●
Skrivet av Egalitaristen:

Jag använder fortfarande sökmotorer och Wikipedia för svar som jag känner med stor sannolikhet snabbt kan hittas och att svaret är okomplicerat. Men när jag vill få något gjort åt mig eller ha en mer komplex dialog om något så använder jag LLMer. Enligt min erfarenhet så är LLMer som används mer korrekt mycket mer tillförlitliga än människor när det kommer till att ge korrekta svar på saker. Sedan behöver man ju såklart veta deras begränsningar, men det är sant för människor också.

Gå till inlägget

Det är ju lite som att ha en kollega eller mentor jämfört med bara dokumentation. Båda har sina styrkor och svagheter (och man är ju fri att välja den som fungerar bäst för stunden).

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av Elgot:

Den når kanske inte alltid ända fram, men att få en grundläggande struktur och (mer eller mindre fungerande) utkast till funktioner kan spara väldigt mycket tid.

Gå till inlägget

Exakt så där jag använder Gemini Mini(gratisversionen(?)) och chatGPT3.5(o) (man får ju o-versionen gratis delvis i gratisversionen): få fram utkast till saker och ting för jag kan ju läsa och förstå koden. Lite som att ta fram dokumentmallar för att fylla i det tomma fast ännu mer flexibelt i sammanhanget med programmering!

Mvh,
WKF.

Visa signatur

"Den säkraste koden är den som aldrig skrivs"
"Visste du förresten att det är ett mångmiljardbolag?"
"Jag lever inte för att koda utan kodar för att sen kunna leva"

Redigera
Citera flera Citera
1
Skriv svar
Senaste nyheterna
Hårdvara
Mjukvara
Övrigt
Nytt i forumet
Datorkomponenter
System
Ljud, bild och kommunikation
Spel och mjukvara