Rapport: Utvecklare måste bli bättre

Permalänk
Medlem
Skrivet av Spawnbadboy:

Buggarna i koden uppkommer för det används fel av folk som inte kan sitt skit.
Som med allt annat. Vet inte hur många gånger kollegor har förstört saker i miljön pga dom googlat upp något problem och infört utan att veta va fan de håller på med. Betyder det att all information på internet är dålig?

Det är möjligt att allt det är sant, men du får gärna peka ut vad i studien du länkade som stödjer något av de påståendena. För jag har svårt att se det.

Permalänk
Skrivet av Spawnbadboy:

Buggarna i koden uppkommer för det används fel av folk som inte kan sitt skit.

Buggarna i koden uppkommer för att det folk kallar AI fortfarande inte är intelligent: maskinerna vet inte var de gör.
Buggarna stannar kvar i koden för att utvecklarna i sin tur missar att verifiera genererad kod väl nog när den väl verkar fungera. Det finns till och med ett ord för det: automationsbias.

Permalänk
Medlem
Skrivet av F.Ultra:

skall ju dock nämnas att flera versioner av hans egen kod för att lösa samma problem ingår i träningsdatan samt att han i metod-delen som han gav o1 också länkade till ett par andra implementationer som också alla ingått i träningen.

Ok. Jag har inte sett att OpenAI varit öppna med vilken kod som o1 är tränad på - har du någon länk?

Samtidigt framstår det som fullt rimligt. Djupa neurala nätverk är väldigt tröga att träna och man har därför säkert använt all kod som man kunnat hitta för att träna systemet - med tanke på att det aktuella projektet var ett forskningsprojekt är sannolikt källkoden öppen och har därmed sannolikt ingått i träningsdatan, liksom många miljontals (eller fler?) andra program.

Gällande kommentaren om referenser till andra implementationer - det är ju precis det som är god "promt engineering".

Mao har jag svårt att se kommentaren om träningsdata förändrar den ursprungliga bilden av o1, att systemet kan vara ett synnerligen kraftfullt verktyg vid utveckling av kod och att det därför kommer att bli tufft för utvecklare som inte är öppna för tekniken - inte pga att o1 (och liknande system) ersätter dem direkt, utan för konkurrensen från andra utvecklare som också är duktiga på att använda AI-stöd. Detta är på intet sätt unikt för utvecklare utan många många andra yrken - ekonomer, radiologer etc.

Dessa kommentarer gäller givetvis "bara" de system som vi har idag. Notera att OpenAI siktar på att använda data från o1 gällande systemets "resonerade" för att träna utvecklingen av framtida modeller (ex kommande ChatGPT 5/Orion) - lite analogt med hur DeepMind utvecklade AlphaGo först på mänskliga drag/partier (dvs som o1) för att sedan nå övermänsklig nivå genom att låta systemet tränas genom att spela mot olika versioner av sig själv. Mycket talar för att vi har en spännande resa framför oss...

/M

Permalänk
Medlem
Skrivet av Spawnbadboy:

Studien handlar om hur AI används. Det kan vara vilken arbetsuppgift som helst.

Det är helt olika uppgifter. Bara för att AI är hyfsad på vissa uppgifter betyder det inte automatiskt att AI är bra på alla uppgifter.
Din generalisering det kan vara vilken arbetsuppgift som helst faller platt.

OnT: Rimligt att man förväntar sig en viss AIrelaterad kompetens hos utvecklare framöver. De flesta är dock teknikintresserade och testar saker för att det är roligt att mecka med ny teknik så jag ser det inte som någon större uppförsbacke.

Det hela är ju hyfsat enkelt: Är AI användbar för din nuvarande uppgift?
Ja; använd det.
Nej; skit i det då för denna uppgiften.

Nackdelen om du förlitar dig på AI är att du fortfarande får läsa igenom den koden som genererats och i vissa fall ändra den så den passar den kodstil och arkitektur som finns i repot. Så det är inte gratis tidsmässigt.

Dessutom är att skriva kod är en mindre komplex del av utveckling. När man väl kommer till att (på något sätt) generera kod så är de värsta problemen lösta tidigare i processen (designdokument så man vet vad man ska implementera var och hur).
Jag ser det som att AI kan hjälpa till att optimera implementationssteget, för andra delar har jag inte sett några resultat som gör att jag inom de närmste 5 åren behöver färre utvecklare i mina team.

Edit:

Skrivet av Spawnbadboy:

Buggarna i koden uppkommer för det används fel av folk som inte kan sitt skit.
Som med allt annat. Vet inte hur många gånger kollegor har förstört saker i miljön pga dom googlat upp något problem och infört utan att veta va fan de håller på med.

Eller folk som är stressade och tar AIns förslag som en sanning och trycker in den i main (låter inte som ni har PR-reviews på infrastrukturändringar) för man är ju van vid att verktyg gör vad de ska.

Det låter också helt horribelt att kollegor kan förstöra miljöer baserad på svag google-fu! Vad gör ni åt det? Spontant låter det som ett processproblem som du borde ta upp med teamet.
PR-reviews på infrastructure-as-code ftw.

Visa signatur

Att förespråka Mac på Swec är som att förespråka hybridbilar på en raggarträff i Mora.

Nuvarande stationär: 7800X3D, 128Gb ram, 4Tb nvme, 3x8Tb sata-ssd, 4070 Ti S

Permalänk
Medlem
Skrivet av Mighty Mic:

Ok. Jag har inte sett att OpenAI varit öppna med vilken kod som o1 är tränad på - har du någon länk?

Hans kod har legat öppen på Github i över 4 år, klart som korvspad att den har tränats på.

Skrivet av Mighty Mic:

Mao har jag svårt att se kommentaren om träningsdata förändrar den ursprungliga bilden av o1, att systemet kan vara ett synnerligen kraftfullt verktyg vid utveckling av kod och att det därför kommer att bli tufft för utvecklare som inte är öppna för tekniken - inte pga att o1 (och liknande system) ersätter dem direkt, utan för konkurrensen från andra utvecklare som också är duktiga på att använda AI-stöd. Detta är på intet sätt unikt för utvecklare utan många många andra yrken - ekonomer, radiologer etc.

Problemet är ju att den inte kan lösa nya problem, därmed är den helt beroende på att de programmerare som den ersätter finns kvar så att den kan kopiera deras lösningar åt andra så att de också kan göra sig av med sina programmerare.

Visa signatur

|Ryzen 5800x3d|RX 7900XTX Hellhound|Asus Prime X370 Pro|32GiB Corsair 3200MHz CL16 Vengeance|Corsair HX1000i|Fractal Define R5|LG 45GR95QE|Corsair K100|Razer DeathAdder V3 Pro|Ubuntu 24.04|