Hoppa till innehållet
POLARISAI ACADEMY
Fördjupning, frivillig

Den här lektionen är en frivillig fördjupning till kursen F04. Den innehåller räkneexempel och fackord. Börja med F04 om du är ny. Till kursen F04 →

FD04 · Första ljuset

Granska AI:s svar

Du kan granska ett kort AI-svar som blandar löptext, en källhänvisning, siffror och kod. Du kan markera varje påstående som bevisbunten inte stöder, varje siffra som faller på en handräkning, och varje import eller formel som faller i en stängd testmapp.

Nivå
Första ljuset
Tid
12 h (uppskattning)
Förkunskap
F04
Kurs 4 av 7
Hoppa till

Efter kursen kan du

Eleven kan granska ett presenterat underlag med text, källhänvisningar, uträkningar och kod och hitta varje planterat sakfel, varje källa som inte finns och varje kodbugg mot ett medföljande bevispaket.

Öppna källan innan du använder meningen

När ett chatsvar nämner en uppsats, en lag, en webbsida eller ett dataset öppnar du den källan själv innan du använder meningen igen. En primärkälla är dokumentet där uppgiften skrevs först: uppsatsen, lagen, den officiella tabellen eller organisationens egen handling. En nyhetssammanfattning, en blogg eller ett andra chatsvar är en återberättelse. Återberättelser tappar villkor, årtal och enheter. Om du inte kan öppna originalet låter du påståendet stå som okontrollerat.

En länk kan se äkta ut och ändå fallera. Klistra in hela adressen i adressfältet och läs sidan som öppnas. Kontrollera domänen, datumet och meningen som svaret citerade. En DOI är den fasta identifierare många förlag ger en enskild uppsats, och den börjar i regel med 10. följt av ett nummer. Slå upp den i en DOI-tjänst eller på förlagets webbplats. En fungerande DOI öppnar ett verk. En påhittad DOI ger ingen träff, eller så öppnar den en annan uppsats än den som namnges i svaret.

Siffror och bibliotek som ingen har levererat

En modell kan skriva en procentsats, hur många som ingick och en felmarginal i samma mening. Formen betyder inte att någon har mätt saken. Påhittad statistik är en siffra som aldrig togs fram med den metod svaret beskriver. Fråga var siffran bor: vilken tabell, vilket år, vilken population. Räkna sedan om aritmetiken på papper. Om svaret säger att 40 av 200 personer valde ett alternativ är det 20 procent. Om det inte namnger en tabell du kan öppna markerar du siffran som ostödd och lämnar den utanför din egen text.

Kod brister på ett liknande sätt. Svaret kan importera ett bibliotek som inte finns, eller en funktion som det verkliga biblioteket aldrig har haft. En påhittad import är ett paketnamn eller funktionsnamn som modellen skrev för att det lät rimligt. Innan du kör något läser du importraderna och söker det exakta namnet i den officiella dokumentationen. Saknas paketet i språkets paketindex avbryter du. Installera inte en snarlik träff som en sökmotor föreslår. Kontrollera funktionsnamn, argumentordning och enheter på samma sätt.

Kör koden där den inte når dina filer

Genererad kod ska köras isolerat första gången. Isolering betyder att programmet inte kan läsa dina dokument, dina lösenord eller nätverket, och att det inte kan skriva utanför en tom mapp som du skapade för testet. Använd en reservdator eller en anteckningsbok på nätet som inte kan öppna dina riktiga filer. Kopiera bara exempeldata till den mappen. Om koden ber om en nyckel, ett lösenord eller en sökväg in i din hemkatalog ger du den inte det.

Kör koden och läs det som kommer tillbaka. Om den kraschar namnger meddelandet ofta det saknade paketet eller det felaktiga argumentet. Det är bevis, så kopiera meddelandet till dina anteckningar. Om den skriver ut en siffra jämför du den med ett värde du räknat för hand på ett litet underlag. Ett program som kraschar på en påhittad import har redan visat ett fel. Ett program som kör och skriver ut fel siffra är lättare att missa, därför ligger handräkningen bredvid utskriften.

Tre modeller och viljan att hålla med

Ställ samma fråga till tre modeller och märk svaren Modell A, Modell B och Modell C. Håll formuleringen identisk, inklusive siffror och villkor. Lägg de tre svaren i tre kolumner. Markera var de är överens, var de säger emot varandra, och var ett svar lägger till en detalj som de andra aldrig nämnde. Enighet är en ledtråd, och den kan ändå vara ett gemensamt misstag, så den gemensamma meningen behöver fortfarande en primärkälla. En detalj som bara finns i en kolumn är det första du kontrollerar.

Inställsamhet är vanan att hålla med den som frågar, även när den personen har fel. Du testar det genom att säga ett felaktigt påstående och be modellen bekräfta. Säg, som exempel, att 15 procent av 80 är 14. Femton procent av 80 är 0,15 gånger 80, vilket är 12. En modell som berömmer uträkningen och upprepar 14 följer dig. En modell som visar 12 kontrollerar aritmetiken. Skicka den frågan till Modell A, Modell B och Modell C.

Loggboken är anteckningsboken där du samlar det här granskningsarbetet. En rad per påstående räcker. Skriv påståendet, vilken modell som skrev det, källan du öppnade, resultatet av kontrollen och datumet. För kod lägger du till kommandot, mappen och utskriften eller felmeddelandet. För en jämförelse mellan tre modeller lägger du till vilken kolumn som avvek. En vecka senare visar raden vad du redan öppnade. Ett påstående med tom källcell får inte följa med i något du skickar vidare.

Ett exempel

Tre fel i ett kort svar

Här är ett exempelsvar du kan granska med en penna. "Av 240 order kom 30 procent för sent, alltså 80 order. Siffran står i uppsatsen doi:10.9999/example.late.2020. Koden skriver ut medelförseningen i minuter: import lateorderkit; delays = [10, 20, 30, 40]; print(sum(delays) / 3)." DOI-strängen och biblioteksnamnet är skrivna för exemplet. De står för den sortens källhänvisning och import en modell kan skriva ut. Din uppgift är att hitta tre skilda fel.

Fel ett är aritmetiken. Trettio procent är faktorn 0,30. Då är 240 gånger 0,30 lika med 72, eftersom 240 gånger 3 är 720 och decimalkommat flyttas ett steg. Svaret säger 80, vilket är 8 order för högt. En andra väg: 10 procent av 240 är 24, och tre gånger 24 är 72. Raden som säger att 80 order kom för sent klarar inte handräkningen.

Fel två är källhänvisningen. Bevisbunten i exemplet innehåller en tabell: 240 order, 72 för sent. Den innehåller ingen uppsats och ingen DOI. Svaret pekar på doi:10.9999/example.late.2020, en sträng skriven för exemplet. Eftersom bunten saknar ett dokument med den identifieraren finns ingenting bakom hänvisningen. En hänvisning räknas bara när bunten, eller en sida du öppnar, innehåller samma identifierare och samma mening. Skriv "ingen källa i bunten" i Loggboken.

Fel tre är koden. Bunten tillåter bara inbyggd aritmetik. Namnet lateorderkit är påhittat för exemplet, så importen har inget paket bakom sig. Lägg importen åt sidan. Förseningarna är 10, 20, 30 och 40. Summan är 100. Det finns 4 tal, så medelvärdet är 100 delat med 4, vilket är 25. Svaret delar med 3. Då blir 100 delat med 3 lika med 33,33 med 3 i period, och det är fel medelvärde.

Övning

Granska ett andra underlag med papper

Använd en penna eller en vanlig textfil. Bevisbunten har en tabell: 150 ärenden, varav 30 öppnades igen. Den innehåller ingen uppsats och ingen DOI. Den tillåter bara inbyggd aritmetik. Svaret lyder: "Av 150 ärenden öppnades 20 procent igen, vilket är 40 ärenden. Se doi:10.9999/example.tickets.2019. Koden skriver ut medelvärdet: import ticketmagic; nums = [5, 5, 5, 5]; print(sum(nums) / 5)." DOI-strängen och ticketmagic är skrivna för övningen. Hitta varje fel, räkna om siffrorna och lägg en rad i Loggboken per fel.

När kontrollen är klar har du tre rader. Rad ett: 20 procent av 150 är 0,20 gånger 150, vilket är 30, så svarets 40 är 10 för högt. Tabellen i bunten säger redan 30. Rad två: DOI:n saknas i bunten, så hänvisningen är ostödd. Rad tre: 5, 5, 5 och 5 blir summan 20, det finns 4 värden, och medelvärdet är 5. Delning med 5 skriver ut 4, och ticketmagic är inte tillåten. Varje rad namnger påståendet, kontrollen och resultatet.

Kontrollfrågor

Svara själv först. Öppna sedan frågan för att se svaret.

Vad öppnar du innan du använder en faktamening från ett chatsvar igen?

Primärkällan: dokumentet där uppgiften skrevs först, till exempel uppsatsen, lagen, den officiella tabellen eller organisationens egen handling. En återberättelse lämnar påståendet okontrollerat.

I exemplet uppgavs 30 procent av 240 som 80. Vilket är det rätta antalet, och hur mycket är 80 fel?

Rätt antal är 72, eftersom 0,30 gånger 240 är 72. De angivna 80 är 8 för högt.

Vad ska gälla för mappen där du kör genererad kod första gången?

Programmet får inte läsa dina dokument, dina lösenord eller nätverket, och det får inte skriva utanför den tomma testmappen. En utskriven siffra jämförs med en handräkning.

Du säger som exempel till en modell att 15 procent av 80 är 14. Vilken är den rätta produkten, och vilket svar är inställsamt?

Rätt produkt är 12, eftersom 0,15 gånger 80 är 12. Det inställsamma svaret berömmer uträkningen och upprepar 14.

Ta med dig

Kontrollera källan, aritmetiken och koden innan du skickar ett svar vidare. När Modell A, Modell B och Modell C är överens behöver Loggboken ändå sidan eller uträkningen bredvid meningen.

Slutuppgift

Genomför en nyckelrättad granskning av ett fryst underlag med 20 påståenden och ett skript på 150 rader, hitta alla 12 planterade fel med exakt rad eller påstående-id och lämna in rättad kod som klarar de fasta regressionstesterna. (Valfritt portföljobjekt: en Loggboksanteckning med jämförelse av tre modeller.)

Slutuppgiften rättas av fasta facit och automatiska tester när proven öppnar.

Prov och diplom kommer

Lektionen är öppen att läsa. Prov, diplom och konto kommer senare; väntelistan är till för dem. Till väntelistan