Ved Høgskolen i Østfold jobber forskere med å utvikle et kunstig intelligensprogram som skal hjelpe elever å skrive gode tekster og første prototype er allerede testet ut på ungdomsskoleelever ved tre ulike skoler i Halden.
I samarbeid med lærere på forsøksskolene utviklet forskerne en skriveprosess for elevene der temaet var helter. Elevene ble bedt om å skrive en tekst om hvem de anser som en helt og argumentere for hvorfor. Basert på teksten som de skrev inn i dataprogrammet fikk de individuell tilbakemelding i retur. Selve skriveprosessen besto i at elevene skulle jobbe frem tre utkast av teksten, og få tilbakemelding mellom hver runde hvorav siste utkast ble levert inn til lærer for en endelig vurdering.
- Det ble designet som en skriveprosess hvor elevene skrev tekstene sine gjennom å lage flere utkast og hvor de fikk tilbakemeldinger fra teknologien, forklarer Irina Engeness som er professor og dekan ved Fakultet for lærerutdanninger og språk ved HiØ.
Testingen på ungdomskolelevene inngår i prosjektet "Kunstig intelligens (AI) for vurdering for læring (AfL) for å styrke læring og undervisning i 21 århundre" (AI4AfL). Prosjektet har fått 12 millioner i støtte fra Forskningsrådet og drives av HiØ i samarbeid med Høgskolen i Volda, Halden Kommune og Hypatia Learning AS.
Så tydelige forskjeller
Mens noen av klassene som deltok i skriveprosessen fikk ta i bruk det nye dataprogrammet i tekstarbeidet, skulle de øvrige klassene jobbe uten denne hjelpen og i stedet gi hverandre tilbakemelding underveis ved hjelp av oppgavekriteriene. De foreløpige resultatene tyder på at valg av metode ga ulike utslag på karakterene som elevene fikk til slutt.
«Vi kunne se en skepsis i starten, men dette endret seg etter første datainnsamling. Skolene og lærerne er mer positive nå fordi de ser verdien av denne teknologien.»
Irina Engeness, prosjektleder om testingen av teknologien
Ved alle de tre skolene så har klassene som deltok i skriveprosessen med bruk av den nye teknologien forbedret karakterene sine fra første utkast til endelig versjon, forteller Engeness som leder prosjektet.
I klassene som ikke fikk tilgang til programmet var det også endringer i karakterene underveis i prosessen, men ikke i like stor grad. Forskerne fant at elevene som benyttet teknologien var mer involvert i diskusjonene om tilbakemeldingene, og hvordan de skulle videreutvikle tekstene sine i tråd med disse.
- Vi så at de brukte tilbakemeldingene som teknologien ga som et utgangspunkt for samtalene og sett fra et pedagogisk perspektiv så var diskusjonene i disse klassene mer innholdsrike. Samtidig så vi at elevene i de andre klassene som ikke brukte den samme teknologien, var usikre på hvordan de kunne gi hverandre tilbakemelding, forteller Engeness.
Kvaliteten på den tilbakemeldingen som elever får på skolearbeid varierer generelt mye, ifølge forskerne.
- Noen elever opplever at de kun får tilbakemeldinger som «skriv mer», men de forstår ikke nødvendigvis hva mer de skal skrive, forteller Siv Gamlem som er professor ved Høgskolen i Volda.
Gamlem forsker blant annet på vurdering og tilbakemelding og sier det er viktig at elever får tilbakemelding som en integrert del av skriveprosessen. De foreløpige funnene fra prosjektet bekrefter også nettopp dette.
- Med dette programmet ønsker vi å kan gi alle elever lik mulighet til å utvikle arbeidet sitt, sier hun og legger til:
- Gjennom dette programmet vil de få innspill på innhold i teksten og hva de bør skrive mer om. Det vil hjelpe dem til å utvikle kunnskap og forståelse om egen skriveprosess og til å skrive egne tekster.
Fikk betydelig mer tilbakemelding
I etterkant av skriveprosessen ble elevene intervjuet om hvordan det var å delta.
- Elevene som brukte dataprogrammet sa at de satte stor pris på tilbakemeldingene de fikk via dette, forteller Engeness.
Elevene som ikke fikk bruk den nye teknologien hadde en litt annen opplevelse av skriveprosessen.
- De oppga at det ikke var enkelt å delta og syntes det var vanskelig å finne den riktige formen på tilbakemeldingene de skulle gi og hva de skulle fokusere på. De ble dermed veldig forsiktige med tilbakemeldingene, forklarer hun.
Ifølge forskerne viser prosjektet så langt at det var elevene som benyttet seg av teknologien som også fikk flest og mest varierte tilbakemeldinger. Dette funnet er ikke uventet.
- Det vil ikke være mulig å gi alle elevene denne typen tilbakemeldinger integrert i en skriveprosess om det skal gjøres av kun en lærer, mener Gamlem.
Gjennom teknologien fikk hver enkelt elev så mange som 30-40 tilbakemeldinger på hvert utkast. Ifølge forskerne ga de involverte lærerne i forkant av workshopen uttrykk for bekymring over at dataprogrammet ville gi elevene for mange tilbakemeldinger. Slik ble det imidlertid ikke.
- Når vi intervjuet lærerne i etterkant så var de overrasket over hvor nøye elevene tok fatt i alle tilbakemeldingene. Samtidig sa de at de aldri ville kunne gi den samme mengden til hver elev som de fikk via programmet, sier Engeness.
Likevel ser forskerne at det er individuelle forskjeller mellom elevene, og at man må være påpasselig med å hverken gi for få eller for mange tilbakemeldinger. Elevene må både kunne og ville bruke den responsen de får på arbeidet sitt.
Skal jobbe med å forbedre konseptet
Elevene som deltok i prosjektet oppga at de likte designet på programmet og syntes det var positivt med rask respons. De ga også uttrykk for at det var positivt å jobbe i en prosess der de fikk forbedre tekstene sine i flere runder.
Mengden tilbakemelding som programmet gir er imidlertid noe av det forskerne nå skal jobbe videre med inn mot ferdigstillelsen av prototype 2 av programmet.
- Vi må finne en løsning på hvor mye som bør gis så det virker motiverende og ikke blir for mye. Vi vet at elever som ikke presterer så bra vil få mange tilbakemeldinger som fremhever feil og dette kan demotivere, sier Gamlem.
Hun understreker at de må sikre at det gis tilbakemeldinger av en type og mengde som bidrar til videre utvikling i elevenes tekstarbeid.
- Hvis de får for mye vil de ikke være i stand til å bruke det og derfor har det vært viktig for oss å intervjue elevene som deltar i dette forsøket. Vi må være sikre på at alle elever får respons som gir dem motivasjon til utvikling og bidrar til å forbedre arbeidet deres, sier hun.
Ingen ny Chat GPT
Utviklingen av dataprogrammet pågår for fullt og parallelt med den nokså intense debatten knyttet til Chat GPT, og lignende tjenester basert på kunstig intelligens. Forskerne bak millionprosjektet AI4AfL understreker at det ikke er en egen Chat GPT-utgave de jobber med.
"Det er viktig for oss å understreke at vi ikke utvikler nok en Chat GPT-teknologi. Det pedagogiske perspektivet er helt essensielt for den teknologien som vi utvikler."
Irina Engeness
Med unntak av at det programmet de nå utvikler er basert på AI-teknologi har det lite til felles med Chat GPT.
- Dette er totalt forskjellige produkter. Chat GPT er et produkt som produserer en tekst for brukeren, mens i vårt tilfelle handler det om å ta et essay eller en tekst eleven selv skriver og gi tilbakemelding på denne. Det er kun AI-teknologien bak disse softwareproduktene som er lik.
Det sier førsteamanuensis Hasan Ogul ved Fakultet for informasjonsteknologi, ingeniørfag og økonomi ved HiØ.
- Den første prototypen av programmet som fokuserer på syntaktiske feil bruker ifølge Ogul lite AI-teknologi. Den andre prototypen som nå skal utvikles basert på blant annet resultatene av den testingen som er gjort blant skoleelevene, vil i større grad ta i bruk AI-teknologi fordi det handler om å analysere og forstå selve meningen i tekstene.
- Det er viktig for oss å understreke at vi ikke utvikler nok en Chat GPT-teknologi. Det pedagogiske perspektivet er helt essensielt for den teknologien som vi utvikler. Den skal tilby presise og nyttige tilbakemeldinger på elevers innleveringer som kan adresseres i neste utkast. En slik skriveprosess kan omfattes av elevene som en god tilnærming for å forstå hva det vil si å lage et godt essay, forklarer Engeness.
Styrker læreren som veileder
Etter å ha testet første prototype på ungdomskoleelevene sitter forskerne med et omfattende datamateriale, som skal analyseres og blant annet brukes til å utvikle prototype 2. Denne skal testes ut på de samme elevene i løpet av høsten i en workshop der de får jobbe med både syntaks og innhold. Gjennom testprosjektet fikk forskerne samlet inn både filmmateriale som viser elevene i arbeid, og hvordan lærere gir tilbakemeldinger på skrivearbeidet. De fikk også hentet inn et stort antall essays i tre versjoner fra hver elev som deltok.
Dataene skal analyseres utifra både et pedagogisk og et teknologisk perspektiv. I prototype 2 håper forskerne å styrke programmet så det kan fungere enda bedre for lærere i et veiledningsperspektiv.
- Vi er alle tidligere lærere og vi vet hvor vanskelig det er å samle inn data om elever og studenter for å finne ut hva de strever med. Dette verktøyet gir spesifikk info om hver elev som læreren kan bruke til å forstå hva eleven faktisk trenger, påpeker Gamlem.
Hun understreker samtidig at programmet ikke kan erstatte lærerens rolle.
- Det er viktig å huske på at det er én ting som elever trenger og som de ikke får fra teknologi, og det er emosjonell støtte. Om du ser elever som sliter kan du som lærer vise at du ser de og tilby både faglig- og emosjonell hjelp og støtte. Dette programmet vil gi læreren tid og mulighet til å bruke ferdighetene og kunnskapene sine på en annen måte, sier hun.
Les gjerne også:
Alle prosjektene som er den del av høgskolens satsingsområde Det digitale samfunn
ICAPAI-konferansen våren 2023: Samler de beste forskerne innen anvendt kunstig intelligens