Lärande system - vare sig de är robotar, djur eller människor - behöver klara vissa uppgifter:
Min forskning kopplar samman psykologiska studier av minnet med neurobiologiska studier av hur nervceller och neuronnät i hjärnan fungerar genom simulationer av förenklade nervceller.
Jag studerar s.k. attraktornät, där simulerade nervceller återkopplas till varandra. När grupper av nervceller aktiveras, aktiverar de andra nervceller (eller får dem att tystna); grupper som inbördes stimulerar varandra blir naturligtvis mer aktiva, och gör att den totala aktiviteten "attraheras" till ett visst aktivitetsmönster, som motsvarar ett lagrat minne.
Till exempel, upplevelsen av ett äpple aktiverar grupper av nervceller i våra hjärnor som kodar för färgen grön, äpplets smak och doft, ordet "äpple" och mycket mera. När vi upplever detta kopplas dessa samtidigt aktiva nervceller starkare till varandra. Styrkan i kopplingarna ökas mellan samtidigt aktiva celler (den s.k. Hebbs inlärningsregel). När vi sedan upplever färgen äppelgrön och hör ordet "äpple", aktiveras först de celler som var inblandade med detta, och de aktiverar i sin tur de andra smak och lukt cellerna - vi kommer ihåg äpplets egenskaper. Samma cell kan vara med i många olika sådana grupper, färgen grön kan få oss att tänka på både gräs, äpplen och päron.
Attraktornät är en enkel struktur som är rätt biologiskt plausibel - det finns liknande grupper nervceller i hjärnan. I mitt arbete studerar jag abstrakta och förenklade modeller av dessa nervceller; olika simulationer har också undersökt detaljerade modeller av hur attraktornät kan tänkas uppföra sig i vår hjärna.
Många attraktornät lider av s.k. katastrofal glömska. När de tränas med fler och fler mönster, börjar de bli överbelastade. Alla minnen associerar till alla andra minnen, och resultatet blir en enda röra. Inte bara de nya minnena utan också de gamla blandas ihop, och nätverket blir oanvändbart.
En lösning är s.k. palimpsest-minnen. Ett palimpsest är ett dokument där man suddat ut vad som tidigare stod, och skrivit över det med ny information. Ett palimpsestminne låter ny information skriva över gammal information. Man får en ständigt pågående inlärning till priset av glömska.
I mitt nätverk (ett Bayesianskt konfidenspropageringsnätverk med inkrementell inlärning) finns en inlärningshastighet som kan regleras. Är den långsam uppför sig nätverket som ett vanligt attraktornät: det lär sig långsamt (man får repetera information för att det ska hänga med) och det glömmer långsamt. Det kan drabbas av katastrofal glömska om man tvångsmatar det med för mycket information. Ökar inlärningshastigheten både lär det sig och glömmer snabbare, vilket gör att hur mycket ny information som det än får så kommer det bara ihåg den senaste eller information som ofta upprepas. Den totala kapaciteten för minnen beror på hur snabbt det glömmer, och kan regleras.
Genom att ändra på inlärningshastigheten beroende på vilken information som anländer kan man reglera vad nätverket lär sig. Viktig information får inlärninghastigheten att öka, och den präntas in. Oviktig information leder till minskad inlärning - den får ingen effekt, och nätet glömmer inget. Man kan tänka sig att ha ett externt system som bedömmer hur viktig informationen är och styr inlärningen; detta påminner mycket om hur olika delar av hjärnan verkar påverka minnesinkodningen beroende på känslor - saker vi blir överraskade, arga, glada eller upphetsade av tenderar att bli starkt lagrade, medan ointressanta och vanliga händelser inte lagras speciellt noga om de inte upprepas ofta.
Genom att koppla ihop korttidsminnen som lär sig snabbt men också glömmer snabbt med långtidsminnen som behöver mer tid men kan lagra mycket kan man skapa minnesystem som både kan lära sig fort, och sedan behålla informationen länge.
När vi åldras förändras hjärnans inlärningshastighet, det tar allt längre tid att lära sig saker. Detta kan simuleras med hjälp av dessa nätverk: i simulationen får nätverket ny information varje simulerat "år", och vid olika åldrar kan man mäta hur väl den kommer ihåg tidigare minnen. Det visar sig då att om inlärningshastigheten minskar på ett realistiskt sätt, kommer nätverket att glömma sin tidigaste "barndom", komma ihåg 20-30 årsåldern väl och få problem med senare minnen. Detta stämmer väl överrens om psykologiska studier av självbiografiska minnen, som också talar om "infantil minnesförlust" och "den självbiografiska puckeln" i 20-30 årsåldern. Genom simulationer kan olika former av mentalt åldrande och deras orsaker undersökas.
Vi kan lära oss om hjärnan genom att simulera den, och vi kan få fram intressanta lösningar genom att imitera hur den gör.