Ett spel om moral och evolution

Anders Sandberg, publicerad i M2 1999

Det är ju populärt att säga att datoriseringen hotar många jobb, och de som finns kvar kommer att förändras. Men det var nog ingen som trodde att filosoferna skulle drabbas.

Moral och etik har ju traditionellt bedrivits genom att man lagt pannan i djupa veck, och sedan vältaligt formulerat ett antal förhoppningsvis visa och övertygande tankar vilka sedan sprids vidare av böcker, domare och moraltanter. Men kanske sitter framtidens moralfilosof vid en kraftfull dator och presenterar sina utförligt dokumenterade tester med en vetenskaplig visualisering avsedd för moralkonsumenternas kritiska granskning. Hur mycket bättre är version 2.0 av moralsystemet än den föregående, och lyckas den verkligen konkurrera med den marknadsledande moralen?

Spelteori och Fångarnas Dilemma

Det hela började med spelteorin och fångarnas dilemma. Människor har alltid intresserat sig för spel, och matematiker är inte ett undantag. Sannolikhetsläran utvecklades ursprungligen för att beskriva vad som hände i lotterier och hasardspel (både för att konstruera mer vinstbringande lotterier och naturligtvis för att försöka spränga banken). Spelteorin kom till för att analysera mer strategiska spel som sten-sax-påse, schack och kärnvapenkrig, där det inte bara är slump utan intelligens som avgör vem som vinner. På samma sätt som sannolikhetsläran snabbt började tillämpas på andra saker än hasard (t.ex. försäkringar och statistik), så visade sig spelteorin vara användbar inom ekonomi, militär strategi och psykologi. "Spel" kan vara allt från tidsfördriv till vad som händer på börsen.

Det var kalla kriget som fick spelteorin att blomstra upp. Amerikanska militärer insåg att man stod inför en motståndare som var jämbördig i många avseenden, som hade lika många genier och strateger som de själva. Hur ska man handla mot någon som kan förväntas ha lika mycket information som man själv? På Rand Corporation och andra platser gnuggade man geniknölarna för att räkna ut hur man skulle handla rationellt, och vad det skulle leda till.

Grundtanken i spelteorin är att spelarna i ett "spel" måste välja mellan att göra olika saker, och sedan får de poäng beroende på vad de och motspelaren gjorde. I leken sten-sax-påse får den som gör sten en poäng om den andre gör sax och i leken "Kärnvapenkrig" vinner den som slår till först (såvida det inte är varianten "Mutual Assured Destruction" där båda förlorar). Båda spelarna är bara ute efter att få så mycket poäng som möjligt, eller åtminstone förlora så lite de kan. Därmed inte sagt att spelteorin inte kan syssla med altruistiska spelare (ett helgon kan ju tänkas få poäng för hur bra det går för alla andra) eller spel där det inte är självklart att spelarna är fiender -- det är just de spelen där spännande saker händer. Många spel är lätta att analysera, och man kan visa att det finns strateger för dem som är bäst i olika avseenden (i sten-sax-påse ska man till exempel växla helt slumpmässigt mellan de tre möjligheterna). Men vissa spel är trassliga. 1950 hittade matematikern Albert W. Tucker på "fångarnas dilemma", ett klassiskt exempel.

Fångarnas dilemma har formulerats på många sätt, men i orginalversionen handlade det om brott och straff. Två skurkar, Al och Bob, har gripits av polisen, misstänkta för ett lyckat rån. Oturligt nog för polisen finns det bara bevis för olaga vapeninnehav, det skulle behövas ett vittnesmål för att fälla skurkarna. Åklagaren placerar dem i varsin cell och ger dem ett erbjudande: strafflindring om de vittnar mot den andre, i annat fall åker båda dit åtminstone för vapeninnehavet -- ett år var. Naturligtvis, om båda vittnar mot varandra så åker båda dit rejält -- tio år var. Om bara den ene vittnar kan han komma undan helt, och den andre får 20 år. Båda skurkarna har att välja mellan att samarbeta eller ange varandra.

Skurkarna försöker naturligtvis minimera sin egen fängelsetid. Al tänker "Antingen tjallar Bob på mig, eller så håller han tyst. Om han tjallar, så får jag 20 år om jag håller tyst. Om jag tjallar, då åker jag åtminstone bara dit på 10 år, och den jäveln får lika mycket. I det fallet är det bäst för mig att tjalla. Men om Bob håller tyst och jag tjallar, då kommer jag undan helt; om jag också håller tyst så får vi båda ett år. Då är det också bättre att tjalla. Så i båda fallen borde jag tjalla!". Men Bob tänker förmodligen likadant, och till åklagarens förtjusning anger de båda varandra fastän de hade kunnat samarbeta och slippa undan rätt milt.

Dilemmat består i att man inte kan lita på motspelaren. Båda skulle ju tjäna på att samarbeta, men då kan man bli offer för att den andre sätter dit en. Det logiska sättet att vara säker på att inte bli blåst är att slå till först: "There is no honor among thieves". Det märkliga är att helt rationella spelare uppför sig på ett sätt som ger dem mindre poäng än vad de kunde få om de samarbetade. Vad skulle den logiske Spock i Star Trek säga?

Sociala Dilemman

Samma sorts dilemma mellan samarbete och svek dyker upp i andra situationer: i byteshandel (ska man ge den andre en bra vara eller försöka luras?), matdelning (dela med sig till andra eller behålla för sig själv?), första världskrigets skyttegravar (leva och låta leva, eller beskjuta fienden hårt?), förhandlingar med terrorister (gå med på kraven eller sätta hårt mot hårt?), kalla krigets kärnvapendoktriner (uppehålla freden eller slå till först?) och många andra lägen. I alla dessa fall kan man antingen vara samarbetsvillig, men då öppnar man sig för att bli utnyttjad, eller försöka dra nytta av den andre men då riskerar man att hamna i ett läge då båda sidor gör livet eländigt för varandra fastän man skulle kunnat samarbeta och få det bra. Sådana här situationer kallas sociala dilemman, och de blir bara värre när det är fler än två spelare.

Sociala dilemman uppstår när det som är bra för individen inte är bra för gruppen, eller tvärt om. Det är bra för mig om jag kan skaffa mig extra bidrag från EU, men om alla tänker så tar pengarna slut. Det är bra att städa upp i gemensamma lokaler, men ingen vill vara den som gör det. Amerikaner förstår att det inte är bra att stämma allt och alla i tid och otid, men får man chansen att stämma McDonalds på ett par miljoner är den ju för frestande att undvika. Mössen håller alla med om att katten skulle bli ofarlig om man satte en bjällra runt halsen på den, men ingen vettig mus stiger fram som frivillig att göra det.

Lösningen borde vara att man samarbetar på något sätt, t.ex. lovar att inte söka onödigt mycket bidrag eller att alla möss gemensamt arbetade på kattneutraliseringsprojektet. Det är ju rent själviskt nyttigt (även i stämningsexemplet, eftersom i slutändan alla får betala för alla stämningar genom skatter och försäkringspremier). Men hur undviker man att någon hoppar av? Det lönar sig att mygla, och om alla andra samarbetar kan det vara extra lönande att göra det. Men om andra kan hoppa av, varför inte hoppa av själv först?

Sociala dilemman är viktiga. Konflikten mellan grupp och individ dyker upp överallt, och ligger i grunden för många samhällsproblem och mycket politiskt, moralist och ekonomiskt tänkande. Hur kan man få folk att samarbeta för det allmännas och deras eget bästa? Hur ska man kunna lita på varandra?

Hobbes hade det klassiska svaret: det behövs en kung eller någon annan som bestämmer och tvingar alla att samarbeta för sitt eget bästa. Ett svar som har varit mycket populärt bland kungar och makthavare. Haken är förstås att om man inte kan lita på vanliga medborgare, hur kan man då lita på dem som leder dem? Att ha makt innebär ännu fler möjligheter att fuska och rent av komma undan med det.

I maffian gäller "omerta" -- man håller tyst och erkänner aldrig någonting, vilket naturligtvis är ett sätt att undslippa fångarnas dilemma rent bokstavligt. Erkänner någon kan han räkna med en gruvlig hämnd från de andra, vilket gör att det är högst rationellt att hålla tyst och samarbeta. Nackdelen är förstås att sådana här system kräver att bestraffningarna är tillräckligt hemska, att man inte kan smita undan och att ledande medlemmar inte fuskar.

Många har naturligtvis försökt med religiösa eller moraliska svar istället. Om folk tror att de kommer att straffas hemskt i livet efter detta om de inte är snälla är det förstås förnuftigt för dem att vara snälla även om de innerst inne bara tänker på sig själva. Problemet är förstås att alla inte tror, och dubbelmoral har alltid frodats även bland de troende. Man kan ju naturligtvis hoppas att hemska saker händer i detta livet för de som handlar illa, men erfarenheten talar emot det. Och visst håller alla med om att det vore bra om alla samarbetade och var snälla, men att ta första steget ensam är att inbjuda till att bli utnyttjad. Haken är att trots föräldrar, lärare och samhällets alla moralkakor är folk sig själv närmast. Man bryr sig om sig själv, sin familj och sina vänner, men ju längre bort man går desto svårare är det att uppbåda empatin. Så varför ska man vara snäll mot de där andra, de är ju så långt borta? Problemet kvarstår.

En chans till?

Om man bara möts en gång, så visar alla analyser att det är smartast att luras i fångarnas dilemma. Man får bara en chans. Men vad händer om man träffas flera gånger, t.ex. handelsmän i samma stad eller bataljoner som dag ut och dag in stirrar på varandra från sina skyttegravar? Det visar sig att då kan man tjäna betydligt mer på att samarbeta än att ömsesidigt luras. Trots allt, en kortsiktig vinst genom att man ibland lyckas lura den andre kan bli betydligt mindre än vinsten av att samarbeta under en lång tid. Här måste man ta hänsyn till inte bara vad man kan vinna idag, utan också vad som har hänt och vad som kan hända i framtiden. Det gäller att ha en strategi.

Vilken är den bästa strategin? Det finns faktisk inte någon "bästa" strategi: man måste alltid ta hänsyn till vad motspelaren gör. Det komplicerar saken en hel del. Däremot kan det finnas kombinationer av strategier som är stabila: båda spelarna gör det smartaste givet vad den andre gör. En sådan kombination är naturligtvis att båda spelarna motarbetar varandra hela tiden: de får inte så många poäng, men de kan i varje fall inte bli utnyttjade. Däremot är ömsesidigt samarbete inte stabilt: om den andre hela tiden är samarbetsvillig, kan du lura honom. Men finns det något sätt att hitta stabila samarbetande strategier?

Robert Axelrod fann ett nyskapande sätt att studera sådana här situationer: han ordnade en turnering. Han bad ett flertal spelteoretiker, ekonomer, psykologer, nationalekonomer och sociologer formulera datorprogram som spelade olika strategier. Programmen var allt från enkla tumregler till listiga system som försökte räkna ut motståndarens svaga punkt. Sedan lät han alla bidragen spela mot varandra och jämförde deras totala poängsummor.

Vinnaren visade sig vara "Lika för Lika" (LFL, på engelska "Tit for Tat"), en av de enklaste strategierna: samarbeta med motståndaren som första drag, gör sedan vad den gjorde förra gången. Spelare som följer strategin samarbetar naturligtvis alltid med varandra och alla andra som samarbetar med dem. Man kan säga att den är "snäll" -- den luras inte om den inte har blivit provocerad. Det visade sig oväntat nog att de snälla strategierna fick högre poäng än mer svekfulla strategier. Försöker däremot någon lura LFL besvarar den sveket nästa gång, men om motståndaren "ångrar" sig och fortsätter samarbeta så "förlåter" LFL det hela. Den låter sig inte utnyttjas hur mycket som helst. Det här gör att den bara tappar lite poäng mot "elakingar" och mycket väl kan ta igen dem genom sina spel med andra "snälla" strategier -- snällhet lönar sig i längden.

I en andra turnering med ännu fler bidrag inträffade ungefär samma sak, trots att deltagarna nu visste om att LFL var kraftfull. Snälla, ömsesidiga strategier som samarbetade men inte lät sig utnyttjas och förlät motståndarens felsteg fungerade bäst. Axelrod provade då att göra en "ekologisk" turnering (nej, det har inget med återanvändning att göra): man startar med en population av datorspelare som använder de olika strategierna, och beroende på hur många poäng de får mot varandra så ökar eller minskar deras antal. Ungefär som vad som händer i naturen, fast där avgörs poäng genom att finna föda, föröka sig och undgå rovdjur. Det spännande här är naturligtvis att om många spelar en viss strategi, kan det vara smart att använda en annan -- en strategi som fungerar dåligt annars kanske är effektiv mot LFL och blommar upp när fler individer spelar LFL. Klarade Lika för Lika sig? Svaret var ja.

Vad som hände var att i början roffade "elaka" strategier åt sig vilt från lättlurade strategier som "Samarbeta alltid med alla"; de fick många poäng och tog över populationen. Men när de spelade mot varandra, fick de inga vidare poäng eftersom de hela tiden försökte luras. Det lönar sig inte att vara krigsherre när det inte längre finns några bönder kvar att ta ifrån. Det här gav andra strategier chansen, och LFL tog den: spelarna som följde den samarbetade internt, och lät sig inte luras av de andra. Till slut fanns det nästan bara LFL kvar. Alla samarbetade med alla, slutet gott, allting gott.

Inte nog med det, i andra experiment kunde man visa att även en liten grupp LFL kan invadera och ta över en stor population av "elaka" strategier som gjorde sitt yttersta för att utnyttja alla och alla. Det här är LFLs största fördel. En ensam snäll individ klarar sig inte, men en liten grupp kan samarbeta internt och sakta men säkert växa till sig. Det här går naturligtvis inte om de låter andra utnyttja sig: man måste vara snäll men inte naiv.

Barn, vad lär vi nu oss av detta?

Axelrod kom fram till ett par slutsatser i sina studier, vilka han beskrev i boken "The Evolution of Cooperation". De kanske inte gäller i alla situationer, men de är tänkvärda:

Var inte avundsjuk: det spelar egentligen ingen roll hur många "poäng" andra individer får, det viktiga för dig är ju hur många "poäng" du själv får. Många människor som försöker spela fångarnas dilemma i experiment börjar lura varandra (och därmed misslyckas med det lönsamma samarbetet) i försök att komma före den andre trots att de enbart belönas efter hur många poäng just de själva fick. Därför är kanske också samarbete enklare när deltagarna inte kan hota varandras ställning, och de verkligen kan gå in för att skapa en "win-win" situation.

Var inte först med att hoppa av: samarbete lönar sig, så det är dumt att hoppa av i hopp om att lura motspelaren -- den kortsiktiga vinsten brukar inte uppväga den långsiktiga förlusten av samarbetet.

Se till att mötas många gånger: då blir samarbete mer lönsamt, och risken blir mindre att någon frestas att svika och sedan sticka. Man behandlar ju trogna kunder eller bekanta bättre, eftersom man vet att man nog kommer att mötas igen, oavsett om man tycker de är trevliga eller ej. Här är det viktigt med igenkänningsförmåga -- om man aldrig kan identifiera vem det var som lurade en, kan man inte undvika den personen i fortsättningen. Fångarnas dilemma lär oss att ju mer sammanlänkade våra öden blir med andras, desto bättre och troligare är det att vi lär oss samarbeta. Det är ju tänkvärt i dessa globaliseringstider.

Återgälda både samarbete och avhopp: om man bara samarbetar naivt, kan man utnyttjas och bli ett bra offer för rövare. Därför måste man göra det mindre lönsamt att luras och svika än att samarbeta. Men man måste också se till att den som samarbetar motiveras att fortsätta samarbeta med en.

Var inte alltför listig: Axelrod noterade att de listigaste strategierna, de som försökte hitta svaga punkter och utnyttja dem, oftast fick sämst poäng -- de lade ner för mycket resurser på att utforska (och därmed irritera) sin motspelare. Om man på ett tidigt stadium gör det klart hur man tänker handla och sedan följer det blir det enklare för andra att anpassa sina strategier till det.

Det kanske verkar lite märkligt att altruism kan vara själviskt, men om man tänker på hur man ofta motiverar barn att vara snälla märker man att det oftast är själviska argument: "Om du delar med dig av leksakerna till andra, kan du få vara med och leka med deras leksaker". Och ett gott samvete kan också vara en högst självisk belöning. Många menar naturligtvis att ren altruism, att alltid vara snäll måste vara det bästa valet. Men det är så sårbart för folk som utnyttjar det (allt ifrån rövare till bortskämda individer som kräver en massa av sin omgivning) att i praktiken kan det vara bäst både för enskilda och hela gruppen att folk följer en ömsesidig strategi som belönar samarbete men också gör svek olönsamt.

Ju fler som förstår sådana här resonemang, desto lättare blir det att hitta medspelare som är på samma våglängd. Därför är det en bra idé att introducera folk till problemen med sociala dilemmor och spelteorin; när alla inblandade förstår hur mycket de kan tjäna på samarbete är det lättare att inleda det.

Samarbetets Evolution

Märkligt nog hjälpte det inte att flera av programmen i Axelrods turnering var skrivna av världsledande forskare, ofta var det de klurigaste strategierna som fungerade sämst. Kanske var det så att man helt enkelt inte hittat den bästa lösningen? Kanske är vi människor för korkade för att hitta på bra strategier? Därför började man nu experimentera med att odla fram strategier med evolution.

När man inte själv kan komma på en lösning på ett problem brukar det vara givande att titta på hur naturen har löst det. Och det finns många exempel på samarbete och lösta sociala dilemman i naturen: i kolonier av vampyrfladdermöss delar man med sig av blod till kamrater som inte lyckats få något, putsarfiskar putsar även rovfiskar och många arter lever i symbios med varandra. Våra egna kroppar är egentligen ett långt gånget samarbete mellan en massa celler. När cancerceller hoppar av samarbetet och struntar i omgivningen dör vi eftersom alla cellers överlevnad är så hårt kopplad, men hos enklare varelser som svampdjur kan små bitar klara sig på egen hand -- varför hoppar inte alla av? Det intressanta är att naturen (eller de inblandade arterna) inte kan tänka. Men ändå finns där samarbete. Anledningen är naturligtvis att evolutionen gynnar de gener som leder till beteenden som fungerar bra.

Det går att tämja evolutionen i en dator. Traditionell programmering består i att man "bygger" ett program: det sätts ihop av små delar efter en plan, och utan programmerare går det inte. Men det går också att "odla" program och låta evolutionsprocessen förbättra dem. Om man har ett givet problem kan man enkelt skapa en massa slumpmässigt ihopsatta program. De flesta blir naturligtvis totalt värdelösa, men vissa kanske lyckas göra lite nytta. Om man nu slänger bort de sämsta programmen och ersätter dem med slumpmässigt modifierade kopior av de bästa programmen så kan man få en evolutionsprocess. Program som gör bra ifrån sig får fler "ungar", dåliga program dör ut. Med tiden kan lösningarna bli allt bättre -- evolutionär programmering. Det spännande är att programmen inte programmeras av någon, de odlas fram av evolutionen.

Naturligtvis är det inte helt enkelt att odla fram lösningar i praktiken. Programmen måste kodas så att de inte blir för "spröda", dvs bryter samman vid minsta förändring (vilket de flesta vanliga program gör -- gissa varför datorer kraschar i tid och otid). Exakt hur värderingen av programmens resultat sker är viktigt: ett smalt kriterium gör att evolutionen aldrig kommer igång eftersom ingen någonsin lyckas uppfylla det, ett för brett kriterium gör att programmen inte utvecklas åt rätt håll. Ofta kan de "upptäcka" kryphål i testningen och istället inrikta sig på att klara testet snarare än att lösa det problem de borde kunna lösa (ungefär som hur många studenter studerar till en tentamen).

Den här metoden kan vara oerhört effektiv när problemet är diffust formulerat eller svårlöst men man klart kan bedöma hur bra lösningar är -- t.ex. genom hur många poäng program får när de spelar fångarnas dilemma. Man har tidigare använt metoden för att odla fram allt från kontrollprogram för robotar och elektroniska kretsar över molekylstrukturer till konst (där program värderas efter hur mycket betraktaren uppskattar bilderna eller musiken de skapar). När det gällde fångarnas dilemma lät man strategier spela mot varandra, och de som fick flest poäng fick också lätt varierade ungar, och de sämsta strategierna rensades bort. Kort sagt, både ekologi och evolution på en gång.

Vad hände när man lät evolutionen producera strategier? LFL tog över igen. Men historien tog inte slut där. För när alla samarbetar med alla, så spelar det ju ingen roll om man spelar "Lika för Lika" eller "Samarbeta Alltid", båda ger samma resultat. Så vad som hände var att efter ett tag hade en hel del "Samarbeta Alltid" spontant uppstått i populationen. De gjorde ingen skada i sig själva, men erbjöd ett tillfälle för skurkar att roffa åt sig. Förr eller senare frambringade evolutionen en strategi som kunde lura de naiva spelarna. Den fick en massa poäng, och fler liknande skurkar dök upp. Balansen i samarbetet försvann, och man fick en period av anarki innan "Lika för Lika" konkurrerade ut skurkarna igen. Sedan återgick allt till det normala, och processen kunde upprepa sig.

Martin Nowak och Karl Sigmund gjorde en del simuleringar där LFL faktiskt inte vann. Det visar sig att den rena "Lika för Lika" strategin fungerar sämre om det finns risk för missförstånd -- ett försök till samarbete kan bli ett svek, ett svek kan av misstag bli samarbete. Två spelare som använder "Lika för lika" och försöker samarbeta kan råka i gräl på grund av detta: av misstag sviker den ena, den andra hämnas, den första besvarar utmaningen, och så vidare. Det är rätt likt vad som händer i vendettor eller inbördeskrig. LFL är uppenbarligen lite för kitslig för att fungera helt säkert. I sådana fall fungerar mer generösa varianter av "Lika för lika" (som är lite mer saktmodiga: de hämnas inte alltid) eller strategin "Pavlov" bättre. Pavlov är snäll och samarbetar i början, men växlar beteende om den. Det gör att den samarbetar med den som samarbetar med den, motarbetar den som motarbetar den men utnyttjar naiva strategier som låter sig utnyttjas. Det här gör att den inte är lika känslig för infiltration som LFL, och genom att den tål störningar bättre klarar den sig bra.

Kort sagt, evolutionen av strategier för även det enkla fångarnas dilemma fortsätter.

Samarbetets Evolution -- Etikens Evolution?

Fångarnas dilemma är naturligtvis en rejäl förenkling av verkligheten. Världen är för komplex för att simuleras i komplett detalj. Men det är också fördelen med att bygga modeller -- de kan undersökas istället för den trassliga världen och hjälpa oss se skogen trots alla träden. Abstraktioner hjälper oss se allmänna regler och besvara frågor. Vad är ofta sant? Vilka antaganden hänger allting på? Finns det uppenbara hål i den här strategin?

Alla sociala dilemman är inte fångarnas dilemma heller -- ibland kan samarbete helt enkelt inte bli stabilt. Då måste man försöka ändra förutsättningarna på något sätt. Nyttan av spelteori och simulationer är att man kan se om föreslagna förändringar hjälper eller introducerar nya problem.

Kanske ännu mer viktigt är insikten man får från de här experimenten att samarbete kan uppstå spontant, även bland helt själviska individer. De behöver inte ens vara speciellt rationella, inga av ekonomiläroböckernas hypotetiska "economic men" som är totalt logiska och vet allt som pågår. Det här är självorganisation, ordning utan någon som ordnar den. En tanke som var nästan otänkbar i västerländskt tänkande fram till nyligen, men allt mer dyker upp inom modern vetenskap. Man ska inte göra misstaget och tro att allting blir bra bara för att det självorganiserar sig, det finns spontan ordning som är otrevlig -- jämvikter där alla lurar varandra istället för att samarbeta, kartellbildningar och mafialiknande grupper. Men genom sådan här forskning kan vi lära oss mer om hur man uppmuntrar och skapar positiva former av självorganisation och kväver de negativa i deras lindor.

Det är intressant att fundera på om vi inte har lite av en inbyggd "moral" i vårt känsloliv. Trots allt, vi har utvecklats från sociala djur som drabbats av sociala dilemman genom årmiljoner. Dela med sig av bananerna till andra, eller äta dem själv? Varna flocken för rovdjur, eller hålla tyst och ha en bättre chans att inte själv bli upptäckt? Det är inte orimligt att en hel del av vår medkänsla och samarbetsvillighet härstammar från evolutionen: familjer kapabla till samarbete klarar sig bättre än de som inte samarbetar, och för sina gemensamma gener vidare. Eftersom djur inte kan genomföra logiska resonemang om vad som borde vara bra producerar evolutionen istället känslomässiga styrsystem som motiverar dem till det i stället -- vampyrfladdermössen gör inte spelteoretiska resonemang när de delar med sig av mat till vännerna. Haken är förstås att sådana ärvda system lätt kan vara både för svaga för att hålla ihop större grupper (ett problem med dagens samhällen) eller leda samarbete även när det inte lönar sig eller rent av är olämpligt. Men vi människor är lyckligtvis (och ibland olyckligtvis) kapabla att sätta oss över en hel del av våra gamla biologiska program, och vidareutveckla dem med de förnuftiga slutsatser vi också kan komma fram till.

Kan man verkligen härleda moral ur spelteorin? Den gör inga metafysiska antaganden eller värderingar, den beskriver bara vad som händer när man handlar si eller så. I den meningen föreskriver den ingenting. Men den säger en del om vilka strategier som fungerar i verkligheten, och ett av kraven på en bra moral borde ju vara att den fungerar - och sådant kan man studera spelteoretiskt.

Fram till nu har moral varit en fråga om att argumentera för varför ett visst system är rätt, men nu kan vi också börja testa om det fungerar. Blir resultaten verkligen bra? Är det stabilt mot att andra inte följer det? Kan det sprida sig bland folk? Vilka antaganden hänger det på, och vad händer om de inte stämmer? Datorsimulationer kan hjälpa oss se konsekvenserna av olika antaganden. Framtidens moralfilosofer kan mycket väl behöva en bakgrund inom datavetenskap, spelteori och biologi förutom den traditionella humanistiska.