En hel del av den kunskap och teknik som utvecklas nu skulle kunna leda till mänsklighetens undergång inom 100 år.
Det menar Chalmersprofessor Olle Häggström i en ny bok, Here Be dragons – Science, Technology and the Future of Humanity (Oxford University Press 2016).
Here be dragons är ett uttryck från spelvärlden, där man härmar medeltida kartor och på dem varnar för okända områden genom att rita monster.
Olle Häggström räknar upp en rad forskningsområden som där det bildligt talat kan finnas monster. Det kan till exempel vara rön som möjliggör för terrorister att orsaka stor skada.
– Syntetisk biologi är antagligen det område där riskerna ligger närmast i tid, kanske inom tio år, till exempel möjligheten att skapa artificiella virus som är mycket farligare än naturliga, säger han.
Artificiell intelligens kan hota
Andra områden som kan leda till katastrofer för mänskligheten är försök att omstöpa klimatet eller nanoteknik som gått överstyr. Eller utvecklingen av förfinad teknik för 3D-skrivare som skulle möjliggöra för vem som helst att skriva ut avancerade vapen hemma.
Andra områden är utvecklingen av artificiell intelligens, AI, där möjligheten att datorer kan börja utveckla en allt högre intelligens och hota mänsklighetens existens.
För mig låter det här väldigt mycket science fiction. Är det ett realistiskt scenario?
– Vi vet inte hur svårt det är att bygga en AI som är så kraftfull. Och jag kan inte säga hur sannolikt det sceneriet är. AI-experter förutsäger det kan bli verklighet vid olika tidpunkter, kanske om 15 år, kanske om 100 år, och en del säger att det aldrig kommer att gå. Men argumenten för att det här kan fungera är tillräckligt starka för att de ska tas på allvar.
Men hur skulle det gå till?
– Vi kopplar in mer och mer teknologi på internet, det innebär att om vi har en farlig artificiell intelligens så räcker det för den att få tillgång till internet för att den ska kunna göra i princip vad som helst. Ta kontrollen över kärnvapenarsenalen till exempel.
Mänsklighetens överlevnad viktig
Olle Häggström menar att potentiellt farlig forskning måste kontrolleras. Motargumenten är många, ett argument från forskarvärlden är att en sådan kontroll hotar den fria forskningen.
– Jag tycker att förutsättningslös forskning är ett fantastiskt fint ideal. Men mänsklighetens överlevnad är också viktig, vi kan hamna i lägen där de sakerna står mot varandra.
En vanlig ståndpunkt bland forskare är att forskning leder till positiva konsekvenser, och det värsta som kan hända är att resultatet är irrelevant.
– Det ifrågasätter jag. Forskning kan leda till katastrofala konsekvenser och vi har inte råd att strunta i den aspekten, det är moraliskt ohållbart att göra det.
En annan invändning är att det är bättre att känna till hoten och ha möjlighet att parera dem än att det inte finns någon kunskap.
– Forskare är jättebra på att hitta på argument för att forska. Men mycket av den argumentationen upplever jag som starkt motiverad av ett egenintresse. Man är så motiverad att driva den egna forskningen framåt att man bara ser den ena sidan.
Enskild forskare bör inte ta ansvaret
Därför tror Olle Häggström inte alls på att låta forskaren ensam ta ansvaret.
– Vi behöver någon form av strukturer som avgör vilken forskning som ska främjas, vilken vi bör vara försiktig med och vilken som inte bör beforskas alls.
Han menar att forskare, finansiärer, politiker, universitet, företag och även vanliga medborgare, måste ta ansvar och väga möjligheter mot risker.
Och detta bör göras innan vi står inför en eventuell katastrof.
– Intelligensexplosionen hos AI kan enligt en teori ske väldigt snabbt. Om vi inte är förberedda kommer vi att stå helt handfallna i ett sådant läge. I syntetisk biologi talar vi om ganska korta tidsrymder innan det kan bli riktigt farligt.
Föreslår statliga utredningar
Olle Häggström anser till exempel att forskning kring militära drönare och andra vapen med koppling till artificiell intelligens borde beläggas med ett internationellt embargo.
Men en persons insatser inom detta område räcker inte långt.
– Vad jag gör är att lyfta frågan så att vi kan börja en diskussion.
Därför föreslår Olle Häggström att det bör tillsättas statliga utredningar om hur man ska hantera potentiellt farlig forskning.
