L'humanité pourrait bientôt étendre considérablement son pouvoir sur la nature grâce à une gamme de technologies potentiellement transformatrices. Les progrès de la biotechnologie, comme la «révolution Crispr», pourraient considérablement étendre le contrôle humain sur les processus biologiques et évolutifs. Les méthodes de géo-ingénierie, comme la « gestion du rayonnement solaire », pourraient un jour faire des humains les maîtres du système climatique de la Terre. Et l'intelligence artificielle, tirée par les gains en matériel, logiciels et données, pourrait faire de la "superintelligence" une réalité.

Il y a bien sûr encore de grands débats entre scientifiques sur la nature et l'ampleur des changements que ces technologies apporteront à l'humanité et à la planète. Il serait heureux que ces scientifiques aient raison de dire que ces nouveaux pouvoirs sur la nature sont exagérés ou qu'ils pourraient se matérialiser mais seulement dans un avenir lointain. Et si les humains augmentaient rapidement et considérablement leur contrôle sur la nature ? Une telle puissance contribuerait-elle ou menacerait-elle la prospérité et la survie à long terme de la vie humaine et animale sur Terre ?

Il existe un programme de recherche interdisciplinaire croissant sur le « risque existentiel ». Dans la définition fréquemment citée de Nick Bostrom, "Un risque existentiel est celui qui menace l'extinction prématurée de la vie intelligente originaire de la Terre ou la destruction permanente et drastique de son potentiel de développement futur souhaitable." Le risque existentiel le plus évident est probablement une guerre nucléaire « totale » entre les puissances nucléaires, les États-Unis et la Russie, avec des centaines de millions de morts immédiates, suivies peut-être de milliards plus de "l'hiver nucléaire". Une autre est que le changement climatique dépasse certains « points de basculement » dans le système terrestre, déclenchant un réchauffement climatique « emballé » qui conduit à un climat de « serre terrestre ». La plupart des autres scénarios de risques existentiels impliquent une percée radicale dans la science et la technologie.

Pourtant, la science et la technologie ont été parmi les principaux moteurs des augmentations incroyables de la santé et de la richesse, et de la baisse de la mortalité et de la pauvreté que les êtres humains ont connues au cours des derniers siècles. Lorsqu'il s'agit de scénarios de risques catastrophiques ou existentiels - comme le changement climatique ou une pandémie - la technologie est souvent considérée comme l'une des meilleures défenses de l'humanité.

La technologie n'est ni "bonne" ni "mauvaise". Plutôt, le face de janus La nature de la technologie est mieux saisie par le « problème du double usage », qui stipule que bon nombre des mêmes découvertes scientifiques et innovations technologiques qui peuvent être utilisées au profit de l'humanité peuvent également être utilisées pour la destruction. L'utilisation de la technologie à des fins bénignes ou malignes dépend donc de la combinaison des forces technologiques et sociales.

Martin Rees, boursier de Cambridge et directeur du Centre d'étude du risque existentiel, se qualifie lui-même d'"optimiste technique, mais pessimiste politique". Cependant, il est difficile d'être optimiste sur la technologie tout en étant pessimiste sur la politique. La politique détermine quelle technologie est produite, comment elle est appliquée et à quelles fins. La capacité technique de scinder l'atome n'a pas nécessité la création d'armes nucléaires. Les armes nucléaires sont la manifestation technologique d'un problème politique qui trouve son origine dans les relations internationales.

La politique de puissance n'a pas disparu. La politique de puissance interviendra dans l'avenir technologique de l'humanité - que ce soit la biotechnologie, la géo-ingénierie ou l'intelligence artificielle - tout comme elle l'a fait dans la physique nucléaire. Une appréciation de la dynamique entre la politique de puissance et la technologie conduit à un ensemble différent de considérations sur les impacts potentiels du progrès scientifique et technologique sur l'humanité. La recherche et le développement en IA ressembleront-ils à une « course aux armements » et la hiérarchisation des préoccupations stratégiques concernant les « gains/pertes relatifs » pourrait-elle augmenter le risque de « superintelligence » mal alignée ? Comment la « gestion du rayonnement solaire » peut-elle être régie au niveau mondial, et la possibilité de géo-ingénierie conduira-t-elle à une « lutte pour le pouvoir » géopolitique sur le système climatique de la Terre ? Des normes internationales sont-elles possibles pour « l'édition de gènes » et, si ce n'est pas le cas, comment la faiblesse de la gouvernance mondiale et la puissante biotechnologie façonneront-elles l'avenir évolutif de l'humanité ? Selon les mots de la découvreuse de Crispr, Jennifer Deudna, "Qu'est-ce que nous, une espèce grincheuse dont les membres ne peuvent pas s'entendre sur grand-chose, choisirons de faire avec ce pouvoir impressionnant?"

Au XXIe siècle, le scientifique prudent doit penser comme un décideur politique – ou mieux encore, un diplomate ! Les scientifiques devraient se demander comment les progrès de la science et de la technologie pourraient influencer la concurrence géopolitique et comment la géopolitique peut façonner les orientations de la recherche scientifique et de l'innovation technologique. Ils devraient réfléchir à la façon dont les nouvelles technologies peuvent permettre à la fois des ainsi que des applications malveillantes et comprennent que les « utilisations finales » de la technologie ne sont pas nécessairement les mêmes que les « objectifs initiaux » de leurs créateurs. Ils doivent imaginer des mondes futurs dans lesquels le rythme rapide des changements scientifiques et technologiques interagit avec les caractéristiques politiques durables de la « souveraineté nationale » et de la « realpolitik ». En bref, les scientifiques doivent apprendre à penser comme un machiavélique afin d'éviter un monde orwellien.