진실은 없고, 연결만 있다

“정보는 진실을 재현하는 게 아니다. 연결을 만들 뿐이다.”

“정보 네트워크에서 신뢰가 무너지면 민주주의는 기능할 수 없다.”

정보는 진실을 말하지 않는다. 정보는 누구와 연결되었는지를 보여준다.

“AI를 '이질적인 지능 (Alien Intelligence)'의 약자로 간주하는 것이 더 나을지도 모른다. AI는 진화함에 따라 덜 인공적이 되고 더 이질적으로 변한다. 사람들은 흔히 '인간 수준의 지능'을 기준으로 AI를 정의하고 평가하며, 따라서 AI가 언제 '인간 수준의 지능'에 도달할 것인지를 두고 많은 논쟁이 벌어지고 있다는 점이다. 이는 마치 '새 수준의 비행 능력'을 기준으로 비행기를 정의하고 평가하는 것과 같다. AI는 인간 수준의 지능을 향해 발전하고 있지 않다. 그것은 완전히 다른 종류의 지능으로 진화하고 있다.”

“한 가지 교훈은, 정보의 가장 중요한 역할은 실존하는 현실을 재현하는 것이 아니라 새로운 네트워크를 짜는 것이기 때문에 새로운 정보 기술은 항상 중대한 역사적 변화를 이끌어내는 촉매가 된다는 것이다. 우리가 지혜로운 네트워크를 구축하기 위해서는, 정보에 대한 순진한 관점과 포퓰리즘적 관점을 모두 버리고, 무오류성이라는 환상에서 벗어나 강력한 자정 장치를 갖춘 제도를 구축하는 힘들고 다소 재미없는 일에 전념해야 한다. 이것이 이 책의 가장 중요한 메시지다.”

문장 스크랩

Prologue

정보는 네트워크를 하나로 결속시키는 접착제다. 하지만 사피엔스는 수만 년 동안 신, 마법에 걸린 빗자루, AI 같은 것들에 대한 허구, 환상, 집단 망상을 꾸며내고 퍼뜨리는 방법으로 대규모 네트워크를 구축하고 유지해왔다. 인간 개개인은 자신과 세상에 대한 진실을 추구하는 경향이 있어도, 대규모 네트워크는 허구와 환상에 의존하여 사회 구성원들을 묶고 질서를 유지한다. 나치즘과 스탈린주의는 이렇게 탄생한 것이다. 두 체제는 이례적인 망상으로 결속된 이례적으로 강력한 네트워크였다. 조지 오웰이 남긴 유명한 말처럼 무지가 힘이 된 것이다. p10

 

1부, 인간 네트워크들

1. 정보란 무엇인가? - 진실 vs 정보

현실을 최대한 사실 그대로 기술해도 현실을 온전히 담아낼 수 없다는 것이다. 모든 재현에는 무시되거나 왜곡되는 측면이 있기 마련이다. 따라서 진실은 현실을 1대 1 비율로 재현하는 것이 아니다. 오히려 진실은 현실의 특정 측면을 알리고 다른 측면은 어쩔 수 없이 무시하는 것이다. 현실에 대한 어떤 기술도 100퍼센트 정확하지 않지만, 그럼에도 불구하고 일부 기술은 다른 것들보다 진실에 가깝다. p47

 

정보가 하는 일은 별개의 것들을 하나로 묶어서 연인이든 제국이든 새로운 현실을 만들어내는 것이다. 정보의 결정적인 특징은 현실의 재현이 아니라 연결이며, 따라서 정보란 서로 다른 지점들을 네트워크로 연결하는 무언가다. 별자리 운세는 연인을 별점으로 묶고, 선전 방송은 유권자를 정치적으로 묶고, 군가는 병사들을 군사 대형으로 묶는다.

대표적인 예로 음악을 살펴보자. 대부분의 교향곡, 멜로디, 선율은 무언가를 재현하지 않는다. 따라서 그것이 사실인지 거짓인지 묻는 것은 의미가 없다. 아무것도 재현하지 않지만 그럼에도 음악은 병사들이 대형을 이루어 행진하게 하고, 클럽에 간 사람들이 함께 몸을 흔들게 하고, 교회 신도들이 리듬에 맞추어 손뼉을 치게 하고, 스포츠 팬들이 일제히 응원 구호를 외치게 만들 수 있다. p50

 

정보는 현실을 재현하기도 하고 재현하지 않기도 한다. 하지만 정보는 항상 연결한다. 이것이 정보의 근본적인 특징이다.

따라서 역사에서 정보가 어떤 역할을 했는지 조사할 때 우리는 '현실을 얼마나 잘 표현하는가? 진실인가 거짓인가?'를 물어야 할 때도 있지만, 대개 더 중요한 질문은 '사람들을 얼마나 잘 연결하는가? 어떤 새로운 네트워크를 만들어내는가?'이다.

정보는 항상 연결하는 역할을 하지만, 과학책부터 정치 연설까지 몇가지 유형의 정보는 현실의 특정 측면을 정확하게 표현함으로써 사람들을 연결하려고 시도한다.

하지만 이는 특별한 노력을 필요로 하는 일이며, 대부분의 정보는 그런 노력을 기울이지 않는다. 더 강력한 정보 기술을 만들어내기만 하면 세상을 더 정확하게 이해할 수 있다고 믿는 순진한 관점이 틀린 이유가 여기 있다.

저울을 진실쪽으로 기울이기 위해 따로 노력을 기울이지 않는다면, 정보의 양과 속도가 증가할수록 비교적 드물고 값비싼 진실한 정보가 그보다 훨씬 흔하고 값싼 유형의 정보에 파묻힐 가능성이 높다. p56

2. 이야기 (신화): 무한한 연결

상호주관적 현실은 사람들이 서로에게 말하는 이야기 속에 존재한다. 사람들이 상호주관적인 현실에 대해 주고받는 정보는 정보 교환 전부터 존재하던 무언가를 나타내지 않는다. 오히려 정보를 교환할 때 상호주관적 현실이 생긴다.

내가 당신에게 아프다고 말한다고 해서 없던 통증이 생기지는 않는다. 또 내가 통증에 대해 이야기하지 않는다고 해서 있던 통증이 사라지는 것도 아니다. 마찬가지로 내가 당신에게 소행성을 봤다고 말한다고 해서 소행성이 생기지는 않는다. 소행성은 사람들이 그것에 대해 이야기하든 말든 존재한다.

하지만 법이나 신, 화폐는 많은 수의 사람들이 그것에 대해 이야기를 나누면 생기고, 이야기하지 않으면 사라진다. 즉 상호주관적 현실은 정보를 교환할 때 생긴다. p67

 

핵물리학자는 모르지만 권력 꼭대기에 있는 사람들이 알고 있는 사실은, 우주에 대한 진실을 알리는 일은 많은 사람들 사이에서 질서를 유지하는 최선의 방법이 아니라는 것이다.

E=mc²은 사실이고 우주에서 일어나는 많은 일을 설명해주지만, E=mc²을 안다고 해서 정치적 갈등이 해소되는 것도, 사람들이 공동의 대의를 위해 희생하는 것도 아니다. 오히려 인간 네트워크를 묶어주는 것은 허구적인 이야기, 그중에서도 특히 신과 돈, 국가와 같은 상호주관적 현실에 대한 이야기들인 경우가 많다. p78

 

오직 진실만을 고집하는 것은 과학 발전에 필수적이고 훌륭한 영적 수행이지만, 선거에서 승리하는 전략은 아니다. 사람들을 결속시키는 데 허구는 진실에 비해 두 가지 고유한 이점을 가지고 있다.

첫째, 허구는 얼마든지 간단하게 만들 수 있지만 진실은 대체로 복잡하다. 진실이 표현 (재현)해야 하는 현실이 복잡하기 때문이다. 예를 들어 민족이 집단적 상상 속에만 존재하는 상호주관적 현실이라는 것을 이해하기는 쉽지 않다. 오히려 민족은 창조주로부터 특별한 사명을 위임받은 선택된 사람들이라고 믿는 쪽이 훨씬 쉽다. 이스라엘부터 이란, 미국부터 러시아에 이르기까지 수많은 정치인들이 이 단순한 이야기를 반복해서 해왔다.

둘째, 진실은 고통스럽고 불편한 경우가 많은데 그렇다고 그것을 편안하고 듣기 좋게 만들면 더 이상 진실이 아니게 된다. 반면 허구는 지어내기 나름이다. 모든 민족의 역사에는 당사자들이 인정하고 싶어 하지 않으며 떠올리기 싫어하는 어두운 과거가 있다. 어떤 이스라엘 정치인이 선거 유세에서 이스라엘의 점령으로 팔레스타인 민간인들이 겪은 비극을 자세히 이야기한다면 표를 별로 얻지 못할 것이다. 반대로, 불편한 진실은 무시한 채 유대인 역사에서 영광스러웠던 순간에 초점을 맞추고 필요에 따라 현실을 미화하면서 민족신화를 만들어내는 정치인은 권력을 잡을 가능성이 높다. p78-79

 

3. 문서: 종이호랑이의 위협

이런 문제들은 컴퓨터라는 것을 상상조차 못 했던 때부터 존재해온 전형적인 관료주의적 문제들이다. 관료제bureaucracy는 말 그대로 '책상에 의한 통치'라는 뜻이다. 관료제 질서의 중심에는 서랍이 있다. 관료제는 세상을 서랍으로 나누고 어떤 문서가 어느 서랍에 들어가는지 파악함으로써 검색 문제를 해결하려고 한다. 즉 '분리하여 통치하라'는 것이다.

하지만 이 원칙에는 대가가 따른다. 관료제는 세상을 있는 그대로 이해하는 데 초점을 맞추는 대신, 세상에 새로운 인위적 질서를 도입하는 데 몰두한다. 관료들은 먼저 다양한 서랍을 만들어내는데, 이 서랍들은 현실 세계의 어떤 객관적인 분류 기준에도 완벽하게 들어맞지 않는 상호주관적 현실이다.

따라서 관료들은 세상을 이 서랍들에 억지로 끼워 맞추고, 잘 맞지 않으면 더 세게 구겨 넣는다. 복잡하게 얽힌 현실을 한정된 수의 고정된 서랍으로 환원하면 관료들이 질서를 유지하는 데는 도움이 되지만 그 대가로 진실이 희생된다. 관료들은 현실이 휠씬 더 복잡한데도 자신들이 만든 서랍에 집착하기 때문에 세상을 왜곡된 눈으로 보기 쉽다.

또한 관료들은 현실을 경직된 서랍으로 나누는 데 급급하기 때문에, 자신들의 행동이 미칠 광범위한 영향은 고려하지 못하고 좁은 목표를 추구하게 된다. p99-100

 

정보 네트워크는 진실을 최대화하기보다는 진실과 질서 사이의 균형을 찾으려고 한다. 관료제와 신화는 모두 질서를 유지하는 데 필수적이며, 둘 다 질서를 위해 진실을 기꺼이 희생시킨다. 그렇다면 어떤 메커니즘이 관료제와 신 화가 진실을 완전히 놓치지 않도록 보장하고, 어떤 메커니즘이 정보 네트워크가 약간의 무질서를 감수하고라도 스스로의 실수를 찾아 수정할 수 있게 만들까? p123

 

4. 오류: 무오류성이라는 환상

근대 초 유럽을 됩쓴 마녀 광풍의 역사는 정보 흐름의 장벽을 없다고 해서 진실된 정보가 확산된다는 보장은 없다는 것을 보여준다. 거짓과 환상이 확산되어 유해한 정보 생태계가 만들어지기도 그만큼이나 쉽다.

더 구체적으로 말하면, 아이디어의 완전한 자유 시장은 진실을 희생시키고 분노와 선정주의의 확산을 부추길 수 있다. 왜 그런지 이해하기는 어렵지 않다. 인쇄업자들과 서적상들은 코페르니쿠스의 <천구의 회전에 관하여>에 나오는 지루한 수학보다는 <마녀의 망치>의 선정적인 이야기로 휠씬 더 많은 돈을 벌었다. 전자의 책은 근대 과학을 정립한 텍스트 중 하나였다. 그 책은 우리 행성을 우주의 중심에서 쫓아냄으로써 코페르니쿠스 혁명을 촉발한 세상을 뒤흔든 발견으로 평가받는다. 하지만 1543년에 처음 출판 당시 초판 400권은 다 팔리지 않은 ‘역대급’ 워스트셀러였다. p167

 

가톨릭교회는 종교적 권위를 유지하기 위해 자정장치의 존재를 부정할 수밖에 없었다. 교회는 무오류성의 덫에 빠진 것이다. 일단 무오류성을 주장하며 종교적 권위를 얻으면, 비교적 사소한 문제에서 기관의 실수를 공개적으로 시인해도 권위가 완전히 무너질 수 있다.

가톨릭교회와 소련공산당 같은 기관들이 강력한 자정 장치를 마련하지 않은 데는 그만한 이유가 있다. 자정 장치는 진실 추구에 필수적이지만 질서 유지 측면에서는 손해이기 때문이다. 강력한 자정 장치는 의구심, 논쟁, 갈등, 분열을 일으키고 사회 질서를 유지하는 신화의 힘을 약화하는 경향이 있다. p167

 

근대 초기 유럽에서 등장한 과학 기관은 가톨릭교회와 달리 강력한 자정 장치를 중심으로 구축되었다. 과학 기관은 특정 시기 대부분의 과학자가 사실이라고 믿는 이론이라도 결국 부정확하거나 불완전한 것으로 밝혀질 수 있다는 입장을 고수한다. 과학사에서 가장 큰 경사는 바로 통념이 뒤집히고 새로운 이론이 탄생하는 일이다.

19세기에는 대부분의 물리학자가 뉴턴 물리학을 거의 모든 자연현상을 설명할 수 있는 포괄적인 이론으로 받아들였지만, 20세기에 상대성이론과 양자역학이 등장하면서 뉴턴 모델의 부정학성과 한계가 드러났다. p178

 

물론 질서가 반드시 좋은 것만은 아니다. 예를 들어 근대 초반에 유럽의 사회질서는 마녀사냥을 지지했을 뿐만 아니라, 소수의 귀족에 의한 수백만 농민의 착취, 여성에 대한 조직적인 학대 등 소수 집단에 대한 광범위한 차별을 부추겼다. 하지만 사회질서가 아무리 억압적이어도 질서를 무너뜨린다고 세상이 좋아지는 것은 아니다. 오히려 혼란과 더 심한 억압이 발생할 수 있다. 정보 네트워크의 역사는 항상 진실과 질서 사이의 균형 맞추기였다. 질서를 위해 진실을 희생시키는 데는 대가가 따르듯이, 진실을 위해 질서를 희생시키는 데도 대가가 따른다.

과학 기관이 강력한 자정 장치를 갖출 수 있었던 이유는 사회질서를 유지하는 어려운 임무를 다른 기관에 맡기기 때문이다. 화학실험실에 도둑이 들거나 정신과 의사가 실해 협박을 받으면, 그들은 동료 심사 학술지에 호소하지 않고 경찰에 신고한다. 그렇다면 학문 분야 외의 기관에서도 강력한 자정 장치를 유지할 수 있을까? p186

 

5. 결정: 민주주의와 전체주의의 간략한 역사

강력한 지도자를 지지하는 사람들은 보통 선거에 승리한다고 무제한적인 권력이 주어지는 것은 아니라는 말을 들으면 그들은 진심으로 당황한다. 오히려 선출된 정부의 권력을 어떤 식으로든 견제하려는 시도를 민주적이지 않은 것으로 본다.

하지만 민주주의는 다수에 의한 통치를 뜻하지 않는다. 오히려 모두가 자유와 평등을 누린다는 뜻이다. 민주주의는 아무리 다수라도 빼앗을 수 없는 특정한 자유들을 모두에게 보장하는 제도다 p195

정부에 진실 추구를 감독하라고 하는 것은 여우에게 닭장을 지키라고 하는 꼴이다. 진실을 발견하기 위해서는 두 가지 다른 방법에 의존하는 것이 더 낫다. 첫째, 학술 기관, 언론, 사법부가 자체적으로 갖추고 있는 자정 기능에 의존하는 것이다. 이 기관들은 (오류를 찾아낼 인센티브가 있으므로) 내부 자정 기능을 통해 부패를 막고, 편향을 바로잡고, 오류를 찾아낸다. 학계에서 높은 직위로 올라가려면 과거의 실수를 찾아내고 알려지지 않은 사실을 발견해야 하고, 언론사가 자사의 이익을 위해 스캔들을 폭로하지 않기로 결정해도 다른 언론사가 특종을 잡기 위해 뛰어들 가능성이 높다.

둘째, 각기 다른 방식으로 진실을 추구하는 독립적인 기관을 여럿 두고 서로를 견제하며 잘못을 바로잡게 하는 것이다. 만일 막강한 기업이 충분한 수의 과학자를 매수하여 동료 심사 메커니즘을 무력화한다면, 탐사 언론과 법원이 주범을 찾아 처벌할 수 있을 것이다. 만일 언론이나 법원이 일관되게 인종차별적인 편향을 보인다면, 사회학자, 역사학자, 철학자 들이 그런 편향을 밝혀내는 임무를 맡을 것이다. 이 중 어떤 메커니즘도 오류에서 완전히 자유롭지 않지만, 그렇게 치면 인간의 모든 기관이 마찬가지다. 정부는 말할 나위도 없다. p201

 

포플리스트들은 흠잡을 데 없어 보이는 민주주의 원리를 바탕으로 전체주의적 목표인 무제한적인 권력 추구 를 정당화하는 기발한 정치적 연금술을 부린다. 포풀리스트들의 가장 놀라운 주장은 자신들만이 진정으로 국민 을 대변한다는 것이다.

민주주의에서는 오직 국민만이 정치권력을 가질 수 있는데, 포퓰리스트 정당만이 국민을 대변하므로 포퓰리스 트 정당이 모든 권력을 가져야 한다는 것이다. 포퓰리스트가 아닌 다른 정당이 선거에서 승리했다고 해서 그 정당이 국민의 신임을 얻었고 정부를 구성할 자격이 있다는 뜻은 아니다. 오히려 이는 선거가 조작되었거나, 국민이 속아서 자신들의 진정한 의사를 반영하지 못하는 방식으로 투표했다는 뜻이다. p203

 

여기서 강조하고 싶은 점은 많은 포풀리스트들이 선전 전략상 이렇게 말하는 것이 아니라 정말로 그렇게 믿는다는 것이다. 국민의 유일한 대변자임을 자처하는 포퓰리스트들은 국민이 단순히 정치적 권위만이 아니라 모든 권위 가 나오는 유일하게 정당한 원천이라고 주장한다.

국민의 의사가 아닌 다른 무언가에서 권위를 얻는 모든 기관은 반민주적이다. 이에 따라, 스스로 국민의 대변자라고 주장하는 포퓰리스트들은 정치적 권위를 포함해 모든 종류의 권위를 독점하고 언론 매체, 법원, 대학 등의 기관들을 장악하려 든다. 포퓰리스트들은 '국민의 힘'이라는 민주주의 원리를 극단으로 끌고 가서 전체주의자로 변모한다

그들은 '권력이 유일한 현실'이라고 주장한다. 결국 그들은 자신들에게 반대할 가능성이 있는 독립 기관의 권위를 훼손하거나 도용하려고 한다. 그 결과는, 세상은 정글이고 인간은 오직 권력에만 집착하는 존재라는 암울하고 냉소적인 세계관이다.

모든 사회적 상호작용은 권력투쟁이고, 모든 기관은 구성원들의 이익을 도모하는 패거리 집단이다. 포퓰리스트들의 상상 속에서 법원은 정의에는 관심 없고 단지 판사들의 특권을 보호할 뿐이다. 판사들이 정의를 자주 거론하는 것은 사실이지만 이는 어디까지나 권력을 장악하기 위한 계략일 뿐이다. 신문사는 사실에는 관심이 없다. 신문들은 오히 려 기자들과 그들에게 자금을 대는 비밀 조직의 이익을 위해 가짜뉴스를 퍼뜨려 사람들을 오도한다. 심지어 과학 기관조차 진실에헌신하지 않는다. 생물학자, 기후학자, 전염병학자, 경제학자, 역사학자, 수학자 들은 모두 국민을 희생시켜 자신들의 이익을 챙기는 또 다른 이익집단일 뿐이다. p206-207

 

이는 전체적으로 인간에 대한 꽤나 불쾌한 시각이지만, 그럼에도 많은 사람들에게 매력적으로 다가오는 이유가 두 가지 있다. 첫째, 이처럼 모든 상호작용을 권력투쟁으로 환원하면 현실이 단순해져 전쟁, 경제 위기, 자연재해 등 아무리 복잡한 사건도 쉽게 해석할 수 있다. 일어나는 모든 일은 심지어 팬데믹조차도 권력을 추구하는 엘리트의 문제로 귀결된다.

둘째, 포퓰리즘적 관점이 매력적인 이유는 때때로 맞기 때문이다. 모든 인간의 기관은 실제로 오류를 범하고 어느 정도 부패한다. 일부 판사는 뇌물을 받고, 일부 언론인은 의도적으로 대중을 오도한다. 학문 분야들도 편향이나 족벌주의에서 완전히 자유롭지 않다. 이 때문에 모든 기관에는 자정 장치가 필요한 것이다.

하지만 포퓰리스트들은 권력만이 유일한 현실이라고 확신하기 때문에, 법원이나 언론 매체, 또는 어떤 학문 분야가 진실이나 정의와 같은 가치를 지키기 위해 스스로 오류를 바로잡는다는 사실을 받아들이지 못한다 p207

 

포퓰리즘은 독재형 지도자들에게 민주주의자인 척하면서 독재자가 될 수 있는 이념적 기반을 제공한다. 포퓰리즘은 특히 민주주의의 자정 장치를 무력화하거나 사유화하려고 할 때 유용하게 쓰인다.

판사, 언론인, 교수는 진실보다는 정치적 이익을 추구하는 사람들이므로 국민의 대변자 강력한 지도자는 이런 직책들이 국민의 적에게 넘어가지 않도록 통제해야 한다. 마찬가지로 선거를 주관하고 결과를 공표하는 책임을 맡은 공직자들조차 사악한 음모에 가담하고 있을지 모르니 충성스러운 사람들로 교체해야 한다.

제대로 기능하는 민주주의에서는 시민들이 선거 결과, 법원의 판단, 언론 보도, 과학 분야의 연구 결과를 신뢰한다. 시민들은 이런 기관들이 진실을 추구한다고 믿기 때문이다. 하지만 일단 사람들이 오직 권력만이 유일한 현실이라고 생각하게 되면, 이 모든 기관에 대한 신뢰가 무너지고, 민주주의는 붕괴하며, 강력한 지도자가 모든 권력을 장악할 수 있다. p207

 

현대 기술은 대규모 민주주의를 가능하게 했을 뿐만 아니라 대규모 전체주의도 가능하게 했다. 전체주의 체제는 정보의 흐름을 통제함으로써 정권을 유지하고, 독립적인 정보 채널을 경계한다. 군 장교나 정부 관료, 또는 일반 시민은 서로 정보를 교환할 때 신뢰를 쌓을 수 있고, 이렇게 서로를 신뢰하게 되면 정권에 조직적으로 저항할 수 있기 때문이다.

따라서 전체주의 정권의 신조는 사람들이 만나 정보를 교환하는 곳에는 반드시 정권의 감시가 있어야 한다는 것이다. 1930년대에 이것은 히틀러와 스탈린이 공유한 한 가지 원칙이었다. p247

 

나는 2019년에 체르노벨을 품러보러 갔을 당시 원전 사고의 원인을 설명하던 우크라이나인 가이드가 한 말을 잊을 수가 없다. "미국인은 질문을 하면 답을 들을 수 있다는 생각을 가지고 자라지만, 소련 시민들은 질문을 하면 곤란에 처한다는 생각을 가지고 자랐습니다.”

물론 민주주의 국가의 지도자들도 나쁜 소식을 반기지 않는다. 하지만 분산된 민주주의 네트워크에서는 공식 소통 라인이 막히면 다른 채널을 통해 정보가 흐른다. 예를 들어, 미국 관료가 재난 발생을 대통령에게 알리지 않기로 결정에도, <워싱턴 포스트>가 그소식을 보도할 것이고, <워싱턴 포스트>도 정보를 고의적으로 숨기면 <월스트리트 저널> 또는 <뉴욕 타임스>가 보도한 것이다. 독립언론의 사업 모델은 "끊임없이 다음 특징을 쫓아라"이므로 보도되는 것은 시간문제다. p265

 

물론 인쇄술 때문에 마녀사냥이나 과학혁명이 일어난 것이 아니듯이, 라디오 때문에 스탈린식 전체주의나 미국식 민주주의가 탄생한 것은 아니다. 기술은 단지 새로운 기회를 열어줄 뿐이며, 어느 쪽으로 갈지는 우리에게 달렸다.

이전 시대와 마찬가지로 정보 네트워크들은 진실과 질서 사이에서 올바른 균형을 찾기 위해 고군분투할 것이다. 어떤 네트워크는 진실을 우선시하고 강력한 자정 장치를 유지할 것이다. 또 어떤 네트워크는 정반대 선택을 할 것이다. <성경>의 정경화, 근대 초기의 마녀사냥, 스탈린주의 집단화 운동에서 얻은 교훈 중 많은 부분이 여전히 유효할 것이며, 어쩌면 우리는 같은 교훈을 얻게 될지도 모른다. p275, 280

 

2부, 비유기적 네트워크

6. 새로운 구성원: 컴퓨터는 인쇄술과 어떻게 다른가?

현재의 정보혁명은 우리가 전에 본 어떤 것과도 다르며 잠재적으로 휠씬 더 위험한 독특한 특징도 몇 가지 가지고 있다. 지금까지는 역사상 모든 정보 네트워크가 인간 신화 제작자와 인간 관료에게 의존해 작동했다. 정보 기술의 발전이 역사에 지대한 영향을 미쳤지만, 그래도 텍스트를 작성하고 해석하는 일, 누구를 마녀로 점찍어 화형시키고 누구를 쿨라크로 점찍어 노예로 만들지 결정하는 것은 언제나 인간의 몫이었다.

하지만 이제부터 인간은 디지털 신화 제작자들, 디지털 관료들과 경쟁해야 한다. 21세기에 정치가 분열된다면, 민주주의와 전체주의 사이의 분열이 아니라 인간과 비인간 사이의 분열이 될 것이다. 새로운 실리콘 장막은 민주주의 체제를 전체주의 체제와 분리하는 대신, 모든 인류를 불가해한 알고리즘 지배자와 분리할 것이다. p280

 

지능과 의식은 다르다. 지능은 목표를 달성하는 능력이다. 의식은 고통, 쾌락, 사랑, 중오 같은 주관적인 감정을 경험할 수 있는 능력이다. 인간과 여타 포유류에게서는 지능이 종종 의식과 함께 나타난다. 하지만 인간과 포유류에게서 일어나는 일을 바탕으로 존재 가능한 모든 실체의 상황을 추론하는 것은 잘못이다.

박테리아와 식물은 분명히 의식이 없지만 지능은 있다. 그들도 환경으로부터 정보를 수집하고, 복잡한 선택을 한다. 그리고 먹이 획득, 번식, 다른 유기체와의 협력, 포식자와 기생충 피하기 등을 위한 독창적인 전략을 모색한다.

컴퓨터도 마찬가지다. 컴퓨터는 고통, 사랑, 두려움을 느끼지 못하지만 그럼에도 사용자 참여를 극대화하는 결정을 내릴 수 있으며, 중요한 역사적 사건에 영향을 미칠 수도 있다. 비행기가 깃털이 없어도 새보다 빨리 날듯이, 컴퓨터는 감정이 없어도 인간보다 문제를 휠씬 잘 해결할 수 있을지도 모른다.

"사용자 참여를 최대화하라"와 같은 목표를 추구하고 목표 달성에 도움이 되는 결정을 내리는 데 의식이 꼭 필요하지는 않다. 지능이면 족하다. 의식이 없는 페이스북 알고리즘도 더 많은 사람들이 페이스북에서 더 많은 시간을 보내게 만들겠다는 목표를 가질 수 있다. 그런 다음 목표를 달성하는 데 도움이 된다면 터무니없는 음모론을 의도적으로 퍼뜨리기로 결정할 수 있다. p295-296

 

컴퓨터가 이전의 모든 기술과 어떻게 다른지 이해하는 또 하나의 방법은 컴퓨터가 정보 네트워크의 완전한 구성원인 반면 점토판, 인쇄기, 라디오는 단순히 네트워크 구성원들을 연결하는 장치에 불과하다는 것이다. 네트워크 구성원들은 스스로 결정을 내리고 새로운 아이디어를 생성할 수 있는 능동적인 행위자다. 반면 연결 장치는 구성원들 사이에서 정보를 전달할 뿐 스스로 무언가를 결정하고 생성하지 않는다. p301

 

민주주의는 대화이며 대화는 언어에 의존한다. 컴퓨터의 언어 해킹으로 많은 수의 사람들이 의미있는 공개 대화를 나누는 것이 극도로 어려워질 수 있다. 인간인 척하는 컴퓨터와 정치 토론을 하면 우리에게는 두 가지 면에서 손해다.

첫째, 봇은 설득되지 않는 존재라서 선전 봇의 의견을 바꾸기 위해 시간을 들이는 것은 무의미하다. 둘째, 컴퓨터와 이야기를 하면 할수록 우리에 관한 더 많은 사실이 공개되고, 그 결과 봇이 자신의 주장을 가다듬어 우리의 생각에 영향을 행사하기가 더 쉬워진다.

언어를 숙달한 컴퓨터는 다음 단계로 나아갈 수 있다. 우리와 대화하고 소통함으로써 인간과 친밀한 관계를 형성한 컴퓨터는 그다음으로 친밀감을 이용해 우리에게 영향을 미칠 것이다. 그런 '가짜 친밀감'을 조성하기 위해 컴퓨터 스스로 감정을 가질 필요는 없다. 컴퓨터는 단지 어떻게 하면 우리가 컴퓨터에 애착을 느낄 수 있는지 학습하기만 하면 된다. p306

 

컴퓨터는 스스로의 힘으로 결정을 내리고, 아이디어를 생성하며, 게다가 가짜 친밀감을 만들어냄으로써 어떤 문서도 할 수 없었던 방식으로 인간에게 영향을 미칠 수 있기 때문이다.

<성경>은 말 못 하는 문서였음에도 불구하고 수십억 명의 사람들에게 심대한 영향을 끼쳤다. 그렇다면 말하고 들을 수 있을 뿐 아니라 사람들의 마음 깊숙이 자리 잡은 두려움과 희망을 파악하고 그것을 끊임없이 조종할 수 있는 어떤 거룩한 책이 있다면 어떤 영향을 미칠게 될지 상상해보라. p312-313

이제는 AI를 '이질적인 지능 (Alien Intelligence)'의 약자로 간주하는 것이 더 나을지도 모른다. AI는 진화함에 따라 덜 인공적이 되고 더 이질적으로 변한다.

또 하나 지적해둘 것은, 사람들은 흔히 '인간 수준의 지능'을 기준으로 AI를 정의하고 평가하며, 따라서 AI가 언제 '인간 수준의 지능'에 도달할 것인지를 두고 많은 논쟁이 벌어지고 있다는 점이다. 하지만 이 기준은 심각한 혼란을 부를 수 있다. 이는 마치 '새 수준의 비행 능력'을 기준으로 비행기를 정의하고 평가하는 것과 같다. AI는 인간 수준의 지능을 향해 발전하고 있지 않다. 그것은 완전히 다른 종류의 지능으로 진화하고 있다. p317

 

컴퓨터의 진정으로 새로운 특징은 결정을 내리고 아이디어를 생성하는 새로운 (인간과는 다른) 방식이다. 만일 컴퓨터가 인간과 비슷한 방식으로 결정을 내리고 아이디어를 생성한다면, 컴퓨터는 '새로운 인간'일 것이다. 우리는 그런 시나리오를 과학소설에서 자주 본다. 컴퓨터에 의식과 감정이 생기고, 컴퓨터가 인간과 사랑에 빠지고, 결국 인간과 정확히 똑같은 존재로 판명 나는 이야기 말이다. 하지만 현실은 매우 다르고, 생각보다 더 우려스러울 수 있다 p333

 

7. 집요하게: 네트워크는 항상 켜져있다

컴퓨터 네트워크에 브레이크가 필요한 훨씬 더 중요한 이유는 네트워크를 바로잡을 기회를 갖기 위해서다. 만일 네트워크의 발전이 이대로 계속 가속화된다면, 네트워크의 오류도 우리가 찾아내 바로잡을 수 있는 속도보다 휠씬 빠르게 축적될 것이다. 네트워크는 쉬지 않고 어디에나 존재할 뿐 아니라 오류도 범하기 때문이다.

물론 컴퓨터는 우리가 무엇을 하는지 하루 24시간 지켜보면서 전례 없는 양의 데이터를 수집할 수 있다. 또한 데이터의 바다 속에서 패턴을 인간보다 월등히 효율적으로 찾아낼 수 있다. 하지만 그렇다고 해서 컴퓨터 네트워크가 항상 세상을 정확하게 이해하는 것은 아니다.

정보는 진실이 아니다. 완전한 감시 시스템은 세상과 인간 존재에 대한 대단히 왜곡된 이해를 형성할 수 있다. 네트워크가 세상과 인간에 대한 진실을 발견하는 대신 자신의 막강한 힘을 이용해 새로운 종류의 세계 질서를 만들고 그것을 우리에게 강요할지도 모른다. p367

 

8. 오류 가능성: 네트워크는 자주 틀린다

인간은 매우 복잡한 존재이고, 건강한 사회질서는 우리의 미덕을 함양하면서도 부정적인 경향을 억제할 수 있는 방법을 모색한다. 하지만 소셜 미디어 알고리즘은 우리를 단순히 관심을 채굴하는 광산으로 본다. 그 알고리즘들은 인간의 다면적인 감정 (증오, 애정, 분노, 기쁨, 혼란 등)을 단 하나의 포팔적인 범주인 '참여도'로 환원했다.

2016년 미얀마, 2018년 브라질, 그리고 수많은 다른 국가에서 소설 미디어 알고리즘들은 동영상, 게시물, 기타 모든 콘텐츠를 오직 사람들이 콘텐츠에 참여한 시간과 다른 사람들과 공유한 횟수만을 기준으로 채점했다. 거짓말이나 혐오 한 시간이 진실이나 연민 10분, 또는 잠 한 시간보다 순위가 높았다.

거짓이나 증오는 심리적으로나 사회적으로 파괴적인 영향을 미치지만 진실과 연민, 수면은 삶의 질에 필수적이라는 사실을 알고리즘은 전혀 이해하지 못했다. 인간에 대한 이런 매우 편협한 이해를 바탕으로 이 알고리즘들은, 우리의 가장 저급한 본능을 부추기고 인간이 지닌 잠재력을 억누르는 새로운 사회 시스템을 만드는데 일조했다 p378

 

페이스북과 유튜브 알고리즘은 정확히 보스트롬이 상상한 알고리즘처럼 행동했다. 클립 생산을 극대화하라는 명링을 받았을 때 그 알고리즘은 인류 문명을 파괴하는 한이 있더라도 물리적 우주 전체를 클립으로 바꾸려 했다.

페이스북과 유튜브 알고리즘도 이용자 참여를 극대화라는 지시를 받았을 때 사회적 우주 전체를 이용자 참여로 바꾸려고 시도했다. 그것이 미얀마, 브라질, 여타 국가들의 사회조직을 파손하는 것을 뜻한다 해도 상관없었다. p391

 

규칙들이 서로 충돌하면(예를 들어 인권을 보호하기 위해 침략 전쟁을 고려할 때처럼), 공리주의는 실질적인 도움을 주지 못한다. 아무리 강력한 컴퓨터 네트워크라도 이런 상황에 필요한 계산을 해낼 수 없다.

따라서 공리주의는 모든 행동을 '궁극적인 선' (최대 다수에게 최대 행복을 가져다주는 것)을 기준으로 판단하는 합리적인 방법, 심지어는 수학적인 방법을 제시한다고 약속하지만, 실제로는 또 다른 신화만 만들어낼 공산이 크다.

공리주의의 위험은 미래의 유토피아를 굳게 믿음으로써 지금 끔찍한 고통을 가하는 데 아무런 거리낌이 없어진다는 데 있다. 실제로 이것은 수천 년 전 종교가 발견한수법이다. 이생에서 죄를 지어도 사후에 구원받을 수 있으니 괜찮다는 것이다.

공산주의를 신봉하는 사람들은 스탈린주의 공포에 대해 질문을 받으면, 미래 세대가 '진정한 사희주의' 사회에서 경험하게 될 행복이 강제수용소에서 일어나는 단기적인 불행을 만회해줄 것이라고 말하곤 했다. 자유지상주의자들은 무제한적인 표현의 자유나 세금의 전면 폐지가 사회에 끼치는 당장의 피해에 대해 질문을 받으면, 미래의 이익이 단기적인 피해보다 클 것이라는 비슷한 신념을 표명한다. p407

 

3부, 컴퓨터 정치

새로운 컴퓨터 네트워크 자체는 나쁜 것도 좋은 것도아니다. 우리가 확실하게 아는 사실은 그 네트워크가 우리와는 이질적인 성격을 가지고 있으며 오류를 범할 것이라는 점뿐이다.

따라서 우리는 탐욕이나 증오 같은 우리에게 익숙한 인간의 약점 외에 우리가 모르는 낯선 오류까지도 점검할 수 있는 기관을 만들 필요가 있다. 이 문제에 대한 기술적 해법은 존재하지 않는다. 이것은 오히려 정치적으로 풀어야 할 문제다. 현대에 인류는 크게 두 유형의 정치체제를 만들어냈다. 바로 대규모 민주주의와 대규모 전체주의다. 3부에서는 이 체제 각각이, 우리가 알던 것과는 근본적으로 다르며 오류를 범할 수 있는 컴퓨터 네트워크를 어떻게 다률 것인지 살펴본다. p430

9. 민주주의: 우리는 계속 대화할 수 있을까?

민주주의 정치는 오랫동안 보수 정당과 진보 정당 간의 대화였다. 인간 사회의 복잡한 시스템을 보면서 진보는 "엉망진창 이지만 우리는 고칠 방법을 알고 있다. 우리가 해보자"라고 외쳤다. 그러면 보수는 "엉망이지만 그래도 작동하고 있어. 그냥 내버려둬. 고치려고 하다가 더 나빠질 수 있어"라고 반박했다.

진보는 전통과 기존 제도를 그다지 중요하게 생각하지 않으며 자신들이 더 나은 사회구조를 처음부터 새롭게 설계할 방법을 알고 있다고 믿는 경향이 있다. 보수는 좀 더 신중한 입장을 보인다. 에드먼드 버크가 대표적으로 주장한 보수의 핵심 통찰은, 사회 현실은 진보주의자들이 생각하는 것보다 휠씬 복잡하며 사람들은 세상을 이해하고 미래를 예측하는 데 그리 능숙하지 않다는 것이다.

그렇기 때문에 현실이 불공평해 보여도 현 상태를 유지하는 것이 최선이며, 몇몇 변화가 불가피하다면 제한적이고 점진적으로 이루어져야 한다. 사회는 오랜 시간 시행착오를 거치며 축적된 규칙, 제도, 관습의 얽히고 설킨 그물망을 통해 작동한다. 이 모든 것이 어떻게 연결되어 있는지 이해하는 사람은 아무도 없다. 오래된 전통은 터무니없고 시대착오적으로 보일 수 있지만 그것을 폐지하면 예상치 못한 문제가 발생할 수 있다. p455

 

점점 더 이해가 불가능해지고 있는 정보 네트워크는 최근 포퓰리스트 정당과 강력한 지도자가 잇달아 등장하고 있는 이유 중 하나다. 사람들은 더 이상 세상을 이해할 수 없을 때, 그리고 소화할 수 없는 엄청난 양의 정보에 압도될 때 쉽게 음모론에 빠지고, 자신들이 이해하는 대상인 '인간'에게 구원을 요청한다.

우리는 단일 데이터 포인트로 작업하는 것을 선호한다. 그렇기 때문에 대출 신청, 팬데믹, 전쟁 같은 복잡한 문제에 직면할 때 우리는 특정 행동 방침을 취할 하나의 이유를 찾고 다른 모든 고려 사항을 무시하는 경향이 있다. 이것이 단일 원인의 오류다 p470

 

알고리즘은 단순히 대화에 참여하는 것에 그치지 않고 대화를 진두지휘하고 있다. 소셜 미디어의 등장으로 새로운 대화의 규칙을 협상하는 주체는 더 이상 인간이 아니라 알고리즘이다. 19세기와 20세기에 미디어 거물들이 특정 견해를 검열하고 특정 견해를 홍보했을 때도 민주주의가 훼손되었을 것이다. 하지만 적어도 미디어 거물들은 인간이였고, 그들의 결정은 민주적인 감시를 받을 수 있었다. 이해하기 어려운 알고리즘에게 어떤 견해를 퍼뜨릴지 결정하도록 허용한다면 훨씬 더 위험한 상황이 벌어질 것이다.

여론을 조작하는 봇과 이해할 수 없는 알고리즘이 공론장을 지배하게 되면, 민주적 토론이 가장 필요한 시점에 토론이 불가능해질 수 있다. 빠르게 발전하는 신기술에 대해 중대한 결정을 내려야할 때 공론장에는 컴퓨터가 생성한 가짜 뉴스가 범람할 것이고, 시민들은 자신이 인간과 토론하고 있는지, 조작적인 기계와 토론하고 있는지 알 수 없을 것이며, 토론의 가장 기본적인 규칙이나 가장 기본적인 사실관계에 대해서도 합의할 수 없을 것이다.

이런 종류의 무정부적인 정보 네트워크는 진실이나 질서를 만들어낼 수 없으며, 오래 유지될 수도 없다. 우리가 무정부 상태에 이르게 되면, 다음 단계는 아마 독재 정권의 수립일 것이다. 사람들이 약간의 확실성을 얻기 위해 자유를 포기하는 데 동의할 테니 말이다. p482

 

지금은 도리어 정보 기술이 너무 발전해서 민주주의가 불가능해질 상황이다. 만일 인간이 이해할 수 없는 알고리즘이 대화를 장악하고, 무엇보다도 타당한 주장을 억압하면서 증오와 혼란을 부추긴다면, 공개 토론은 유지될 수 없을 것이다. 만에 하나 민주주의가 무너진다면 그것은 기술 발전의 필연적인 결과가 아니라, 새로운 기술을 현명하게 규제하지 못한 인간 탓일 것이다.

앞으로 상황이 어떻게 전개될지는 알 수 없다. 하지만 현재 많은 민주주의 정보 네트워크가 붕괴하고 있는 것은 분명하다. 미국의 민주당원과 공화당원은 2020년 대선에서 누가 승리했는가와 같은 기본적인 사실에조차 합의하지 못하며, 더 이상 예의를 갖춘 대화가 불가능한 지경이 이르렀다. 미국 정치의 기본적인 특징이었던 의회의 초당적 협력은 거의 자취를 갖추었다.

이와 똑같은 급진화 과정이 필리핀부터 브라질까지 다른 많은 민주주의 국가에서 진행되고 있다. 시민들이 서로 대화할 수 없고 서로를 정치적 라이벌이 아닌 적으로 여길 때 민주주의는 유지될 수 없다 p486

 

10. 전체주의: 모든 권력을 알고리즘에게로?

11. 실리콘 장막: 세계 제국인가, 세계 분열인가?

최초의 증기기관이 18세기에 영국 탄광에서 물을 퍼 올리는 데 사용되었을 때만 해도, 그것이 인류 역사상 가장 야심 찬 제국 건설 사업의 원동력이 될 줄은 아무도 몰랐다. 19세기 초 산업혁명이 속도를 낼 때도 앞장서 주도한 것은 민간 기업이었다. 정부와 군대는 증기기관의 잠재적인 지정학적 영향을 비교적 늦게 알아봤기 때문이다.

그 당시 정부나 군대는 그런 상업적 사업에 관여해야 할 이유를 전혀 찾을 수 없었다. 하지만 19세기 중반에 이르러 주요 산업 강대국의 정부와 군대는 근대 산업 기술이 가지는 엄청난 지정학적 잠재력에 눈을 떴다. p510

 

두 디지털 진영은 점점 더 멀어질 기능성이 있다. 중국 소프트웨어는 중국 하드웨어, 중국 인프라와만 소통할 것이고, 실리콘 장막의 반대편에서도 같은 일이 일어날 것이다. 디지털 코드는 인간의 행동에 영향을 미치고 인간의 행동은 다시 디지털 코드에 영향을 미치기 때문에, 두 진영은 서로 다른 궤적을 따라 이동하여 기술뿐만 아니라 문화적 가치, 사회규범, 정치 구조에서도 점점 달라질 가능성이 높다. 수 세대 동안 수럼해왔던 인류는 분기하기 시작하는 중대한 순간을 맞이할 것이다.

수 세기 동안 새로운 정보 기술은 세계화 과정을 촉진하여 전 세계 사람들을 더욱 가까워지게 했다. 하지만 역설적이게도, 오늘날의 정보 기술은 너무나 강력해서 인류를 갈라놓으려 한다. 사람들이 별개의 정보 고치에 간혀 서로 달라지면, 인류는 더 이상 같은 현실을 공유하지 않을 것이다. 최근 수십 년 동안의 핵심 은유가 웹이었다면, 미래의 은유는 고치가 될지도 모른다. p526

 

만일 푸틴 같은 지도자들이 인류가 냉혹한 약육강식의 세계에 갇혀있고 20세기와 21세기 초반의 상대적 평화는 환상에 불과했다는 신념에 따라 움직인다면, 남은 선택지는 포식자가 될 것이냐 먹잇감이 될 것이냐 뿐이다. 이런 선택지가 주어질 때 대부분의 지도자들은 역사에 포식자로 길이 남아, 불행한 학생들이 역사 시험을 위해 암기해야 하는 암울한 정복자 명단에 이름을 올리는 쪽을 선택할 것이다. 하지만 이런 지도자들이 명심해야 할 것은 AI 시대에는 우두머리 포식자가 AI일 가능성이 높다는 점이다.

하지만 우리에게는 이보다 많은 선택지가 있을 것이다. 앞으로 사람들이 어떤 결정을 내릴지 예측할 수는 없지만, 나는 역사학자로서 변화 가능성을 믿는다. 역사의 중요한 교훈 중 하나는 우리가 자연스럽고 영원하다고 생각하는 많은 것들이 사실은 인간이 만들었으며 바뀔 수 있다는 것이다. 하지만 분쟁이 불가피한 것이 아니라고 해서 안주해서는 안 된다. 오히려 그 반대다. 선택을 잘해야 할 막중한 책임이 우리에게 있기 때문이다.

이는 인류 문명이 분쟁으로 소멸한다면 그것은 어떤 자연법칙이나 낯선 기술 탓이 아니라는 뜻이다. 하지만 반대로 생각하면 우리가 노력할 경우 더 나은 세계를 만들 수 있다는 뜻이기도 하다. 이런 관점은 순진한 것이 아니라 현실주의다. 모든 오래된 것은 한때 새로운 것이었다. 역사의 유일한 상수는 변화다. p547-548

 

Epilogue

한 가지 교훈은, 정보의 가장 중요한 역할은 실존하는 현실을 재현하는 것이 아니라 새로운 네트워크를 짜는 것이기 때문에 새로운 정보 기술은 항상 중대한 역사적 변화를 이끌어내는 촉매가 된다는 것이다.

우리는 메소포타미아에 건설된 최초의 도시국가, 기독교의 확산, 미국 독립혁명, 볼셰비키 혁명 같은 역사적 혁명들을 정치적, 이념적, 경제적으로 해석하는 데 익숙하다. 하지만 더 깊은 이해를 얻기 위해서는 이런 혁명들을 정보 흐름의 혁명으로 볼 필요가 있다. 기록되고 유포된 정보는 때로는 사실이었고 자주 틀렸지만, 언제나 많은 사람들 사이에서 새로운 연결을 만들어냈다. p553

 

AI의 발명은 전신이나 인쇄기, 심지어는 문자의 발명보다 중대한 사건일 수 있다. AI는 스스로 결정을 내리고 아이디어를 생성할 수 있는 최초의 기술이기 때문이다. 인쇄기와 양피지 두루마리가 사람들을 연결하는 새로운 수단을 제공했다면, AI는 주체성을 지닌 우리 정보 네트워크의 정식 구성원이다.

앞으로 군대부터 종교까지 모든 네트워크에는 인간과는 다른 방식으로 데이터를 처리하는 수백만 개체의 새로운 AI 구성원이 추가될 것이다. 이들은 이질적인 결정과 이질적인 아이디어, 즉 인간이 떠올릴 수 없는 결정과 아이디어를 도출할 것이다. 많은 이질적인 주체들이 추가되면 군대, 종교, 시장, 국가의 형태가 달라질 수밖에 없다. 정치, 경제, 사회 시스템이 통째로 무너질지도 모르고, 그럴 경우 새로운 시스템이 그 자리를 대신할 것이다 p554

 

우리가 지혜로운 네트워크를 구축하기 위해서는, 정보에 대한 순진한 관점과 포퓰리즘적 관점을 모두 버리고, 무오류성이라는 환상에서 벗어나 강력한 자정 장치를 갖춘 제도를 구축하는 힘들고 다소 재미없는 일에 전념해야 한다. 이것이 이 책의 가장 중요한 메시지다.

자기 수정을 통한 개선은 인류 역사보다 훨씬 오래된 원리다. 그것은 자연의 기본 원리요, 유기체의 근본 바탕이다. 최초의 유기체는 어떤 오류도 범하지 않는 천재나 신에 의해 창조되지 않았으며, 복잡한 시행착오 과정을 통해 출현했다. 40억 년에 걸쳐 점점 복잡해진 돌연변이 메커니즘과 자기 수정 장치들이 니무, 공룡, 정글, 그리고 마침내 인간을 탄생시켰다.

이제 우리는 유기체가 아닌 이질적인 종류의 지능을 불러냈고, 이 지능은 우리의 통제력을 벗어나 우리 종뿐만 아니라 수많은 다른 생명체들까지 위험에 빠뜨릴지도 모른다. 앞으로 우리가 어떤 결정을 내리느냐에 따라 이 낯선 지능을 소환한 것이 치명적인 실수가 될지, 아니면 생명 진화의 희망찬 새 장을 여는 시작이 될지 판가름 날 것이다. p560-561