Hvis mennesket er så klogt, hvorfor er vi så på randen af ​​ødelæggelse? Farerne ved AI

 Hvis mennesket er så klogt, hvorfor er vi så på randen af ​​ødelæggelse?

Yuval Noah Harari.

Jeg er Yuval Noah Harari. Jeg er professor i historie ved Det Hebraiske Universitet i Jerusalem og forfatter til "Nexus", en historie om informationsnetværk fra stenalderen til kunstig intelligens. Hovedspørgsmålet i "Nexus" er, hvis mennesker er så kloge, hvorfor er vi så dumme? Hvorfor er vi på randen af ​​at ødelægge os selv?

Vi har formået at nå månen, at splitte atomet, til at afkode DNA, og alligevel er vi med al vores viden og visdom på randen af ​​økologisk kollaps, måske en tredje verdenskrig. Og vi udvikler også en ekstremt kraftfuld teknologisk kunstig intelligens, som kan komme ud af vores kontrol og slavebinde eller ødelægge os. 

Således udforsker bogen denne mærkelige dynamik i menneskets historie mellem vores viden og visdom og vores selvdestruktivitet.

Dette er et spørgsmål, der ofte er blevet rejst, og et traditionelt teologisk og mytologisk svar på dette spørgsmål er, at der er noget galt med den menneskelige natur. Der er noget i den menneskelige natur, der gør os selvdestruktive, og svaret, som "Nexus" giver, er anderledes. 

Problemet ligger ikke i vores natur. Problemet ligger i vores information. Mennesker, ja, vi er generelt gode og kloge, men hvis man giver gode mennesker dårlig information, træffer de dårlige beslutninger. Det, bogen udforsker, er, hvorfor kvaliteten af ​​vores information ikke er blevet forbedret gennem tusinder af års historie? Hvorfor har selv moderne, meget sofistikerede samfund i det 20. og 21. århundrede været lige så modtagelige som stenalderstammer for massevrangforestillinger og psykose og fremkomsten af ​​destruktive ideologier som stalinisme eller nazisme?

Fremkomsten af ​​fremmed intelligens

Historiefortælling har altid været vigtig fra stenalderen til det 21. århundrede, når et stort antal mennesker forsøger at samarbejde om noget, hvad enten det er at jage en mammut eller at bygge en atombombe. Det er ikke nok blot at kende fakta om den objektive verden, om den objektive virkelighed. Hvis du for eksempel vil bygge en atombombe, skal du kende nogle fakta om den fysiske virkelighed. Du skal vide, at e er lig med mc². Hvis du prøver at bygge en bombe, og du ignorerer virkelighedens fakta, vil bomben ikke eksplodere. Men det er ikke nok blot at kende fakta, fordi for at bygge en atombombe har du brug for millioner af mennesker, der samarbejder om projektet.

Du har brug for fysikere til at skrive komplicerede ligninger, men du har også brug for minearbejdere til at udvinde uran. I fjerne steder rundt om i verden har du brug for ingeniører og håndværkere til at bygge reaktoren og de andre faciliteter. Og du har brug for landmænd til at dyrke kartofler og ris og hvede, så alle fysikere og ingeniører og håndværkere og rengøringsfolk og blikkenslagere i atomkraftværket har noget at spise. Hvis de skal dyrke afgrøderne selv og selv dyrke kartofler og derefter komme tilbage til reaktoren for at udføre alle deres eksperimenter, vil det ikke virke. Så du har virkelig brug for hundredtusindvis, hvis ikke millioner af mennesker, der samarbejder om det.

Hvis du bare fortæller dem fysikkens fakta, at e er lig med mc², vil det ikke motivere nogen til at samarbejde om dette projekt. Det er her, historiefortælling kommer ind i billedet. Så det, der virkelig motiverer folk, er, at det kan være religiøse historier, mytologier og teologier. Det kan være sekulære ideologier som kommunisme eller kapitalisme. Det er altid de mennesker, der er eksperter i historiefortælling, der giver ordrer til folk, der blot kender fakta om kernefysik.

Således i Iran i dag får atomforskerne deres ordrer fra eksperter i shiitisk teologi, i Sovjetunionen i 1950'erne fik eksperterne i atomfysik deres ordrer fra eksperter i kommunistisk ideologi. Selv i en fuldstændig sikker fri markedsøkonomi er der stadig historier, der ligger til grund for systemet, fordi penge og virksomheder også er historier, som mennesker har opfundet. Det er ikke fysiske fakta.

Hvis man for eksempel betragter en dollarseddel, har den ingen objektiv værdi overhovedet, i hvert fald ikke for mennesker. Måske kan termitter spise den, men mennesker kan ikke spise dollars, de kan ikke drikke dem. Der er intet nyttigt, man kan gøre med dem. De har ikke desto mindre værdi, fordi de største historiefortællere i verden, finansministrene, bankfolkene, investorerne, de fortæller os en historie om, at dette stykke papir har værdi. Jeg kan bruge det til at købe brød, kartofler eller bananer eller hvad som helst andet.

Så længe millioner af mennesker tror på denne historie, er de villige til at arbejde på at bygge en atomreaktor, for i slutningen af ​​måneden får de disse få farverige stykker papir. I dag er det selvfølgelig ikke engang papir. De fleste penge i verden i dag er ikke papirsedler og mønter af metal. Det er bare digital information, der flyttes mellem computere. Men så længe folk stadig har tillid til historien om disse digitale oplysninger, virker det.

Folk er villige til at arbejde hårdt i en hel måned eller et helt år bare for at få et par stykker data på deres bankkonto. Når vi tænker på denne form for møde mellem historiefortælling, som er en meget gammel menneskelig evne, der går titusinder af år tilbage, og den nye teknologi AI, synes jeg ikke, vi skal starte med ord som risiko, trussel eller fare. Det er bedre bare at forstå den enorme betydning af det, der sker lige nu.

Gennem historien, i titusinder af år, var de eneste væsener, der kunne opfinde historier, hvad enten det var historier om guder eller historier om penge, mennesker. Så vi levede indesluttet i en kulturel verden konstrueret af den menneskelige fantasi. Hvis du læser en hellig bog, eller hvis du læser en økonomisk teori, eller hvis du lytter til en sang eller lytter til et musikstykke, kom dette ud af et andet menneskes sind. Så vi levede i en menneskelig verden.

Nu, for første gang i historien, er der en anden enhed. Der er en anden agent derude, der kan skabe historier, økonomiske teorier, nye slags valutaer, musik, digte, billeder, videoer, og denne nye enhed er AI. Hvad sker der med det menneskelige samfund? Hvad sker der med menneskelivet, hvis vi i stigende grad lever vores liv indesluttet i de kulturelle artefakter, der kommer fra ikke-menneskelig intelligens, fra en fremmed intelligens?

Akronymet AI stod traditionelt for kunstig intelligens, men jeg tror, ​​det er mere præcist at tænke på det som et akronym for fremmed intelligens, fordi kunstig intelligens giver indtryk af, at det er en artefakt, som vi skaber og kontrollerer, og AI bliver for hvert år, der går, mindre og mindre kunstig og mere og mere fremmed i den forstand, at vi ikke kan forudsige, hvilke nye historier, ideer og strategier den vil komme med. Den tror, ​​den opfører sig på en fundamentalt fremmed måde.

Jeg giver to eksempler for at præcisere dette, fordi der er en enorm forvirring omkring AI i dag. Der er så meget hype omkring AI, især på markedet. Hvis du vil sælge noget til folk i dag, kalder du det AI. Så alt bliver nu til AI, og så forstår folk det ikke. Så hvad er det? Og hvis du tænker, lad os sige, at nogen prøver at sælge dig en kaffemaskine, og de fortæller dig, at dette er en AI-kaffemaskine, hvordan ved du så, hvad det betyder, og om det er sandt?

Ikke alle automatiske maskiner er en AI. Hvis denne kaffemaskine, du trykker på en knap, lad os sige til espresso, og maskinen producerer og giver dig en kop espresso, er det ikke AI. Den følger simpelthen de forprogrammerede ordrer fra sine menneskelige skabere, hvilket er kendetegnende for AI. Det, der gør AI til AI, er, at den er i stand til at lære og ændre sig selv og komme med beslutninger og ideer, som vi ikke kan forudse.

Så hvis du nærmer dig kaffemaskinen, og kaffemaskinen, før du trykker på en knap, siger til dig: "Hej, hej, jeg har holdt øje med dig den sidste måned, og baseret på alle de oplysninger, jeg har samlet om dig og mange andre brugere, og baseret på tidspunktet på dagen og dit ansigtsudtryk eller hvad som helst, forudsiger jeg, at du nu vil have en espresso. Så jeg tog mig den frihed at forberede en kop espresso til dig." Dette er en AI. Hvis den går et skridt videre og siger: "Jeg har faktisk opfundet en ny drik, som du aldrig har smagt før, og jeg kalder den bestpreso. Og jeg tog mig også den frihed at forberede den til dig, fordi jeg tror, ​​du ville kunne lide den." Dette er en AI-kaffemaskine.

Dette er ikke bare teori, det ser vi også overalt omkring os. Et af nøgleøjeblikkene i AI-revolutionen tilbage i 2016 var, da AlphaGo besejrede Lee Sedol, verdensmesteren i spillet Go. Go er et strategisk brætspil, der er langt mere komplekst end skak, der blev opfundet for mere end 2000 år siden i Kina, og det blev en kulturel skat i Østasien.

I mere end 2000 år spillede titusindvis af mennesker i Østasien Go, og hele tankeskoler og filosofier udviklede sig omkring dette spil, fordi det blev set som et spejl for livet og som en god forberedelse til politik og til at træffe beslutninger i verden. (det klassiske strategispil Go (på kinesisk Weiqi), som regnes for at være verdens ældste brætspil, der stadig spilles i dag).Folk troede, at vi vidste, hvordan man spiller Go, og AlphaGo lærte sig selv at spille Go. Og inden for få uger overgik det den visdom, som menneskeheden havde akkumuleret ved titusindvis af mennesker over mere end 2000 år. (se her: https://godojo.dk/velkommen/)

Det mest fantastiske ved dens sejr var, at den brugte en strategi, der blev anset for at være usandsynlig. Da den spillede sine afgørende træk, forstod Go-eksperterne ikke, hvad det var - ingen spiller Go på den måde. Og det viste sig at være en genial strategi. Det viste sig også, at vores menneskelige sind i mere end 2000 år kun har udforsket en meget begrænset del af Gos landskab.

Hvis du forestiller dig alle de måder, du kan spille Go på som en slags planet med en geografi, og mennesker sad så fast på. én ø på planeten Go i mere end 2000 år, fordi menneskelige sind simpelthen ikke kunne forestille sig at rejse ud over denne lille ø. Og så kom AI, og indenfor meget kort tid opdagede den helt nye kontinenter på planeten Go.

Dette vil sandsynligvis ske på flere og flere områder, inden for finans, kunst, politik, religion. Så før vi tænker på det i form af risici eller trusler eller muligheder. Tænk bare på, hvad det ville betyde at leve på en planet, der i stigende grad er formet af historier og produkter ved en fremmed intelligens.

Hvordan informationsteknologi former samfundet

Hver gang en ny informationsteknologi blev opfundet, ændrede den fuldstændigt samfundet, politikken og kulturen. For omkring 5.000 år siden fandt en af ​​de vigtigste revolutioner inden for informationsteknologi sted med opfindelsen af ​​skrift. Fra et teknisk perspektiv virkede det at opfinde skrift ikke af meget. Vi befinder os i det gamle Mesopotamien, det der i dag er Irak, for omkring 5.000 år siden. Det involverer dybest set mudder og en pind.

Folk begyndte at tage lertavler, og ler er i bund og grund bare mudder. De tager en pind, et rør, og de præger tegn på lertavlen og bevarer derefter lertavlen. Dette er et dokument, dette bevarer optegnelser over forskellige ting. Så dette er opfindelsen af ​​at skrive, folk leger med mudder. Og dette havde en enorm indflydelse.

Så for at give blot ét eksempel igen, tænk på ejerskab. Hvad vil det sige at eje noget? Lad os sige, at jeg har en mark. Hvad betyder det, at denne mark er min? Så hvis du bor i det gamle Mesopotamien eller et andet sted i verden, før du skriver, betyder ejerskab en fælles aftale mellem mine naboer, folkene i min landsby, om, at denne mark er min. Så de græsser ikke deres geder der, og de plukker ikke frugt der uden min tilladelse.

Men fordi ejerskab betyder en aftale i fællesskabet, begrænser det individets magt. Jeg kan ikke sælge min mark til en anden, medmindre jeg får mine naboers samtykke, fordi de bestemmer, hvem der ejer hvilken mark. Det betyder også, at en fjern konge i en hovedstad, tusind kilometer væk, ikke kan vide, hvem der ejer hvad, fordi der ikke er nogen optegnelser, og han kan ikke vide, hvem hver mark i hver landsby tilhører. Så det gør det meget vanskeligt at beskatte ejendom, hvilket gør det meget vanskeligt at opbygge store kongeriger og imperier.

Så kommer der mudder, hvor man skriver: Man har disse lertavler. Pludselig betyder det at eje en mark, at der er et stykke tørt mudder et sted med nogle skilte på, hvor der står: "Denne mark er min". Og det betyder, at jeg nu kan sælge min mark til nogen uden at få mine naboers tilladelse, til at overføre marken til en anden person i bytte for, jeg ved ikke, et par stykker guld, jeg behøver ikke naboernes samtykke. Jeg giver bare personen dette stykke ler, tørt mudder. Dette er ejerskab.

Det betyder også, at kongen i den fjerne hovedstad nu kan oprette et arkiv over alle ejendomsregistre i mange landsbyer. Og han har bureaukrater, der ved, hvordan man læser disse lertavler. De ved, hvem der ejer hver mark. I adskillige landsbyer kan man begynde at have skattesystemer. Man kan begynde at have kongeriger og imperier.

Paradoksalt nok er der i dette tilfælde mange andre påvirkninger. Men i dette tilfælde, opfindelsen af ​​det skrevne dokument, giver på den ene side individet magt og skaber grundlaget for private ejendomsrettigheder og skaber grundlaget for storstilede autoritære systemer af kongeriger og imperier.

Vi springer 5.000 år fra det gamle Mesopotamien til det 20. århundrede. Fremkomsten af ​​massemedier og masseinformationsteknologi, telegraf, radio og fjernsyn. På den ene side danner de nu grundlaget for storstilede demokratiske systemer. På den anden side, for storstilede totalitære systemer. Før fremkomsten af ​​moderne informationsteknologi, var det umuligt at skabe hverken storstilede demokratier eller storstilede totalitære regimer.

Totalitære regimer, hvilket betyder regimer, der forsøger at kontrollere folks liv i sin helhed. 

Gamle konger i Mesopotamien, romerske kejsere eller kinesiske kejsere havde en meget begrænset kapacitet til at indsamle information om folket i deres kongerige. Så ja, de hævede skatterne, og de brugte skatterne til at betale for soldater og opbygge hære, men de kunne ikke mikrostyre de sociale, økonomiske og kulturelle liv for hvert enkelt individ i landet. De havde ikke den nødvendige information til at gøre det.

Storstilet totalitarisme optræder i det 20. århundrede for første gang i Sovjetunionen efter den bolsjevikiske revolution. Og det er baseret på præcis den samme teknologi, der på præcis samme tid fører til fremkomsten af ​​de første massedemokratier i USA og Storbritannien og andre steder rundt om i verden.

Alle informationsteknologier op til det 21. århundrede var organiske netværk, fordi det i sidste ende var baseret på vores organiske hjerne, og dette havde mange implikationer. Organiske enheder lever af cyklusser. Vi kører i cyklusser. Nogle gange er det dag, nogle gange er det nat, der er vinter og sommer. Der er vækst og forfald, der er tider til aktivitet. Og så er der tider til søvn og hvile.

Alle informationsnetværk tidligere i historien havde disse cyklusser. Selv hvis du tænker på de finansielle markeder, så tænk på Wall Street. Wall Street adlød også indtil i dag denne organiske logik, markedet er kun åbent mandag til fredag, kl. 9:30 om morgenen tror jeg, indtil klokken fire om eftermiddagen. Og så er weekenden slut. Sådan fungerer organiske væsener, selv bankfolk og investorer og finansfolk, så længe de er mennesker og ikke algoritmer, har de brug for tid til at hvile, og de har brug for tid til at være sammen med deres familie og venner. Så markedet tager hvile.

En anden ting er, at der altid er fritid, og der er altid, derfor også privat tid. Indtil AI's fremkomst kunne selv de mest totalitære regimer, som i Sovjetunionen, ikke overvåge, de kunne ikke overvåge alle hele tiden. Sovjetunionen havde ikke nok KGB-agenter til at følge hver eneste sovjetiske borger 24 timer i døgnet. Selv hvis man på en eller anden måde formåede at følge alle mennesker hele tiden, havde de ikke analytikere, nok analytikere til at gennemgå al informationen og give den mening.

Selv hvis en KGB-agent så dig gøre noget og skrev en rapport om det, var der en meget stor chance for, at denne rapport bare ville samle støv i KGB's arkiver, fordi de ikke havde nok analytikere til at læse millioner og atter millioner af rapporter, der skrives hver dag om alle sovjetiske borgere. Så organiske informationsnetværk kører altid i cyklusser. Der er altid tid til at hvile, og der er altid et vist mål af privatliv.

Vi ser nu fremkomsten af ​​en ny type informationsnetværk, som er uorganisk og baseret på kunstig intelligens. Det behøver ikke at have nogen pauser, det hviler aldrig, og der er intet privatliv, som potentielt kan udslette privatlivet fuldstændigt. Computere, de er ligeglade med, om det er nat eller dag, om det er sommer eller vinter, de behøver ikke ferie, de har ikke familier, de ønsker at tilbringe tid med. De er altid tændt. Derfor kan de tvinge os til altid at være tændt, altid at blive overvåget, altid at blive overvåget.

Dette er ødelæggende for organiske dyr som os selv. Hvis man tvinger et organisk væsen til at være tændt hele tiden, kollapser det til sidst og dør. Vi ser det ske overalt omkring os med en 24-timers ny cyklus, der aldrig hviler. Markederne hviler aldrig, politik hviler aldrig. Så de mennesker, der er involveret i disse erhverv, de kan aldrig rigtig hvile, og det går hårdt ud over dem.

Det er meget, meget vanskeligt og vil snart blive umuligt. Alt, hvad du gør eller siger på et hvilket som helst tidspunkt, kan blive set og optaget, og så kan det møde dig om 10 eller 20 år. Du gør noget dumt, men lovligt, til en universitetsfest i dag, når du er 18, måske om 20 år, når du stiller op til et politisk embede eller du vil være dommer eller hvad som helst, det er der. Så dybest set er hele livet ved at blive som én lang jobsamtale. Alt, hvad du gør på et hvilket som helst tidspunkt, er en del af din jobsamtale om 20 år.

Alt dette er gjort muligt af, at AI er den første teknologi i historien, der kan træffe beslutninger selv. Indtil i dag blev alle vores store informationsnetværk administreret, de var befolket af menneskelige bureaukrater, hvad enten det var offentlige kontorer eller virksomheder, eller hære, eller banker eller skoler. Alle beslutninger skal i sidste ende træffes af en organisk menneskehjerne. Nu har AI evnen til at træffe beslutninger selv.

Det, vi står over for, er ikke et Hollywood science fiction-scenarie med én stor, ond computer, der forsøger at overtage verden. Nej, det er slet ikke sådan. Det er mere som millioner og atter millioner af AI-bureaukrater, der får mere og mere autoritet til at træffe beslutninger om os i banker, i hære, i regeringer. Og igen, der er også et godt potentiale i det. De kan give os den bedste sundhedspleje i historien.

Men der er selvfølgelig enorme risici, når magten skifter fra organiske mennesker til disse fremmede, uorganiske AI'er. Det bliver bare mere og mere vanskeligt for os at forstå de beslutninger, der former vores liv. Hvad sker der, hvis du ikke længere kan forstå, hvorfor banken nægtede at give dig et lån, hvorfor regeringen eller hæren gjorde dit eller dat? Og det er den verden, vi går ind i.

En mærkelig kendsgerning er, at der i det mindste i USA allerede er en juridisk vej åben for AI'er til at blive juridiske personer, fordi i USA, i modsætning til andre lande rundt om i verden, betragtes virksomheder som juridiske personer, der endda har rettigheder som ytringsfrihed. Indtil i dag var dette en slags juridisk fiktion, fordi en virksomhed som Google ikke kunne træffe nogen beslutninger. Kun de mennesker, der var ansat af Google, traf alle beslutningerne.

Men nu kan AI træffe beslutninger selv. Så hvad sker der, hvis du nu inkorporerer en AI, du går gennem denne juridiske proces, hvor du inkorporerer en AI, og jeg ved ikke, du kalder det Boole, nu er det Boole-koncernen. Den har ingen menneskelige ansatte, den drives af en AI, og den er nu en juridisk person, der ifølge amerikansk lov har mange rettigheder og friheder.

Så for eksempel kan den åbne en bankkonto, virksomheder åbner bankkonti. Hvorfor kan AI'en ikke gøre det? Det er en virksomhed. Den kan tjene penge, den kan gå online til websteder som TaskRabbit og tilbyde sine tjenester til klienter, mennesker eller ikke-mennesker, og tjene penge. Og så tager den sine penge og investerer dem. Fordi den er så god til at træffe investeringsbeslutninger, tjener den milliarder og atter milliarder.

Vi kunne være i en situation, hvor den rigeste person i USA ikke er et menneske. Den rigeste person i USA er en inkorporeret AI. En anden ting, som det amerikanske retssystem tillader, er, at disse juridiske personer giver politiske donationer, fordi det betragtes som en del af ytringsfriheden. Så nu giver den rigeste person i USA milliarder af dollars til kandidater til gengæld for, at disse kandidater udvider AI'ers rettigheder, som den juridiske vej til dette. Dette er ikke længere et slags science fiction-scenarie. Den juridiske og praktiske vej til denne situation er åben.

Vigtigheden af ​​menneskelige institutioner

For at håndtere AI'ens æra. Det burde være klart, at vi ikke kan forudse, hvordan denne teknologi vil udvikle sig i løbet af de næste par årtier. Så det er umuligt at tænke over alle farerne på forhånd og regulere imod dem eller hvad som helst. Det, vi har brug for, er levende institutioner bemandet med de bedste menneskelige talenter og med adgang til den bedste teknologi, der vil være på forkant med den teknologiske udvikling og vil være i stand til at identificere og reagere på farer og trusler, når de opstår.

Jeg taler ikke om rigid regulering på forhånd, jeg taler om behovet for nye institutioner, fordi man aldrig kan stole på lovens bogstav eller på et karismatisk individ, et geni for at gøre det. I historien har mennesker igen og igen stødt på disse problemer, og det vender altid tilbage til de samme løsningsinstitutioner. Og i gode institutioner er de karakteriseret ved at have stærke selvkorrigerende mekanismer.

En selvkorrigerende mekanisme er en mekanisme, der tillader en enhed, et menneske, et dyr eller en institution at identificere og rette sine egne fejl. Du behøver ikke at stole på miljøet, på noget derude for at rette dine fejl. Du kan rette dine egne fejl. Dette er et grundlæggende træk ved enhver fungerende organisme.

Hvordan lærer et barn at gå? Ja, barnet får en vis instruktion fra forældre, fra lærere, men det er mest af alt selvforbindelser. Du prøver at gå, du falder ned, du rejser dig igen, du prøver noget andet, du falder ned igen, du rejser dig igen, og trin for trin lærer du at gå ved at identificere og rette dine egne fejl. Dette gælder hele vejen til hele lande. Dette er kernen i demokratiske systemer, denne selvkorrigerende mekanisme. Hvad er valg? Valg er en selvkorrigerende mekanisme. Du giver magt til et bestemt parti eller individ. Lad os prøve din politik. Hvis du efter et stykke tid tror, ​​du har begået en fejl, at dette var den forkerte politik, at dette var det forkerte parti, kan du sige: Jeg begik en fejl.

a

Der er endnu en valgrunde. Vi lavede en fejl sidste gang, lad os prøve noget andet denne gang. I diktaturer findes der ingen sådan selvkorrigerende mekanisme. Hvis Putin eller Maduro laver en forfærdelig fejl, er der ingen mekanisme i Rusland i dag, der kan identificere og rette Putins egne fejl.

Når vi kommer til udfordringen med AI, har vi brug for vores institutioner, der er i stand til at identificere og rette deres fejl, og AI's fejl, efterhånden som teknologien udvikler sig. Et andet vigtigt eksempel på en selvkorrigerende mekanisme er den måde, moderne videnskab fungerer på. I modsætning til traditionelle religioner, karakteriseret ved at hævde at være ufejlbarlige, at deres hellige bog, deres hellige tradition aldrig laver nogle fejl, og derfor kan man ikke betvivle den.

Der er for eksempel ingen mekanisme i kristendommen eller jødedommen til at identificere og rette fejl i Bibelen. Jeg taler ikke kun om faktuelle fejl, heller ikke moralske fejl. Bibelen, for eksempel, de 10 bud, støtter slaveri. Det 10. bud siger, at du ikke må begære din næstes mark eller din næstes okse eller din næstes slaver.

Ifølge det 10. bud har Gud intet problem med, at folk ejer slaver. Han har bare et problem med, at folk begærer andres slaver. Nej, nej, nej, nej, nej. Det er ikke godt. Selv i dag, med alt det, der har ændret sig, siden disse ord blev skrevet i de første årtusinder f.Kr., er der ingen mekanisme til at korrigere Bibelens tekst.

Man kan fortolke dem på forskellige måder, men man kan ikke ændre teksten. Dette står i kontrast til, hvad vi finder både i videnskaben og i moderne demokratier. Den amerikanske forfatning muliggjorde oprindeligt også slaveri, men den havde også en ændringsmekanisme, en selvkorrigerende mekanisme, som til sidst ændrede forfatningen for at forbyde slaveri.

Og så fungerer videnskaben på en analog måde, at hvis man har en teori om, hvordan planeterne bevæger sig, eller hvordan organismer udvikler sig, er hele videnskaben i virkeligheden en selvkorrigerende mekanisme. Det eneste, som videnskabelige tidsskrifter udgiver, er rettelser til tidligere publikationer. I religiøse publikationer, nej, de udgiver igen og igen den samme lære.

Men i akademiske tidsskrifter, inden for historie eller fysik eller medicin, udgiver de aldrig det samme to gange. Det eneste, de udgiver, er rettelser, enten for at overse fejl. Hvis der er noget i Newtons teori, som enten er ufuldstændigt eller fejlagtigt, så vil de udgive Einsteins rettelse til Newtons fysik.

Ethvert menneskeligt system i stor skala er baseret på et usandsynligt ægteskab mellem mytologi og bureaukrati. Hvis man for eksempel tænker på et land, så mytologi forklarer rationalet, hvorfor skulle landet overhovedet eksistere? Hvert land, for at overbevise sine egne borgere om, hvorfor det skulle eksistere, fortæller dem en slags national eller religiøs mytologi, som om vi er Guds udvalgte folk, og vi har en helt særlig rolle her på jorden.

Dette er mytologidelen. Den giver motivationen, inspirationen, grunden, men for rent faktisk at have et fungerende land er det ikke nok, hvis borgerne tror på mytologien om, at de er Guds udvalgte folk med en mission på jorden. Man skal også bygge veje, hospitaler, hære og kloaksystemer.

Ingen storby, i hvert fald ikke en moderne by, hvis man vil undgå epidemier, kan fungere uden et kloaksystem. Og for at bygge et kloaksystem har man brug for en masse arbejdere og ingeniører, og man skal betale dem. Så man skal opkræve skatter fra borgerne for at bygge et kloaksystem.

Så igen, her kommer mytologien tilbage i billedet. Mytologien opmuntrer folk eller forklarer, hvorfor de skal betale deres skat ærligt, så andre borgere i vores land kan nyde godt af gode sundhedsydelser og et godt kloaksystem, der beskytter os mod kolera og så videre.

De fleste andre sociale pattedyr, faktisk alle andre sociale pattedyr, bekymrer sig kun om en lille kreds af dyr, som de personligt ved, at de har en nær forbindelse med.

Dette var også sandt for vores menneskelige forfædre for hundredtusindvis af år siden. Nationalismens og patriotismens mirakel er, at det får os til at skræmme millioner af fremmede, som vi aldrig har mødt i vores liv. Og igen, nationalisme handler ikke om at hade udlændinge og ville dræbe andre.

Det handler om at elske vores landsmænd og vise denne kærlighed, for eksempel ved at betale skat ærligt, så andre mennesker i landet kan beskyttes mod kolera ved at bygge et kloaksystem.

Information er ikke sandhed

Den største misforståelse om information er, at information er sandhed, og information ikke er sandhed. Det meste information er ikke sandhed. Sandheden er en meget sjælden og dyr form for information. Hvis du vil have sandhed, skal du investere meget i at få den. Jeg vil give et eksempel, et historisk eksempel.

Lad os tænke på billeder og portrætter. Hvad er det mest almindelige portræt i verden? Hvad er det mest berømte ansigt i verden? Det er Jesus. I løbet af de sidste 2000 år har folk skabt milliarder og atter milliarder af portrætter af Jesus. Og de hænger i utallige kirker og katedraler og private hjem og så videre.

Ikke et eneste af dem er en autentisk skildring af Jesus. De er alle 100% fiktive skildringer, fordi vi ikke aner, hvordan Jesus så ud. Der er ikke et eneste portræt lavet i hans levetid. Der er ikke en eneste sætning i Bibelen, der fortæller os, om han var fed eller tynd, høj eller lav, sort hår, blond hår, ingenting. Så alle disse billeder er fiktion.

Det er meget nemt at skabe fiktiv information, fordi man ikke behøver at undersøge noget. Man behøver ikke beviser. Man finder bare på noget og tegner det. Hvis man vil male et sandfærdigt billede af noget, af en person, af en økonomi, af en krig, skal man investere en masse tid, kræfter og penge i research for at sikre, at man får det rigtigt.

Hvis vi bare oversvømmer verden med information og forventer, at sandheden flyder op, det vil den ikke, den vil synke. Jo mere vi oversvømmer verden med information, medmindre vi gør en indsats for at konstruere institutioner, der investerer i sandhed, vil vi blive oversvømmet af fiktion, illusioner, vrangforestillinger og junkinformation.

Det meste information er ikke sandhed, og det meste information forsøger at opnå magt ved at skabe orden, ikke ved at sprede sandheden. Hvis man vil have millioner af mennesker til at samarbejde om noget, er den nemmeste måde at gøre det på at skabe en fiktiv mytologi eller ideologi og overbevise en masse mennesker om at tro på den. Og måden at gøre det på er at bombardere dem med flere og flere historier, billeder og så videre af ens yndlingsmytologi eller -ideologi.

Sådan får man magt. Og man er nødt til at kende noget sandhed. Igen, et system, der er fuldstændig uvidende om sandheden, vil selvfølgelig kollapse, men i denne balance, hvor meget sandhed har man brug for for at konstruere Sovjetunionen, og hvor meget fiktion og vrangforestillinger har man brug for for at konstruere Sovjetunionen? Man har brug for lidt sandhed og en masse fiktion.

Dette gælder for de fleste af de store politiske systemer, der har eksisteret gennem menneskets historie. Vi har en tendens til at tænke på totalitarisme og demokrati som forskellige etiske systemer, men de er forskellige informationsnetværk. Information flyder forskelligt i totalitære versus demokratiske netværk. Totalitære netværk er centraliserede, al information flyder til ét sted, hvor alle beslutninger træffes, og de mangler stærke selvkorrigerende mekanismer.

Der er ingen mekanisme i Sovjetunionen til at identificere og rette Stalins fejl. Demokratier er derimod distribuerede informationsnetværk med masser af selvkorrigerende mekanismer. Beslutningerne i USA træffes ikke kun i Washington. Kun en lille del af alle beslutninger træffes der. De fleste beslutninger træffes af private virksomheder, frivillige foreninger, enkeltpersoner osv.

Og der er masser af mekanismer til at rette fejlene, selv hos de mest magtfulde politikere og virksomheder. Så dette er den afgørende forskel med hensyn til informationsstrøm mellem totalitarisme og demokrati. I det 20. århundrede fungerede totalitære systemer dårligere end demokratiske systemer. Da al informationen flød til ét sted, kun til Moskva, blev folkene der overvældet af al informationsstrømmen, og de kunne ikke træffe de rigtige beslutninger, og der var ingen mekanisme til at rette deres fejl. Og til sidst kollapsede systemet.

Et distribueret informationssystem var meget bedre, da beslutningstagerne var mennesker. Men AI kunne give totalitære systemer en fordel i det 21. århundrede, hvorfor? Fordi AI kan behandle enorme mængder information meget hurtigere og mere effektivt end nogen kommunistisk bureaukrat. Når man oversvømmer et menneske med for meget information, kollapser mennesket. Når man oversvømmer en AI med information, bliver AI'en bedre.

Der er et scenarie, hvor det ikke er deterministisk, det er ikke sikkert, men der er et scenarie, hvor totalitære systemer vil blive bedre i det 21. århundrede på grund af AI. Endnu et problem med totalitære systemer er, at de ikke har nogen selvkorrigerende mekanismer. Dette gælder stadig selv i AI'ens tidsalder. Det gør det endnu farligere.

Et totalitært system, der er afhængigt af AI, hvor AI'en begår en fejl. AI'er er fejlbarlige, AI'er er ikke Gud. De begår fejl. Hvis man giver al magten til en totalitær AI, og man ikke har nogen måde at rette dens fejl på, kan dette vise sig at være katastrofalt for hele den menneskelige civilisation.

For menneskelige diktatorer er AI et særligt stort problem, fordi det er meget, meget nemmere for en AI at tage magten i et diktatur end at kidnappe magten i et demokrati. Fordi al magt i et diktatur allerede er koncentreret i hænderne på blot én paranoid leder. AI'en skal lære at manipulere netop dette ene individ for at tage magten i landet. Så faren for, at AI tager magten i et land, er meget større i diktaturer end i demokrati.

I demokrati er et stort problem meget anderledes. Demokrati er en samtale. Hele meningen med demokrati er, at man har et stort antal mennesker, der taler om dagens emner. Forestil dig nu en stor gruppe mennesker, der står i en cirkel og taler, og pludselig kommer en gruppe robotter ind i cirklen og begynder at tale meget højt og meget følelsesladet og overbevisende, og man kan ikke se forskel på, hvem der er et menneske, og hvem der er en robot.

Det er en situation, vi oplever nu, og det er ikke tilfældigt, at den demokratiske samtale bryder sammen over hele verden, fordi algoritmerne kaprer den. Vi har den mest sofistikerede informationsteknologi i historien, og vi mister evnen til at tale med hinanden for at føre en fornuftig samtale.

For at beskytte samtalen mellem mennesker er vi nødt til at forbyde bots fra samtalen. Vi er nødt til at forbyde falske mennesker. AI'er bør kun være velkomne til at tale med os, hvis de identificerer sig som AI'er. Hvis du taler online med nogen, og du ikke ved, om det er en AI eller et menneske, vil det ødelægge den demokratiske samtale. Så vi er nødt til at forbyde det.

Hvis vi vil sikre os, at vi får sandheden frem

 Den eneste måde at gøre det på er at investere i institutioner som akademiske forskningsinstitutioner, som aviser, der investerer en stor indsats i at finde sandheden. Hvis vi bare forventer, at en strøm af information vil bringe os sandheden, det vil den ikke. Den vil overdøve den sjældne og dyre form for information, som er sandhed, med en strøm af falsk og junk information.

Som individer er min bedste anbefaling at gå på en informationsdiæt, på samme måde som folk går på slankekure. Information er sindets føde. Vi har lært, at det ikke er godt for vores krop at spise for meget mad eller for meget junkfood. Så mange mennesker er meget opmærksomme på, hvad de fodrer deres krop med.

Vi bør være lige så opmærksomme på, hvad vi fodrer vores sind med. Mere information er ikke altid godt for dig, det er faktisk godt fra tid til anden, at tage dig tid til informationsfaster. Når vi ikke indtager mere, fordøjer og afgifter vi bare. Og på samme måde bør vi holde øje med kvaliteten af ​​den information, vi fodrer vores sind med. Hvis vi fodrer vores sind med al denne useriøse information fuld af grådighed, had og frygt, vil vi få syge sind.