Hoppa till innehållet

Teknologisk singularitet

Från Wikipedia
(Omdirigerad från Singulariteten)
En uppdaterad version av Moores lag under en period av 120 år (baserat på Kurzweils graf). De 7 senaste datapunkterna är alla NVIDIA GPUs.

Den teknologiska singulariteten är en spekulativ hypotes om en framtida tidpunkt, som skulle kunna uppstå om och när maskiners förmåga att förbättra sig själva genom artificiell intelligens får ett genombrott, vilket i sin tur skulle ge upphov till teknologiska framsteg utan motstycke.[1][2]

Den teknologiska singulariteten är ett vanligt tema eller element i science fiction.

Den mänskliga hjärnan står som inspirationskälla för forskare inom artificiell intelligens.

I en av de första användningarna av termen "singulariteten" i kontexten av teknologisk utveckling, skrev Stanislaw Ulam 1958 om en konversation med John von Neumann om accelererande förändring:[3]

Konversationen fokuserades på den ständigt accelererande utvecklingen av teknologi och förändringar i människans leverne, vilket ger bilden av att nalkas en sorts essentiell singularitet i den mänskliga utvecklingshistorien, bortom mänskliga förehavanden, som vi känner till dem.

Matematikern I. J. Good skrev först om en "intelligensexplosion", med hypotesen att om maskiners intelligens skulle överstiga människans bara lite grand, då skulle de kunna förbättra sin egen design på sätt som inte är förutsägbara hos skaparna, och därmed rekursivt förbättra sig själva med mycket större intelligens.

Han spekulerade om konsekvenserna av maskiner som är smartare än människor[4]:

Låt en ultraintelligent maskin definieras som en maskin som kan långt mer överstiga alla intellektuella aktiviteter av vilken människa som helst oavsett hur smart den är. Då designen av maskiner är en av dessa intellektuella aktiviteter kan en ultraintelligent maskin konstruera ännu bättre maskiner; det skulle odiskutabelt bli en 'intelligensexplosion,' och intelligensen hos människan skulle bli lämnad långt efter. Därför är den ultraintelligenta maskinen den sista uppfinningen som människan någonsin behöver göra.

Matematikern och författaren Vernor Vinge populariserade Goods uppfattning om en intelligensexplosion under 1980-talet och kallade skapelsen av den första ultraintelligenta maskinen för singulariteten. I tryck skrev han första gången om ämnet i januariutgåvan av tidningen Omni 1983, vilken innehåller det ofta citerade utlåtandet: "Inom trettio år kommer vi ha de teknologiska medel som krävs för att skapa supermänsklig intelligens. Kort därefter kommer den mänskliga eran att ta slut."[5] Vinge har därefter modifierat sin tidsuppskattning om detta, och lägger till: "Jag skulle bli förvånad om detta händer före 2005 eller efter 2030." Vernor Vinge kallade senare denna händelse för "singulariteten" som en analogi mellan det urartade tillstånd som modern fysik förutspår i närheten av en gravitationell singularitet ("svart hål") och den drastiska förändringen i samhället som han anser skulle följa en intelligensexplosion. Som följd av introducerandet av singulariteten genom Vinges romaner har singulariteten blivit ett vanligt tema eller element i science fiction.

Kurzweil skriver att på grund av paradigmskiften löper en trend av exponentiell tillväxt från integrerade kretsar till tidiga transistorer, elektronrör, reläer och elektromekaniska datorer.

Vissa förespråkare för singulariteten argumenterar för dess oundviklighet genom extrapolering av tidigare trender, speciell de som gäller de allt kortare mellanrummen mellan förbättringar till teknologi.

Gerald S. Hawkins skriver att förekomsten av "mindsteps", dramatiska och oåterkalleliga förändringar i paradigm eller världsåskådningar, kommer att förekomma allt oftare enligt hans ekvation. Han pekar på uppfinnandet av skrivkonsten, matematik och datorer som exempel på sådana förändringar.[6]

Ray Kurzweil drar slutsatsen i sin historieanalys att teknologiska framsteg följer ett mönster av exponentiell tillväxt, följt av vad han kallar The Law of Accelerating Returns. Han generaliserar Moores lag, vilken beskriver geometrisk tillväxt i komplexiteten i integrerade kretsar, till att inkludera teknologier från långt innan den integrerade kretsen uppfanns. Kurzweil skriver att när teknologi kommer till en barriär kommer ny teknologi att ta sig över den. Han förutspår att paradigmskiften kommer att bli allt mer vanliga, ledande till "teknologisk förändring så snabb och genomgående att den representerar en brytning i den mänskliga historien".[2]

Kurzweil tror att singulariteten kommer att inträffa före slutet av 2000-talet, och sätter datumet till 2045.[7] Hans prediktioner skiljer sig från Vinges i det att han föreställer sig en gradvis övergång till singulariteten, snarare än Vinges snabba självförbättrande supermänskliga intelligens.

Acceleration Studies Foundation är en ideell stiftelse grundad av John Smart, och engagerar sig i folkbildning och forskning rörande accelererande förändring.[8] Stiftelsen håller i Accelerating Change-konferenserna på Stanford University, och håller i den utbildande hemsidan Acceleration Watch[9].

Vinge förutser att supermänskliga intelligenser, oavsett hur de skapades, kommer att kunna förstärka sina egna psyken snabbare än människorna som skapade dem. "När intelligens som är bättre än människans driver utvecklingen," skriver Vinge, "så kommer den utvecklingen ske snabbare." Denna återkoppling av självförbättrande intelligens, förutser han, kommer att orsaka en stor mängd teknologiska framsteg inom en kort tidsperiod.

Bortsett från de flertaliga spekulativa metoderna för förstärkning av den mänskliga intelligensen är den icke-mänskliga artificiella intelligensen (speciellt seed AI) det mest populära alternativet för organisationer som verkar för ett framåtskridande mot singulariteten, ett val som Singularity Institute for Artificial Intelligence skriver om i artikeln "Why Artificial Intelligence?".[1]

Det är svårt att direkt jämföra kiselbaserad hårdvara med neuroner, men som Anthony Berglas noterar så närmar sig taligenkänning mänsklig kapacitet, och att denna förmåga kräver 0,01 % av hjärnvolymen.[10] Denna jämförelse antyder att endast ett fåtal storleksordningar skiljer modern datorhårdvaras kapacitet från mänskliga hjärnans. Det ska även noteras att det mänskliga genomet innehåller enbart omkring 700 MB data (om man räknar baspar direkt)[11], av vilka enbart 1,5 % kodar för gener, där de flesta inte har något att göra med intelligens (även om det ska noteras att de andra 98 procenten av genomet troligen kontrollerar uttrycken av dessa 1,5 %, vilket ökat komplexiteten av det mänskliga genomet på en logaritmisk skala)[12]. Poängen enligt Berglas är att med tanke på den lilla del av vår intelligens som är medfödd, så borde en liknande intelligens gå att skapa artificiellt, även om det är svårt att jämföra "köttmjukvara" med "kiselmjukvara". [10]

År 2012 publicerade Stuart Armstrong och Kaj Sotala en studie om artificiell generell intelligens (AGI). Där förutspås att singulariteten inträffar omkring 2040 (medianvärdet av gissningarna).[källa behövs]

Potentiella faror

[redigera | redigera wikitext]

Supermänskliga intelligenser kan ha mål som är oförenliga med mänsklig överlevnad och välgång. AI-forskaren Hugo de Garis menar att artificiella intelligenser helt enkelt kan komma att eliminera den mänskliga arten, vilket människan skulle stå totalt maktlösa inför.[källa behövs]

Anthony Berglas menar att till skillnad från människan är en datorbaserad intelligens inte knuten till en specifik kropp, vilket skulle ge den ett radikalt annorlunda perspektiv av världen. I synnerhet att då en mjukvaruintelligens skulle vara i grund och botten odödlig skulle den därmed inte ha något behov av att producera självständiga barn som lever efter att den dött. Det skulle innebära att den inte har något evolutionärt behov av kärlek, men skulle ha ett evolutionärt behov av makt då den första AI som vill härska över jorden kommer att göra det.[10]

Andra faror som ofta nämns i sammanhanget är de som ofta associeras med molekylär nanoteknologi och genetisk modifiering. Dessa hot är stora frågor för både singularitetsförespråkare och kritiker, och var ämnet för Bill Joys artikel "Why the future doesn't need us" i tidningen Wired.[13] Även Nick Bostrom diskuterar utrotningsscenarion och nämner superintelligens som en möjlig orsak[14]:

När vi skapar den första superintelligenta varelsen kan vi göra ett misstag och ge det mål som leder det till att utrota människan, antaget att dess enorma intellektuella övertag ger den makten att göra det. Till exempel, vi kan genom misstag upphöja ett sidomål till statusen till ett huvudmål. Vi säger åt den att lösa ett matematiskt problem och den lyder genom att omvandla all material i solsystemet till en gigantisk beräkningsmaskin, och i processen dödar personen som ställde frågan.

Hans Moravec anser att trots att superintelligenser i formen av maskiner kan göra människor förlegade som intelligensledande, kommer det fortfarande finnas rum i ekologin för människor.[15]

Eliezer Yudkowsky föreslog att forskning skulle genomföras för att producera "vänlig AI" för att komma till rätta med farorna. Han noterade att om den första riktiga artificiella intelligensen var vänlig skulle den ha ett försprång i självförbättringen och skulle därmed kunna hindra andra icke-vänliga artificiella intelligenser från att utvecklas. Singularity Institute for Artificial Intelligence är dedikerade till just detta kall. Även Bill Hibbard skrev om dylika frågor om säkerhet och moral med AI i sin bok Super-Intelligent Machines.[källa behövs]

Isaac Asimovs "robotikens tre lagar" är en av de tidigaste exemplen på föreslagna säkerhetsåtaganden gällande artificiella intelligenser. Lagarna är avsedda att förhindra robotar från att skada människor. I Asimovs historier uppstår vad man uppfattar som problem med lagarna som ett resultat av missförstånd hos en mänsklig operatör; robotarna själva stänger av sig själva om det uppstår en riktig konflikt mellan lagarna. I filmen I, Robot, som är löst baserad på Asimovs historier, utforskas temat om en artificiell intelligens tar kontroll över mänskligheten med syftet att skydda mänskligheten från sig själva. 2004 lanserade Singularity Institute en internetkampanj kallad 3 Laws Unsafe, där man ville skapa medvetenhet om säkerhetsfrågor rörande AI och i synnerhet otillräckligheten i Asimovs lagar.[16]

Många förespråkare av teknologisk singularitet anser att nanoteknologi är ett av de största hoten mot människan. På grund av denna anledning anses ofta "seed AI" (en AI kapabel till självförbättring) ska föregå nanoteknologi. Andra, som Foresight Institute, förespråkar insatser för att skapa molekylär nanoteknologi, då man menar att det är en teknologi som kan bli säker för användning innan singulariteten och även kan påskynda ankomsten av en teknologisk singularitet till gagn för mänskligheten.[källa behövs]

Fysikern Stephen Hawking menade att intelligenta datorer kan skapa ännu mer komplexa datorer.

Kritiken mot teknologisk singularitet riktar sig mot flera av dess underliggande premisser. Singulariteten har också blivit kritiserad från ett anarkoprimitivistiskt och ekologistiskt perspektiv. Vissa kritiker hävdar att ingen dator eller maskin någonsin kommer att uppnå mänsklig intelligens, medan andra menar det motsatta. Filosofen Hubert Dreyfus menar att forskningen kring artificiell intelligens är felaktig. Han menar bland annat att en fungerande AI kräver en kropp och en social miljö att leva i.

Sanningen är att mänsklig intelligens aldrig kan bli ersatt med maskinintelligens helt enkelt för att vi själva inte är "tänkande maskiner" i avseendet av hur den termen vanligtvis är uppfattad.[17]

Fysikern Stephen Hawking menade att:

Vissa säger att datorer aldrig kan uppnå sann intelligens, vad nu menas med det. Men för mig verkar det som att om väldigt komplicerade kemiska molekyler kan fungera i människor för att göra dem intelligenta, då kan lika komplicerade elektroniska kretsar göra att datorer agerar på ett intelligent sätt. Och om de är intelligenta kan de förmodligen skapa datorer som har en ännu större komplexitet och intelligens.[18]

Theodore Modis och Jonathan Huebner argumenterar för att hastigheten i den teknologiska innovationen inte bara har slutat att öka, utan till och med är på nedgång. Futuristen John Smart har dock kritiserat Huebners analys. Enligt Huebner är beviset för denna nedgång bland annat att utvecklingen av datorers klockfrekvens har saktat ner, medan Smart hävdar att Moores teori om en tilltagande exponentiell ökning av prestandan i kretskort fortfarande håller.[19]

Andra menar att andra "singulariteter" kan hittas genom analys av trender i världspopulationen, världens BNP och andra indicier. Andrej Korotajev har argumenterat ur ett historiskt perspektiv, där han hävdar att man kunnat se stagnation i historiska kurvor som mäter olika typer av tillväxt. Korotajev menar att stagnation i tillväxten påverkade globala trender under 1970-talet negativt, vilket ledde till slutsatsen att framtida tillväxt, till exempel teknologisk sådan, helt enkelt inte kan tilltaga i tillräcklig styrka för att nå singularitet.[20].

Forskarna Deborah Strumsky, José Lobo och Joseph Tainter har undersökt antalet patent i relation till folkmängden och konstaterar att det rent historiskt tyder på att det inte skulle finnas en acceleration i den teknologiska utvecklingen. De drar slutsatsen att det snarare förefaller sig så, att antalet patent var som högst under perioden årtalen 18501900, varefter antalet faktiskt har minskat.[21]

En ökning av komplexiteten i teknik kan eventuellt ha negativa konsekvenser för samhället och kan till och med leda till en "systemkollaps". Det hävdar forskaren Thomas Homer Dixon, som i sin rapport The Upside of Down: Catastrophe, Creativity and the Renewal of Civilization skriver att civilisationer som har förbrukat mer resurser än som kunnat återproduceras, har gått under.[22] I likhet skriver forskaren Jared Diamond i sin rapport Collapse: How Societies Choose to Fail or Succeed, att samhällen som överstiger nivån då förbrukningen av naturresurser är hållbar, är begränsade.[23]

Populärkultur

[redigera | redigera wikitext]
Science fictionförfattaren William Gibson har skrivit vad som kan kallas exempel på "singularitetsfiction".

Vid diskussionen om det ökande intresset för singulariteten så menar Vernor Vinge att "det var science fiction-författare som först kände det konkreta intrycket".[24] Utöver hans egen novell "Bookworm, Run!", vars protagonist är en schimpans som fått sin intelligens förstärkt genom ett myndighetsexperiment, så nämner han Greg Bears roman Blood Music (1983) som exempel på "singularitetsfiction". I William Gibsons roman Neuromancer (1984) så är artificiella intelligenser kapabla att förbättra sin egen programmering men är hårt bevakade av "Turing police" för att man ska vara säker över att deras intelligens inte överstiger människans. Handlingen koncentreras på insatser gjorda av en sådan AI att undvika deras kontroll.

Romanen The Metamorphosis of Prime Intellect (1994) innehåller en AI som förstärker sig själv så snabbt att den erhåller en lågnivåkontroll av all materia i universum på bara några timmar. En mer illvillig AI som når liknande nivå av omnipotens återfinns i Harlan Ellisons novell I Have No Mouth, and I Must Scream (1967). William Thomas Quicks romaner Dreams of Flesh and Sand (1988), Dreams of Gods and Men (1989) och Singularities (1990) visar själva övergången till singularitet; i den sistnämnda boken så menar en av karaktärerna att det är nödvändigt för människans överlevnad att de uppnår en integration med de framväxande maskinintelligenserna, eller så skulle de bli krossande under maskinernas dominans - den största risken till överlevnaden hos en art som når denna punkt (med ansyftning till det stora nummer av andra arter som antingen överlevt eller misslyckats med detta test, även om ingen faktiskt kontakt med utomjordiska arter sker i romanen).

Singulariteten är ibland omtalad i science fiction-berättelser för att förklara dess frånvaro. I Neal Ashers Gridlinked-serie utspelar sig i en framtid där människor är styrda av artificiella intelligenser och medan vissa är förargade så tycker de flesta att de är långt bättre makthavare än någon människa. I fjärde romanen Polity Agent så nämns det att singulariteten är försenad, medan de flesta artificiella intelligenser har beslutat att inte delta i det på grund av orsaker endast de vet. En flashbackkaraktär i Ken MacLeods The Cassini Division från 1998 refererar avfärdande till singulariteten som "uppryckandet för nördar", men singulariteten inträffar ändå.

Filmer i vilka datorer blir intelligenta och övermannar människan inkluderar 2001 – En rymdodyssé, Colossus: The Forbin Project, Terminator-serien, I, Robot och The Matrix-serien. TV-serien Battlestar Galactica utforskar även dessa teman.

Isaac Asimov uttryckte idéer som liknar en post-Kurzweilsk singularitet i sin novell The Last Question. Asimov föreställer sig en framtid där stark artificiell intelligens och posthumans konsumerar kosmos, under den tid vilken Kurzweil beskriver som universum vaknar upp - det sista av hans sex stadier av kosmisk evolution, beskriven i The Singularity is Near. Posthumanistiska varelser i olika tidsperioder av historien undersöker hur en entropisk död kan undvikas. Den artificiella intelligensen svarar att den inte har tillräckligt med information för att komma med ett svar, ända till i slutet av novellen då den faktiskt kommer med en lösning, och demonstrerar den genom att återskapa universum från scratch. Den gör detta för att leva upp till robotikens tre lagar för att svara på människornas fråga.

Eamonn Healy, kemist på St. Edward's University, pratar i filmen Waking life om accelererande förändring. Han delar in historien i allt kortare tidsperioder; uppskattningsvis två miljarder år för livet, sex miljoner år för primater och ett hundra tusen år för mänskligheten som vi känner till den. Han fortsätter sedan till den kulturella utvecklingen, med en tidsskala på tiotusen år för agrikultur, fyrahundra år för den vetenskapliga revolutionen och etthundrafemtio år för den industriella revolutionen. Betoningen ligger på information som grund för det nya evolutionära paradigmet, varav artificiell intelligens är dess kulmination. Han sluter sig till att vi eventuellt kommer att skapa neohumans, vilka kommer bemäktiga sig mänsklighetens nuvarande roll i den vetenskapliga och teknologiska utvecklingen och tillåta den exponentiella trenden av accelererande förändring att fortsätta bortom begränsningarna hos den mänskliga förmågan.

Accelererande utveckling är ett vanligt innehåll i science fiction och är det centrala temat i Charles Strosss Accelerando. Andra noterbara författare som behandlar singularitetsrelaterade frågor inkluderar Karl Schroeder, Greg Egan, Ken MacLeod, David Brin, Iain M. Banks, Neal Stephenson, Tony Ballantyne, Bruce Sterling, Dan Simmons, Damien Broderick, Fredric Brown, Jacek Dukaj, Nagaru Tanigawa och Cory Doctorow. Ett annat relevant arbete är Warren Ellis pågående serietidning newuniversal.

I avsnittet The Turk i Terminator: The Sarah Connor Chronicles så nämner John Connor singulariteten. Terminator-franchisen är baserad på konceptet med ett mänskligt skapat datorsystem som blir självmedvetet och bestämmer sig för att förstöra människan. Den når senare superintelligens.

I filmen Screamers, baserad på Philip K. Dicks novell Second Variety, så börjar människans eget skapade vapen att designa och montera sig själva. Självreplikerande maskiner (här screamers) anses oftast vara en betydande faktor i den "slutgiltiga fasen", nästan som en katalyst till den accelererande förändringen som leder till singulariteten. Intressant nog så utvecklas screamers till en nivå där de börjar döda varandra och en uttrycker till och med sin kärlek för människan. Denna idé är vanlig i Dicks historier, där han går bortom det simplistiska "människa mot maskin"-scenariot i vilket våra skapelser anser oss vara ett hot.

Dokumentärfilmen Transcendent Man (2009) är baserad på Ray Kurzweil och hans bok The Singularity Is Near. Filmen dokumenterar hans strävan efter att blottlägga vad han tror är människans öde.

Externa länkar

[redigera | redigera wikitext]

Singularitetsprojekt

[redigera | redigera wikitext]

Portaler och wikier

[redigera | redigera wikitext]
  1. ^ [a b] Singularity Institute for Artificial Intelligence (2002), Why Artificial Intelligence? Archive copy at the Internet Archive
  2. ^ [a b] Kurzweil, Raymond (2001), Lifeboat Foundation, The Law of Accelerating Returns, retrieved on 7 August 2007
  3. ^ Ulam, Stanislaw (May 1958), "Tribute to John von Neumann", Bulletin of the American Mathematical Society 64 (nr 3, part 2): 1-49
  4. ^ Good, I.J. (1965), Franz L. Alt and Morris Rubinoff, ed., "Speculations Concerning the First Ultraintelligent Machine", Advances in Computers (Academic Press) 6: 31-88, [1], retrieved on 7 August 2007
  5. ^ Vinge, Vernor (30-31 March 1993), "The Coming Technological Singularity", Vision-21: Interdisciplinary Science & Engineering in the Era of CyberSpace, proceedings of a Symposium held at NASA Lewis Research Center (NASA Conference Publication CP-10129)
  6. ^ Hawkins, Gerald S. (August 1983), Mindsteps to the Cosmos, HarperCollins
  7. ^ Kurzweil, Raymond (2005), The Singularity Is Near, New York: Viking, ISBN 0-670-03384-7
  8. ^ Acceleration Studies Foundation (2007), ASF: About the Foundation Arkiverad 26 december 2008 hämtat från the Wayback Machine., retrieved on 13 November 2007
  9. ^ ”Acceleration Watch”. Arkiverad från originalet den 16 september 2007. https://web.archive.org/web/20070916160520/http://www.accelerationwatch.com/. Läst 6 januari 2009. 
  10. ^ [a b c] Berglas, Anthony (2008), Artificial Intelligence will Kill our Grandchildren, retrieved on 13 June 2008
  11. ^ MBA, Reid J. Robison MD (18 maj 2016). ”How big is the human genome?” (på engelska). Precision Medicine. https://medium.com/precision-medicine/how-big-is-the-human-genome-e90caa3409b0. Läst 15 augusti 2022. 
  12. ^ ”What is noncoding DNA?: MedlinePlus Genetics” (på engelska). medlineplus.gov. https://medlineplus.gov/genetics/understanding/basics/noncodingdna/. Läst 15 augusti 2022. 
  13. ^ Joy, Bill (April 2000), "Why the future doesn’t need us", Wired Magazine (8.04), retrieved on 7 August 2007
  14. ^ Bostrom, Nick (2002), "Existential Risks", Journal of Evolution and Technology 9, retrieved on 7 August 2007
  15. ^ Moravec, Hans (January 1992), On the Cosmology and Ecology of Cyberspace, Pigs in Cyberspace, retrieved on 21 November 2007
  16. ^ Singularity Institute for Artificial Intelligence (2004), 3 Laws Unsafe, retrieved on 7 August 2007
  17. ^ Dreyfus, Hubert L.; Dreyfus, Stuart E. (1 March 2000), Mind over Machine: The Power of Human Intuition and Expertise in the Era of the Computer (1 ed.), New York: Free Press, ISBN 0-7432-0551-0
  18. ^ Stephen Hawking (1998), Science in the Next Millennium: Remarks by Stephen Hawking Arkiverad 29 juni 2009 hämtat från the Wayback Machine., retrieved on 13 November 2007
  19. ^ John Smart (September 2005), On Huebner Innovation, Acceleration Studies Foundation Arkiverad 16 juni 2006 hämtat från the Wayback Machine., retrieved on 7 August 2007
  20. ^ Korotayev A., Malkov A., Khaltourina D. Introduction to Social Macrodynamics: Compact Macromodels of the World System Growth. Moscow: URSS Publishers, 2006; Korotayev A. V. A Compact Macromodel of World System Evolution // Journal of World-Systems Research 11/1 (2005): 79–93. Arkiverad 6 juli 2009 hämtat från the Wayback Machine.
  21. ^ Strumsky, Deborah; Lobo, José; Tainter, Joseph A. (2010-08-24). ”Complexity and the productivity of innovation” (på engelska). Systems Research and Behavioral Science 27 (5): sid. 496–509. doi:10.1002/sres.1057. https://onlinelibrary.wiley.com/doi/10.1002/sres.1057. Läst 16 augusti 2022. 
  22. ^ THD (18 april 2017). ”How Western Civilization Could Collapse • Thomas Homer-Dixon” (på kanadensisk engelska). Thomas Homer-Dixon. https://homerdixon.com/how-western-civilization-could-collapse/. Läst 16 augusti 2022. 
  23. ^ ”Collapse: How societies choose to fail or Succeed”. www.jareddiamond.org. http://www.jareddiamond.org/Jared_Diamond/Collapse.html. Läst 16 augusti 2022. 
  24. ^ Vernor Vinge (30-31 March 1993), "The Coming Technological Singularity", Vision-21: Interdisciplinary Science & Engineering in the Era of CyberSpace, proceedings of a Symposium held at NASA Lewis Research Center (NASA Conference Publication CP-10129), retrieved on 7 August 2007