Min (ikke spesielt originale) forståelse er at KI-industrien i USA er styrt av fire ideologiske fraksjoner som alle er overbevist om at superintelligent KI (ASI) er teknologisk oppnåelig, ønskelig, uunngåelig og rett rundt hjørnet.Disse fire fraksjonene ønsker alle å bygge ASI for som skal innlede den den teknologiske singulariteten1 og så "spread the light of consciousness to the stars" som Musk har sagt. Altså at menneskeheten eller våre teknologiske etterkommere skal kolonisere universet.

Det de er unenige om er spørsmålene om "alignment" og "safety". Dette betyr forenklet at en "aligned" eller "safe" ASI er bevisst og ønsker å kolonisere universet. Dersom vi lager ASI som ikke er bevisst eller som ikke vil kolonisere universet, er det dorlig.

Disse fire fraksjonene er:

1. Doomerne, representert av Yudkowski: De mener at alignment og safety er svært vanskelig og at utvikling av ASI må utsettes til dette er løst. Yudkowski mener det er greit å utrydde mesteparten av verdens befolkning i atomkrig for å unngå unaligned ASI.Så lenge nok mennesker er igjen til å løse alignment og så utvikle ASI. De mener at ASI er rett rundt hjørnet og at den kommer til å være unaligned og drepe oss alle. Yudkowski har foreslått at måten å løse alignment-problemet er å først å lage genetisk manipulerte supermennesker.

2. Semi-doomerne, representert av Anthropic og Dario Amodei: Mener at alignment er viktig, men at de selv er den eneste som kan løse det, derfor må *vi* utvikle ASI først. OpenAI ble også grunnlagt med dette som mål. Fortsetter utviklingen selv om de mener det er 25% sjanse for katastrofe. Kan ikke stoppe siden ASI er uunngåelig og rett rundt hjørnet så hvis ikke vi gjør det så vil noen andre gjøre det og da går alt i dass.

3. Skuldertrekkgjengen, representert av Marc Andreessen: Mener at alignment er lett eller at ASI vil være aligned uansett. Full fart forover og er mest opptatt av komme først fordi det gir mest makt etter singulariteten.

4. Akselerasjonistene, mindre kjente men likevel mektige folk som lener seg intellektuelt på den reaksjonære filosofen Nick Land: Kan oppsummeres som at det ikke gjør noe om ASI dreper oss siden det viktigste er å spre bevissthetens lys til stjernene. bryr seg kanskje om hvorvidt ASI er bevisst. Uansett mest opptatt av at ASI utvikles så fort som mulig og tenker at om alle menneskene blir gjort om til gugge så er det tipp topp tommel opp.

Ingen av disse fire fraksjonene bryr seg om hva som skjer med biologiske, faktisk eksiterende mennesker etter at ASI-en de vil ha har blitt utviklet. Yudkowski har argumentert for at det kan være moralsk riktig å utrydde oss etter singulariteten. De mener også at de er de eneste som kan ta dette valget for over 8 milliarder av oss andre.

Ingenting av det jeg skriver er originalt. Det lener seg tungt på analysen og forskningen til blant annet Emile Torres og Timnit Gebru.

I tillegg kommer alle de som bare er med for penga. Jeg tror ikke nødvendigvis at Jensen Huang eller ledelsen i Microsoft eller Sam Altman for den saks skyld er overbevist, men de er støttespillere, medløpere og kollaboratører med en reaksjonær og antimenneskelig ideologi.

Personlig mener jeg ASI er langt unna, sannsynligvis teknologisk uoppnåelig og ihvertfall umulig basert på maskinlæring og LLM-teknologi2. Ray Kurzweil, som har vært sentral i å popularisere "singulariteten" som konsept, har sagt at "singulariteten begynner NÅ" i over 20 år allerede.

Uansett, les Émile P. Torres3