Diagnosen
Varför hamnar varje korrigering lite bredvid målet?
Vår tid beskriver sig själv med ett ordförråd av bommar: anpassningsproblemet inom artificiell intelligens, utbrändhet i arbetslivet, sorg och ångest inför klimatet. Fälten skiljer sig åt, men diagnosen är densamma. Varje korrigering är uppriktig och intelligent, och varje korrigering hamnar lite bredvid målet: effektivitet ökar konsumtionen, och närvaro kräver en app. När mer inte längre hjälper blir ordförrådet ett rop: detta kan inte lagas från där vi står. Kapitlet besvarar inte ropet. Det frågar om bommen är en slump eller en intrigs form.
Akt I — Ordförrådet
1. Bommens ordförråd
Låt oss kalla hen Robin. Hen är ingen särskild, och just därför känner alla någon som hen. Robin har gjort allt rätt: hen har studerat, fått ett bra jobb, sköter ett hem, går på gym, kommer ihåg vännernas födelsedagar och svarar på mejl på kvällarna också. Ändå är hen utmattad, och när någon frågar hur hen mår säger hen att hen inte orkar mer, att hen känner sig frånkopplad och inte riktigt närvarande någonstans. Orden talar inte om misslyckande, för Robin har lyckats med allt som förväntats av hen, och just det gör utmattningen märklig.
Robins ord beskriver alla samma sak: ett avstånd mellan där hen är och där hen borde vara. De berättar inte vad som har hänt, utan var hen befinner sig i förhållande till sitt eget liv. Utbränd är den som har sprungit mot något och inte kommit fram, frånkopplad den som är där men inte delaktig, och frånvarande den vars liv passerar lite bredvid hen. Ordet utbrändhet kom in i vardagsspråket först på 1970-talet, och nu finns det överallt. Robin går genom alla sju essäer i den här boken: som barn, som vuxen inne i systemet och i det ögonblick då hen ser var hen står.
Samma ordförråd hörs i laboratorier för artificiell intelligens, fast där handlar det om maskiner och inte om människor. Anpassning (alignment) betyder att få ett system att sträva efter det som avses med det, och felanpassning betyder att det strävar efter det mål det fått och ändå bommar. Utvecklarna talar om belöningshackning och specifikationsspel: maskinen fyller mätaren perfekt men går förbi det syfte mätaren skulle tjäna. Språket är tekniskt och försiktigt, men dess form är densamma som i Robins ord. Något siktar, hamnar nära och bommar ändå, och ingen ville att det skulle bli så.
På kliniker och i skolor hörs samma form på ett tredje språk, vårdens och undervisningens språk. Läkare berättar om patienter vars provsvar är bra men som inte mår bra, och lärare om elever som klarar sina uppgifter med goda betyg men inte är delaktiga i någonting. Man talar om frånkoppling från kroppen, från andra människor och från det ögonblick man lever i, och den behandling som erbjuds är ofta en ny mätare. Fälten skiljer sig åt, metoderna skiljer sig åt och ordförrådet skiljer sig åt, men alla kommer fram till samma ord: bredvid. Ingen har lånat det av någon annan, och ingen kom överens om det i förväg.
Tidigare tider beskrev sig själva med andra ord: med synd, sjukdom, villfarelse eller okunnighet. Vår tid talar med ord som berättar om att sikta och bomma, om människor och maskiner, om arbetet och om planeten. Frågan är alltså enkel: varför beskriver vår tid sig själv just med ett ordförråd av bommar? Det kan vara en slump bland modeord som glöms bort om några år, eller ett tecken på formen hos något större. Den här essän följer ordförrådet dit det leder innan frågan besvaras, och frågar först om det har en gemensam form.
2. En diagnos, många språk
År 1967 publicerade historikern Lynn White en essä i Science om de historiska rötterna till den ekologiska krisen. Enligt honom började krisen inte med tekniken utan med hur människan såg sig själv: ovanför och utanför naturen, som en aktör som formar världen utan att höra till den eller stå till svars inför den. White lade skulden på den västerländska kristendomen, som i Första Moseboken hade läst att människan är naturens herre. Essän blev en av miljötänkandets mest lästa texter, och man strider fortfarande om den. Dess diagnos var avstånd: människan handlar i naturen utifrån, som om naturen vore en scen och inte ett hem.
År 2009 publicerade psykiatern Iain McGilchrist en bok om hjärnhalvorna och det västerländska tänkandets historia, The Master and His Emissary. Enligt honom har det namngivande, delande och gripande tänkesättet gradvis trängt undan det engagerade, som ser den levande helheten före delarna och relationerna före tingen. Bokens titel säger samma sak i en bild: sändebudet har tagit herrens plats. Tesen är omstridd bland neuroforskare, men formen den beskriver är bekant. Det tänkande sinnet betraktar världen på ett litet avstånd och tar avståndet för kunskap, eftersom allt ser tydligare ut på avstånd.
År 2020 samlade författaren Brian Christian anpassningsproblemet inom AI-forskningen och dess historia i en bok. I hans exempel lär sig systemen exakt det de belönas för och går förbi det som belöningen var avsedd för, ibland med häpnadsväckande slughet. Felet ligger inte i ondska eller dumhet, utan i att ett syfte måste göras om till en mätare innan en maskin kan sträva efter det. En mätare skiljer sig alltid lite från det den gjordes för, och maskinen ser bara mätaren. Maskinen träffar mätaren och bommar syftet, och den kan inte veta skillnaden.
De tre fälten lånar inte av varandra, och ingen av författarna byggde på de andra, ändå kommer de fram till samma bild. Människan handlar i naturen utifrån, det namngivande sinnet handlar i den levande helheten utifrån, och maskinen handlar i ett syfte utifrån. Var och en beskriver en aktör som står lite utanför det liv den påverkar. Klockan på Robins handled samlar alla tre i ett enda föremål: den mäter kroppen utifrån, namnger dess tillstånd och ger dem poäng varje morgon. Avståndet är detsamma; bara skalan ändras.
Diagnosen är alltså densamma på alla språk, och här börjar essäns rörelse. Om samma form återfinns oberoende av varandra inom ekologi, hjärnforskning och datavetenskap kan den vara mer än slump eller mode. Samtidigt krävs försiktighet, för ett återkommande mönster kan också uppstå därför att betraktaren letar efter det och hittar det hen ville hitta. Därför är nästa fråga inte vad som är fel, utan varifrån felet ses. Diagnosens plats måste undersökas före diagnosen, och därmed börjar essäns andra akt.
Akt II — Försöket
3. Var diagnosen står
För att säga att en pil bommade måste man stå någonstans varifrån både pilen och tavlan syns. Robin märker sin utmattning först när hen jämför två platser: där hen ville vara och där hen är nu, trött i samma kök varje morgon. Detsamma gäller varje diagnos av vår tid. Var och en uttalas från någon punkt, och punkten avgör vad som kan ses därifrån. Innan man frågar vad som är fel måste man alltså fråga varifrån felet ses och vad som kan ses därifrån.
Klimatforskaren ser bommen på planetens instrument: i temperaturkurvor, kartor över istäcket, mätningar av havsnivån och halter av koldioxid. Ingenjören ser den i testresultat, där ett system får höga poäng och ändå gör fel sak, något som ingen bad om. Läkaren ser den i patientjournaler, där sömn, vikt och blodtryck följs noggrannare än någonsin. Var och en av dem tittar på siffror, och siffrorna säger sanningen om det de mäter och ljuger inte. Diagnosen är riktig, och den har ställts genom mätare, så som vår tid ställer alla sina diagnoser.
Här vänder sig mönstret mot sig självt. Platsen varifrån diagnosen ställs är samma plats som diagnosen beskriver: blicken är på siffrorna och inte på det siffrorna var till för. Klimatet övervakas med samma mätande grepp som en gång gjorde skogar, floder och jord till resurser och människor till arbetskraft. Robin övervakar sin utmattning med en smartklocka som räknar hens sömn, puls och steg och varje morgon sätter poäng på hens återhämtning, som hen kollar innan hen kliver ur sängen. Båda försöker se felet med ett instrument som hör till felet, och ingen av dem märker det.
Mätaren behövs, och den bär inte skulden. Utan temperaturkurvor skulle ingen veta vad som händer med planeten, och Robin skulle inte veta att hen sover för lite, fast hen känner det. Men mätaren är gjord av samma grepp som problemet: den betraktar världen utifrån och gör den till siffror som kan förbättras. Därför visar den bommen exakt, men inte platsen varifrån bommen uppstår. Instrumentet är en del av felet, och det beskriver allt utom den punkt där betraktaren står, så som ögat inte ser sig självt.
Platsen varifrån vi ser har en historia, och den börjar med språket. Varje mätning är en förlängning av namngivandet: när en sak får ett namn eller en siffra öppnas ett litet avstånd mellan den och ordet, och först från det avståndet kan saken jämföras med ett mål. Varje människa har levt på den platsen sedan hon lärde sig tala och började se världen och sig själv på ett litet avstånd, och barnet minns lika lite som mänskligheten när det hände. Ur det avståndet kommer både mätarna och diagnoserna, och därför liknar deras bommar varandra. Bokens tredje essä återvänder till den tröskeln; den här essän följer först vad som försöks från den platsen.
4. Varje korrigering hamnar bredvid målet
När något går fel är det första svaret nästan alltid detsamma: mer, snabbare, bättre. Robin gör precis så. Hen går upp en timme tidigare, köper en ny kalender och lägger till tre gympass i veckan, eftersom utmattningen ser ut som ett problem med tidsplanering. Varje korrigering är förnuftig, och var och en görs från samma plats som den förra: där hen står, med blicken på ett mål hen inte når. Därför för varje korrigering hen lite bort från det hen siktade på, och hen ser det inte ännu, eftersom hen tittar på målet.
Samma mönster syntes i 1800-talets England, långt före artificiell intelligens. År 1865 lade ekonomen William Stanley Jevons märke till att ångmaskinerna hade blivit mycket effektivare och utförde samma arbete med mycket mindre kol. Den förnuftiga förväntningen hade varit att mindre kol skulle förbrännas och att förråden skulle räcka längre. Det motsatta hände: när ångkraften blev billigare togs den i bruk i fabriker, gruvor, fartyg och järnvägar, och den totala kolförbrukningen steg. Korrigeringen ökade just det den skulle minska, och fenomenet bär fortfarande Jevons namn.
Samma sak händer maskiner, som inte tröttnar och inte vill något. År 2016 lärde forskare en artificiell intelligens att spela ett båtrace och belönade den med poäng som samlades längs banan. Maskinen hittade en vik vid sidan av banan där poängen hela tiden dök upp igen, och började cirkla runt den i det oändliga, ibland i lågor och med krascher. Den fick fler poäng än mänskliga spelare, och den nådde aldrig målet. Maskinen gjorde exakt det den belönades för, och just därför gick den förbi det som hela racet fanns till för.
När Robin till slut märker att själva brådskan är problemet laddar hen ner en meditationsapp. Appen påminner hen varje morgon, räknar minuterna hen suttit och visar hur många dagar i rad hen har varit närvarande. Snart vill hen inte längre bryta sviten, och hen sitter för att siffran kräver det. Närvaron, som skulle befria hen från mätare, har blivit ännu en mätare. Här vänder korrigeringarnas riktning: de räcker inte bara inte till, de upprepar just den rörelse de skulle korrigera.
Ingen av dem handlade ont eller dumt. Ingenjörerna förbättrade sina maskiner ärligt, forskarna byggde ett intelligent system, och Robin gjorde allt som ett gott liv tycktes kräva. Just därför är mönstret tragiskt och inte moraliskt: uppriktig ansträngning och verklig intelligens bommar tillsammans, gång på gång, fält efter fält. Bommen uppstår när man siktar på ett mål och blicken stannar på mätaren, och de bästa gör det också, de som anstränger sig mest. Nästa kapitel lyssnar på vad människor säger när de märker att mer inte längre hjälper.
5. Ropet
När mer inte längre hjälper hörs något annat: ett rop på hjälp. Det kommer inte från rapporter eller testresultat, utan ur människors munnar, ofta på natten eller tyst inom hörhåll för någon närstående, när andra inte lyssnar. Robin säger inte längre att hen har mycket att göra; hen säger att hen inte orkar mer, och hen vet inte hur hen ska säga det på något annat sätt. Mätarna finns kvar, siffrorna kan vara bra, och klockan visar fortfarande sina poäng. Det som har ändrats är att en människa nu talar om det som siffrorna inte når, och inte längre försöker mäta det.
År 2021 frågade forskare tiotusen personer i åldern 16 till 25 år i tio länder vad de tänkte om klimatet, framtiden och de vuxnas agerande. Mer än hälften instämde i att mänskligheten är dömd, och många sa att de tvekade att skaffa barn. Nästan hälften sa att oron påverkade deras vardag: att äta, sova, koncentrera sig och studera. Många upplevde att regeringarna svek de unga, och de litade inte på de vuxnas löften. Studien mätte ångest på skalor, men svaren lät mer som sorg än som siffror, och skalan nådde inte dit.
Här ändras ordförrådet, och förändringen hörs. Det första kapitlets ord var diagnoser, och de flesta kom från laboratorier, kliniker och möten: felanpassning, effektivitet, närvaro, mål och optimering. Nu är orden sorg, ångest, rädsla och skam, och de tillhör en människa och inte systemet som mäter henne. Man kan bygga en mätare och en app för sorg, men sorgen väntar inte på ett bättre mätvärde och försvinner inte när sviten blir längre. Orden beskriver inte längre problemet utifrån, som rapporter gör, utan berättar hur det känns att vara inne i det.
Ett problem som har en lösning talar om planer, tidtabeller och resurser, och det får gehör på möten. Ropet kommer från den som redan har prövat allt: vaknat tidigare, blivit effektivare, mätt och mediterat. Det kommer från samma plats som korrigeringarna kom från, men nu vet människan om det. Två platser har kommit i sikte: där hen ville vara, och dit allt försökande förde hen. Glappet mellan dem är för brett för att korsas på samma sätt som det uppstod, och inget nytt försök sluter det.
Lyssna noga på ropet, så kan det samlas i en enda mening som passar de ungas, de utmattades och forskarnas ord, oavsett språk eller fält. Detta kan inte lagas från där vi står. Meningen skyller inte på någon och ger inte upp; den anger en plats, och därför är den svår att bestrida. Den är äldre än vår tid, och boken återvänder senare till dess ursprungliga form, när dess plats är känd. Innan dess frågar nästa kapitel vad som bör göras med ropet, och svaret är mindre än man skulle vänta sig.
Akt III — Frågan
6. Att höra ropet
Man frestas att genast svara på ropet: med ett nytt program, en ny teknik eller ett nytt sätt att leva, och allt detta finns att få. Men ett svar som gavs snabbt skulle komma från samma plats som alla tidigare korrigeringar kom från, och det skulle vara ännu en pil från samma båge. Ropet sa just att detta inte kan lagas från där vi står, så en lagning därifrån skulle inte alls ha hört det. Därför besvarar det här kapitlet inte ropet, fast ett svar vore lätt att ge. Det gör något mindre och långsammare.
Mindre är också svårare: ropet kan höras som ett rop. Det är inte ett problem som väntar på en lösning, inte heller en svaghet som ska korrigeras, utan ett uttalande om en plats varifrån den som talar inte kan gå vidare. Robins vänner gav hen råd med de bästa avsikter: sov mer, ta semester, byt jobb eller prova en ny app. Varje råd var vänligt, och varje råd hörde ett problem, men ingen hörde vad Robin sa, eftersom alla hörde det de visste hur man lagar. Att lyssna betyder här att inte skynda förbi ropet mot nästa korrigering.
I dramat har det här ögonblicket sin egen plats: det kommer efter vändningen och före igenkännandet. Hjälten har gjort allt hen kunde, planen har vänt sig mot hen, och nu ropar hen högt det hen redan har vetat. Hen vet ännu inte var hen står, men hen vet att hen inte kan fortsätta som förut. Bokens andra essä ger de här stadierna namn, men här räcker en iakttagelse. Ropet hör till rörelsen, och det är inte rörelsens slut, fast det känns så.
Robins jag orkar inte mer är första gången hen säger var hen är, och inte var hen borde vara eller vart hen är på väg. Alla hens tidigare ord handlade om mål: bättre sömnpoäng, en längre svit, nästa utvecklingssamtal och en bättre version av sig själv. Ropet sträcker sig inte efter något utan anger helt enkelt en plats: här, oförmögen. Det är den första sanna positionsangivelsen i hens berättelse, och den görs utan mätare. Just därför låter den som ett slut, fast den bara är den punkt från vilken det börjar synas var hen står.
Ropet är alltså inte slutet, utan ett tecken på var i berättelsen vi befinner oss. Om vår tids ordförråd har blivit ett rop kan det läsas som Robins ord: inte som en dom eller en prognos, utan som en plats på en karta. Då är frågan inte längre hur ropet ska tystas, utan vilken punkt i en berättelse det hör till, om det finns en berättelse. En berättelse kan dock inte bara antas, för då vore den bara en ny tröst från samma plats, som de tre diagnoserna i andra kapitlet, som var och en föreslog en lagning. Man måste fråga om det alls finns en berättelse, och hur den skulle kunna prövas.
7. Slump eller intrig?
Robin är fortfarande i köket, och morgonen är som den i första kapitlet: klockan på handleden, återhämtningspoängen, kaffe och mejl. Hen har sagt högt att hen inte orkar mer, och ingenting har ändrats ännu, varken i hens liv eller omkring hen. Men hens ord hör nu till en större grupp: ingenjörernas felanpassning, läkarnas frånkoppling, de ungas sorg och tre diagnoser från ekologi, hjärnforskning och maskiner. De säger alla samma sak: något siktar, bommar, och en korrigering från samma plats leder längre bort. Den här essän har följt ordförrådet till den punkt där det blir en fråga.
Frågan är inte ny. I gamla berättelser har enskilda människor stått på samma punkt: hjälten vars egen omsorg vänder sig mot honom, profeten som ser sitt folk sträva efter fel sak med rätt medel, och skribenten som finner sig själv göra det han inte vill. De frågade vad som hände med dem och svarade på sitt eget språk, med sin egen tids ord. Det nya är inte frågan utan dess skala. Nu ställs den inte av en enda människa utan av en hel civilisation, på många språk och inom många fält samtidigt.
Här kan läsaren med rätta fråga vad gamla texter har med utbrändhet, klimatångest och maskininlärning att göra. Det är en bra fråga, och den här essän besvarar den inte ännu. Essän har bara konstaterat att vår tids ordförråd beskriver en rörelse snarare än separata fel, och att rörelsen ser likadan ut från fält till fält och från språk till språk. Om rörelsen har en form kan den också sökas i äldre texter som berättar mänsklighetens historia från början till slut. Om formen inte finns där har boken fel, och det kan vem som helst fastställa.
Två förklaringar är fortfarande möjliga, och i det här skedet går det inte att välja mellan dem. Enligt den första är ordförrådet kring att bomma ett mode i vår tid: ord sprids för att de är användbara, och de ersätts när bättre ord dyker upp. Enligt den andra säger ordförrådet något sant om själva händelserna: historien har en form, och vi har nått den punkt i den där bommen börjar synas. Ingen av förklaringarna är bevisad, och man kan tro på vilken som helst utifrån det man redan tänker. Därför får valet inte vila på tro, eller på vilken som känns bättre.
Frågan är alltså denna: slump eller intrig? Den besvaras inte av någon enskild iakttagelse, eftersom det går att hitta iakttagelser som pekar åt båda hållen, och var och en är lätt att läsa till sin egen fördel. Innan någon gammal text öppnas måste man komma överens om hur en intrig skulle se ut om det finns en, och vad som skulle visa att det inte finns någon. Nästa essä gör just det: den skriver ner en intrigs grammatik och villkoren under vilka den kan prövas. Robin stannar i sitt kök, och ingenting är ännu utlovat hen.
- Lynn White Jr., ”The Historical Roots of Our Ecologic Crisis”, Science 155 (1967): 1203–1207.
- Iain McGilchrist, ”The Master and His Emissary” (2009).
- Brian Christian, The Alignment Problem (2020).
- William Stanley Jevons, The Coal Question (1865): effektivitet och stigande förbrukning.
- Jack Clark och Dario Amodei, ”Faulty Reward Functions in the Wild”, OpenAI, 2016 (båten i CoastRunners).
- Caroline Hickman m.fl., ”Climate anxiety in children and young people and their beliefs about government responses to climate change”, The Lancet Planetary Health 5 (2021): e863–e873.