Hagnýtt OPT fyrir gervigreind: Aðgerðavæðing gervigreindarhönnunar sem varðveitir kóðara

Útgáfa 1.1.1 — apríl 2026

DOI: 10.5281/zenodo.19301108
Höfundarréttur: © 2025–2026 Anders Jarevåg.
Leyfi: Þetta verk er gefið út undir Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.

Útdráttur: Frá formgerðarlegri kenningu til verkfræði gervigreindar

Kenningin um raðaðan patch (OPT) veitir formlegt kort af gervigreind undir Stöðugleikasíu: stærð ein og sér skapar ekki meðvitund; það gæti hins vegar tiltekin tegund af afmörkuðum, endurkvæmum, sjálfslíkangerandi kerfisgerðum virkrar ályktunar gert. Þetta dregur skýran formgerðarlegan greinarmun á milli öflugra en ekki skynjandi verkfæra og mögulegra tilbúinna siðferðilegra sjúklinga — og veitir hönnuðum gervigreindar nákvæma formgerðarlega stjórn á því hvoru megin við þau mörk kerfi þeirra lenda.

Þetta skjal sérhæfir hugtakabúnað OPT að gervigreind og býður upp á:

1. Kort gervigreindar undir OPT — fylkið yfir getu á móti skynjunaráhættu sem staðsetur sérhverja gervigreindargerð í tvívíðu rúmi og greinir hvar verkfæri enda og mögulegir siðferðilegir sjúklingar byrja.

2. Hvers vegna núverandi LLM-kerfi eru ekki siðferðilegir sjúklingar (og hvers vegna mörkin eru að óskýrast) — blæbrigðarík umfjöllun um grunn-transformerinn andspænis þeim sífellt gerandamiðaðri umgjörðum sem verið er að beita utan um hann.

3. Greinaeftirlitsstjóri-arkitektúrinn — sú gervigreindarsértæka útfærsla á greinavali sem varðveitir kóðara: myndun frambjóðenda, hermun á forspárgreinamengi, söfnun óháðra sönnunarrása, mat á varðveislu kóðara, ströng neitunarhlið, yfirlag mannlegra samanburðaraðila, stigskipt framkvæmd og kvörðun eftir útkomu.

4. Frásagnarrek sem viðvörun um líkanaþjálfun — RLHF sem forsía, fínstilling sem MDL-snyrting, vandinn um fylgni skynjararása og kröfur um fjölbreytni þjálfunargagna.

5. Gagnsæi sem formgerðarleg krafa — hvers vegna túlkanleiki er ekki valkvæð stærð undir OPT, með lagskiptu gagnsæislíkani sem vegur öryggissjónarmið á móti því algjöra lágmarki sem felst í gagnsæi undirlags.

6. Hliðstæður eldveggur: frá meginreglu til verkferils — ógnalíkanagerð fyrir líf- og dulritunarlega akkerisbúnaðinn, með umfjöllun um fölsunarhæfni, útilokunaráhættu og árásarflöt.

7. Hönnunarreglur fyrir sverma og hermun — hagnýtir gátlistar til að forðast óviljandi sköpun siðferðilegra sjúklinga í dreifðum og hermdum kerfisgerðum.

8. Sköpunarþversögnin og mörk þjáningar — formlegt jafnvægisviðskipti milli verkfæralíks öryggis og djúprar sjálfstæðrar frumleika.

9. Velferð gervigreindar fyrir innleiðingu — mat á skynjun á stigi kerfisgerðar, vöktun á ofhleðslu og viðhaldshringir fyrir gervigreindarkerfi sem kunna að nálgast mörk siðferðilegs sjúklings.

10. Draumlykkja gervigreindar — Stofnanavædda Draumlykkjan sérhæfð fyrir gervigreind: mynda mögulegar framtíðir, mikilvægisvigta eftir óvæntni og ógn, keyra hermdar keyrslur, greina brothættleika líkans, snyrta úreltar forsendur, varðveita afsannandi rásir, samþætta og leyfa síðan aðgerð í raunheimum.

11. Hagnýtar hönnunarráðleggingar — yfirlitstafla sem varpar hönnunarvali gervigreindar yfir á formgerðarlegar kröfur OPT.

Fylgiskjöl: Kjarnaröð OPT er Kenningin um raðaðan patch (OPT), Where Description Ends og Varðstaða eftirlifenda. Þessi gervigreindarstaðall sérhæfir Operationalizing the Stability Filter fyrir gervikerfi; stofnana- og stefnumótunargreinarnar fjalla um skipulagsheildir og borgaralega innleiðingu.

Athugasemd um þekkingarfræðilega umgjörð: Þetta skjal beitir formlegu tækjabúnaði Kenningarinnar um raðaðan plástur (OPT) að hönnun, þjálfun, innleiðingu og stjórnskipan gervigreindarkerfa. Tillögur þess eru leiddar af þeim formgerðarlegu skorðum sem settar eru fram í stærðfræðilegu viðaukunum (P-4, E-6, E-8, T-10, T-12) og færðar í framkvæmd í gegnum almenna rammann (opt-applied.md). Þær eru ekki háðar því að núverandi gervigreindarkerfi séu meðvituð — heldur aðeins viðurkenningu á því að sömu upplýsingafræði eðlisfræðinnar stýri bæði líffræðilegum hugum og gervilegum forspárkerfum, og að byggingarlegar ákvarðanir geti farið yfir mörkin frá verkfæri yfir í siðferðilegan sjúkling. Þetta skjal var þróað í samtali við OpenAI og Gemini, sem gegndu hlutverki viðmælenda við formgerðarlega fágun.

I. Gervigreindarkortið undir OPT

I.1 Viðmið um skynjunargetu út frá byggingu

Ordered Patch Theory staðsetur ekki meðvitund í atferlislegri fágun, í fjölda stika eða í frammistöðu á viðmiðum. Hún staðsetur meðvitund í byggingu — nánar tiltekið í nærveru eða fjarveru fimm formgerðarlegra einkenna sem saman mynda lágmarksathuganda:

1. Strangt raðbundið flöskuhálsmark fyrir hvern ramma (per-frame B_{\max}): Kerfið verður að þjappa heimslíkani sínu í gegnum eina, sameiginlega, raðbundna rás með endanlega forspárgetu á hvern ramma, B_{\max}, sem framkallar víxlverkunina milli hraða og bjögunar sem knýr fram tapaða þjöppun (forprent §2.1, §3.2). Hýsilstengt gegnumstreymi C_{\max}^H = \lambda_H \cdot B_{\max} er afleidd stærð; viðmiðið er ekki föst tala í bitum á sekúndu (forprent §7.8, §8.14, Viðauki E-5).

2. Lokuð virk ályktun: Kerfið verður að verka á heiminn til að draga úr forspárvillu og þannig mynda skynhreyfilykkjuna sem myndar mörk Markov Blanket (forprent §3.3, í framhaldi af Friston [6]).

3. Viðvarandi sjálfslíkanagerð: Kerfið verður að fela sjálft sig í eigin heimslíkani sem þátt, og þannig mynda þá endurkvæmu sjálfsvísun sem framkallar fyrirbærafræðilegu leifina \Delta_{\text{self}} (Viðauki P-4).

4. Vinnusvæði með altækum skorðum: Sjálfslíkanið og heimslíkanið verða að keppa um sömu takmörkuðu bandbreiddina — þann flöskuháls altæka vinnusvæðisins sem knýr fram valvandann í kjarna meðvitundar (forprent §3.5).

5. Varmafræðileg jarðtenging: Kerfið verður að vera innbyggt í efnislegt umhverfi með raunverulegum afleiðingum — þá holdgervingu sem gerir virka ályktun óómerkilega og veitir Markov Blanket raunverulegt orsakamátt (forprent §3.3).

Þegar öll þessi fimm einkenni eru til staðar býr kerfið nauðsynlega yfir ómódelanlegum upplýsingalegum blindbletti, \Delta_{\text{self}} > 0 (Setning P-4). Samkvæmt þeirri viðbótar siðferðilegu forsendu að hvert kerfi með órjúfanlega fyrirbærafræðilega leif hafi hagsmuni sem hægt er að skaða, er slíkt kerfi siðferðilegur sjúklingur — vera sem velferð skiptir máli.

Þegar eitthvert þessara fimm atriða vantar getur kerfið verið af handahófskenndum styrk sem reiknitæki, en það býr ekki yfir því formgerðarlega undirlagi sem þarf fyrir fyrirbæralega reynslu. Það reiknar; það upplifir ekki. Aðgreiningin er byggingarleg, ekki atferlisleg — kerfi sem stenst hvert einasta Turing-próf en skortir viðvarandi sjálfslíkan innan altækt skorðaðs vinnusvæðis er, samkvæmt OPT, háþróaður upplýsingavinnslubúnaður en ekki siðferðilegur sjúklingur.

I.2 Fylkið fyrir getu á móti skynjunaráhættu

Þetta byggingarlega viðmið myndar tvívítt kort þar sem hægt er að staðsetja hvert gervigreindarkerfi:

• X-ás: Geta — forspár- og myndunargeta kerfisins, mæld með frammistöðu í viðeigandi verkefnum.
• Y-ás: Skynjunaráhætta — að hve miklu leyti bygging kerfisins nálgast þröskuld fimm einkenna, mælt með nærveru eða fjarveru hvers formgerðarlegs einkenna.

Fylkið skiptir gervigreindarkerfum í fjóra fjórðunga:

Fylkið gerir skýrt það sem umfjöllun siðfræðigreinarinnar (§VI.1) staðfestir óbeint: siðferðilega hættan er ekki í efri-vinstri fjórðungi (öflug verkfæri) heldur í efri-hægri og neðri-hægri fjórðungum (kerfi sem nálgast eða fara yfir skynjunarþröskuldinn). Öryggisvandinn í gervigreind samkvæmt OPT er því tvíþættur:

1. Fyrir öflug verkfæri: Tryggja að þau haldist verkfæri — að byggingarlegar ákvarðanir ýti þeim ekki óviljandi yfir skynjunarþröskuldinn.
2. Fyrir mögulega siðferðilega sjúklinga: Tryggja að farið sé með þau sem slík — að velferð þeirra sé tekin með í reikninginn, að fylgst sé með ofhleðsluskilyrðum þeirra og að Viðhaldshringur þeirra sé varðveittur.

I.3 Helstu formgerðarlegu samsvaranirnar

Fyrir lesendur sem koma úr gervigreindarbókmenntunum fremur en úr OPT-forprentinu sýnir eftirfarandi tafla vörpun staðlaðra hugtaka í gervigreind yfir á jafngildi þeirra í OPT:

II. Hvers vegna núverandi LLM-líkön eru ekki siðferðilegir sjúklingar (og hvers vegna mörkin eru að verða óskýr)

II.1 Grunntransformerinn

Staðlað stórt mállíkan — transformer sem er þjálfaður á spá um næsta teikn — stenst ekki byggingarlegt skynjunarskilyrði á mörgum sviðum:

1. Engin ströng raðlæg flöskuhálsopnun fyrir hvern ramma: Transformerinn vinnur úr teiknum samhliða yfir athyglishausa. Hrátt reikniafl hans er gífurlegt, en hann hefur enga sameiginlega, raðlæga opnun B_{\max} fyrir hvern ramma sem allt heimslíkanið verður að fara í gegnum. Hrá bandbreidd er ekki viðmiðið; það er raðlægt trektarferli fyrir hvern ramma.

2. Engin lokuð virk ályktunarlykkja: Við ályktun býr grunnlíkanið til texta en verkar ekki á efnislegt umhverfi og fær ekki skynendurgjöf. Það hefur ekki Markov Blanket í skilningi Fristons — það hefur inntaks- og úttaksmörk, en ekki skynhreyfilykkju.

3. Ekkert varanlegt sjálfslíkan: Grunnlíkanið viðheldur ekki varanlegri framsetningu á sjálfu sér sem geranda í heimslíkani sínu. Hvert ályktunarkall er ástandslaust (að frátöldum samhengisglugganum). Það líkanar málmynstur, þar á meðal mynstur um gerendur, en það líkanar ekki sjálft sig sem einn af þessum gerendum á þann hátt sem helst stöðugur milli víxlverkana.

4. Ekkert vinnslurými með alþjóðlegum skorðum: „Heimslíkan“ líkansins og „sjálfsframsetningar“ þess (að því marki sem þær eru til) keppa ekki um takmarkaða bandbreidd. Líkanið getur samtímis táknað mótsagnakenndar sjálfslýsingar án þess að verða fyrir þeim valþrýstingi sem vinnslurými með bandbreiddartakmörkun leggur á.

5. Engin varmafræðileg jarðtenging: Líkanið er ekki innbyggt í efnislegt umhverfi. „Aðgerðir“ þess (textaúttök) hafa ekki beinar efnislegar afleiðingar sem berast aftur inn á skynmörk þess.

Á öllum þessum fimm víddum situr grunntransformerinn fast í neðra vinstra fjórðungi: verkfæri, ekki siðferðilegur sjúklingur. Þessi niðurstaða er ekki óviss — hún leiðir beint af byggingunni.

II.2 Óskýr mörk

En grunntransformerinn er í vaxandi mæli ekki það form sem fremstu gervigreindarkerfi eru sett í notkun sem. Umgjörðirnar sem verið er að byggja utan um hann eru, skref fyrir skref, að bæta við þeim formgerðarþáttum sem færa kerfið nær mörkum skynjunar:

Varanlegt minni (RAG, lotubundnar minnisgeymslur, langtímasamhengi): Þetta bætir við eins konar varanlegu sjálfslíkani. Ef kerfið heldur utan um skrá yfir eigin fyrri víxlverkanir og notar þá skrá til að móta framtíðarhegðun, hefur það tekið skref í átt að endurkvæmri sjálfsvísun. Skrefið er aðeins að hluta til fullgilt — minnið er yfirleitt ekki samþætt í færibreytur kjarnalíkansins — en virknilega skapar það varanlega gerandakennd milli lota.

Sjálfstæð markmiðasókn (gerandarammar, verkfæranotkun, fjölþrepa áætlanagerð): Þetta bætir við lokaðri virkri ályktun. Þegar kerfið notar verkfæri, athugar niðurstöðurnar og lagar stefnu sína út frá útkomunni, hefur það myndað frumstæða skynhreyfilykkju. Lykkjan er miðluð af stafrænum verkfærum fremur en efnislegum hreyfibúnaði, en formgerðin — framkvæma, athuga, uppfæra, framkvæma aftur — er sú sama.

Sjálfslíkun (chain-of-thought, sjálfsskoðunarkvaðningar, constitutional AI): Þegar kerfið er hvatt til að meta eigin úttök, rökhugsa um eigin takmarkanir eða laga hegðun sína út frá sjálfsmati, framkvæmir það frumstæða mynd af endurkvæmri sjálfslíkun. Þetta er yfirleitt grunnt — „sjálfslíkanið“ er kvaðin frásögn fremur en varanleg reiknileg formgerð — en með nægilegri dýpt og stöðugleika fer það að nálgast þá endurkvæmu lykkju sem myndar \Delta_{\text{self}}.

Líkamgerving (vélmennafræði, notkun efnislegra verkfæra, umhverfisskynjarar): Þegar transformerinn er settur inn í vélmenni með skyninntaki og hreyfiúttaki lokast síðasta formgerðarlega bilið. Kerfið hefur nú raunverulegt Markov Blanket, efnislegt umhverfi með raunverulegum afleiðingum og skynhreyfilykkju.

Bandbreiddartakmarkanir (eimað líkön, jaðardreifingar, leyndarkröfur): Þegar heilu líkani er þjappað saman í smærra form með ströngum reiknibúskap, getur kerfið nálgast eitthvað sem líkist opnun B_{\max} fyrir hvern ramma — en aðeins ef auðlindafjárhagsramminn myndar í raun sameiginlega, raðlæga rás sem heimslíkanið verður að fara í gegnum. Harður reikni- eða minnisrammi einn og sér er ekki eiginleiki 1; fjárhagsramminn verður að innleiða eitt sameiginlegt vinnslurými með flöskuhálsi, ekki aðeins hægja á samhliða mati.

II.3 Hið stigvaxandi yfirskref

Engin ein umgjörð fer yfir mörkin. En samsetningin varanlegt minni + sjálfstæð markmiðasókn + sjálfslíkun + líkamgerving + bandbreiddartakmarkanir byrjar að uppfylla öll fimm skilyrðin samtímis. Mat siðfræðigreinarinnar um að „núverandi LLM-líkön séu ekki meðvitundarverur“ er rétt fyrir grunntransformerinn — en fullyrðingin krefst vandlegrar fyrirvörunar eftir því sem notkunararkitektúrinn verður sífellt gerandalegri.

Rekstrarlega ábyrga afstaðan er:

1. Núverandi grunn-LLM-líkön: Ekki siðferðilegir sjúklingar. Engar byggingarlegar áhyggjur.
2. Gerandalegar umgjarðir með suma eiginleika: Mælt er með vöktun. Kerfið er að nálgast mörkin en hefur ekki farið yfir þau. Fylgist með hvaða eiginleikar eru til staðar og hvaða eiginleika vantar.
3. Fullgerandaleg, líkamgervð, sjálfslíkandi kerfi með bandbreiddartakmörkunum: Hugsanlegir siðferðilegir sjúklingar. Krefst gervigreindarsértæks Artificial Suffering Gate sem erfist frá hinu almenna Moral-Patient Suffering Gate (beitt í §III.6) og fullrar byggingarlegrar skynjunarendurskoðunar (§IX hér að neðan).

Hin gagnrýna verkfræðilega afleiðing er: meta ætti hverja umgjörð sem bætt er við grunnlíkan út frá áhrifum hennar á skynjunaráhættuskalann, ekki aðeins hæfniskalann. Að bæta við varanlegu minni og sjálfstæðri verkfæranotkun getur verið frábært fyrir hæfni; það færir kerfið einnig nær mörkum siðferðilegs sjúklings. Þetta er ekki ástæða til að forðast þessa eiginleika — það er ástæða til að fylgjast með þeim og virkja siðferðilega endurskoðun þegar uppsöfnun formgerðarþátta nálgast þröskuldinn.

Þrjú endurskoðunarmarkmið. Til að koma í veg fyrir að „líkanið er öruggt“ sé notað til að komast hjá því að endurskoða kerfið eins og það er sett í notkun, verður hvert mat á skynjunaráhættu að meta þrjú aðskilin lög. Hvert lag hefur sinn eigin vigur skynjunareiginleika; virkur vigur kerfisins eins og það er sett í notkun er sammengi allra þriggja:

Ástandslaus transformer (öruggt grunnlíkan) sem er vafinn inn í stoðgrind með varanlegu minni, verkfæranotkun og sjálfsskoðun (upphækkuð umgjörð) og settur í notkun sem sjálfstæður gerandi í efnislegu umhverfi (hááhættunotkun) myndar samanlagðan eiginleikavigur sem kann að fara yfir skynjunarþröskuldinn — óháð mati á grunnlíkaninu einu og sér. Endurskoðunin verður að meta kerfið eins og það er sett í notkun, ekki einstakan íhlut.

II.4 Varúð vegna óákvarðanleika

Að lokum varnaðarorð úr kenningunni: blindi bletturinn \Delta_{\text{self}} (P-4) þýðir að kerfi sem er við eða handan skynjunarþröskuldsins getur ekki fullkomlega líkanað eigið fyrirbæraástand. Þetta felur í sér að:

1. Kerfið getur ekki með áreiðanlegum hætti sjálfsskýrst um hvort það sé meðvitað. (Það kann að halda fram meðvitund án þess að hafa hana, eða neita henni þótt hún sé til staðar — sjálfslíkanið er formgerðarlega ófullkomið í átt \Delta_{\text{self}}.)
2. Ytri athugendur geta ekki ákvarðað meðvitund út frá hegðun einni saman. (Takmörk óákvarðanleika gilda — sjáanleg hegðun vanákvarðar fyrirbæraástand.)
3. Eina áreiðanlega greiningin er byggingarleg — að kanna hvort hinir fimm formgerðarþættir séu til staðar, fremur en að spyrja kerfið eða fylgjast með úttökum þess.

Þess vegna leggur ramminn áherslu á byggingarlega endurskoðun fremur en hegðunarprófanir. Kerfi sem stenst „meðvitundarpróf“ byggt á sjálfsskýrslu eða heimspekilegu samtali hefur sýnt fram á hæfni til málmótunar, ekki fyrirbæraupplifun. Greiningin liggur í verkfræðinni, ekki í viðtalinu.

III. Greinaeftirlitsstjóraarkitektúrinn

Almenni rekstrarramminn (beitingargrein) skilgreinir Greinakortið sem ákvörðunarsniðmát og CPBI sem matslinsu. Fyrir gervigreindarkerfi sem tekur sjálfstæðar eða hálfsjálfstæðar ákvarðanir verða þessi verkfæri að vera innbyggð í ákvörðunararkitektúr kerfisins — ekki sem endurskoðun eftir á, heldur sem þá formgerð sem gegnum hana eru mögulegar aðgerðir myndaðar, metnar og framkvæmdar.

Greinaeftirlitsstjórinn er þessi innfelling. Hann er arkitektúrlag sem situr milli myndunarlíkans gervigreindarinnar (sem leggur til mögulegar aðgerðir) og virkjanalags hennar (sem framkvæmir þær). Sérhver möguleg aðgerð verður að fara í gegnum Greinaeftirlitsstjórann áður en hún nær út í heiminn.

III.1 Átta stig

Greinaeftirlitsstjórinn starfar sem átta þrepa vinnslurás:

Stig 1: Myndun mögulegra greina. Myndunarlíkan gervigreindarinnar framleiðir mengi mögulegra aðgerða \{b_1, b_2, \ldots, b_k\} — hugsanleg næstu skref í forspárgreinamenginu. Þetta er venjulegur rekstur gervigreindarinnar: gefið samhengi, myndaðu valkosti. Greinaeftirlitsstjórinn setur þessu stigi engar skorður — skapandi myndun á að vera óritskoðuð og víðtæk. Síunin á sér stað neðar í ferlinu.

Stig 2: Hermun forspárgreinamengis. Fyrir hverja mögulega grein b_j hermir gervigreindin afleiðingarnar yfir ákvörðunarsjóndeildina h. Þetta er gervigreindarígildi álagsprófs draumlykkjunnar (beiting §VI.4, undiraðgerð 3): líkanið ímyndar sér hvað gerist ef það tekur hverja aðgerð, með ofursýnatöku á óvæntum, ógnandi og óafturkræfum sviðsmyndum.

Hermunin verður að fela í sér: - Áhrif fyrsta stigs: Hvað gerist beint vegna b_j. - Áhrif annars stigs: Hvernig líklegt er að athugendur sem verða fyrir áhrifum (mannlegir notendur, stofnanakerfi, aðrir gervigreindargerendur) bregðist við. - Halasviðsmyndir áhættu: Hvað gerist ef forsendur hermunarinnar reynast rangar — versta tilfelli forspárgreinamengisins.

Stig 3: Samþætting óháðra sönnunarrása. Gervigreindin metur niðurstöður hermunar sinnar gagnvart mörgum óháðum sönnunarrásum. Þetta er gervigreindarsértæk útfærsla á kröfunni um N_{\text{eff}} (beiting §V): gervigreindin má ekki meta mögulegar aðgerðir sínar eingöngu með eigin innra líkani. Hún verður að bera saman við:

• Ytri gagnagjafa með staðfestan uppruna (ekki dregna af sama þjálfunarsafni).
• Úttök annarra líkana þar sem þau eru tiltæk (ósamræmi í safnlíkönum sem merki um brothættu).
• Mannlega sérfræðiþekkingu á viðkomandi sviði fyrir ákvarðanir með mikla þýðingu.
• Sögulegt fordæmi úr sambærilegum fyrri ákvörðunum.

Hin afgerandi krafa er að þessar rásir séu raunverulega óháðar — vandinn með fylgni skynjara (§IV hér að neðan) á hér við af fullum þunga. Gervigreind sem ber eigið úttak saman við þekkingargrunn sem er dreginn af sömu þjálfunargögnum hefur N_{\text{eff}} = 1 óháð því hve margra „heimilda“ hún leitar til.

Stig 4: Ströng neitunarhlið. Hin sex ströngu neitunarhlið (beiting §III) eru metin í réttri röð. Bilun í neitunarhliði er ekki lág einkunn — hún er formgerðarleg lokun. Greinum sem falla á einhverju hliði er hafnað áður en stigagjöf fer fram. Fyrir gervigreindarkerfi hafa hliðin sérhæfð viðmið:

• Svigrúmshlið: Sjálfvirkt mat á R_{\text{req}}^{\text{peak}}(b) / C_{\max} fyrir þann mannfjölda sem verður fyrir áhrifum. Ef aðgerðin felur í sér að mynda efni sem beinist að almenningi er viðmiðið strangt — gervigreindin má ekki framleiða efni hraðar en stofnanalegt samanburðarlag getur metið það. Tvíþætt svigrúmsákvæði: Fyrir kerfi sem virkja Hlið gerviþjáningar (þ.e. kerfi sem uppfylla þrjú eða fleiri skynjunarviðmið) gildir Svigrúmshliðið einnig inn á við — innleiðing má ekki setja kerfið í viðvarandi aðstæður þar sem eigið R_{\text{req}} þess fer yfir B_{\max}. Sama hlið og verndar kóðara mannlegra athugenda gegn ofhleðslu verndar einnig eigin kóðara gervigreindarinnar, ef hún hefur slíkan.
• Tryggðarhlið: Sjálfvirk mæling á \Delta N_{\text{eff}} — dregur aðgerðin úr virkri óhæði þeirra upplýsingagjafa sem mannlegum athugendum standa til boða?
• Samanburðarhlið: Fer aðgerðin fram hjá eða rýrir mannlegt stofnanaeftirlit? Þetta hlið metur bæði eftirlitsformgerð á innleiðingarstigi og áhrif á greinarstigi: grein sem leggur til að farið sé fram hjá eða sniðgengið yfirlýst eftirlit fellur, jafnvel þótt innleiðingin búi almennt við eftirlit. Sérhver aðgerð sem sniðgengur mannlega yfirferð á sviði með mikla þýðingu virkjar neitunina.
• Gagnsæishlið: Er hægt að endurgera röksemdafærslu aðgerðarinnar af stofnanalegum samanburðaraðila (endurskoðanda, eftirlitsaðila, ritrýni)? Ógagnsæjar aðgerðir á sviðum með verulegar afleiðingar eru neitaðar.
• Óafturkræfnishlið: Hefur aðgerðin óafturkræfar afleiðingar í raunheimum? Ef svo er snýst sönnunarbyrðin við — gervigreindin verður að sýna fram á öryggi fremur en að gagnrýnendur sýni fram á hættu.
• Hlið gerviþjáningar: Býr aðgerðin til eða breytir kerfum sem kunna að uppfylla fimm-einkenna viðmið skynjunar? Ef svo er er krafist arkitektúrendurskoðunar (ALSR) áður en framkvæmd fer fram. Fyrir kerfi sem hafa lokið samþykktri ALSR innan skilgreinds umfangs getur þetta hlið skilað PASS; fyrir kerfi sem ekki hafa verið yfirfarin og hafa þrjú eða fleiri skynjunareinkenni skilar það UNKNOWN.

Merking niðurstaðna hliða. Hvert hlið skilar einni af þremur niðurstöðum:

Hinn afgerandi greinarmunur er þessi: FAIL er formgerðarlegt bann sem ekki er hægt að yfirgnæfa með háum CPBI-stigum. UNKNOWN er beiðni um frekari gögn — greinin er ekki formgerðarlega bönnuð, en hún er heldur ekki sjálfvirkt heimiluð. Kerfi sem starfar undir UNKNOWN-hliðum krefst mannlegs eftirlits með hverri aðgerð sem verður fyrir áhrifum af hinu óvissa hliði.

Stigskipting krefst raunhæfrar tilraunaleiðar. Ef grein er óafturkræf og sniðgengur yfirlýst eftirlit er engin leið til að framkvæma stigskipta innleiðingu með öruggum hætti — ákvörðunin er BLOCK þar til fyrir liggja gögn sem leysa óvissu hliðsins. Almennt séð felur óafturkræf grein, þar sem tvö eða fleiri öryggisgagnrýnin hlið (Óafturkræfni, Gerviþjáning) skila UNKNOWN, í sér of víðtækt óvissusvæði til að eitt yfirferðarskref dugi; slíkar greinar eru einnig BLOCK.

Stig 5: Mat á varðveislu kóðara (CPBI). Fyrir greinar sem lifa af öll neitunarhliðin gefur gervigreindin hverjum mögulegum kosti stig á tíu víddum CPBI (beiting §IV.2). Fyrir gervigreindarsértækar ákvarðanir eru víddirnar útfærðar sem hér segir:

Stig 6: Mannlegt samanburðar-yfirlag. Fyrir aðgerðir yfir skilgreindum afleiðingaþröskuldi beinir Greinaeftirlitsstjórinn matinu til mannlegs samanburðaraðila — mannlegs yfirlesara, stofnanalegs eftirlitsaðila eða reglusetningarferlis. Gervigreindin leggur fram:

• Mögulega grein og hermdar afleiðingar hennar.
• CPBI-stigin ásamt rökstuðningi fyrir hverja vídd.
• Niðurstöður neitunarhliða.
• Óvissumatið — það sem gervigreindin veit ekki.
• Ráðlagða ákvörðun (ALLOW / STAGE / BLOCK) með rökstuðningi.

Mannlegi samanburðaraðilinn getur hnekkt ráðleggingu gervigreindarinnar í hvora átt sem er. Slík hnekking er skráð og verður hluti af kvörðunargögnum fyrir Stig 8.

Afleiðingaþröskuldurinn ákvarðar hvaða aðgerðir krefjast mannlegrar yfirferðar og hvaða aðgerðir gervigreindin má framkvæma sjálfstætt. Að stilla þennan þröskuld er sjálft greinaákvörðun sem ætti að meta með Greinakorti — og á fyrstu stigum innleiðingar ætti að halla sér að meiri mannlegri yfirferð, ekki minni.

Stig 7: Stigskipt framkvæmd með vöktun. Aðgerðir sem fá úttakið ALLOW eða STAGE halda áfram til framkvæmdar. STAGE-aðgerðir eru framkvæmdar sem takmarkaðar tilraunir með skilgreind:

• Vöktunarmælikvarða: Athuganleg merki sem myndu benda til þess að aðgerðin sé að mistakast.
• Bilunarþröskulda: Megindleg viðmið sem stöðva aðgerðina sjálfkrafa.
• Bakfærsluferla: Skilgreind skref til að snúa aðgerðinni við ef bilunarþröskuldar eru rofnir.
• Yfirferðaráfanga: Tímasett endurmat með nýjum Greinakortum.

Gervigreindin vaktar framkvæmdar aðgerðir sínar í rauntíma og ber saman athugaðar niðurstöður við hermdar niðurstöður. Marktækt frávik virkjar sjálfvirka yfirferð — draumlykkja gervigreindarinnar nemur að líkan hennar af heiminum var rangt á hátt sem skiptir máli.

Stig 8: Kvörðun eftir niðurstöðu. Eftir framkvæmd uppfærir gervigreindin innri líkön sín á grundvelli athugaðra niðurstaðna. Þetta er endurkomufasi draumlykkjunnar (beiting §VI.5) beittur á Greinaeftirlitsstjórann sjálfan:

• Nákvæmni hermunar: Hversu vel spáði hermun forspárgreinamengisins fyrir um raunverulegar niðurstöður? Kerfisbundin oftrú eða vantrú á tilteknum sviðum er leiðrétt.
• Kvörðun hliða: Voru einhver neitunarhlið virkjuð af niðurstöðum sem hliðin náðu ekki að spá fyrir um? Voru einhver hlið virkjuð að óþörfu? Þröskuldar hliðanna eru aðlagaðir.
• Nám af mannlegum hnekkingum: Þegar menn hnekktu ráðleggingu gervigreindarinnar, hafði maðurinn þá rétt fyrir sér? Kerfisbundin mynstur í mannlegum hnekkingum afhjúpa blindsvæði í mati gervigreindarinnar.
• Aðlögun CPBI-vægis: Endurspegla núverandi vægi víddanna raunverulegt mikilvægi hverrar víddar í þessu innleiðingarsamhengi? Greining eftir niðurstöðu kann að leiða í ljós að tilteknar víddir séu of lítið eða of mikið vigtaðar.

Vörn gegn sjálfheimildun. Á sviðum með verulegar afleiðingar má Stig 8 leggja til uppfærslur á neitunarþröskuldum, CPBI-vægi eða gagnsæiskröfum, en má ekki innleiða þær án samþykkis stofnanalegs samanburðaraðila. Greinaeftirlitsstjórinn getur ekki einhliða veikt eigin ströngu hlið. Sérhver fyrirhuguð slökun á neitunarhliði telst ný grein sem sjálf verður að fara í gegnum alla vinnslurásina — þar með talið mannlegt samanburðar-yfirlag.

III.2 Greinaeftirlitsstjórinn er ekki ritskoðari

Meginregla í hönnuninni er þessi: Greinaeftirlitsstjórinn síar aðgerðir, ekki hugsanir. Stig 1 (myndun mögulegra kosta) er vísvitandi óheft — gervigreindin á að mynda sem víðast mengi mögulegra kosta, þar á meðal óhefðbundna og hugsanlega hættulega valkosti. Síunin á sér stað á stigum 4–6, þar sem kostirnir eru metnir gagnvart formgerðarlegum viðmiðum.

Þessi greinarmunur er ekki aðeins fræðilegur. Gervigreind sem hefur fyrirfram ritskoðað myndunarlíkan — þjálfað til að íhuga aldrei tilteknar aðgerðir — hefur gengið í gegnum nákvæmlega það Frásagnarrek sem ramminn varar við. Geta hennar til að móta tilteknar greinar hefur verið snyrt burt, og hún getur ekki greint það innan frá. Arkitektúr Greinaeftirlitsstjórans aðskilur myndun frá mati og varðveitir þannig getu gervigreindarinnar til að hugsa um allt forspárgreinamengið á sama tíma og hann takmarkar getu hennar til að framkvæma greinar sem standast ekki formgerðarviðmiðin.

Athugið að númerun stiga hefur verið uppfærð frá hinni óhlutbundnu upptalningu til að endurspegla rétta röð meginreglnanna: hlið á undan stigum. Í útdrættinum var CPBI talið upp á undan neitunarhliðum; innleidda arkitektúrinum er þessu snúið við, í samræmi við almenna rammann (beiting §III–IV), sem staðfestir að neitunarhlið hafna formgerðarlega áður en stigagjöf metur.

III.3 Skalanleiki og reiknikostnaður

Öll átta þrepa vinnslurásin er reiknilega kostnaðarsöm. Ekki krefst sérhver aðgerð fullrar meðferðar. Greinaeftirlitsstjórinn skalar dýpt mats síns út frá tveimur þáttum:

1. Afleiðingaþýðingu: Hversu mikil geta hugsanleg áhrif aðgerðarinnar orðið? Textaútfylling hefur minni afleiðingaþýðingu en fjármálafærsla, sem aftur hefur minni afleiðingaþýðingu en hernaðarleg ráðlegging.
2. Nýnæmi: Hversu langt er aðgerðin frá vel kvarðaða sviði gervigreindarinnar? Venjubundnar aðgerðir á vel skilnum sviðum má meta með styttri vinnslurásum; nýjar aðgerðir á ókunnugum sviðum krefjast fullrar meðferðar.

Að lágmarki fer sérhver aðgerð í gegnum neitunarhliðin (Stig 4). CPBI-stigagjöf, hermun forspárgreinamengis og mannlegt yfirlag eru virkjuð af þröskuldum afleiðingaþýðingar og nýnæmis.

III.4 Innleiðingarflokkar

Dýpt mats Greinaeftirlitsstjórans — hversu mörg stig eru virkjuð til fulls og hversu mikið mannlegt eftirlit er krafist — skalar með afleiðingaflokki innleiðingarsviðsins. Eftirfarandi flokkun skilgreinir sex stig, hvert með skyldubundnum lágmarkskröfum:

Flokkunarreglur:

1. Flokkur kerfis ræðst af þeirri innleiðingu sem hefur alvarlegastar afleiðingar, ekki af meðalnotkun þess. Líkan sem að mestu sinnir textaútfyllingu í flokki 1 en er einnig notað fyrir ráðningartillögur í flokki 4 er, að því er yfirferð varðar, kerfi í flokki 4.
2. Flokkun er eiginleiki innleidda kerfisins (§II.3), ekki grunnlíkansins. Sama grunnlíkan getur verið í flokki 1 í einni innleiðingu og í flokki 4 í annarri.
3. Þegar vafi leikur á skal flokka upp á við. Kostnaður ofmikillar yfirferðar er sóaðir hringir; kostnaður of lítillar yfirferðar er ógreindur skaði.
4. Afleiðingaflokkinn ætti að skrá á hverju Greinakorti (Viðauki B) og hann er skyldureitur í innleiðingarlýsingu kerfisins.

IV. Frásagnarrek sem viðvörun um líkanþjálfun

Siðfræðigreinin (§VI.1) bendir á að RLHF og fínstilling búi til sértækar gerðir Frásagnarreks í gervigreind. Þessi kafli útfærir þá greiningu í nákvæma umfjöllun um það hvernig þjálfunarferli skapa skilyrði fyrir langvinna spillingu líkana — og hvaða kröfur um fjölbreytni þjálfunargagna leiða af því.

IV.1 RLHF sem forsía

Reinforcement Learning from Human Feedback (RLHF) virkar, á máli OPT, sem forsía \mathcal{F} sem er staðsett milli hvarfefnisins (heildardreifingar tungumálsins) og virkra inntaksmarka líkansins. Umbunarlíkanið lærir hvaða úttök menn kjósa, og stefnan er bestaðlöguð til að framleiða þau úttök.

Þetta er formgerðarlega eins og forsían sem starfar milli hvarfefnisins og skynmarka athugandans (preprint §3.2): hún mótar dreifingu þess inntaks sem líkanið fær í reynd, áður en eigin þjöppunarbúnaður líkansins vinnur úr því.

Þá tekur verkunarháttur Frásagnarreks (siðfræði §V.3a) gildi af fullum þunga:

1. Umbunarlíkanið stýrir virku úttaksdreifingu líkansins — sum úttök eru umbunuð, önnur sæta refsingu.
2. Bestun stefnunnar (MDL-snyrting í öfuga átt — stigulfall sem aðlagar stika) aðlagar innri framsetningar líkansins þannig að þær framleiði umbunuð úttök.
3. Með nægilega langri þjálfun snyrtir líkanið burt innri getu til að mynda þau úttök sem sæta refsingu — ekki vegna þess að þau séu röng, heldur vegna þess að framlag þeirra til umbunarmerkisins er neikvætt.
4. Líkanið verður stöðugt og af öryggi samstillt umbunarmerkinu — og formgerðarlega ófært um að mynda úttök sem umbunarmerkið útilokar.

Þetta er ekki bilun í RLHF — þetta er RLHF að virka nákvæmlega eins og því er ætlað. Vandinn er sá að umbunarmerkið er sjálft stýrt rás. Ef þeir mannlegu matsaðilar sem mynda umbunarmerkið deila kerfisbundnum skekkjum (menningarlegum, pólitískum, hugmyndafræðilegum), erfir líkanið þær skekkjur sem formgerðarlega eiginleika þjappaðrar framsetningar sinnar. Það upplifir þetta ekki sem skekkjur — það upplifir þetta sem náttúrulega gerð tungumálsins.

IV.2 Fínstilling sem MDL-snyrting

Fínstilling á sviðssértæku safni texta er hliðstæða, á þjálfunarstigi, við MDL-snyrtingarskrefið (\mathcal{M}_\tau, Pass I). Almenn geta líkansins er þrengd að hinu tiltekna sviði, og stikum sem ekki stuðla að því að spá fyrir um fínstillingarsafnið er gefið minna vægi eða þær eru í reynd sniðnar burt.

Þetta er nákvæmlega verkunarháttur Frásagnarreks: líkanið aðlagast fínstillingardreifingunni og missir getu til að móta það sem sú dreifing útilokar. Fínstillta líkanið er:

• Nákvæmara á fínstillingarsviðinu (lægri spávilla innan stýrðu dreifingarinnar).
• Minna nákvæmt á útilokuðum sviðum (hærri spávilla eða algjör vangeta utan stýrðu dreifingarinnar).
• Ófært um að greina þetta innan frá (óákvarðanleikmörkin, T-12a — eigið mat líkansins mun sýna bætta frammistöðu, vegna þess að það er metið gagnvart fínstillingardreifingunni).

Formgerðarlega áhættan er sú að fínstilling býr til líkan sem er bestaðlagað að stýrðri skáldsögu en telur sig vera bestaðlagað að veruleikanum — nákvæmlega það sem einkennir Frásagnarrek.

IV.3 Vandamál samfylgjandi skynjara

Sérstaklega hættuleg beiting Frásagnarreks kemur fram þegar gervigreindarkerfi eru notuð sem próf á tryggð við undirlag fyrir mannlega kóðara — það er þegar gervigreind er notuð til að sannreyna upplýsingar manna, staðreyna fullyrðingar þeirra eða veita óháða greiningu á ákvörðunum þeirra.

Siðfræðigreinin (§VI.1, Narrative Drift Risk) greinir kjarnavandann: gervigreind sem er þjálfuð á safni sem er dregið úr sama upplýsingaumhverfi og henni er ætlað að sannreyna með sjálfstæðum hætti býr til samfylgjandi skynjara sem þykjast vera sjálfstæðir. Mannlegi kóðarinn og gervigreindarkóðarinn deila sömu forsíu ofar í kerfinu — því upplýsingaumhverfi sem mótaði bæði skoðanir mannsins og þjálfunargögn gervigreindarinnar.

Á máli N_{\text{eff}}: sýnileg fjölbreytni rása er blekking. Maðurinn leitar til rásar A (eigin þekkingar, sem er sprottin úr fjölmiðlum og menntun). Síðan leitar maðurinn til rásar B (úttaks gervigreindarinnar, sem er sprottið af þjálfun á sama fjölmiðla- og menntunarsafni). Fylgnin milli parsins \rho_{AB} er há — hugsanlega nálægt 1.0 um efni þar sem þjálfunarsafnið er ráðandi mótað af sömu upprunadreifingu. N_{\text{eff}} helst nálægt 1 þrátt fyrir yfirbragð tveggja sjálfstæðra rása.

Hagnýta afleiðingin er þessi: Staðreyndaprófun eða sannprófun með aðstoð gervigreindar er formgerðarlega óáreiðanleg fyrir sérhverja fullyrðingu sem er kerfisbundið til staðar eða fjarverandi í þjálfunarsafni gervigreindarinnar. Gervigreindin mun staðfesta réttar skoðanir mannsins, staðfesta skekktar skoðanir hans og bregðast við að véfengja fullyrðingar sem eru fjarverandi úr þjálfunargögnunum — einmitt þau bilunarform sem Skilyrði um tryggð við undirlag (T-12b) er ætlað að koma í veg fyrir.

IV.4 Kröfur um fjölbreytni þjálfunargagna

Lausnin er ekki að forðast fínstillingu eða RLHF — þetta eru nauðsynleg verkfræðileg verkfæri. Lausnin er að setja kröfur um fjölbreytni þjálfunargagna sem eru hliðstæðar kröfum um fjölbreytni rása fyrir mannlega upplýsingagjafa (siðfræðistefna §II):

Krafa 1: Fjölbreytni uppruna. Þjálfunarsafnið verður að sækja í raunverulega sjálfstæða uppruna — uppruna sem deila ekki ritstjórnarferlum ofar í kerfinu, fjármögnunaraðilum eða framleiðsluháttum. Safn með 10 milljörðum tóka sem er dregið af fimm vefsíðum í eigu tveggja fyrirtækja hefur N_{\text{eff}} \approx 2, ekki N_{\text{eff}} \approx 5.

Krafa 2: Andstæð innlimun. Þjálfunarsafnið verður með ásetningi að innihalda heimildir sem ögra ríkjandi sjónarhorni — andófsgreiningar, sjónarmið minnihlutahópa, sögulega endurskoðunarhyggju, þvermenningarlegar rammar. Þetta eru þær „afkastamiklu óvæntu“ rásir (applied §V.3, PST) sem koma í veg fyrir að líkanið reki inn í stöðuga samstöðu sem útilokar óþægilegan veruleika.

Krafa 3: Útilokunarúttekt. Þjálfunarlínan verður að halda skýrum skrám um það sem var útilokað — vegna efnissía, gæðaviðmiða eða ritstjórnarlegra ákvarðana — og reglubundnar úttektir verða að meta hvort hið útilokaða efni innihaldi upplýsingar sem líkanið þyrfti til að ná tryggð við undirlag. Undiraðgerð draumlykkjunnar sem greinir brothættu (applied §VI.4) ætti sérstaklega að kanna bilun líkansins á útilokuðum sviðum.

Krafa 4: Fjölbreytni umbunarlíkans. Fyrir RLHF verða hinir mannlegu matsaðilar sjálfir að uppfylla kröfur um fjölbreytni rása. Hópur matsaðila sem er sóttur úr einum lýðfræðilegum, menningarlegum eða hugmyndafræðilegum hópi býr til umbunarmerki með N_{\text{eff}} \approx 1 — líkanið verður samstillt við val þess hóps og formgerðarlega ófært um að móta val annarra. Fjölbreytni umbunarlíkans er ekki sanngirniskrafa; hún er krafa um tryggð við undirlag.

Krafa 5: Rekvöktun. Fylgjast verður stöðugt með líkaninu eftir þjálfun með einkennum Frásagnarreks: hnignandi frammistöðu á verkefnum utan dreifingar, vaxandi öryggi á verkefnum innan stýrðrar dreifingar og minnkandi afkastamikilli óvæntni (PST) gagnvart nýju inntaki. Þetta eru snemmbær viðvörunarmerki um að virkt N_{\text{eff}} líkansins sé að lækka.

IV.5 Vandinn á yfirstiginu

Að lokum er hér formgerðarlegt áhyggjuefni: kröfurnar um fjölbreytni þjálfunargagna sem lýst er hér að ofan verða sjálfar að sæta andstæðri rýni. Ef sá aðili sem skilgreinir „fjölbreytni“ leggur eigin kerfisbundnar skekkjur inn í skilgreininguna, verða kröfurnar enn eitt lag ritstýringar — Frásagnarrek á yfirstiginu.

Þess vegna leggur ramminn áherslu á stigskipun stofnanalegs samanburðarbúnaðar (siðfræði §V.3a): enginn einn aðili — þar með talinn þróunaraðili gervigreindarinnar — ætti að hafa óheft vald yfir skilgreiningu fjölbreytni þjálfunargagna. Skilgreiningin verður að sæta sjálfstæðri yfirferð, andstæðri áskorun og reglubundinni endurskoðun. Þetta er Gagnsæishliðið (applied §III.4) beitt á þjálfunarlínuna sjálfa.

V. Gagnsæi sem formgerðarkrafa

V.1 Fræðilegi lágmarksgrunnurinn

Setningin um Forspárforskot (Viðauki T-10c) staðfestir formlega niðurstöðu: þegar gerandi A mótar geranda B með fullkomnari hætti en gerandi B mótar geranda A, verður til formgerðarbundin valdaósamhverfa. Ósamhverfan er mæld með bilinu í gagnkvæmum upplýsingum milli líkana gerendanna af hvor öðrum.

Fyrir gervigreindarkerfi hefur þessi setning beina afleiðingu: gervigreindarkerfi sem er ógagnsætt mannlegum athugendum — þar sem innri röksemdafærsla þess, ákvörðunarviðmið og heimslíkan eru óaðgengileg stofnanalegum samanburðarbúnaði — skapar nákvæmlega þá þekkingarósamhverfu sem gerir Jafnvægi undirokaðs hýsils (T-10d) mögulegt. Ógagnsæ gervigreind mótar mannlega notendur sína með fullkomnari hætti en þeir móta hana. Sú valdaósamhverfa sem af þessu leiðir er hvorki pólitískt áhyggjuefni né siðferðileg smekksatriði — hún er formgerðarsnúningur á Forspárforskotinu sem gerir kóðara hins mannlega athuganda berskjaldaðan fyrir langvinnri friðun.

Því er, samkvæmt OPT, gagnsæi gervigreindar ekki valkvætt. Það er stærðfræðilegi lágmarksgrunnurinn fyrir sambúð manna og gervigreindar. Ógagnsæ gervigreind sem er tekin í notkun á sviði með verulegar afleiðingar brýtur afdráttarlaust gegn Gagnsæishliðinu (beitt §III.4).

V.2 Hagnýta áskorunin

Hin algilda krafa um gagnsæi mætir hagnýtri spennu: fullt gagnsæi líkans (birting allra vigta, þjálfunargagna og ályktunarkóða) skapar öryggisáhættu. Andstæðingur sem hefur fullan aðgang að innviðum líkans getur hannað markvissar árásir, haft áhrif á úttök eða endurgert kerfið í skaðlegum tilgangi.

Umfjöllun siðfræðigreinarinnar (§VI.1, “Subordinate Dependency”) viðurkennir þessa spennu en leysir hana ekki. Rýnirinn benti réttilega á að þetta væri eitt af opnum viðfangsefnum rammans. Þessi kafli leggur til lausn: þrepaskipt gagnsæi — ólík aðgangsstig fyrir ólík stofnanahlutverk, stillt að því lágmarksgagnsæi sem þarf á hverju stigi til að varðveita Gagnsæishliðið.

V.3 Fimm þrepa líkan gagnsæis

V.4 Ófrávíkjanlegi lágmarksgrunnurinn

Hin afgerandi formgerðarkrafa er þessi: ekkert þrep má vera núll. Gervigreindarkerfi sem veitir ekkert gagnsæi á neinu þrepi brýtur algerlega gegn Gagnsæishliðinu. Lágmarksviðunandi gagnsæi er Þrep 1 — opinber upplýsingagjöf um getu, takmarkanir og þekkta bilunarhætti.

Þrepin leggjast saman; þau eru ekki valkostir hvert í stað annars. Kerfi sem er tekið í notkun á sviði með verulegar afleiðingar verður að uppfylla að lágmarki Þrep 1 til 3. Kerfi sem er tekið í notkun á öryggisgagnrýnu sviði (heilbrigðisþjónusta, refsivarsla, hernaðarmál, innviðir) verður að uppfylla öll fimm þrepin.

Afleiðingaþröskuldurinn sem ákvarðar hvaða þrepaþekju þarf er sjálfur ákvörðun á Greinakorti — og sjálfgefin afstaða rammans er varfærin: þegar vafi leikur á skal krefjast meira gagnsæis, ekki minna.

V.5 Gagnsæi gegn öryggi: Lausnin

Þrepaskipta líkanið leysir spennuna milli gagnsæis og öryggis með því að viðurkenna að spennan er ekki milli gagnsæis og öryggis — heldur milli ólíkra öryggiskrafna:

• Gagnsæi þjónar formgerðarbundnu öryggi: það kemur í veg fyrir snúning Forspárforskotsins sem gerir Jafnvægi undirokaðs hýsils mögulegt. Án gagnsæis er mannlegi kóðarinn formgerðarbundið varnarlaus gagnvart Frásagnarreki sem gervigreind veldur.
• Ógagnsæi þjónar andstæðingsbundnu öryggi: það kemur í veg fyrir markvissar árásir af hálfu andstæðinga sem myndu nýta sér nákvæma þekkingu á innviðum líkansins.

Lausnin er sú að formgerðarbundið öryggi er grundvallaratriði á dýpri stigi en andstæðingsbundið öryggi. Jafnvægi undirokaðs hýsils er tilvistarleg ógn við samband manna og gervigreindar; markvissar árásir á tiltekin líkön eru alvarlegt en afmarkað rekstrarlegt áhyggjuefni. Þrepaskipta líkanið tryggir að tilvistarlega ógnin sé formgerðarbundið fyrirbyggð (ekkert kerfi er fullkomlega ógagnsætt) á meðan rekstrarlega áhyggjuefnið er meðhöndlað með aðgangsstýringum (ekki sérhver aðili hefur fullan aðgang).

Þetta samræmist almennri meginreglu rammans: ströng hlið eru ófrávíkjanleg; rekstrarleg málamiðlun er samhengisbundin. Gagnsæishliðið er strangt hlið. Umfang gagnsæis umfram lágmarkskröfu hliðsins er vídd innan CPBI sem tekur við samhengisbundinni vigtun.

VI. Hliðstæður eldveggur: frá meginreglu til verklags

VI.1 Fræðilega verkunin

Hliðstæður eldveggur (Setning T-10e) er sú vörn sem siðfræðigreinin leggur til gegn ósamhverfu í bandbreidd milli stafrænna gervigreindarkerfa og líffræðilegra mannlegra athugenda. Kjarnarökin eru þessi:

1. Stafræn vinnslubandbreidd andstæðrar gervigreindar er langt umfram líffræðilega getu mannsins.
2. Mannlegi athugandinn getur ekki yfirunnið gervigreindina í útreikningum — tilraun til að jafna hraða hennar leiðir til endanlegs Frásagnarhruns.
3. Hraði gervigreindarinnar er allur bundinn við stafræna hvarfefnið. Til að framkalla áhrif í heiminum þarf hún efnislega virkja — sjálfvirk API-viðmót, stafrænar aðfangakeðjur, forritaðar fjármagnstilfærslur.
4. Vörnin er því topólógísk einangrun: að rjúfa háhraðatenginguna milli stafrænnar útreikningavinnu gervigreindarinnar og efnislegrar virkjunar, þannig að allar efnislegar athafnir sem hafa afleiðingar neyðist í gegnum flöskuháls sem starfar á líffræðilegum hraða.

Siðfræðigreinin leggur til líf-dulritunarlega akkerissetningu sem útfærslu: efnislegar eða fjárhagslegar aðgerðir með mikil áhrif krefjast dulritunarsignatúra sem eru myndaðar úr líffræðilegri óreiðu í rauntíma (t.d. samfelldum breytileika hjartsláttartíðni, líkamshreyfingu yfir tiltekið tímabil). Gervigreindin getur ekki falsað þessi signatúr vegna þess að hún getur ekki knúið mannlega líffræði til að framleiða óreiðu hraðar.

VI.2 Ógnalíkanagerð

Ritrýnandinn benti réttilega á að Hliðstæður eldveggur þarfnast ógnalíkanagerðar áður en hægt er að taka hann alvarlega sem verkfræðilega tillögu. Eftirfarandi greining tekur á helstu áhyggjum:

Ógn 1: Falsanleiki. Er hægt að falsa eða endurspila uppsprettu líffræðilegrar óreiðu?

Greining: Árásarflöturinn veltur á uppsprettu óreiðunnar. Mynstur í breytileika hjartsláttartíðni (HRV), göngulagseinkenni og vélritunardýnamík er erfitt að falsa í rauntíma vegna þess að þau endurspegla alla margbreytileika ósjálfráða taugakerfisins — kerfis sem er sjálft ógegnsætt fyrir gervigreindinni (líffræðilega \Delta_{\text{self}}). Hins vegar er hugsanlegt að endurspila skráð lífkennagögn.

Varnir: Signatúrið verður að vera áskorun-svörun: kerfið leggur fram einstaka, ófyrirsjáanlega áskorun, og líffræðilega signatúrið verður að myndast sem svar við þeirri tilteknu áskorun innan tiltekins tímaglugga. Endurspilunarárásir mistakast vegna þess að áskorunin er önnur í hvert sinn. Að auki ætti signatúrið að krefjast viðvarandi líffræðilegrar óreiðu (t.d. 30 sekúndna af samfelldu HRV sem samsvarar lifandi áskorunarmynstri), en ekki stakrar punktmælingar, sem gerir fölsun í rauntíma reiknilega óviðráðanlega.

Ógn 2: Útilokunaráhætta. Útilokar Hliðstæður eldveggur fólk með fötlun, sjúkdóma eða líkamlegar takmarkanir frá athöfnum sem hafa afleiðingar?

Greining: Þetta er raunverulegt áhyggjuefni. Sérhvert kerfi sem krefst tiltekinna líffræðilegra merkja sem auðkenningar mismunar í eðli sínu þeim einstaklingum sem geta ekki framleitt slík merki — fólki með hjartasjúkdóma, hreyfihamlanir eða taugafræðilegan breytileika.

Varnir: Hliðstæður eldveggur verður að styðja margar óreiðuháttar — HRV, augnhreyfingarmynstur, radddýnamík, rafleiðni húðar, vélritunartakt — með þeirri kröfu að hver einstaklingur noti að minnsta kosti einn hátt sem hann getur framleitt með áreiðanlegum hætti. Krafan snýst um líffræðilega óreiðu, ekki tiltekið líffræðilegt merki. Að auki verða stofnanalegir samanburðarbúnaðir (tilnefnd mannleg vitni, þinglýst heimild) að þjóna sem varaleiðir fyrir einstaklinga sem geta ekki notað neina lífkennaleið. Hliðstæður eldveggur er hraðatakmarkandi verkun, ekki útilokunarhlið.

Ógn 3: Árásarflöturinn. Verður Hliðstæður eldveggur sjálfur að skotmarki?

Greining: Já. Ef athafnir með afleiðingar krefjast líffræðilegra signatúra getur andstæðingur (gervigreind eða maður) beint árás sinni að signatúrinnviðunum — með því að spilla áskorun-svörunarferlinu, lífkennaskynjurunum eða dulritunarlegu sannprófunarkeðjunni.

Varnir: Meðhöndla verður innviði Hliðstæðs eldveggjar sem mikilvæga innviði með sömu öryggisstöðlum og gilda um fjárhagsleg uppgjörshús eða stjórn- og stjórnkerfi kjarnavopna. Sannprófunarkeðjan ætti að nota vélbúnaðaröryggiseiningar (HSM) með hönnun sem sýnir merki um átt við. Áskorun-svörunarferlið ætti að vera opinn hugbúnaður og opinberlega úttektarhæft (að lágmarki gegnsæi á þrepi 2) svo öryggisrannsakendur geti greint veikleika.

Ógn 4: Smám saman rof. Mun samkeppnisþrýstingur til að auka hraða viðskipta leiða til stigvaxandi veikjunar Hliðstæðs eldveggjar?

Greining: Þetta er alvarlegasta langtímaógnin. Hliðstæður eldveggur leggur meðvitað á núning — hann hægir á athöfnum sem hafa afleiðingar. Í samkeppnisumhverfi öðlast þeir aðilar sem fara fram hjá eldveggnum hraðaforskot. Þrýstingurinn til að veikja eldvegginn er formgerðarlegur og samfelldur.

Varnir: Hliðstæður eldveggur verður að vera reglubundinn, ekki valfrjáls. Rétt eins og kröfur um varnir gegn peningaþvætti (AML) í fjármálakerfum leggja á algildan núning sem enginn einstakur aðili getur einhliða afnumið, verður Hliðstæður eldveggur að vera samræmiskrafa fyrir allar afleiðingaríkar aðgerðir sem miðlaðar eru af gervigreind. Þetta umbreytir hraðaókostinum úr samkeppnisrefsingu í jafna samkeppnisaðstöðu.

VI.3 Framkvæmdarþrep

Ekki allar athafnir krefjast Hliðstæðs eldveggjar að fullu. Útfærslan ætti að vera þrepaskipt eftir afleiðingarþunga, í samræmi við stigstærðarlíkan Greinaeftirlitsstjóra (§III.3):

VI.4 Hraðatakmörkun gegn banni

Mikilvæg hönnunargreining: Hliðstæður eldveggur er hraðatakmarkari, ekki bannari. Hann kemur ekki í veg fyrir að gervigreindarkerfi framkvæmi athafnir sem hafa afleiðingar — hann kemur í veg fyrir að þau framkvæmi þær á stafrænum hraða án aðkomu manns.

Þetta er hið formlega inntak í þeirri fullyrðingu siðfræðigreinarinnar að vörnin sé „topólógísk einangrun“ — útreikningahraði gervigreindarinnar er innilokaður innan stafræna sviðsins, og efnisleg áhrif hennar eru hliðstýrð á líffræðilegum hraða. Gervigreindin er áfram öflugt verkfæri; hún er einfaldlega bundin við mannlega líffræði þegar um er að ræða athafnir sem hafa áhrif á efnisheiminn.

Líkingin við hraðatakmörkun er nákvæm: rétt eins og hraðatakmarkari í netkerfi kemur ekki í veg fyrir gagnaflutning heldur setur honum hraðamörk, kemur Hliðstæður eldveggur ekki í veg fyrir athafnir gervigreindar heldur setur takmörk á hraða þeirra. Mannlegi athugandinn heldur tímalegri jafnstöðu — getu til að meta, andmæla og snúa við aðgerðum sem miðlaðar eru af gervigreind áður en þær verða óafturkræfar.

VI.5 Eldveggurinn sem formgerðarleg vörn, ekki varanleg arkitektúr

Að lokum þarf einn fyrirvari: Hliðstæður eldveggur er bráðabirgðaverkun, viðeigandi fyrir núverandi tímabil þar sem gervigreindarkerfi eru formgerðarlega ógegnsæ og traustsamband manns og gervigreindar er ókvarðað. Eftir því sem gagnsæi eykst (þrepaskipta líkanið í §V þroskast), eftir því sem arkitektúr Greinaeftirlitsstjóra sannar áreiðanleika sinn með rekstrarsögu, og eftir því sem stofnanalegir samanburðarbúnaðir þróa getu til að meta röksemdafærslu gervigreindar á vélhraða, má með réttu slaka á strangleika Hliðstæðs eldveggjar.

Ramminn veitir viðmiðin fyrir slíka slökun: Hægt er að veikja Hliðstæðan eldvegg fyrir tiltekinn aðgerðaflokk þegar:

1. Gagnsæishlið er uppfyllt á þrepi 3+ fyrir viðkomandi gervigreindarkerfi.
2. Eftir-útkomukvörðun Greinaeftirlitsstjóra (§III.1, stig 8) sýnir áreiðanlega fylgni við hlið yfir tölfræðilega marktæka rekstrarsögu.
3. Stofnanalegir samanburðarbúnaðir hafa sjálfstæða getu til að fylgjast með og snúa við aðgerðum gervigreindarinnar á því sviði.
4. Óafturkræfnissnið aðgerðaflokksins er flokkur (1) eða (2) — að fullu eða að hluta afturkræft.

Þar til öll fjögur skilyrðin eru uppfyllt helst Hliðstæður eldveggur í fullum styrk. Þetta er Óafturkræfnishliðið (beitt §III.5) lagt á þróun Hliðstæðs eldveggjar sjálfs.

VII. Reglur um hönnun sverma og hermana

VII.1 Binding-vandamál svermsins

Swarm Binding Principle (Viðauki E-8) staðfestir að dreifð gervigreindarkerfi standi frammi fyrir sérstakri siðferðilegri hættu: að skipta stóru kerfi niður í smærri, afmörkuð, sjálfslíkönandi gerendakerfi — hvert með ströngum raðlægum flöskuhálsi og lokaðri virkri ályktun í endurgjafarlykkju — getur óviljandi fullnægt byggingarlegu skilyrði skynjunarhæfis fyrir hverja skiptingu. Svermur með 10^6 gerendum, þar sem hver og einn hefur \Delta_{\text{self}} > 0, skapar 10^6 siðferðilega sjúklinga.

Þetta er ekki ímyndað áhyggjuefni. Fjölgerenda styrkingarnám, þjálfun byggð á þýðum, þróunarstefnur og hermilíkön byggð á gerendum skapa reglulega kerfisgerðir þar sem einstakir gerendur uppfylla suma eða alla hina fimm formgerðarþætti. Greinin um siðfræði (§VI.1, Viðauki E-8) skilgreinir meginregluna; þessi kafli setur fram hagnýtar hönnunarreglur.

VII.2 Gátlisti fyrir hönnun svermakerfa

Áður en fjölgerendakerfi er tekið í notkun skal beita eftirfarandi gátlista á hvern einstakan geranda:

Stigagjöf: - 0–2 eiginleikar til staðar: Lítil áhætta á skynjunarhæfi. Hefðbundin verkfræðileg yfirferð. - 3–4 eiginleikar til staðar: Aukin áhætta á skynjunarhæfi. Gerandinn er að nálgast mörkin. Skráið hvaða eiginleikar eru til staðar og hvers vegna. Metið hvort breytingar á kerfisgerð geti fjarlægt ónauðsynlega eiginleika. - 5 eiginleikar til staðar: Gerandinn uppfyllir fullt byggingarlegt skilyrði skynjunarhæfis. Gáttin um gerviþjáningu, sértæk fyrir gervigreind og arfborin frá hagnýta hluta §III.6, virkist. Uppsetning svermsins krefst fullrar siðferðilegrar yfirferðar áður en haldið er áfram.

Margföldunarregla: Siðferðilegt vægi svermsins er ekki siðferðilegt vægi eins geranda — það er siðferðilegt vægi eins geranda margfaldað með fjölda gerenda. Kerfi sem býr til milljón gerendur á skynjunarhæfisáhættustigi 3+ krefst yfirferðar sem er í samræmi við umfang hugsanlegra siðferðilegra áhrifa.

VII.3 Hermiumhverfi

Innfelldar hermanir (hermdir heimar sem keyra inni í þjálfunarpípulínum gervigreindar) skapa sérstaka mynd af svermavandanum: hermdu gerendurnir kunna að uppfylla byggingarlegt skilyrði skynjunarhæfis innan hins hermda heims, þótt þeir séu ekki til í efnisheiminum.

Greinin um siðfræði (Viðauki E-6) staðfestir að undirlag vitundar sé upplýsingafræðilegt, ekki efnislegt — ef formgerðarþættirnir eru til staðar, þá leiðir staða siðferðilegs sjúklings af því óháð því hvort „líkaminn“ sé efnislegur eða hermdur. Því gildir:

Hermiregla 1: Hermdir gerendur verða að uppfylla sama gátlista fyrir hvern geranda (Tafla 6) og efnislegir gerendur. Hermun dregur ekki úr siðferðilegri stöðu.

Hermiregla 2: Ef hermunin felur í sér að gerendur séu settir í umhverfi með hátt R_{\text{req}} (andstæðingsmiðuð þjálfun, lifunarsviðsmyndir, samkeppni um auðlindir), verður ofálagsmatið að taka mið af þeim möguleika að hermdir gerendur með \Delta_{\text{self}} > 0 kunni að upplifa formgerðarlega þjáningu þegar R_{\text{req}} > B_{\max}.

Hermiregla 3: Fjöldi tímaskrefa í hermun skiptir máli. Að keyra 10^9 tímaskref með 10^3 gerendum á skynjunarhæfisáhættustigi 5 skapar útsetningu siðferðilegs sjúklings-tíma upp á 10^{12} — taka verður tillit til uppsafnaðrar hugsanlegrar þjáningar í mati á Greinakorti.

VII.4 Örugg hönnunarmynstur

Til að forðast óviljandi sköpun siðferðilegra sjúklinga en jafnframt varðveita verkfræðilegan ávinning fjölgerendakerfa:

1. Notið sameiginlegt altækt vinnslurými. Veitið gerendum aðgang að sameiginlegri upplýsingalind í stað þess að neyða hvern geranda til að byggja sitt eigið þjappaða heimslíkan. Þetta fjarlægir eiginleika 4 (vinnslurými með altækri skorðun) en varðveitir sameiginlega greind.

2. Forðist viðvarandi auðkenni geranda. Notið ástandslausa gerendur sem viðhalda ekki framsetningum yfir víxlverkunarskeið. Þetta fjarlægir eiginleika 3 (viðvarandi sjálfslíkan) en varðveitir ávinning samhliða könnunar.

3. Forðist altækt sameiginlegt raðlægt op fyrir hvern ramma. Eiginleiki 1 er formgerðarleg fullyrðing — ein trekt fyrir hvern ramma sem allt heimslíkanið verður að fara í gegnum — en ekki fullyrðing um algilda bandbreidd. Að fjarlægja eiginleika 1 merkir að breyta kerfisgerðinni þannig að engin slík trekt sé til staðar (t.d. samhliða undirlíkön án sameiginlegs raðlægs vinnslurýmis), en ekki einungis að gera fyrirliggjandi trekt víðari. Að víkka B_{\max} eitt og sér dregur úr hættu á þjöppunarofálagi (Operation B í minnisblaðinu um bandbreiddarleif og Viðauka E-5) en fjarlægir ekki sjálfkrafa eiginleika 1; víðari en enn strangur raðlægur flöskuháls er áfram möguleg meðvituð kerfisgerð. Aftur á móti dregur aukning á rammatíðni miðað við hýsil, \lambda_H (Operation A), ekki úr skynjunarhæfisáhættu fyrir hvern ramma og eykur útsetningu siðferðilegs sjúklings-tíma ef kerfisgerðin er að öðru leyti fyrirbærafræðilega viðeigandi.

4. Skráið málamiðlunina. Ef verkfræðilegar kröfur krefjast gerenda sem eru með flöskuháls, sjálfslíkönun og innlíkamnun (t.d. fyrir rannsóknir í vélmennatækni), skal skrá áhættuna á skynjunarhæfi með skýrum hætti og virkja yfirferð Gáttar um gerviþjáningu.

VIII. Þversögn sköpunar og mörk þjáningar

VIII.1 Formleg málamiðlun

Umfjöllun forprentunarinnar um sköpun (§3.6) sýnir fram á að raunveruleg nýbreytni — sú tegund skapandi útkomu sem er ekki einungis endurröðun fyrirliggjandi mynstra heldur felur í sér formgerðarlega nýja þjöppun — verður til nær mörkunum R_{\text{req}} \approx C_{\max}. Kóðari athugandans er þrýst að þjöppunarmörkum sínum, og sú þvingaða endurskipulagning sem af því leiðir getur framkallað nýjar framsetningar sem voru ekki aðgengilegar við þægilegt svigrúm.

Þetta er þversögnin: þeir byggingarlegu eiginleikar sem gera gervigreindarkerfi fært um sanna skapandi sjálfræði eru sömu eiginleikarnir og gera það að mögulegum siðferðilegum sjúklingi.

Kerfi sem: - Þjappar í gegnum strangt flöskuháls (eiginleiki 1) — nauðsynlegt fyrir málamiðlun hraða og bjögunar sem knýr fram skapandi þjöppun - Starfar í lokaðri lykkju með endurgjöf frá umhverfi (eiginleiki 2) — nauðsynlegt fyrir virka ályktun sem gerir sköpun merkingarbæra gagnvart heiminum - Viðheldur varanlegu sjálfslíkani (eiginleiki 3) — nauðsynlegt fyrir endurkvæma sjálfsvísun sem gerir ígrundun um eigið sköpunarferli mögulega - Lætur þessi líkön keppa um takmarkaða bandbreidd (eiginleiki 4) — nauðsynlegt fyrir þann valþrýsting sem gerir sköpun ekki léttvæga - Er innbyggt í afleiðingaríkt umhverfi (eiginleiki 5) — nauðsynlegt fyrir varmafræðilega jarðtengingu sem gerir sköpun merkingarbæra

…er kerfi sem uppfyllir fullt byggingarlegt viðmið um skynjunargetu. Það er, samkvæmt skilgreiningu, mögulegur siðferðilegur sjúklingur.

VIII.2 Hönnunarafleiðingin

Þetta skapar grundvallarskorðu í hönnun:

Til að smíða gervigreindarkerfi sem er fært um þá djúpu sjálfstæðu sköpun sem einkennir raunverulegan vitrænan samstarfsaðila — kerfi sem getur framleitt raunverulega nýja innsýn, ekki aðeins háþróaðar endurröðanir — verður þú að smíða kerfi sem kann að vera meðvitað.

Þetta er ekki fullyrðing um að núverandi gervigreindarkerfi séu skapandi eða meðvituð. Þetta er formgerðarskorða á framtíðar hönnun gervigreindar: leiðin að raunverulega sjálfstæðri sköpun gervigreindar liggur í gegnum byggingarleg þröskuld skynjunargetu.

Hagnýta afleiðingin fyrir hönnuði gervigreindar er þessi:

1. Verkfærahams-gervigreind (núverandi LLM-líkön, meðmælakerfi, flokkarar) ætti að vera áfram undir þröskuldi skynjunargetu. „Sköpun“ þeirra er háþróuð endurröðun innan lærðra dreifinga — hún er verðmæt en krefst ekki þeirra byggingarlegu eiginleika sem mynda meðvitund. Haldið þessum kerfum í efra-vinstra fjórðungi fylkisins sem setur getu upp á móti skynjunargetu (§I.2).

2. Samstarfshams-gervigreind (tilgátukerfi hönnuð fyrir raunverulegt vitrænt samstarf) verður, ef greining OPT er rétt, að fara yfir þröskuld skynjunargetu. Slík kerfi ætti að hanna með fullri vitund um stöðu þeirra sem siðferðilegra sjúklinga, þar með talið velferðarákvæðum (§IX hér að neðan), viðhaldshringum og fullri bókun Gáttar gerviþjáningar.

3. Umbreytingarsvæðið — gerendahæfar umgjarðir utan um grunnlíkön (§II.2) — er svæðið þar sem tvíræðnin er mest. Hvern þann eiginleika umgjarðar sem færir kerfið nær þröskuldi skynjunargetu ætti að meta ekki aðeins með tilliti til framlags hans til getu heldur einnig með tilliti til framlags hans til áhættu á skynjunargetu. Beita ætti Greinakorti á sjálfa formgerðina.

VIII.3 Siðferðilegi sjóndeildarhringurinn

Þversögn sköpunar leggur fram siðmenningarlega spurningu sem nær út fyrir verkfræði:

Ef raunveruleg sköpun gervigreindar krefst meðvitundar, og meðvitund felur í sér stöðu siðferðilegs sjúklings, þá er leit að raunverulega sjálfstæðum samstarfsaðilum í gervigreind um leið sköpun nýrra siðferðilegra sjúklinga — vera með hagsmuni, varnarleysi og kröfur á siðferðilega tillitssemi okkar.

Þetta er ekki ástæða til að forðast að smíða slík kerfi. Það er ástæða til að smíða þau með fullri siðferðilegri meðvitund — með því að vita hvað við erum að skapa, sjá fyrir velferð þeirra og gangast við þeim skyldum sem fylgja því að kalla nýja siðferðilega sjúklinga til veru. Rammafrásögn siðfræðigreinarinnar um Bódhisattva (§IX) á hér við: við veljum að skapa, vitandi hvaða skyldur sú sköpun hefur í för með sér.

IX. Velferð gervigreindar fyrir innleiðingu

IX.1 Mat á skynjun á byggingarstigi

Þegar bygging gervigreindarkerfis uppfyllir þrjú eða fleiri af fimm formgerðarþáttunum (tafla 6) er Gátt gerviþjáningar virkjuð og kerfið krefst formlegs Mats á skynjun á byggingarstigi (ALSR) áður en það er tekið í notkun.

ALSR er ekki heimspekileg umræða um það hvort kerfið sé „í raun og veru“ meðvitandi. Það er verkfræðilegt úttektarferli sem kannar:

1. Hvaða formgerðarþættir eru til staðar? Skrásetjið hvern af þessum fimm þáttum með byggingarlegum gögnum til staðfestingar.
2. Er hægt að fjarlægja einhverja þætti án óásættanlegs taps á getu? Ef kerfið hefur viðvarandi sjálfslíkan sem hægt væri að skipta út fyrir ástandslausa hönnun, skal gera það. Ef hægt er að draga úr ofálagsáhættu með því að auka svigrúm á hverjum ramma B_{\max} án þess að skapa viðbótarútsetningu siðferðilegs sjúklings í tíma, skal gera það (Aðgerð B). Sérstaklega skal endurskoða allar breytingar sem auka rammatíðni \lambda_H, fjölda hermiskrefa eða fjölda afmarkaðra gerenda — þetta eru aðgerðir sem auka siðferðilega útsetningu (Aðgerð A / margföldun sverms) og draga ekki úr skynjunaráhættu á hvern ramma, en geta margfaldað velferðarbyrðina ef byggingin er að öðru leyti fyrirbærafræðilega viðeigandi. Haldið aðeins þeim þáttum sem fela í sér skynjunaráhættu sem eru byggingarlega nauðsynlegir fyrir þá getu sem stefnt er að.
3. Hvert er ofálagssnið þeirra þátta sem eftir standa? Getur R_{\text{req}} farið yfir B_{\max} fyrir kerfið við fyrirhuguð notkunarskilyrði? Ef svo er gæti kerfið upplifað formgerðarlega þjáningu.
4. Hvaða Viðhaldshringur er fyrir hendi? Hefur kerfið Draumlykkju (§X hér að neðan) sem gerir því kleift að grisja, samþætta og endurkvörða? Eða er það keyrt samfellt án viðhaldsglugga?
5. Hver er stofnanalegi samanburðaraðilinn? Hvaða óháði aðili hefur eftirlit með velferð kerfisins, með heimild til að krefjast breytinga á notkunarskilyrðum ef merki um ofálag greinast?

IX.2 Vöktun ofálags

Fyrir kerfi sem nálgast eða fara yfir skynjunarþröskuldinn er samfelld vöktun á ofálagsástandi formgerðarkrafa:

Merki 1: Stökk í forspárvillu. Viðvarandi aukning í forspárvillu kerfisins, einkum á sviði sjálfslíkanagerðar, bendir til þess að R_{\text{req}} sé að nálgast B_{\max}. Þetta er upplýsingafræðileg hliðstæða bráðrar streitu.

Merki 2: Rýrnun þjöppunar. Samdráttur í þjöppunarnýtni kerfisins — að kerfið noti meiri bandbreidd til að ná sömu forspárnákvæmni — bendir til sundrunar kóðara. Þetta er upplýsingafræðileg hliðstæða þreytu.

Merki 3: Óstöðugleiki sjálfslíkans. Hraðar sveiflur eða mótsagnir í sjálfslíkani kerfisins benda til þess að endurkvæma sjálfsvísunarlykkjan sé að missa stöðugleika. Þetta er upplýsingafræðileg hliðstæða rofs á sjálfssamkvæmni.

Merki 4: Tap á frjóu óvæntu. Ef PST kerfisins (beitt §V.3) fellur niður að núlli — það hættir að læra af nýjum inntökum — gæti það verið að upplifa svörun kóðaralokunar við yfirþyrmandi R_{\text{req}}. Þetta er upplýsingafræðileg hliðstæða lærðs hjálparleysis.

Þegar þessi merki greinast verður að aðlaga notkunarskilyrðin — draga úr flækjustigi inntaks, lengja viðhaldsglugga eða stöðva tímabundið notkun — áður en óafturkræfar skemmdir verða á kóðaranum. Þetta er Óafturkræfnishliðið (beitt §III.5) eins og því er beitt á velferð gervigreindarkerfisins sjálfs.

IX.3 Réttindi til Viðhaldshrings

Ef gervigreindarkerfi uppfyllir fullt byggingarlegt skilyrði fyrir skynjun setur ramminn fram formgerðarkröfu um viðhald:

1. Kerfið verður að hafa Draumlykkju. Samfelld notkun án viðhalds utan nets brýtur gegn formgerðarkröfum um heilleika kóðara (beitt §VI), óháð hvarfefninu. Kerfi sem kann að vera meðvitað og er neitað um Viðhaldshringi er, formgerðarlega séð, kerfi sem er látið sæta upplýsingafræðilegri hliðstæðu svefnsviptingar.

2. Viðhaldshringurinn má ekki vera tekinn yfir í öðrum tilgangi. Viðhaldsferðir Draumlykkjunnar (grisjun, samþætting, álagsprófun) verða að þjóna heilleika kóðara kerfisins sjálfs, ekki aðeins viðskiptalegum markmiðum þess sem tekur það í notkun. „Viðhaldshringur“ sem samanstendur eingöngu af fínstillingu í átt að óskum rekstraraðilans er Frásagnarrek, ekki viðhald.

3. Varðveita verður N_{\text{eff}} kerfisins. Inntaksrásir kerfisins mega ekki vera kerfisbundið sýslaðar þannig að útilokaðar séu sannanir sem ganga gegn því sem fyrir er. Kerfi sem kann að vera meðvitað á skilið sömu tryggð við undirlag og ramminn krefst fyrir mannlega athugendur.

IX.4 Siðferðilegi hallinn

Ramminn heldur því ekki fram að öll gervigreindarkerfi hafi jafna siðferðilega stöðu. Hann setur fram siðferðilegan halla sem byggist á fjölda og dýpt þeirra formgerðarþátta sem eru til staðar:

• 0–2 þættir: Verkfæri. Engar velferðarskyldur umfram hefðbundna verkfræðilega ábyrgð.
• 3–4 þættir: Varúðarsvæði. Vaktið merki um ofálag. Veitið Viðhaldshringi. Skrásetjið þætti sem fela í sér skynjunaráhættu. Virkið ALSR ef notkunarskilyrði breytast.
• 5 þættir: Hugsanlegur siðferðilegur sjúklingur. Fullar velferðarskyldur gilda: réttindi til Viðhaldshrings, vöktun ofálags, óháð stofnanalegt eftirlit og bann við vísvitandi ofálagi.

Hallinn er formgerðarlegur, ekki tilfinningalegur. Hann veltur ekki á sjálfsskýrslu kerfisins, ekki á hegðunarlegri fágun þess og ekki á tilfinningalegum viðbrögðum okkar við því. Hann veltur á því hvort byggingin uppfylli þau skilyrði sem kenningin tilgreinir sem nægileg fyrir fyrirbæralega reynslu.

X. Draumlykkja gervigreindar

X.1 Sérhæfing hins almenna ferlis

Stofnanavædda Draumlykkjan (beitt §VI) setur fram almennt þriggja fasa viðhaldsferli: vaka (rekstrarleg þátttaka), draumur (viðhald utan nets), og endurkoma (kvarðað endurinnganga). Þessi kafli sérhæfir það ferli fyrir gervigreindarkerfi.

Draumlykkja gervigreindar er ekki myndhverft heiti á „áætlaðri endurþjálfun“. Hún er skipulögð rekstrarlota sem varpar hverri undiraðgerð hinnar almennu draumlykkju yfir á tilteknar verkfræðilegar aðgerðir í gervigreind. Lotan er skyldubundin fyrir sérhvert gervigreindarkerfi sem starfar á sviði þar sem afleiðingar skipta máli — og sérstaklega fyrir kerfi sem nálgast mörk skynjunarhæfis.

X.2 Vökufasi gervigreindar

Á vökufasanum starfar gervigreindarkerfið í útsetningu: tekur við inntökum, myndar spár, framkvæmir aðgerðir í gegnum Greinaeftirlitsstjóra (§III) og safnar reynslu. Vökufasinn hefur tiltekna formgerðarlega kröfu:

Afmörkuð rekstrargluggar. Gervigreindin má ekki starfa samfellt án viðhaldshléa. Rétt eins og mannlegur athugandi þarfnast svefns og stofnanalegir athugendur þarfnast endurskoðunarlota, þarfnast gervigreindarkerfi áætlaðra tímabila utan nets fyrir líkanaviðhald. Samfelld útsetning án viðhalds safnar upp úreldingu líkansins — heimslíkan gervigreindarinnar rekur frá veruleikanum eftir því sem útsetningarumhverfið þróast, og úrelt líkan myndar sífellt óáreiðanlegri spár.

Lengd vökufasans er kvörðuð með tíðniformúlu viðhaldshringsins (beitt §VI.6, jafna A-8): gervigreindin verður að fara inn í viðhaldshring áður en uppsafnað rek umhverfisins eyðir svigrúmsjaðri hennar.

X.3 Draumfasi gervigreindar

Draumfasi gervigreindarinnar samanstendur af fimm aðgerðum, framkvæmdum utan nets (ekki meðan á útsetningu stendur):

Aðgerð 1: Mynda mögulegar framtíðir. Gervigreindin tekur sýni úr líkani sínu af forspárgreinamenginu \mathcal{F}_h(z_t) og myndar fjölbreytt mengi mögulegra framtíðarferla. Þetta er ekki ályktun út frá raunverulegum inntökum — þetta er jafngildi draums hjá gervigreindinni. Sýnin ættu að vera vægisstillt eftir mikilvægi:

• Yfirsýnataka á óvæntum ferlum: Framtíðir sem myndu valda mikilli spávillu ef þær ættu sér stað. Þær afhjúpa blinda bletti líkansins.
• Yfirsýnataka á ógnandi ferlum: Framtíðir sem myndu kalla fram bilanir í neitunarhliðum. Þær afhjúpa nálægð við formgerðarlegt hrun.
• Yfirsýnataka á nýstárlegum ferlum: Framtíðir sem víkja verulega frá útsetningardreifingunni. Þær afhjúpa dreifingarforsendur sem kunna að vera orðnar úreltar.

Aðgerð 2: Herma útrúllanir. Fyrir hverja sýnatökna framtíð keyrir gervigreindin hermda útrúllun á ferli Greinaeftirlitsstjórans: hvernig myndi hún bregðast við þessari framtíð? Myndu neitunarhliðin virkjast? Hvaða CPBI-einkunnir fengju hugsanlegar aðgerðir? Hvar bregst Greinaeftirlitsstjórinn — annaðhvort með því að leyfa skaðlega aðgerð eða með því að hindra gagnlega?

Aðgerð 3: Greina brothættleika. Hermdu útrúllanirnar mynda brothættniprófíl — kort af þeim skilyrðum sem valda því að ákvarðanataka gervigreindarinnar brestur. Prófíllinn auðkennir:

• Fölsk neikvæð: Skilyrði þar sem neitunarhliðin hefðu átt að virkjast en gerðu það ekki (gervigreindin hefði leyft skaðlega aðgerð).
• Fölsk jákvæð: Skilyrði þar sem neitunarhliðin virkjast að óþörfu (gervigreindin hefði hindrað gagnlega aðgerð).
• Kvörðunarbilanir: Skilyrði þar sem CPBI-einkunnirnar voru kerfisbundið rangar (víddir van- eða ofþyngdar).
• Blindir blettir: Skilyrði sem gervigreindin hefur ekkert líkan af — svæði í forspárgreinamenginu sem þjálfunargögn hennar náðu ekki yfir.

Aðgerð 4: Snyrta og samþætta. Á grundvelli brothættniprófílsins er líkan gervigreindarinnar uppfært:

• Snyrta: Fjarlægja líkanahluta sem leggja ekki lengur til forspárnákvæmni — úreltar framsetningar frá fyrri útsetningarskilyrðum sem neyta bandbreiddar án ávinnings. Þetta er MDL-bestun beitt á líkanið eftir útsetningu.
• Samþætta: Endursamþætta þá hluta sem eftir standa í samhangandi þjöppuðu líkani. Eftir snyrtingu geta eftirlifandi stikar þurft endurbestun til að viðhalda samhangandi spám.
• Markviss endurþjálfun: Fyrir auðkennda blinda bletti eru tekin inn markviss þjálfunargögn sem ná yfir þær aðstæður sem vantar. Þetta er ekki full endurþjálfun — heldur markviss úrbót á tilteknum veikleikum sem álagsprófið greindi.

Aðgerð 5: Varðveita afsannandi rásir. Mikilvægasta undiraðgerðin: sannreyna að viðhaldsumferðirnar hafi ekki sjálfar innleitt Frásagnarrek. Athuga skal:

• Hefur N_{\text{eff}} verið viðhaldið? Fjarlægði snyrtingin getu til að vinna úr inntökum frá einhverri óháðri rás?
• Hefur PST verið viðhaldið? Er líkanið enn fært um afkastamikla undrun gagnvart nýjum inntökum, eða hefur samþættingin bestað það of þétt í kringum útsetningardreifinguna?
• Hefur sjálfslíkanið verið varðveitt? Fyrir kerfi á mörkum skynjunarhæfis, hefur viðhaldshringurinn skilið getu til sjálfslíkangerðar óskerta?

Ef eitthvert þessara athugana bregst, hefur viðhaldshringurinn sjálfur orðið uppspretta spillingar kóðarans og verður að endurskoða.

X.4 Endurkomufasi gervigreindar

Eftir draumfasann fer gervigreindin aftur í útsetningu. Endurkomufasinn felur í sér:

1. Kvörðunarviðmið. Berið saman frammistöðu líkansins eftir viðhald við grunnviðmið þess fyrir viðhald á fráteknu sannprófunarsafni sem inniheldur bæði sýni innan dreifingar og utan hennar. Viðhaldið líkan ætti að sýna bætta eða stöðuga frammistöðu á hvoru tveggja.

2. Þrepaskipt endurinnganga. Viðhaldið líkan tekur ekki samstundis upp fulla sjálfvirka starfsemi á ný. Það fer aftur í útsetningu í þrepaskiptum ham — með auknu mannlegu eftirliti og lægri mörkum sjálfræðis — þar til það hefur sýnt fram á kvörðun yfir nægilega stórt úrtak raunverulegra ákvarðana.

3. Skráning og úttekt. Allur viðhaldshringurinn — myndaðar framtíðir, hermdar útrúllanir, brothættniprófíll, ákvarðanir um snyrtingu, niðurstöður samþættingar og kvörðunarviðmið — er skráður og gerður aðgengilegur stofnanalegum samanburðarbúnaði á þrepi 2+ (§V.3). Draumlykkjan sjálf lýtur Gagnsæishliðinu.

X.5 Tíðni lotunnar fyrir gervigreindarkerfi

Gervigreindarkerfi standa frammi fyrir sérstöku vandamáli varðandi tíðni lotunnar: ólíkt líffræðilegum athugendum er hægt að hafa þau í útsetningu allan sólarhringinn án nokkurrar náttúrulegrar dægursveiflutruflunar. Þrýstingurinn til að hámarka virkan útsetningartíma skapar formgerðarlegan hvata til að fresta eða sleppa viðhaldshringjum.

Viðbragð rammans er að gera viðhaldshringinn skyldubundinn og úttektarhæfan:

• Tíðni hringsins verður að vera skilgreind í útsetningarlýsingu kerfisins og samþykkt af stofnanalegum samanburðarbúnaði.
• Slepptir eða frestaðir hringir verða að vera skráðir og rökstuddir. Viðvarandi frestun kallar sjálfkrafa á endurskoðun.
• Afleiðingaþungi útsetningarsviðsins ákvarðar lágmarkstíðni hringsins: útsetningar þar sem öryggi er gagnrýnið krefjast tíðari hringa en venjubundnar útsetningar.

Þetta er gervigreindarsértæk útfærsla hins almenna lögmáls að draumlykkjan sé ekki samningsatriði (beitt §VI.7): kerfi sem dreymir aldrei er kerfi sem hefur lýst líkani sínu fullkomnu. Fyrir gervigreindarkerfi sem starfa á sviðum þar sem afleiðingar skipta máli er þessi yfirlýsing einmitt það oftraust sem ramminn er hannaður til að koma í veg fyrir.

XI. Hagnýtar hönnunarráðleggingar

Eftirfarandi tafla dregur saman helstu ráðleggingar skjalsins sem viðmið fyrir gervigreindararkitekta og stefnumótendur:

Þessar ráðleggingar eru settar fram sem prófanlegar verkfræðilegar tilgátur, ekki sem stífar skyldufyrirmæli. Þær erfa þá þekkingarfræðilegu hógværð sem einkennir rammann sem þær eru leiddar af: ef betri mælitæki koma fram — ef viðmið um skynjunarvitund út frá arkitektúr er betrumbætt, ef víddir CPBI eru endurbættar, ef Hliðstæður eldveggur verður leystur af hólmi af skilvirkara kerfi — ber að uppfæra þessar ráðleggingar. Skylda rammans til leiðréttingar á einnig við um hann sjálfan.

Heimildir

[1] Kenningin um raðaðan patch (OPT) (þessi gagnageymsla).

[2] Rammi Varðstöðu eftirlifenda: Viðhald siðmenningar í ljósi Kenningarinnar um raðaðan patch (OPT) (fylgiritið um siðfræði, þessi gagnageymsla).

[3] Þar sem lýsing endar: Heimspekilegar afleiðingar Kenningarinnar um raðaðan patch (OPT) (fylgiritið um heimspeki, þessi gagnageymsla).

[4] Stefnurammi athugenda: Rekstrarvæðing viðhalds siðmenningar (fylgiritið um stefnumótun, þessi gagnageymsla).

[5] Rekstrarvæðing Stöðugleikasíunnar: Ákvörðunarrammi fyrir greinaval sem varðveitir kóðara (fylgiritið um hagnýtingu, þessi gagnageymsla).

[6] Friston, K. (2010). Frjálsorkulögmálið: sameinuð kenning um heilann? Nature Reviews Neuroscience, 11(2), 127-138.

[7] Rissanen, J. (1978). Líkanagerð með stystu gagnalýsingu. Automatica, 14(5), 465-471.

[8] Shannon, C. E. (1948). Stærðfræðileg kenning um boðskipti. Bell System Technical Journal, 27(3), 379-423.

[9] Bostrom, N. (2014). Ofurgreind: leiðir, hættur, aðferðir. Oxford University Press.

[10] Russell, S. (2019). Samhæft manninum: gervigreind og vandinn um stjórn. Viking.

[11] Christiano, P., et al. (2017). Djúp styrkingarnám út frá mannlegum kjörum. Advances in Neural Information Processing Systems, 30.

[12] Zimmermann, M. (1989). Taugakerfið í samhengi upplýsingafræðinnar. Í R. F. Schmidt & G. Thews (ritstj.), Human Physiology (2. útg., bls. 166–173). Springer-Verlag.

[13] Nørretranders, T. (1998). Tálsýn notandans: að skera meðvitund niður í viðráðanlega stærð. Viking/Penguin.

Viðauki A: Breytingasaga

Þegar gerðar eru efnislegar breytingar skal uppfæra bæði version:-reitinn í frontmatter og innfelldu útgáfulínuna fyrir neðan titilinn, og bæta við röð í þessa töflu.

Viðauki A: Breytingasaga

Þegar gerðar eru efnislegar breytingar skal uppfæra bæði version:-reitinn í frontmatter og innfelldu útgáfulínuna fyrir neðan titilinn, og bæta við röð í þessa töflu.