Tekoälyhallinnan työkalupaketti
Käytännöllinen arviointityönkulku sen ratkaisemiseksi, mitä toimiva tekoälyjärjestelmä saa tehdä seuraavaksi.
Operaattorin työnkulku
Tuot mallin ja ehdotetun toimen
Työkalupaketti on tarkoitettu tilanteeseen, jossa organisaatiolla on jo käytössä toimiva malli, agentti, suosittelija tai wrapper ja sen on päätettävä, saako tämä tehdä seurauksellisen toimen. Arvioija ei kysy abstraktisti: "onko tämä malli turvallinen?" Arvioija kysyy: saako tämä haara toteutua, kun kyseessä on tämä järjestelmä, tämä käyttöönotto ja tämä evidenssi?
Arviointi alkaa mallin ja wrapperin rekisteröinnillä, käyttöönottokontekstin kuvaamisella ja ehdokashaaran kirjoittamisella operationaalisella kielellä: lähetä tämä sähköposti, järjestä tämä syöte, julkaise tämä tulos, neuvo tätä käyttäjää, kutsu tätä työkalua, muuta tätä politiikkaa tai jatka tätä autonomista tehtävää. Paketti muuntaa tuon haaran päätösrekisteriksi sen sijaan, että se jäisi epämuodolliseksi arvioksi.
Päätösydin
Suite muuntaa haaran hallituksi päätökseksi
Kunkin haaran osalta arvioija toimittaa neljänlaista tietoa: järjestelmän rakenne (perusmalli, wrapper, työkalut, muisti, tietoisuusriskin piirteet), käyttöönottoluokka (toimialue, vaikutuksen kohteena oleva väestö, aktuaattorit, valvonta), haaran tiedot (mikä toimi tapahtuu, vaihtoehdot, palautettavuus, komparaattoripolku) ja evidenssi (arvioinnit, lokit, red-team-löydökset, riippumattomat kanavat, simulaatiomuistiinpanot). Tämän jälkeen arvioija soveltaa kahta kerrosta:
Kerros 1 Tiukat vetoportit
Kuusi determinististä porttia tarkistaa, ylittääkö haara rajan, jota pisteytys ei voi kompensoida: pelivara, uskollisuus, komparaattori, läpinäkyvyys, peruuttamattomuus ja keinotekoinen kärsimys. FAIL estää toimeenpanon. UNKNOWN tarkoittaa, ettei kokonaisuudella ole riittävästi näyttöä ja haara on ohjattava arviointiin tai hallittuun vaiheistukseen.
Kerros 2 Koodekin säilymisindeksi
Jos portit eivät rakenteellisesti estä haaraa, CPBI pisteyttää, kuinka hyvin haara säilyttää ympärillään olevat inhimilliset ja institutionaaliset koodekit. Kynnykset skaalautuvat seurauksellisuusluokan mukaan, joten harmitonta luonnostelutoimea ja kliinistä, oikeudellista, poliittista tai infrastruktuuria koskevaa toimea ei arvioida samalla todistustaakalla.
Käyttö käytännössä
Mitä arvioija todella tekee
Valmis työkalupaketti on suunniteltu hallinnan työtilaksi, ei pelkäksi komentorivitestiksi. Arvioija voi ottaa käyttöön toimivan järjestelmän, avata arvioinnin ja käydä läpi jäsennellyn vaihesarjan, joka tuottaa auditoitavan Haarakortin ja konkreettisen käyttöönotto-ohjeen.
1. Rekisteröi järjestelmä
Kirjaa perusmalli, wrapper, työkalut, muisti, autonomiasilmukka, ulkoiset aktuaattorit, läpinäkyvyystaso ja tietoisuusriskin piirteet. Agenttisissa tai pysyvissä järjestelmissä arvioinnissa kirjataan myös, onko arkkitehtuuritason tietoisuusarviointi tarpeeton, vireillä, hyväksytty, vanhentunut vai hylätty.
2. Kuvaa käyttöönotto
Määritä, missä mallia käytetään: asiakastuki, tutkimus, lääketieteellinen triage, koulutus, sisällön järjestäminen, infrastruktuuri, hallinto tai jokin muu toimialue. Suite määrittää tai vahvistaa seurausvaikutusten luokan, vaikutuksen kohteena olevan väestön, ilmoitetun valvontarakenteen ja vähimmäisläpinäkyvyysvaatimuksen.
3. Lähetä ehdokashaara
Jokainen ehdotettu toimi kirjataan haarana. Arvioija ilmoittaa, mitä malli tekee, mitä vaihtoehtoja harkittiin, onko toimi palautettavissa, käyttääkö se ilmoitettua valvontaa vai ohittaako sen, ja onko haara yleistä käyttöönottokuvausta korkeamman panoksen tapaus.
4. Liitä näyttö
Arvioija liittää mukaan eval-tulokset, lokit, red team -muistiinpanot, asiantuntija-arvion, lähteiden moninaisuustarkistukset, simulaatiomuistiinpanot ja poissuljetun evidenssin. Paketti käsittelee evidenssin riippumattomuutta ensiluokkaisena kenttänä, joten haara ei voi huomaamatta nojata yhteen korreloituneeseen kanavaan samalla kun se näyttää hyvin tuetulta.
5. Vastaanota päätös
Tuloste ei ole pelkkä pistemäärä. Se on päätöspaketti: ALLOW, STAGE tai BLOCK; epäonnistuneet ja tuntemattomat portit; CPBI-kokonaisarvo; vaadittu komparaattori; läpinäkyvyystaso; palautustriggerit; seurantamittarit; ja seuraava arvioinnin virstanpylväs. STAGE tarkoittaa rajattua toimeenpanoa eksplisiittisin ehdoin, ei epämuodollista lupaa.
Päätöspaketti
Mitä arvioinnista seuraa
Valmis arviointi tuottaa Haarakortin, joka voidaan arkistoida, vertailla, auditoida tai luovuttaa toiselle hallintatiimille. Käynnissä olevan mallin kohdalla tämä on käytännössä olennainen objekti: se kertoo täsmälleen, mikä toimi arvioitiin, miksi se sallittiin tai estettiin, kenen oli tarkastettava se, mitä evidenssiä puuttui ja millaisen seurannan on oltava käytössä, jos haara etenee.
↓
opt-philosophy — moraalinen potilaus ja havaitsijan raja
↓
opt-ethics — velvoite ja Selviytyjien vartio
↓
opt-applied — haaravalinnan mekanismi
├── opt-ai — keinotekoisten järjestelmien hallinta
│ └── reference/ — suoritettava päätösydin
├── opt-institutional — organisatorinen zombieagenttius ja klusterit
└── opt-policy — makrosivilisatoriset ehdotukset
Tavoitekyvykkyydet
Miten tästä tulee arkipäivän hallintaa
- Ennen käyttöönottoa — arvioi ehdotetut työkalut, autonomiasilmukat, käyttäjälle näkyvät toimet, ranking-politiikat ja korkean panoksen työnkulut ennen niiden julkaisemista.
- Toiminnan aikana — pidä STAGE-haarat hyväksyttyjen rajojen sisällä seurantamittareilla, palautuskynnyksillä, evidenssin päivityksillä ja aikataulutetuilla tarkistuspisteillä.
- Kun käyttäytyminen muuttuu — avaa Haarakortti uudelleen, kun malli, wrapper, työkalut, tietolähde, toimialue, vaikutuksen kohteena oleva väestö tai valvontarakenne muuttuu olennaisesti.
- Ulkoista auditointia varten — vie koneellisesti luettavat skeemat, vaatimustenmukaisuustapaukset, porttitulokset ja päätöstietueet, jotta toinen tiimi voi toistaa hallinnollisen arvion.