Teorien om den ordnede patchen (OPT)

Opprinnelig oppgave T-1: Stabilitetsfilter — full spesifikasjon av rate-distorsjon Problem: Shannons rate-distorsjonsteori krever: en kilde X, et reproduksjonsalfabet og en distorsjonsfunksjon d(x, \hat{x}). Preprinten påkaller R_{pred}(D) uten å spesifisere disse tre elementene for OPTs substrat. Leveranse: En fullstendig spesifikasjon av (\mathcal{X}, \hat{\mathcal{X}}, P_X, d) for OPTs rate-distorsjonsproblem.

Denne revisjonen skiller mellom overskuddsentropi og statistisk kompleksitet, beviser den prediktive-KL-identiteten ved endelig horisont, beviser den generelle nedre grensen R_{T,h}(D)\ge E_{T,h}-D, og angir et eksakt likhetskriterium for når denne nedre grensen oppnås. C_{\max} forblir en empirisk parameter snarere enn en størrelse utledet fra rate-distorsjonsformalismen.
Lukkingsstatus: DELVIS LØST. Spesifikasjonen av firer-tupletten, den prediktive-KL-identiteten og den generelle nedre grensen R_{T,h}(D) \geq E_{T,h}(\nu) - D er etablert med et eksakt likhetskriterium. Det tidligere generiske kravet om lukket form, R(D) = C_\mu - D, er trukket tilbake; det korrekte resultatet er den nedre grensen. C_{\max} forblir en empirisk parameter snarere enn en størrelse utledet fra rate-distorsjonsformalismen.

§0. Formuleringsnivå

Arbeidsformulering. La T,h<\infty være gitt. La X:=X_{1:T} betegne fortidsblokken og Y:=X_{T+1:T+h} den fremoverskuende fremtidsblokken under et fast beregnbart stasjonært ergodisk mål \nu\in\mathcal M. Definer den prediktive informasjonen med endelig horisont E_{T,h}(\nu):=I(X;Y). Når grensen for uendelig horisont eksisterer, definer overskuddsentropien E_\nu := I(\overleftarrow X;\overrightarrow X). Hvis S betegner den fullstendige kausale tilstanden til \epsilon-maskinen, definer den statistiske kompleksiteten C_{\mu,\nu}:=H(S). Dette er distinkte størrelser. Rate-distortion-problemet med endelig horisont i dette appendikset er formulert i termer av E_{T,h}, ikke C_{\mu,\nu}. Solomonoff-målet \xi inngår bare som meta-prior-vektingen (preprint, ligning 1): individuelle R(D)-kurver beregnes per mål \nu. Resultater som krever hele blandingen \xi, angis separat.

§1. Den fullstendige fire-tuppel-spesifikasjonen

1.1 Kilde X og fordelingen P_X

La et beregnbart stasjonært ergodisk mål \nu \in \mathcal{M} på \{0,1\}^\infty være gitt. Kilden er prosessen (X_t)_{t \ge 1} fordelt i henhold til \nu. For meta-prior-rollen vekter \xi fra preprint Eq. (1) hver slik \nu med w_\nu \approx 2^{-K(\nu)}. Vi skriver P_X = \nu for et fast medlem av \mathcal{M}. Alle resultater nedenfor gjelder per mål \nu; Solomonoff-koblingen kommer inn gjennom dominansgrensen i §4.

1.2 Reproduksjonsalfabet \hat{X}

For faste T,h, definer en prediktiv ekvivalensrelasjon med endelig horisont på fortidsblokker: x \sim_h x' \iff \nu(Y\in A\mid X=x)=\nu(Y\in A\mid X=x') \quad\text{for alle målbare }A\subseteq\{0,1\}^h. La S_h være ekvivalensklassen til X under \sim_h. Da er S_h den minimale tilstrekkelige statistikken for å predikere Y fra X ved horisont h.

Den fulle \epsilon-maskinens kausale tilstand S er objektet med uendelig horisont som fremkommer når man går over til semi-uendelige fortider og hele fremtiden. Dette appendikset bruker S_h for utledninger med endelig horisont og reserverer S for den fulle grensen for kausal tilstand.

Beregnbarhetsstatus. For generell beregnbar \nu hevder ikke dette appendikset eksakt beregnbarhet av partisjonen av prediktive tilstander. Den behandles som et idealisert målbart objekt. Eksakt beregnbarhet hevdes bare for eksplisitt identifiserte underklasser, slik som prosesser med endelig minne.

1.3 Forvrengningsfunksjon d_h(x, z)

Forvrengningsfunksjonen er den prediktive KL-divergensen: d_h(x,z):=D_{\mathrm{KL}}\!\big(P_\nu(Y\mid X=x)\,\|\,P_\nu(Y\mid Z=z)\big). Her er Z en representasjonsvariabel produsert av en enkoder p(z\mid x). Når Z=S_h, er dette den eksakte prediktive tilstandsforvrengningen; når Z er en grovning eller en stokastisk kode, er P_\nu(Y\mid Z=z) den induserte prediktive loven.

Fullstendig fire-tuppel

§2. Utledning av R_{T,h}(D) under fir-tupletten

Rate-distortion-funksjonen for fir-tupletten i §1 er:

R_{T,h}(D) = \min_{p(z|x) : \mathbb{E}[d_h(X,Z)] \le D} I(X ; Z)

2.1 KL-distortion-identiteten

La X:=X_{1:T}, Y:=X_{T+1:T+h}, og la Z være en vilkårlig representasjon produsert av en enkoder p(z\mid x). Siden Z-X-Y er en Markov-kjede, \mathbb E[d_h(X,Z)] = \mathbb E\!\left[D_{\mathrm{KL}}(P(Y\mid X)\|P(Y\mid Z))\right] = H(Y\mid Z)-H(Y\mid X) = I(X;Y\mid Z). Ekvivalent, \mathbb E[d_h(X,Z)] = I(X;Y)-I(Z;Y)=E_{T,h}(\nu)-I(Z;Y). Derfor er distortion-betingelsen \mathbb E[d_h(X,Z)]\le D ekvivalent med I(Z;Y)\ge E_{T,h}(\nu)-D.

2.2 Reformulering via informasjonsflaskehalsen

Forvrengningsbetingelsen begrenser rommet av tillatte enkodere til dem som oppfyller \mathbb{E}[d_h(X,Z)] \le D. Dette tilsvarer presist å nedrebegrense I(Z;Y), og gir dermed det begrensede Information Bottleneck-problemet. Fordi det oppnåelige området \{(I(Z;Y), I(X;Z))\} er konvekst under standardargumenter om tidsdeling, gjelder sterk dualitet. Dette tillater en eksakt reformulering ved hjelp av Information Bottleneck-Lagrangefunksjonen (Tishby, Pereira & Bialek 1999 [28]): \mathcal{L}[p(z|x)] = I(X ; Z) - \beta \cdot I(Z ; Y) der Lagrange-multiplikatoren \beta bestemmes av D. IB-Lagrangefunksjonen følger Pareto-fronten mellom kompresjonsrate og prediktiv trofasthet.

2.3 Hovedteorem: Generell nedre grense og likhetskriterium

Vi etablerer grensen for rate-distortion-funksjonen:

Proposisjon (generell nedre grense og likhetskriterium).
For enhver enkoder p(z\mid x), la D:=\mathbb E[d_h(X,Z)]. Da gjelder I(X;Z)=E_{T,h}(\nu)-D+I(X;Z\mid Y). Følgelig, R_{T,h}(D)\ge E_{T,h}(\nu)-D. For kompakte endelige reproduksjonsalfabeter der kontinuitet garanterer at infimumet over enkodere oppnås, gjelder likhet ved en gitt distorsjon D hvis og bare hvis det finnes en enkoder som oppnår denne distorsjonen med I(X;Z\mid Y)=0. For deterministiske enkodere Z=g(X), er dette ekvivalent med H(Z\mid Y)=0.

Ved null distorsjon oppnår den minimale tilstrekkelige statistikken S_h R_{T,h}(0)=I(X;S_h)=H(S_h). Merk at denne null-distorsjonsraten H(S_h) generelt ligger strengt over den nedre grensen E_{T,h}. Forskjellen er det ikke-negative gapet H(S_h) - E_{T,h} = H(S_h|Y). Dette gapet representerer fysisk strukturell «lagret informasjon» i fortiden som fremtidsvinduet alene ikke klarer å gjenvinne. At likhet holder ved null distorsjon (H(S_h|Y)=0) er et sterkt degenerert tilfelle som generelt er falskt for komplekse prosesser.

I den fulle kausaltilstandsgrensen, R(0)=C_{\mu,\nu}=H(S). Dette er lik E_\nu bare i spesielle tilfeller; generelt gjelder E_\nu < C_{\mu,\nu}.

2.4 Atferd for grovere reproduksjonsalfabeter

For enhver deterministisk grovning Z=g(S_h), I(X;Z)=I(Z;Y)+I(X;Z\mid Y)=E_{T,h}(\nu)-D+I(X;Z\mid Y)\ge E_{T,h}(\nu)-D. Det ikke-negative slakkleddet I(X;Z\mid Y) forsvinner bare når den grovere representasjonen kan gjenfinnes fra det framtidige vinduet Y. Grovere alfabeter gir derfor generelt rate-distortion-kurver som ligger strengt over linjen E_{T,h}-D. Linjen er en universell nedre grense, ikke en generisk oppnådd innhylling. Enhver praktisk beregnbar kodek bruker en endelig-minne-approksimasjon til de kausale tilstandene og har derfor en kurve over denne grensen.

2.5 Grenseevalueringer

(Merk: I grensen med uendelig horisont ligger nullratepunktet ved distorsjon E_\nu, ikke ved C_{\mu,\nu})

§3. C_{\max} — Karakterisering og barrierer

3.1 Konvergenslemma for uendelig horisont

Hovedteoremet (§2.3) etablerer den nedre grensen R_{T,h}(D) \ge E_{T,h}(\nu) - D for endelige (T, h). Vi viser nå at dette utvides til tilfellet med uendelig horisont.

Lemma (utvidelse til uendelig horisont). La \nu være et stasjonært ergodisk mål på \{0,1\}^\infty. Da gjelder:

1. E_{T,h}(\nu) = I(X_{1:T}\,;\,X_{T+1:T+h}) er ikke-avtagende i både T og h (ved databehandlingsulikheten: betinging på lengre blokker kan ikke redusere den gjensidige informasjonen mellom fortid og fremtid under stasjonaritet).
2. Grensen E_\nu := \lim_{T,h \to \infty} E_{T,h}(\nu) eksisterer (muligens +\infty) ved monoton konvergens.
3. For hver fast D \ge 0 er følgen R_{T,h}(D) ikke-avtagende i T (lengre fortider kan ikke redusere den optimale kompresjonsraten) og ikke-avtagende i h. Bevisskisse for monotoni i h: Distorsjonsfunksjonen dekomponerer som d_{h+1}(x, z) = D_{\mathrm{KL}}\!\left(P_\nu(\cdot \mid x) \,\|\, P_z(\cdot \mid z)\right) over h+1 fremtidige steg, som kan skrives ved hjelp av kjerneregelen som d_h(x,z) + D_{\mathrm{KL}}\!\left(P_\nu(X_{T+h+1} \mid x, X_{T+1:T+h}) \,\|\, P_z(X_{T+h+1} \mid z, X_{T+1:T+h})\right). Siden det andre leddet er ikke-negativt, gjelder d_{h+1} \geq d_h punktvis. Derfor er mengden av restriksjoner \{P(z|x) : E[d_{h+1}] \leq D\} \subseteq \{P(z|x) : E[d_h] \leq D\}, og minimering over en mindre tillatt mengde kan ikke redusere raten: R_{T,h+1}(D) \geq R_{T,h}(D).
4. Derfor eksisterer R_\nu(D) := \lim_{T,h \to \infty} R_{T,h}(D).

Siden R_{T,h}(D) \ge E_{T,h}(\nu) - D gjelder på hvert endelig trinn, og begge sider konvergerer monotont, går grensen over til:

R_\nu(D) \ge E_\nu - D

Dette er den nedre grensen for uendelig horisont som påberopes i proposisjonene T-1a og T-1c nedenfor. Merk: For prosesser med E_\nu = +\infty (f.eks. de Bruijn-sykluser av høy orden når k \to \infty), er grensen trivielt oppfylt; slike prosesser er utelukket fra den observatør-kompatible mengden O_{C_{\max},D_{\min}} for enhver endelig C_{\max}.

3.2 Partisjon av M ved Stabilitetsfilteret — Proposisjon T-1a

Proposisjon T-1a (ikke-triviell partisjon).
Fikser empirisk C_{\max}>0, \Delta t>0 og D_{\min}\ge0. Definer O_{C_{\max},D_{\min}} := \{\nu\in\mathcal M: R_\nu(D_{\min})\le C_{\max}\Delta t\}. Da er både O_{C_{\max},D_{\min}} og dets komplement ikke-tomme.

Bevis. Den konstante prosessen ligger i O_{C_{\max},D_{\min}} fordi den har E_\nu=0 og R_\nu(D)=0.
For komplementet, velg en binær de Bruijn-syklusprosess av orden k: en stasjonær ergodisk binær prosess med periode 2^k og uniform fase, der hvert ord av lengde k forekommer nøyaktig én gang per syklus. For denne prosessen, E_\nu=C_{\mu,\nu}=k. Dermed R_\nu(D_{\min})\ge k-D_{\min}. Ved å velge k>C_{\max}\Delta t + D_{\min} får vi R_\nu(D_{\min})>C_{\max}\Delta t, så \nu\notin O_{C_{\max},D_{\min}}. \square

3.3 Definisjon/karakterisering av C_{\max} — T-1b

Definisjon T-1b (empirisk båndbreddeparameter).
C_{\max} tas som en empirisk båndbreddeparameter for bevisst tilgang, ekstern til rate-forvrengningsformalismen. Gitt C_{\max}, definer observatørkompatibel klasse O_{C_{\max},D_{\min}} := \{\nu\in\mathcal M: R_\nu(D_{\min})\le C_{\max}\Delta t\}. Hvis man ønsker å oppsummere en separat spesifisert referanseklasse \mathcal{O}_{ref}, definer C^{ref}_{max}:=\frac{1}{\Delta t}\sup_{\nu\in\mathcal{O}_{ref}}R_\nu(D_{\min}). Dette er en oppsummeringsstatistikk for en valgt klasse, ikke definisjonen av selve klassen.

3.4 Ikke-emergensbarrieren — bevisskisse T-1c

Bevisskisse T-1c (ingen endelig universell grense fra \xi alene).
Solomonoffs universelle semimål \xi tilordner positiv priorvekt til hvert beregnbart mål \nu\in\mathcal M. Klassen \mathcal M inneholder stasjonære ergodiske binære prosesser med vilkårlig stor overskuddsentropi E_\nu (for eksempel de Bruijn-familien ovenfor). Siden R_\nu(D_{\min})\ge E_\nu-D_{\min}, finnes det ingen endelig støtteomfattende øvre grense for R_\nu(D_{\min}) som kan utledes fra \xi alene. Ethvert endelig C_{\max} krever derfor ytterligere empirisk eller klassebegrensende input utover den nakne Solomonoff-prioren. \square

§4. Forbindelsen til Solomonoffs meta-prior

Firertupletten i §1 og R(D)-utledningen i §2 er formulert per mål \nu. Solomonoff-forbindelsen — hvordan meta-prioren \xi vekter observatørkompatible strømmer — er en strukturell korrespondanse snarere enn en utledning.

For enhver observatørkompatibel \nu \in O_{C_{\max},D_{\min}} sikrer rate-forvrengnings-likevekten at den komprimerte strømmen z_{0:T} er representasjonen valgt av Stabilitetsfilteret. Solomonoff-prioren \xi tilordner denne \nu vekten w_\nu \approx 2^{-K(\nu)}: enklere observatørkompatible prosesser (lavere K) er eksponentielt mer sannsynlige under \xi. Dette er det formelle uttrykket for parsimoniargumentet (Appendiks T-4): Stabilitetsfilteret, som opererer på \xi, velger den enkleste kodeken som passer innenfor båndbredden.

Dominansgrensen fra T-4b gjelder direkte: for ethvert beregnbart fysikkmål \nu med K(\nu) < \infty:

-\log \xi(y_{1:T}) \le -\log \nu(y_{1:T}) + K(\nu)

Dette sikrer at OPT-meta-prioren \xi aldri tilordner lavere sannsynlighet til observatørkompatible strømmer enn noen fast beregnbar fysikkmodell, opp til modellens egen beskrivelseslengde K(\nu).

§5. Det erfaringsmessige bitkvantet h^\ast (forhåndsvisning av E-1)

Gitt et empirisk valg av C_{\max} og et empirisk bevisst oppdateringsvindu \Delta t, definer h^*:=C_{\max}\Delta t. For C_{\max}\approx 10 bits/s og \Delta t\in[50,80] ms, h^*\approx 0.5\text{–}0.8 bits per bevisst øyeblikk.

Enhver stasjonær ergodisk prosess \nu \in \mathcal{M} som oppfyller E_{T,h}(\nu) - D_{\min} > h^\ast vil legitimt utløse Narrativt forfall. Dette er fordi R_{T,h}(D_{\min}) \ge E_{T,h} - D_{\min} > h^\ast = C_{\max} \Delta t, noe som eksplisitt bryter kompatibilitetskriteriet. Dette er imidlertid en tilstrekkelig betingelse for kollaps, ikke en strengt nødvendig betingelse: fordi den nedre grensen sjelden er skarp (R_{T,h} > E_{T,h} - D_{\min} generelt ifølge §2.4), kan prosesser gjennomgå Narrativt forfall selv når E_{T,h} - D_{\min} \le h^\ast. Dette gir den kvantitative prediksjonen for E-1; sensitiviteten for valget av \Delta t \in [40, 300] ms diskuteres i E-1-appendikset.

§6. Oppsummering av avslutning

T-1-leveranser — revidert status

1. Firertuppelen er spesifisert i en prediktiv setting med endelig horisont.
2. predictive-KL-identiteten er utledet korrekt.
3. Det generiske teoremet R(D)=C_\mu-D er erstattet av den korrekte nedre grensen R_{T,h}(D)\ge E_{T,h}-D sammen med et eksakt likhetskriterium I(X;Z\mid Y)=0.
4. Koding med null forvrengning er karakterisert ved den minimale tilstrekkelige statistikken S_h, og i grensen for full kausaltilstand er R(0)=C_{\mu,\nu}.
5. C_{\max} behandles som empirisk, ikke som internt utledet.
6. h^*=C_{\max}\Delta t er en empirisk parametrisering, ikke et teorem fra §2.

Dette appendikset vedlikeholdes som del av OPT-prosjektets repository ved siden av theoretical_roadmap.pdf.