Teorien om den ordnede patch (OPT)

Oprindelig opgave T-1: Stabilitetsfilter — fuld rate-distortion-specifikation Problem: Shannons rate-distortion-teori kræver: en kilde X, et reproduktionsalfabet og en distortionsfunktion d(x, \hat{x}). Preprintet påberåber sig R_{pred}(D) uden at specificere disse tre elementer for OPT’s substrat. Leverance: En fuldstændig specifikation af (\mathcal{X}, \hat{\mathcal{X}}, P_X, d) for OPT’s rate-distortion-problem.

Denne revision skelner mellem overskydende entropi og statistisk kompleksitet, beviser den prædiktive-KL-identitet ved endelig horisont, beviser den generelle nedre grænse R_{T,h}(D)\ge E_{T,h}-D og angiver et eksakt lighedskriterium for, hvornår denne nedre grænse opnås. C_{\max} forbliver en empirisk parameter snarere end en størrelse afledt af rate-distortion-formalismen.
Afslutningsstatus: DELVIST LØST. Fire-tupel-specifikationen, den prædiktive-KL-identitet og den generelle nedre grænse R_{T,h}(D) \geq E_{T,h}(\nu) - D er etableret med et eksakt lighedskriterium. Den tidligere generiske påstand om lukket form R(D) = C_\mu - D er blevet trukket tilbage; det korrekte resultat er den nedre grænse. C_{\max} forbliver en empirisk parameter snarere end en størrelse afledt af rate-distortion-formalismen.

§0. Formuleringsniveau

Arbejdsformulering. Fastsæt T,h<\infty. Lad X:=X_{1:T} betegne fortidsblokken og Y:=X_{T+1:T+h} den fremadskuende fremtidsblok under en fast beregnelig stationær ergodisk målestørrelse \nu\in\mathcal M. Definér den prædiktive information ved endelig horisont E_{T,h}(\nu):=I(X;Y). Når grænsen for uendelig horisont eksisterer, defineres overskudsentropien E_\nu := I(\overleftarrow X;\overrightarrow X). Hvis S betegner den fulde kausale tilstand for \epsilon-maskinen, defineres den statistiske kompleksitet C_{\mu,\nu}:=H(S). Disse er forskellige størrelser. Problemet om rate-distortion ved endelig horisont i dette appendiks er formuleret i termer af E_{T,h}, ikke C_{\mu,\nu}. Solomonoff-målet \xi indgår kun som meta-prior-vægtning (preprint, ligning 1): individuelle R(D)-kurver beregnes for hver enkelt målestørrelse \nu. Resultater, der kræver den fulde blanding \xi, angives særskilt.

§1. Den fuldstændige fire-tupel-specifikation

1.1 Kilde X og fordelingen P_X

Fastlæg et beregneligt stationært ergodisk mål \nu \in \mathcal{M} på \{0,1\}^\infty. Kilden er processen (X_t)_{t \ge 1} fordelt ifølge \nu. I meta-priorens rolle vægter \xi fra preprintets ligning (1) hver sådan \nu med w_\nu \approx 2^{-K(\nu)}. Vi skriver P_X = \nu for et fast medlem af \mathcal{M}. Alle resultater nedenfor gælder per mål \nu; Solomonoff-forbindelsen indgår gennem dominansgrænsen i §4.

1.2 Reproduktionsalfabet \hat{X}

For faste T,h defineres en prædiktiv ækvivalensrelation med endelig horisont på fortidsblokke: x \sim_h x' \iff \nu(Y\in A\mid X=x)=\nu(Y\in A\mid X=x') \quad\text{for alle målbare }A\subseteq\{0,1\}^h. Lad S_h være ækvivalensklassen for X under \sim_h. Så er S_h den minimale sufficiente statistik til at forudsige Y ud fra X ved horisont h.

Den fulde \epsilon-machine-kausaltilstand S er objektet med uendelig horisont, som fremkommer, når man går over til semi-uendelige fortider og den fulde fremtid. Dette appendiks bruger S_h til afledninger med endelig horisont og reserverer S til den fulde kausaltilstandsgrænse.

Beregnelighedsstatus. For generelle beregnelige \nu hævder dette appendiks ikke eksakt beregnelighed af den prædiktive tilstandspartition. Den behandles som et idealiseret målbart objekt. Eksakt beregnelighed hævdes kun for eksplicit identificerede underklasser såsom processer med endelig hukommelse.

1.3 Forvrængningsfunktion d_h(x, z)

Forvrængningsfunktionen er den prædiktive KL-divergens: d_h(x,z):=D_{\mathrm{KL}}\!\big(P_\nu(Y\mid X=x)\,\|\,P_\nu(Y\mid Z=z)\big). Her er Z en repræsentationsvariabel produceret af en encoder p(z\mid x). Når Z=S_h, er dette den eksakte prædiktive tilstandsforvrængning; når Z er en grovning eller en stokastisk kode, er P_\nu(Y\mid Z=z) den inducerede prædiktive lov.

Komplet fir-tupel

§2. Udledning af R_{T,h}(D) under fir-tupletten

Rate-distortion-funktionen for fir-tupletten i §1 er:

R_{T,h}(D) = \min_{p(z|x) : \mathbb{E}[d_h(X,Z)] \le D} I(X ; Z)

2.1 KL-distortionsidentiteten

Lad X:=X_{1:T}, Y:=X_{T+1:T+h}, og lad Z være en vilkårlig repræsentation produceret af en encoder p(z\mid x). Da Z-X-Y er en Markov-kæde, \mathbb E[d_h(X,Z)] = \mathbb E\!\left[D_{\mathrm{KL}}(P(Y\mid X)\|P(Y\mid Z))\right] = H(Y\mid Z)-H(Y\mid X) = I(X;Y\mid Z). Ækvivalent, \mathbb E[d_h(X,Z)] = I(X;Y)-I(Z;Y)=E_{T,h}(\nu)-I(Z;Y). Derfor er distortionsbegrænsningen \mathbb E[d_h(X,Z)]\le D ækvivalent med I(Z;Y)\ge E_{T,h}(\nu)-D.

2.2 Reformulering af informationsflaskehalsen

Forvrængningsbegrænsningen indskrænker rummet af tilladte encodere til dem, der opfylder \mathbb{E}[d_h(X,Z)] \le D. Dette svarer præcist til at nedrebegrænse I(Z;Y), hvilket giver det begrænsede Information Bottleneck-problem. Fordi den opnåelige region \{(I(Z;Y), I(X;Z))\} er konveks under standardargumenter om tidsdeling, gælder stærk dualitet. Dette muliggør en eksakt reformulering ved hjælp af Information Bottleneck-Lagrangefunktionen (Tishby, Pereira & Bialek 1999 [28]): \mathcal{L}[p(z|x)] = I(X ; Z) - \beta \cdot I(Z ; Y) hvor Lagrange-multiplikatoren \beta bestemmes af D. IB-Lagrangefunktionen optegner Pareto-fronten mellem komprimeringsrate og prædiktiv trofasthed.

2.3 Hovedsætning: Generel nedre grænse og lighedskriterium

Vi etablerer grænsen for rate-distortion-funktionen:

Proposition (generel nedre grænse og lighedskriterium).
For enhver encoder p(z\mid x), lad D:=\mathbb E[d_h(X,Z)]. Da gælder I(X;Z)=E_{T,h}(\nu)-D+I(X;Z\mid Y). Følgelig, R_{T,h}(D)\ge E_{T,h}(\nu)-D. For kompakte endelige reproduktionsalfabeter, hvor kontinuitet garanterer, at infimum over encodere opnås, gælder lighed ved en given distortion D hvis og kun hvis der findes en encoder, der opnår denne distortion, med I(X;Z\mid Y)=0. For deterministiske encodere Z=g(X) er dette ækvivalent med H(Z\mid Y)=0.

Ved nul distortion opnår den minimale sufficient statistic S_h R_{T,h}(0)=I(X;S_h)=H(S_h). Bemærk, at denne nul-distortion-rate H(S_h) generelt ligger strengt over den nedre grænse E_{T,h}. Forskellen er det ikke-negative gab H(S_h) - E_{T,h} = H(S_h|Y). Dette gab repræsenterer fysisk strukturel ‘lagret information’ i fortiden, som fremtidsvinduet alene ikke formår at rekonstruere. At lighed gælder ved nul distortion (H(S_h|Y)=0) er et stærkt degenereret tilfælde, som generelt er falsk for komplekse processer.

I den fulde kausale-tilstandsgrænse, R(0)=C_{\mu,\nu}=H(S). Dette er kun lig med E_\nu i særlige tilfælde; generelt gælder E_\nu < C_{\mu,\nu}.

2.4 Adfærd for grovere reproduktionsalfabeter

For enhver deterministisk grovning Z=g(S_h), I(X;Z)=I(Z;Y)+I(X;Z\mid Y)=E_{T,h}(\nu)-D+I(X;Z\mid Y)\ge E_{T,h}(\nu)-D. Det ikke-negative slack-led I(X;Z\mid Y) forsvinder kun, når den grovere repræsentation kan rekonstrueres ud fra fremtidsvinduet Y. Derfor giver grovere alfabeter generelt rate-distortion-kurver, der ligger strengt over linjen E_{T,h}-D. Linjen er en universel nedre grænse, ikke en generisk opnået envelope. Enhver praktisk beregnelig codec bruger en finit-hukommelses-approksimation til de kausale tilstande og har derfor en kurve over denne grænse.

2.5 Grænseevalueringer

(Bemærk: I grænsen for uendelig horisont ligger nulratepunktet ved distortionen E_\nu, ikke ved C_{\mu,\nu})

§3. C_{\max} — Karakterisering og barrierer

3.1 Konvergenslemma for uendelig horisont

Hovedsætningen (§2.3) fastslår den nedre grænse R_{T,h}(D) \ge E_{T,h}(\nu) - D for endelige (T, h). Vi viser nu, at dette udvides til tilfælde med uendelig horisont.

Lemma (uendelig-horisont-udvidelse). Lad \nu være et stationært ergodisk mål på \{0,1\}^\infty. Da gælder:

1. E_{T,h}(\nu) = I(X_{1:T}\,;\,X_{T+1:T+h}) er ikke-aftagende i både T og h (ved databehandlingsuligheden: betingning på længere blokke kan ikke mindske den gensidige information mellem fortid og fremtid under stationaritet).
2. Grænsen E_\nu := \lim_{T,h \to \infty} E_{T,h}(\nu) eksisterer (muligvis +\infty) ved monoton konvergens.
3. For hver fast D \ge 0 er følgen R_{T,h}(D) ikke-aftagende i T (længere fortider kan ikke reducere den optimale komprimeringsrate) og ikke-aftagende i h. Bevisskitse for monotonicitet i h: Distorsionsfunktionen dekomponerer som d_{h+1}(x, z) = D_{\mathrm{KL}}\!\left(P_\nu(\cdot \mid x) \,\|\, P_z(\cdot \mid z)\right) over h+1 fremtidige trin, hvilket via kædereglen kan skrives som d_h(x,z) + D_{\mathrm{KL}}\!\left(P_\nu(X_{T+h+1} \mid x, X_{T+1:T+h}) \,\|\, P_z(X_{T+h+1} \mid z, X_{T+1:T+h})\right). Da det andet led er ikke-negativt, gælder d_{h+1} \geq d_h punktvist. Derfor er restriktionsmængden \{P(z|x) : E[d_{h+1}] \leq D\} \subseteq \{P(z|x) : E[d_h] \leq D\}, og minimering over en mindre mulig mængde kan ikke mindske raten: R_{T,h+1}(D) \geq R_{T,h}(D).
4. Derfor eksisterer R_\nu(D) := \lim_{T,h \to \infty} R_{T,h}(D).

Da R_{T,h}(D) \ge E_{T,h}(\nu) - D gælder på hvert endeligt trin, og begge sider konvergerer monotont, overføres grænsen til grænseværdien:

R_\nu(D) \ge E_\nu - D

Dette er den nedre grænse for uendelig horisont, som påberåbes i propositionerne T-1a og T-1c nedenfor. Bemærk: For processer med E_\nu = +\infty (f.eks. de Bruijn-cykler af høj orden når k \to \infty), er grænsen trivielt opfyldt; sådanne processer er udelukket fra den observatør-kompatible mængde O_{C_{\max},D_{\min}} for enhver endelig C_{\max}.

3.2 Partition af M ved Stabilitetsfilteret — Proposition T-1a

Proposition T-1a (ikke-triviel partition).
Fikser empirisk C_{\max}>0, \Delta t>0 og D_{\min}\ge0. Definér O_{C_{\max},D_{\min}} := \{\nu\in\mathcal M: R_\nu(D_{\min})\le C_{\max}\Delta t\}. Så er både O_{C_{\max},D_{\min}} og dets komplement ikke-tomme.

Bevis. Den konstante proces ligger i O_{C_{\max},D_{\min}}, fordi den har E_\nu=0 og R_\nu(D)=0.
For komplementet vælges en binær de Bruijn-cyklusproces af orden k: en stationær ergodisk binær proces med periode 2^k og uniform fase, hvor hvert ord af længde k forekommer præcis én gang pr. cyklus. For denne proces gælder E_\nu=C_{\mu,\nu}=k. Dermed R_\nu(D_{\min})\ge k-D_{\min}. Ved at vælge k>C_{\max}\Delta t + D_{\min} fås R_\nu(D_{\min})>C_{\max}\Delta t, så \nu\notin O_{C_{\max},D_{\min}}. \square

3.3 Definition/karakterisering af C_{\max} — T-1b

Definition T-1b (empirisk båndbreddeparameter).
C_{\max} opfattes som en empirisk parameter for bevidst adgangsbåndbredde, ekstern i forhold til rate-distortion-formalismen. Givet C_{\max} defineres den observatør-kompatible klasse O_{C_{\max},D_{\min}} := \{\nu\in\mathcal M: R_\nu(D_{\min})\le C_{\max}\Delta t\}. Hvis man ønsker at sammenfatte en særskilt specificeret referenceklasse \mathcal{O}_{ref}, defineres C^{ref}_{max}:=\frac{1}{\Delta t}\sup_{\nu\in\mathcal{O}_{ref}}R_\nu(D_{\min}). Dette er en sammenfattende statistik for en valgt klasse, ikke definitionen af selve klassen.

3.4 Ikke-emergensbarrieren — bevisskitse T-1c

Bevisskitse T-1c (ingen endelig universel grænse ud fra \xi alene).
Solomonoffs universelle semimål \xi tildeler positiv prior-vægt til ethvert beregneligt mål \nu\in\mathcal M. Klassen \mathcal M indeholder stationære ergodiske binære processer med vilkårligt stor overskydende entropi E_\nu (for eksempel de Bruijn-familien ovenfor). Da R_\nu(D_{\min})\ge E_\nu-D_{\min}, findes der ingen endelig støtteomfattende øvre grænse for R_\nu(D_{\min}), som kan udledes af \xi alene. Ethvert endeligt C_{\max} kræver derfor yderligere empirisk input eller klassebegrænsende antagelser ud over den blotte Solomonoff-prior. \square

§4. Forbindelse til Solomonoffs meta-prior

Fir-tuplen i §1 og R(D)-afledningen i §2 er formuleret per mål \nu. Solomonoff-forbindelsen — hvordan meta-prioren \xi vægter observatør-kompatible strømme — er en strukturel korrespondance snarere end en afledning.

For enhver observatør-kompatibel \nu \in O_{C_{\max},D_{\min}} sikrer rate-distortion-ligevægten, at den komprimerede strøm z_{0:T} er Stabilitetsfilterets udvalgte repræsentation. Solomonoff-prioren \xi tildeler denne \nu vægten w_\nu \approx 2^{-K(\nu)}: simplere observatør-kompatible processer (lavere K) er eksponentielt mere sandsynlige under \xi. Dette er det formelle udtryk for sparsommelighedsargumentet (Appendiks T-4): Stabilitetsfilteret, der opererer på \xi, udvælger den simpleste codec, som passer inden for båndbredden.

Dominansgrænsen fra T-4b gælder direkte: for ethvert beregneligt fysikmål \nu med K(\nu) < \infty:

-\log \xi(y_{1:T}) \le -\log \nu(y_{1:T}) + K(\nu)

Dette sikrer, at OPT-meta-prioren \xi aldrig tildeler lavere sandsynlighed til observatør-kompatible strømme end nogen fast beregnelig fysikmodel, op til modellens egen beskrivelseslængde K(\nu).

§5. Det erfaringsmæssige bit-kvantum h^\ast (forhåndsvisning af E-1)

Givet et empirisk valg af C_{\max} og et empirisk bevidst opdateringsvindue \Delta t, defineres h^*:=C_{\max}\Delta t. For C_{\max}\approx 10 bit/s og \Delta t\in[50,80] ms, h^*\approx 0.5\text{–}0.8 bit pr. bevidst øjeblik.

Enhver stationær ergodisk proces \nu \in \mathcal{M}, som opfylder E_{T,h}(\nu) - D_{\min} > h^\ast, vil legitimt udløse Narrativt forfald. Dette skyldes, at R_{T,h}(D_{\min}) \ge E_{T,h} - D_{\min} > h^\ast = C_{\max} \Delta t, hvilket eksplicit krænker kompatibilitetskriteriet. Dette er imidlertid en tilstrækkelig betingelse for kollaps, ikke en strengt nødvendig betingelse: fordi den nedre grænse sjældent er skarp (R_{T,h} > E_{T,h} - D_{\min} generelt ifølge §2.4), kan processer gennemgå Narrativt forfald, selv når E_{T,h} - D_{\min} \le h^\ast. Dette giver den kvantitative forudsigelse for E-1; følsomheden over for valget af \Delta t \in [40, 300] ms diskuteres i E-1-bilaget.

§6. Afsluttende opsummering

T-1-leverancer — revideret status

1. Fir-tuplet er specificeret i en prædiktiv ramme med endelig horisont.
2. Den prædiktive-KL-identitet er korrekt udledt.
3. Det generiske teorem R(D)=C_\mu-D erstattes af den korrekte nedre grænse R_{T,h}(D)\ge E_{T,h}-D sammen med et eksakt lighedskriterium I(X;Z\mid Y)=0.
4. Nul-forvrængningskodning karakteriseres ved den minimale sufficiente statistik S_h, og i den fulde kausal-tilstandsgrænse er R(0)=C_{\mu,\nu}.
5. C_{\max} behandles som empirisk, ikke som internt udledt.
6. h^*=C_{\max}\Delta t er en empirisk parametrisering, ikke et teorem fra §2.

Dette appendiks vedligeholdes som en del af OPT-projektets repository sammen med theoretical_roadmap.pdf.