Theorie van de geordende patch (OPT)

Oorspronkelijke Taak T-1: Stabiliteitsfilter — Volledige Rate-Distortion-specificatie Probleem: Shannons Rate-Distortion-theorie vereist: een bron X, een reproductiealfabet en een distortiefunctie d(x, \hat{x}). De preprint beroept zich op R_{pred}(D) zonder deze drie elementen voor het substraat van OPT te specificeren. Op te leveren: Een volledige specificatie (\mathcal{X}, \hat{\mathcal{X}}, P_X, d) voor het rate-distortion-probleem van OPT.

Deze herziening onderscheidt excess entropy van statistische complexiteit, bewijst de predictieve-KL-identiteit bij eindige horizon, bewijst de algemene ondergrens R_{T,h}(D)\ge E_{T,h}-D, en formuleert een exact gelijkheidscriterium voor wanneer die ondergrens wordt bereikt. C_{\max} blijft een empirische parameter in plaats van een grootheid die uit het rate-distortion-formalisme wordt afgeleid.
Afsluitingsstatus: GEDEELTELIJK OPGELOST. De viertal-specificatie, de predictieve-KL-identiteit en de algemene ondergrens R_{T,h}(D) \geq E_{T,h}(\nu) - D zijn vastgesteld, met een exact gelijkheidscriterium. De eerdere generieke claim van een gesloten vorm R(D) = C_\mu - D is ingetrokken; het correcte resultaat is de ondergrens. C_{\max} blijft een empirische parameter in plaats van een grootheid die uit het rate-distortion-formalisme wordt afgeleid.

§0. Formuleringsniveau

Werkformulering. Neem T,h<\infty vast. Laat X:=X_{1:T} het verledenblok aanduiden en Y:=X_{T+1:T+h} het toekomstige vooruitblikblok onder een vaste berekenbare stationaire ergodische maat \nu\in\mathcal M. Definieer de predictieve informatie over een eindige horizon als E_{T,h}(\nu):=I(X;Y). Wanneer de limiet voor een oneindige horizon bestaat, definieer dan de excess-entropie E_\nu := I(\overleftarrow X;\overrightarrow X). Als S de volledige causale toestand van de \epsilon-machine aanduidt, definieer dan de statistische complexiteit C_{\mu,\nu}:=H(S). Dit zijn verschillende grootheden. Het rate-distortionprobleem met eindige horizon in deze appendix wordt geformuleerd in termen van E_{T,h}, niet van C_{\mu,\nu}. De Solomonoff-maat \xi treedt uitsluitend op als meta-priorweging (preprint, vgl. vergelijking 1): individuele R(D)-curven worden per maat \nu berekend. Resultaten die de volledige mengmaat \xi vereisen, worden afzonderlijk geformuleerd.

§1. De volledige viertupelspecificatie

1.1 Bron X en verdeling P_X

Neem een berekenbare stationaire ergodische maat \nu \in \mathcal{M} op \{0,1\}^\infty. De bron is het proces (X_t)_{t \ge 1} verdeeld volgens \nu. Voor de rol van meta-prior kent \xi uit preprint Vgl. (1) aan elke dergelijke \nu een gewicht toe van w_\nu \approx 2^{-K(\nu)}. We schrijven P_X = \nu voor een vast lid van \mathcal{M}. Alle onderstaande resultaten gelden per maat \nu; de Solomonoff-koppeling treedt binnen via de dominantiegrens in §4.

1.2 Reproductiealfabet \hat{X}

Voor vaste T,h definiëren we een predictieve equivalentierelatie met eindige horizon op verledenblokken: x \sim_h x' \iff \nu(Y\in A\mid X=x)=\nu(Y\in A\mid X=x') \quad\text{voor alle meetbare }A\subseteq\{0,1\}^h. Laat S_h de equivalentieklasse van X onder \sim_h zijn. Dan is S_h de minimale voldoende statistiek voor het voorspellen van Y uit X op horizon h.

De volledige causale toestand S van de \epsilon-machine is het object met oneindige horizon dat ontstaat wanneer men overgaat op semi-oneindige verledens en de volledige toekomst. Deze appendix gebruikt S_h voor afleidingen met eindige horizon en reserveert S voor de volledige limiet van de causale toestand.

Berekenbaarheidsstatus. Voor algemene berekenbare \nu claimt deze appendix niet de exacte berekenbaarheid van de partitie van predictieve toestanden. Zij wordt behandeld als een geïdealiseerd meetbaar object. Exacte berekenbaarheid wordt alleen gesteld voor expliciet geïdentificeerde subklassen, zoals processen met eindig geheugen.

1.3 Vervormingsfunctie d_h(x, z)

De vervormingsfunctie is de KL-predictieve divergentie: d_h(x,z):=D_{\mathrm{KL}}\!\big(P_\nu(Y\mid X=x)\,\|\,P_\nu(Y\mid Z=z)\big). Hier is Z een representatievariabele die wordt geproduceerd door een encoder p(z\mid x). Wanneer Z=S_h, is dit de exacte predictieve-toestandsvervorming; wanneer Z een verfijning of stochastische code is, is P_\nu(Y\mid Z=z) de geïnduceerde predictieve wet.

Volledig viertal

§2. Afleiding van R_{T,h}(D) onder het viertupel

De rate-distortion-functie voor het viertupel van §1 is:

R_{T,h}(D) = \min_{p(z|x) : \mathbb{E}[d_h(X,Z)] \le D} I(X ; Z)

2.1 De KL-vervormingsidentiteit

Laat X:=X_{1:T}, Y:=X_{T+1:T+h}, en laat Z een willekeurige representatie zijn die wordt geproduceerd door een encoder p(z\mid x). Aangezien Z-X-Y een Markov-keten is, \mathbb E[d_h(X,Z)] = \mathbb E\!\left[D_{\mathrm{KL}}(P(Y\mid X)\|P(Y\mid Z))\right] = H(Y\mid Z)-H(Y\mid X) = I(X;Y\mid Z). Equivalent, \mathbb E[d_h(X,Z)] = I(X;Y)-I(Z;Y)=E_{T,h}(\nu)-I(Z;Y). Daarom is de vervormingsrestrictie \mathbb E[d_h(X,Z)]\le D equivalent aan I(Z;Y)\ge E_{T,h}(\nu)-D.

2.2 De herformulering van de Information Bottleneck

De distortiebeperking beperkt de ruimte van toelaatbare encoders tot die welke voldoen aan \mathbb{E}[d_h(X,Z)] \le D. Dit komt precies overeen met het van onderaf begrenzen van I(Z;Y), wat het geconditioneerde Information Bottleneck-probleem oplevert. Omdat het haalbare gebied \{(I(Z;Y), I(X;Z))\} convex is onder standaardargumenten van time-sharing, geldt sterke dualiteit. Dit maakt een exacte herformulering mogelijk met behulp van de Information Bottleneck-Lagrangiaan (Tishby, Pereira & Bialek 1999 [28]): \mathcal{L}[p(z|x)] = I(X ; Z) - \beta \cdot I(Z ; Y) waarbij de Lagrange-multiplicator \beta wordt bepaald door D. De IB-Lagrangiaan volgt de Pareto-frontier van compressiesnelheid versus predictieve getrouwheid.

2.3 Hoofdstelling: Algemene ondergrens en gelijkheidscriterium

We stellen de begrenzing voor de rate-distortionfunctie vast:

Propositie (algemene ondergrens en gelijkheidscriterium).
Voor elke encoder p(z\mid x), laat D:=\mathbb E[d_h(X,Z)]. Dan geldt I(X;Z)=E_{T,h}(\nu)-D+I(X;Z\mid Y). Bijgevolg, R_{T,h}(D)\ge E_{T,h}(\nu)-D. Voor compacte eindige reproductiealfabetten, waar continuïteit garandeert dat het infimum over encoders wordt bereikt, geldt gelijkheid bij een gegeven distortie D dan en slechts dan als er een encoder bestaat die die distortie bereikt met I(X;Z\mid Y)=0. Voor deterministische encoders Z=g(X) is dit equivalent aan H(Z\mid Y)=0.

Bij nul distortie bereikt de minimaal voldoende statistiek S_h R_{T,h}(0)=I(X;S_h)=H(S_h). Merk op dat deze nul-distortiesnelheid H(S_h) in het algemeen strikt boven de ondergrens E_{T,h} ligt. Het verschil is de niet-negatieve kloof H(S_h) - E_{T,h} = H(S_h|Y). Deze kloof representeert fysisch structurele ‘opgeslagen informatie’ in het verleden die door het toekomstige venster alleen niet wordt teruggewonnen. Dat gelijkheid geldt bij nul distortie (H(S_h|Y)=0) is een sterk gedegenereerd geval dat voor complexe processen generiek onwaar is.

In de volledige causale-toestandslimiet, R(0)=C_{\mu,\nu}=H(S). Dit is alleen gelijk aan E_\nu in bijzondere gevallen; in het algemeen geldt E_\nu < C_{\mu,\nu}.

2.4 Gedrag voor grovere reproductiealfabetten

Voor elke deterministische vergroving Z=g(S_h), I(X;Z)=I(Z;Y)+I(X;Z\mid Y)=E_{T,h}(\nu)-D+I(X;Z\mid Y)\ge E_{T,h}(\nu)-D. De niet-negatieve spelingsterm I(X;Z\mid Y) verdwijnt alleen wanneer de vergrofde representatie uit het toekomstige venster Y kan worden teruggewonnen. Daarom leveren grovere alfabetten in het algemeen rate-distortion-curven op die strikt boven de lijn E_{T,h}-D liggen. Die lijn is een universele ondergrens, geen generieke gerealiseerde omhullende. Elke praktisch berekenbare codec gebruikt een eindig-geheugenbenadering van de causale toestanden en heeft daarom een curve boven deze grens.

2.5 Grenswaarderingen

(Opmerking: In de limiet van een oneindige horizon ligt het nulsnelheidspunt bij distortie E_\nu, niet bij C_{\mu,\nu})

§3. C_{\max} — Karakterisering en barrières

3.1 Lemma van convergentie op oneindige horizon

De hoofdstelling (§2.3) stelt de ondergrens R_{T,h}(D) \ge E_{T,h}(\nu) - D vast voor eindige (T, h). We laten nu zien dat dit zich uitstrekt tot de setting met oneindige horizon.

Lemma (uitbreiding naar oneindige horizon). Laat \nu een stationaire ergodische maat zijn op \{0,1\}^\infty. Dan geldt:

1. E_{T,h}(\nu) = I(X_{1:T}\,;\,X_{T+1:T+h}) is niet-dalend in zowel T als h (volgens de data-processing inequality: conditionering op langere blokken kan onder stationariteit de wederzijdse informatie tussen verleden en toekomst niet doen afnemen).
2. De limiet E_\nu := \lim_{T,h \to \infty} E_{T,h}(\nu) bestaat (mogelijk +\infty) door monotone convergentie.
3. Voor elke vaste D \ge 0 is de rij R_{T,h}(D) niet-dalend in T (langere verledens kunnen de optimale compressiesnelheid niet verlagen) en niet-dalend in h. Bewijsschets voor monotonie in h: De distortiefunctie ontbindt als d_{h+1}(x, z) = D_{\mathrm{KL}}\!\left(P_\nu(\cdot \mid x) \,\|\, P_z(\cdot \mid z)\right) over h+1 toekomstige stappen, wat via de kettingregel kan worden geschreven als d_h(x,z) + D_{\mathrm{KL}}\!\left(P_\nu(X_{T+h+1} \mid x, X_{T+1:T+h}) \,\|\, P_z(X_{T+h+1} \mid z, X_{T+1:T+h})\right). Omdat de tweede term niet-negatief is, geldt puntsgewijs d_{h+1} \geq d_h. Daarom is de beperkingsverzameling \{P(z|x) : E[d_{h+1}] \leq D\} \subseteq \{P(z|x) : E[d_h] \leq D\}, en minimaliseren over een kleinere toelaatbare verzameling kan de snelheid niet verlagen: R_{T,h+1}(D) \geq R_{T,h}(D).
4. Daarom bestaat R_\nu(D) := \lim_{T,h \to \infty} R_{T,h}(D).

Aangezien R_{T,h}(D) \ge E_{T,h}(\nu) - D in elke eindige stap geldt, en beide zijden monotoon convergeren, gaat de ondergrens over naar de limiet:

R_\nu(D) \ge E_\nu - D

Dit is de ondergrens op oneindige horizon waarop hieronder in Proposities T-1a en T-1c een beroep wordt gedaan. Opmerking: Voor processen met E_\nu = +\infty (bijv. de Bruijn-cycli van hoge orde als k \to \infty) is de ondergrens triviaal voldaan; zulke processen worden uitgesloten van de waarnemer-compatibele verzameling O_{C_{\max},D_{\min}} voor elke eindige C_{\max}.

3.2 Partitie van M door het Stabiliteitsfilter — Propositie T-1a

Propositie T-1a (niet-triviale partitie).
Neem empirische C_{\max}>0, \Delta t>0 en D_{\min}\ge0 vast. Definieer O_{C_{\max},D_{\min}} := \{\nu\in\mathcal M: R_\nu(D_{\min})\le C_{\max}\Delta t\}. Dan zijn zowel O_{C_{\max},D_{\min}} als zijn complement niet-leeg.

Bewijs. Het constante proces ligt in O_{C_{\max},D_{\min}}, omdat het E_\nu=0 en R_\nu(D)=0 heeft.
Voor het complement kiezen we een binaire de Bruijn-cyclusproces van orde k: een stationair ergodisch binair proces met periode 2^k en uniforme fase, waarin elk woord van lengte k precies eenmaal per cyclus voorkomt. Voor dit proces geldt E_\nu=C_{\mu,\nu}=k. Dus R_\nu(D_{\min})\ge k-D_{\min}. Als we k>C_{\max}\Delta t + D_{\min} kiezen, dan geldt R_\nu(D_{\min})>C_{\max}\Delta t, zodat \nu\notin O_{C_{\max},D_{\min}}. \square

3.3 Definitie/karakterisering van C_{\max} — T-1b

Definitie T-1b (empirische bandbreedteparameter).
C_{\max} wordt opgevat als een empirische bandbreedteparameter voor bewuste toegang, extern aan het rate-distortion-formalisme. Gegeven C_{\max}, definieer de waarnemer-compatibele klasse O_{C_{\max},D_{\min}} := \{\nu\in\mathcal M: R_\nu(D_{\min})\le C_{\max}\Delta t\}. Indien men een afzonderlijk gespecificeerde referentieklasse \mathcal{O}_{ref} wil samenvatten, definieer dan C^{ref}_{max}:=\frac{1}{\Delta t}\sup_{\nu\in\mathcal{O}_{ref}}R_\nu(D_{\min}). Dit is een samenvattende statistiek van een gekozen klasse, niet de definitie van de klasse zelf.

3.4 De niet-emergentiebarrière — Bewijsschets T-1c

Bewijsschets T-1c (geen eindige universele bovengrens uit alleen \xi).
De Solomonoff-semimaat \xi kent positief a-priorigewicht toe aan elke berekenbare maat \nu\in\mathcal M. De klasse \mathcal M bevat stationaire ergodische binaire processen met willekeurig grote excess-entropie E_\nu (bijvoorbeeld de de Bruijn-familie hierboven). Aangezien R_\nu(D_{\min})\ge E_\nu-D_{\min}, bestaat er geen eindige, ondersteuningsbrede bovengrens op R_\nu(D_{\min}) die uit \xi alleen kan worden afgeleid. Elk eindig C_{\max} vereist daarom aanvullende empirische input of klassebeperkende aannames bovenop de kale Solomonoff-prior. \square

§4. Verbinding met de Solomonoff-meta-prior

Het viertal uit §1 en de R(D)-afleiding uit §2 worden per maat \nu geformuleerd. De Solomonoff-verbinding — hoe de meta-prior \xi waarnemer-compatibele stromen weegt — is een structurele correspondentie en geen afleiding.

Voor elke waarnemer-compatibele \nu \in O_{C_{\max},D_{\min}} garandeert het rate-distortion-evenwicht dat de gecomprimeerde stroom z_{0:T} de door het Stabiliteitsfilter geselecteerde representatie is. De Solomonoff-prior \xi kent aan deze \nu een gewicht toe van w_\nu \approx 2^{-K(\nu)}: eenvoudigere (lagere K) waarnemer-compatibele processen zijn onder \xi exponentieel waarschijnlijker. Dit is de formele uitdrukking van het parsimony-argument (Appendix T-4): het Stabiliteitsfilter, opererend op \xi, selecteert de eenvoudigste codec die binnen de bandbreedte past.

De dominantiegrens uit T-4b is rechtstreeks van toepassing: voor elke berekenbare fysische maat \nu met K(\nu) < \infty:

-\log \xi(y_{1:T}) \le -\log \nu(y_{1:T}) + K(\nu)

Dit waarborgt dat de OPT-meta-prior \xi nooit een lagere waarschijnlijkheid toekent aan waarnemer-compatibele stromen dan enig vast berekenbaar fysisch model, tot op de eigen beschrijvingslengte van het model K(\nu).

§5. Het ervaringsbitkwantum h^\ast (voorbeschouwing van E-1)

Gegeven een empirische keuze van C_{\max} en een empirisch bewust updatevenster \Delta t, definieer h^*:=C_{\max}\Delta t. Voor C_{\max}\approx 10 bits/s en \Delta t\in[50,80] ms, h^*\approx 0.5\text{–}0.8 bits per bewust moment.

Elk stationair ergodisch proces \nu \in \mathcal{M} dat voldoet aan E_{T,h}(\nu) - D_{\min} > h^\ast zal rechtmatig Narratief verval activeren. Dit komt doordat R_{T,h}(D_{\min}) \ge E_{T,h} - D_{\min} > h^\ast = C_{\max} \Delta t, waarmee het compatibiliteitscriterium expliciet wordt geschonden. Dit is echter een voldoende voorwaarde voor instorting, geen strikt noodzakelijke: omdat de ondergrens zelden scherp is (R_{T,h} > E_{T,h} - D_{\min} generiek volgens §2.4), kunnen processen Narratief verval ondergaan zelfs wanneer E_{T,h} - D_{\min} \le h^\ast. Dit levert de kwantitatieve voorspelling voor E-1; de gevoeligheid voor de keuze van \Delta t \in [40, 300] ms wordt besproken in de E-1-bijlage.

§6. Samenvattende afsluiting

T-1-resultaten — Herziene status

1. Het viertal is gespecificeerd in een predictieve setting met eindige horizon.
2. De predictieve-KL-identiteit is correct afgeleid.
3. De generieke stelling R(D)=C_\mu-D is vervangen door de correcte ondergrens R_{T,h}(D)\ge E_{T,h}-D samen met een exact gelijkheidscriterium I(X;Z\mid Y)=0.
4. Codering zonder vervorming wordt gekarakteriseerd door de minimaal voldoende statistiek S_h, en in de volledige causale-toestandslimiet geldt R(0)=C_{\mu,\nu}.
5. C_{\max} wordt als empirisch behandeld, niet intern afgeleid.
6. h^*=C_{\max}\Delta t is een empirische parametrisering, geen stelling uit §2.

Deze appendix wordt onderhouden als onderdeel van de OPT-projectrepository, naast theoretical_roadmap.pdf.