Teoria del Patch Ordenat

Tasca original T-1: Filtre d’Estabilitat — Especificació completa de taxa-distorsió Problema: la teoria de taxa-distorsió de Shannon requereix: una font X, un alfabet de reproducció i una funció de distorsió d(x, \hat{x}). El preprint invoca R_{pred}(D) sense especificar aquests tres elements per al substrat de l’OPT. Lliurable: una especificació completa de (\mathcal{X}, \hat{\mathcal{X}}, P_X, d) per al problema de taxa-distorsió de l’OPT.

Aquesta revisió distingeix l’entropia excedent de la complexitat estadística, demostra la identitat predictiva-KL a horitzó finit, demostra la cota inferior general R_{T,h}(D)\ge E_{T,h}-D, i enuncia un criteri d’igualtat exacta per al cas en què aquesta cota inferior s’assoleix. C_{\max} continua essent un paràmetre empíric més que no pas una quantitat derivada del formalisme de taxa-distorsió.
Estat de tancament: PARCIALMENT RESOLT. L’especificació del quàdruple, la identitat predictiva-KL i la cota inferior general R_{T,h}(D) \geq E_{T,h}(\nu) - D queden establertes amb un criteri d’igualtat exacta. L’afirmació tancada genèrica anterior R(D) = C_\mu - D ha estat retirada; el resultat correcte és la cota inferior. C_{\max} continua essent un paràmetre empíric més que no pas una quantitat derivada del formalisme de taxa-distorsió.

§0. Nivell de formulació

Formulació de treball. Fixem T,h<\infty. Siguin X:=X_{1:T} el bloc passat i Y:=X_{T+1:T+h} el bloc de projecció futura sota una mesura ergòdica estacionària computable fixada \nu\in\mathcal M. Definim la informació predictiva d’horitzó finit E_{T,h}(\nu):=I(X;Y). Quan existeix el límit d’horitzó infinit, definim l’entropia excedent E_\nu := I(\overleftarrow X;\overrightarrow X). Si S denota l’estat causal complet de la màquina-\epsilon, definim la complexitat estadística C_{\mu,\nu}:=H(S). Es tracta de magnituds diferents. El problema de taxa-distorsió d’horitzó finit en aquest apèndix es formula en termes de E_{T,h}, no de C_{\mu,\nu}. La semimesura universal de Solomonoff \xi hi intervé únicament com a meta-prior de ponderació (preprint, Eq. 1): les corbes individuals R(D) es calculen per a cada mesura \nu. Els resultats que requereixen la mescla completa \xi s’enuncien per separat.

§1. L’especificació completa del quàdruple

1.1 Font X i distribució P_X

Fixem una mesura ergòdica estacionària computable \nu \in \mathcal{M} sobre \{0,1\}^\infty. La font és el procés (X_t)_{t \ge 1} distribuït segons \nu. Pel que fa al paper de meta-prior, \xi de l’Eq. (1) de la prepublicació pondera cada \nu d’aquest tipus amb w_\nu \approx 2^{-K(\nu)}. Escrivim P_X = \nu per a un membre fix de \mathcal{M}. Tots els resultats següents s’apliquen per mesura \nu; la connexió amb Solomonoff entra a través de la cota de dominància de la §4.

1.2 Alfabet de Reproducció \hat{X}

Per a T,h fixats, definim una relació d’equivalència predictiva d’horitzó finit sobre blocs passats: x \sim_h x' \iff \nu(Y\in A\mid X=x)=\nu(Y\in A\mid X=x') \quad\text{per a tot conjunt mesurable }A\subseteq\{0,1\}^h. Siguem S_h la classe d’equivalència de X sota \sim_h. Aleshores, S_h és l’estadístic suficient mínim per predir Y a partir de X a l’horitzó h.

L’estat causal complet de la \epsilon-màquina, S, és l’objecte d’horitzó infinit que s’obté en passar a passats semiinfinits i al futur complet. Aquest apèndix utilitza S_h per a les derivacions d’horitzó finit i reserva S per al límit complet d’estat causal.

Estat de computabilitat. Per a una \nu computable general, aquest apèndix no afirma la computabilitat exacta de la partició d’estats predictius. Es tracta com un objecte mesurable idealitzat. La computabilitat exacta només s’afirma per a subclasses identificades explícitament, com ara els processos de memòria finita.

1.3 Funció de distorsió d_h(x, z)

La funció de distorsió és la divergència predictiva KL: d_h(x,z):=D_{\mathrm{KL}}\!\big(P_\nu(Y\mid X=x)\,\|\,P_\nu(Y\mid Z=z)\big). Aquí Z és una variable de representació produïda per un codificador p(z\mid x). Quan Z=S_h, aquesta és la distorsió exacta de l’estat predictiu; quan Z és un refinament grosser o un codi estocàstic, P_\nu(Y\mid Z=z) és la llei predictiva induïda.

Quàdruple complet

§2. Derivació de R_{T,h}(D) sota el Quàdruple

La funció taxa-distorsió per al quàdruple de §1 és:

R_{T,h}(D) = \min_{p(z|x) : \mathbb{E}[d_h(X,Z)] \le D} I(X ; Z)

2.1 La identitat de distorsió KL

Siguin X:=X_{1:T}, Y:=X_{T+1:T+h}, i sigui Z qualsevol representació produïda per un codificador p(z\mid x). Com que Z-X-Y és una cadena de Markov, \mathbb E[d_h(X,Z)] = \mathbb E\!\left[D_{\mathrm{KL}}(P(Y\mid X)\|P(Y\mid Z))\right] = H(Y\mid Z)-H(Y\mid X) = I(X;Y\mid Z). Equivalentment, \mathbb E[d_h(X,Z)] = I(X;Y)-I(Z;Y)=E_{T,h}(\nu)-I(Z;Y). Per tant, la restricció de distorsió \mathbb E[d_h(X,Z)]\le D és equivalent a I(Z;Y)\ge E_{T,h}(\nu)-D.

2.2 Reformulació del Coll d’Ampolla de la Informació

La restricció de distorsió limita l’espai dels codificadors admissibles a aquells que satisfan \mathbb{E}[d_h(X,Z)] \le D. Això correspon exactament a acotar inferiorment I(Z;Y), i dona lloc al problema restringit del Coll d’Ampolla de la Informació. Com que la regió assolible \{(I(Z;Y), I(X;Z))\} és convexa sota els arguments estàndard de compartició temporal, es compleix la dualitat forta. Això permet una reformulació exacta mitjançant el lagrangià del Coll d’Ampolla de la Informació (Tishby, Pereira & Bialek 1999 [28]): \mathcal{L}[p(z|x)] = I(X ; Z) - \beta \cdot I(Z ; Y) amb el multiplicador de Lagrange \beta determinat per D. El lagrangià IB ressegueix la frontera de Pareto entre la taxa de compressió i la fidelitat predictiva.

2.3 Teorema principal: cota inferior general i criteri d’igualtat

Establim la cota per a la funció taxa-distorsió:

Proposició (cota inferior general i criteri d’igualtat).
Per a qualsevol codificador p(z\mid x), sigui D:=\mathbb E[d_h(X,Z)]. Aleshores I(X;Z)=E_{T,h}(\nu)-D+I(X;Z\mid Y). En conseqüència, R_{T,h}(D)\ge E_{T,h}(\nu)-D. Per a alfabets de reproducció finits i compactes en què la continuïtat garanteix que s’assoleix l’ínfim sobre els codificadors, la igualtat a una distorsió donada D es compleix si i només si existeix un codificador que assoleix aquesta distorsió amb I(X;Z\mid Y)=0. Per a codificadors deterministes Z=g(X), això és equivalent a H(Z\mid Y)=0.

A distorsió zero, l’estadístic suficient mínim S_h assoleix R_{T,h}(0)=I(X;S_h)=H(S_h). Cal remarcar que aquesta taxa de distorsió zero H(S_h) se situa, en general, estrictament per damunt de la cota inferior E_{T,h}. La diferència és l’escletxa no negativa H(S_h) - E_{T,h} = H(S_h|Y). Aquesta escletxa representa físicament la ‘informació emmagatzemada’ estructural en el passat que la finestra futura, per si sola, no aconsegueix recuperar. Que la igualtat es compleixi a distorsió zero (H(S_h|Y)=0) és un cas altament degenerat i, en general, fals per a processos complexos.

En el límit complet d’estats causals, R(0)=C_{\mu,\nu}=H(S). Això és igual a E_\nu només en casos especials; en general E_\nu < C_{\mu,\nu}.

2.4 Comportament per a Alfabets de Reproducció més Grollers

Per a qualsevol grollerització determinista Z=g(S_h), I(X;Z)=I(Z;Y)+I(X;Z\mid Y)=E_{T,h}(\nu)-D+I(X;Z\mid Y)\ge E_{T,h}(\nu)-D. El terme de folgança no negatiu I(X;Z\mid Y) només s’anul·la quan la representació grolleritzada és recuperable a partir de la finestra futura Y. Per tant, els alfabets més grollers produeixen generalment corbes taxa-distorsió estrictament per damunt de la recta E_{T,h}-D. La recta és una cota inferior universal, no pas una envolupant genèrica assolida. Qualsevol còdec computable a la pràctica utilitza una aproximació de memòria finita als estats causals i, per tant, té una corba per damunt d’aquesta cota.

2.5 Avaluacions de frontera

(Nota: en el límit d’horitzó infinit, el punt de taxa zero es troba a la distorsió E_\nu, no a C_{\mu,\nu})

§3. C_{\max} — Caracterització i barreres

3.1 Lema de convergència a horitzó infinit

El teorema principal (§2.3) estableix la cota inferior R_{T,h}(D) \ge E_{T,h}(\nu) - D per a (T, h) finits. Ara mostrem que això s’estén al cas d’horitzó infinit.

Lema (extensió a horitzó infinit). Sigui \nu una mesura estacionària ergòdica sobre \{0,1\}^\infty. Aleshores:

1. E_{T,h}(\nu) = I(X_{1:T}\,;\,X_{T+1:T+h}) és no decreixent tant en T com en h (per la desigualtat de processament de dades: condicionar sobre blocs més llargs no pot disminuir la informació mútua entre passat i futur sota estacionarietat).
2. El límit E_\nu := \lim_{T,h \to \infty} E_{T,h}(\nu) existeix (possiblement +\infty) per convergència monòtona.
3. Per a cada D \ge 0 fix, la successió R_{T,h}(D) és no decreixent en T (passats més llargs no poden reduir la taxa òptima de compressió) i no decreixent en h. Esbós de demostració de la monotonia en h: La funció de distorsió es descompon com d_{h+1}(x, z) = D_{\mathrm{KL}}\!\left(P_\nu(\cdot \mid x) \,\|\, P_z(\cdot \mid z)\right) al llarg de h+1 passos futurs, cosa que es pot escriure, mitjançant la regla de la cadena, com d_h(x,z) + D_{\mathrm{KL}}\!\left(P_\nu(X_{T+h+1} \mid x, X_{T+1:T+h}) \,\|\, P_z(X_{T+h+1} \mid z, X_{T+1:T+h})\right). Com que el segon terme és no negatiu, d_{h+1} \geq d_h puntualment. Per tant, el conjunt de restricció \{P(z|x) : E[d_{h+1}] \leq D\} \subseteq \{P(z|x) : E[d_h] \leq D\}, i minimitzar sobre un conjunt factible més petit no pot disminuir la taxa: R_{T,h+1}(D) \geq R_{T,h}(D).
4. Per tant, R_\nu(D) := \lim_{T,h \to \infty} R_{T,h}(D) existeix.

Com que R_{T,h}(D) \ge E_{T,h}(\nu) - D es compleix en cada etapa finita, i tots dos costats convergeixen monòtonament, la cota passa al límit:

R_\nu(D) \ge E_\nu - D

Aquesta és la cota inferior a horitzó infinit invocada a les Proposicions T-1a i T-1c de més avall. Nota: Per a processos amb E_\nu = +\infty (p. ex., cicles de de Bruijn d’ordre alt quan k \to \infty), la cota es compleix trivialment; aquests processos queden exclosos del conjunt compatible amb observadors O_{C_{\max},D_{\min}} per a qualsevol C_{\max} finit.

3.2 Partició de M pel Filtre d’Estabilitat — Proposició T-1a

Proposició T-1a (partició no trivial).
Fixem C_{\max}>0, \Delta t>0 i D_{\min}\ge0 empírics. Definim O_{C_{\max},D_{\min}} := \{\nu\in\mathcal M: R_\nu(D_{\min})\le C_{\max}\Delta t\}. Aleshores, tant O_{C_{\max},D_{\min}} com el seu complement són no buits.

Demostració. El procés constant pertany a O_{C_{\max},D_{\min}} perquè té E_\nu=0 i R_\nu(D)=0.
Pel que fa al complement, triem un procés binari de cicle de de Bruijn d’ordre k: un procés binari estacionari i ergòdic de període 2^k amb fase uniforme, en què cada paraula de longitud k apareix exactament una vegada per cicle. Per a aquest procés, E_\nu=C_{\mu,\nu}=k. Per tant, R_\nu(D_{\min})\ge k-D_{\min}. Triant k>C_{\max}\Delta t + D_{\min} s’obté R_\nu(D_{\min})>C_{\max}\Delta t, de manera que \nu\notin O_{C_{\max},D_{\min}}. \square

3.3 Definició/Caracterització de C_{\max} — T-1b

Definició T-1b (paràmetre empíric d’amplada de banda).
C_{\max} es pren com un paràmetre empíric d’amplada de banda d’accés conscient extern al formalisme taxa-distorsió. Donat C_{\max}, es defineix la classe compatible amb l’observador O_{C_{\max},D_{\min}} := \{\nu\in\mathcal M: R_\nu(D_{\min})\le C_{\max}\Delta t\}. Si es vol resumir una classe de referència especificada per separat \mathcal{O}_{ref}, es defineix C^{ref}_{max}:=\frac{1}{\Delta t}\sup_{\nu\in\mathcal{O}_{ref}}R_\nu(D_{\min}). Aquesta és una estadística resum d’una classe escollida, no la definició de la classe mateixa.

3.4 La Barrera de la No-emergència — Esbós de demostració T-1c

Esbós de demostració T-1c (cap límit universal finit a partir de \xi sola).
La semimesura de Solomonoff \xi assigna un pes previ positiu a tota mesura computable \nu\in\mathcal M. La classe \mathcal M conté processos binaris estacionaris i ergòdics amb una entropia excedent E_\nu arbitràriament gran (per exemple, la família de de Bruijn anterior). Com que R_\nu(D_{\min})\ge E_\nu-D_{\min}, no hi ha cap límit superior finit, vàlid per a tot el suport, de R_\nu(D_{\min}) que es pugui derivar de \xi sola. Per tant, qualsevol C_{\max} finit requereix informació empírica addicional o bé una restricció de classe més enllà del mer prior de Solomonoff. \square

§4. Connexió amb el Meta-prior de Solomonoff

La quàdrupla de §1 i la derivació de R(D) de §2 s’enuncien per mesura \nu. La connexió amb Solomonoff — és a dir, com el meta-prior \xi pondera els fluxos compatibles amb l’observador — és una correspondència estructural més que no pas una derivació.

Per a qualsevol \nu \in O_{C_{\max},D_{\min}} compatible amb l’observador, l’equilibri taxa-distorsió garanteix que el flux comprimit z_{0:T} és la representació seleccionada pel Filtre d’Estabilitat. El prior de Solomonoff \xi assigna a aquesta \nu un pes w_\nu \approx 2^{-K(\nu)}: els processos compatibles amb l’observador més simples (amb K més baixa) són exponencialment més probables sota \xi. Aquesta és l’expressió formal de l’argument de parsimònia (Apèndix T-4): el Filtre d’Estabilitat, operant sobre \xi, selecciona el còdec més simple que s’ajusta dins de l’amplada de banda.

La cota de dominància de T-4b s’aplica directament: per a qualsevol mesura computable de física \nu amb K(\nu) < \infty:

-\log \xi(y_{1:T}) \le -\log \nu(y_{1:T}) + K(\nu)

Això garanteix que el meta-prior OPT \xi no assigna mai una probabilitat més baixa als fluxos compatibles amb l’observador que qualsevol model físic computable fix, llevat de la pròpia longitud de descripció del model K(\nu).

§5. El quàntum de bit experiencial h^\ast (avançament d’E-1)

Donada una elecció empírica de C_{\max} i una finestra empírica d’actualització conscient \Delta t, definim h^*:=C_{\max}\Delta t. Per a C_{\max}\approx 10 bits/s i \Delta t\in[50,80] ms, h^*\approx 0.5\text{–}0.8 bits per moment conscient.

Qualsevol procés estacionari ergòdic \nu \in \mathcal{M} que satisfaci E_{T,h}(\nu) - D_{\min} > h^\ast desencadenarà legítimament el Decaïment narratiu. Això és així perquè R_{T,h}(D_{\min}) \ge E_{T,h} - D_{\min} > h^\ast = C_{\max} \Delta t, cosa que viola explícitament el criteri de compatibilitat. Tanmateix, aquesta és una condició suficient per al col·lapse, no pas una de estrictament necessària: com que la cota inferior rarament és ajustada (R_{T,h} > E_{T,h} - D_{\min} de manera genèrica segons §2.4), els processos poden experimentar Decaïment narratiu fins i tot quan E_{T,h} - D_{\min} \le h^\ast. Això proporciona la predicció quantitativa per a E-1; la sensibilitat a l’elecció de \Delta t \in [40, 300] ms es discuteix a l’apèndix d’E-1.

§6. Resum de tancament

Lliurables de T-1 — Estat revisat

1. El quàdruple queda especificat en un marc predictiu d’horitzó finit.
2. La identitat predictiva-KL es deriva correctament.
3. El teorema genèric R(D)=C_\mu-D es reemplaça per la cota inferior correcta R_{T,h}(D)\ge E_{T,h}-D juntament amb un criteri d’igualtat exacte I(X;Z\mid Y)=0.
4. La codificació de distorsió zero es caracteritza mitjançant l’estadístic suficient mínim S_h, i en el límit complet d’estats causals R(0)=C_{\mu,\nu}.
5. C_{\max} es tracta com a empíric, no com a derivat internament.
6. h^*=C_{\max}\Delta t és una parametrització empírica, no un teorema de §2.

Aquest apèndix es manté com a part del repositori del projecte OPT juntament amb theoretical_roadmap.pdf.