Теория упорядоченного патча (OPT)

Исходная задача T-9: Цикл обслуживания и аппарат восстановления Проблема: В основной статье §3.6.3–§3.6.6 определены уравнения T9-1–T9-13 (оператор Цикла обслуживания \mathcal{M}_\tau, MDL-прунинг \Delta_{\mathrm{MDL}}, выигрыш консолидации \Delta K_{\text{compress}}, REM-взвешивание важности w(b)). Приложения T-12 (Нарративный дрейф) и T-13 (Action-Drift) ссылаются на этот аппарат как на несущую конструкцию. В рамках не хватает сводного приложения, которое (i) явно именует формальные примитивы, (ii) различает четыре модальности прунинга, которые в основной статье остаются неявными при условии \Delta_{\mathrm{MDL}} < 0, (iii) определяет условие восстановления и (iv) предоставляет стабильную формальную опору, на которую могли бы ссылаться следственные приложения. T-9 заполняет этот пробел. Результат: Сводное приложение на том же эпистемическом уровне, что и T-2 / T-15 (структурное соответствие, а не замкнутая теорема). Новое содержание по сравнению с основной статьёй: явное определение предиктивного выигрыша G_i(t,\tau), разложение стоимости обслуживания с первичностью ресурсно-ёмкостного компонента, различение четырёх модальностей прунинга, условие восстановления, цепочка следствий.

Статус завершённости: СТРУКТУРНОЕ СООТВЕТСТВИЕ (тот же уровень, что и T-2 / T-15). Это приложение не является приложением с замкнутой теоремой. Оно консолидирует аппарат Цикла обслуживания, уже действующий в препринте §3.6, и добавляет четыре элемента формального содержания, которых нет в основной статье: явный предиктивный выигрыш, рамку стоимости ресурсной ёмкости, четыре модальности прунинга и условия восстановления. Оговорки §2 по итогам обзора OpenAI соблюдены: (i) порог прунинга представлен в форме, согласованной с ожидаемой переформулировкой независимости каналов в T-12 (Фаза 4); (ii) существующие уравнения основной статьи T9-3 / T9-4 сохранены в цитируемом виде, при этом T-9 вводит уточнение ресурсной ёмкости как дополнительный формальный слой, а не молча изменяет цитируемые формы; (iii) стоимость ресурсной ёмкости является первичной, а K-сложность выступает как приближение структурного соответствия. Открытые края (§9): учёт соотношения между стоимостью ресурсной ёмкости и K-сложностью требует полной увязки с T-12 после того, как будет введена переформулировка T-12.

§1. Постановка — Активные компоненты модели

Кодек K_\theta включает совокупность активных компонентов модели \{\theta_i\}_{i \in I}, где каждый \theta_i представляет собой адресуемую структурную единицу кодека — генеративный априор, обученный детектор признаков, рекуррентный стек, дальнодействующую связь или любой иной примитив, участвующий в формировании предсказаний кодека \pi_t и оператора обновления \mathcal{U} во времени. Совокупность \{\theta_i\} конечна в любой данный момент, но может расширяться посредством консолидации (Pass II, препринт §3.6.4) или сокращаться посредством прунинга (Pass I, препринт §3.6.3).

Для целей T-9 компоненты принимаются как заданные: T-9 не выводит, что именно делает один \theta_i, а не другой, «естественным» компонентом, поскольку это вопрос репрезентационного обучения, лежащий вне области OPT. Аппарат Цикла обслуживания действует на любом разложении, которое допускает кодек.

Оператор Цикла обслуживания \mathcal{M}_\tau (препринт, уравнение T9-2) действует на Тензор феноменального состояния P_\theta(t) в интервалы низкой нагрузки (R_{\text{req}}(t) \ll C_{\max}). В T-9 три прохода (прунинг, консолидация, сэмплирование прогностического множества ветвей) разворачиваются в явные формальные примитивы в §2–§6 ниже; затем цепочка следствий в §7 прослеживает Нарративный дрейф (T-12) и дрейф действия (T-13) через эти примитивы.

§2. Предиктивное преимущество G_i(t, \tau)

Предиктивное преимущество компонента \theta_i на окне длины \tau измеряет, какой вклад этот компонент вносит в предиктивную эффективность кодека на входном потоке при фиксированных остальных компонентах:

G_i(t, \tau) \;:=\; I\!\left(\theta_i \,;\, X_{t+1:t+\tau} \mid \theta_{-i}\right) \tag{T9.2-1}

где \theta_{-i} обозначает остальную часть кодека без \theta_i, а I(\cdot ; \cdot \mid \cdot) — условная взаимная информация. Условная форма здесь существенна: она изолирует предельный предиктивный вклад \theta_i, а не его совместный вклад с перекрывающимися компонентами.

Сопоставление с уравнением T9-3 в основной статье. В основной статье величина MDL-отсечения имеет вид

\Delta_{\mathrm{MDL}}(\theta_i) \;=\; I\!\left(\theta_i\,;\,X_{t+1:t+\tau} \mid \theta_{-i}\right) - \lambda K(\theta_i) \tag{T9-3, preprint §3.6.3}

В T-9 первый член явно обозначается как G_i(t,\tau), чтобы на примитив предиктивного преимущества можно было ссылаться отдельно от порогового условия отсечения. Это лишь консолидация обозначений; неравенство сохраняется.

Длина окна \tau. Предиктивное преимущество зависит от длины окна. Малое \tau фиксирует предсказание на тонких временных масштабах (моторный контроль, рабочая память); большое \tau фиксирует структурное предсказание (семантические регулярности, нарративная связность). Отсечение в проходе I Цикла обслуживания оценивается в режиме больших \tau, где у действительно бесполезных компонентов G_i \to 0. Консолидация в проходе II, напротив, оптимизируется в режиме малых \tau, где становится существенной избыточность между перекрывающимися компонентами.

§3. Стоимость обслуживания C_i — первичность ресурсной ёмкости

Стоимость обслуживания компонента \theta_i имеет две совместимые формулировки.

Форма 3.1 — Ресурсная ёмкость (первична для T-9). Стоимость компонента — это та ресурсная ёмкость, которую он занимает в операционном субстрате кодека:

C_i \;:=\; c_i^{\text{params}} + c_i^{\text{memory}} + c_i^{\text{compute}} + c_i^{\text{channel}} \tag{T9.3-1}

где четыре бюджета таковы: слоты параметров (число весов или связей); объём памяти (в хранимых битах); вычислительная стоимость (в операциях на цикл); и ёмкость канала (биты пропускной способности, которые компонент потребляет на границе Марковского одеяла \partial_R A). Каждое c_i в принципе наблюдаемо — для биологических кодеков через метаболические и физиологические измерения, для синтетических кодеков через прямое инструментальное измерение.

Форма 3.2 — K-сложностная аппроксимация. В уравнении T9-3 основной статьи используется \lambda K(\theta_i), где K(\theta_i) — префиксная колмогоровская сложность компонента:

C_i^{\text{K-approx}} \;:=\; \lambda \cdot K(\theta_i) \tag{T9.3-2}

Это аппроксимация структурного соответствия: K-сложность является сверху полуразрешимой и не является строго аддитивной по компонентам (удаление одного компонента может не уменьшить длину кратчайшего описания на его автономное K(\theta_i), поскольку компоненты могут разделять общую структуру). Поэтому форма ресурсной ёмкости (T9.3-1) является первичной для операциональных утверждений; форма K-сложности сохраняется для теоретических анализов, где аппроксимация аддитивности приемлема.

Почему две формы. Рецензия OpenAI на T-12 (меморандум appendix-corrections, §2.8) справедливо отметила, что K-сложность не является аддитивной по компонентам, и рекомендовала использовать меры ресурсной ёмкости для операциональных утверждений. T-9 принимает ресурсную ёмкость как первичную, но сохраняет форму K-сложности, поскольку на неё ссылаются как существующее уравнение T9-3 основной статьи, так и доказательство теоремы T-12 в T-12. Уточнение через ресурсную ёмкость — более чистая формулировка для §3.6.3 / §3.6.4 / T-12 / T-13 в проходе очистки v3.7.0 или более позднем; T-9 делает обе формы доступными, чтобы последующая очистка могла быть выполнена согласованно, а не требовала одновременного исправления всех мест, где на них ссылаются.

Настройка \lambda. В Форме 3.2 параметр \lambda задаёт компромисс между предиктивным выигрышем и стоимостью сложности. Эмпирически наблюдается, что \lambda варьирует в зависимости от аффективного состояния — высокое |E(b)| (препринт, уравнение T9-10) фактически повышает \lambda на уровне компонента, делая аффективно маркированные компоненты более устойчивыми к прунингу. Это и есть формальное объяснение усиления эмоциональной памяти (препринт §3.6.5, Pass III).

§4. Условие отсечения — пороговая форма

Условие отсечения использует пороговую форму, а не форму строгой положительности из уравнения T9-4 основной статьи. Рецензия OpenAI на T-12 (меморандум appendix-corrections §2.8 Correction 3) справедливо отметила, что строгое условие I = 0 для отсечения слишком хрупко: реальные компоненты обладают слабыми косвенными предиктивными вкладами даже тогда, когда их первичная предиктивная роль исключена отфильтрованным входом.

Пороговая форма условия отсечения:

\text{Prune } \theta_i \quad \text{if} \quad G_i(t, \tau) \;<\; C_i \;-\; \epsilon \tag{T9.4-1}

где \epsilon > 0 — малый буфер удержания, настраивающий агрессивность отсечения кодека. Эквивалентные формы неравенства:

G_i(t, \tau) - C_i \;<\; -\epsilon \quad \Longleftrightarrow \quad I\!\left(\theta_i; X_{t+1:t+\tau} \mid \theta_{-i}\right) \;<\; C_i - \epsilon \tag{T9.4-2}

Сравнение с уравнением T9-4 основной статьи. В основной статье в качестве триггера отсечения записано \Delta_{\mathrm{MDL}}(\theta_i) < 0, что соответствует случаю \epsilon = 0 — строгой точке безубыточности. T-9 обобщает это, вводя буфер удержания \epsilon, который точнее моделирует биологическую динамику отсечения (где малые предиктивные вклады сохраняются вопреки транзиторному шуму) и гиперпараметры отсечения синтетических кодеков (где удаление на основе порога является стандартным).

Строгий случай безубыточности восстанавливается при \epsilon \to 0, так что форма T-9 не делает недействительными существующие ссылки на T9-4 в T-12 и T-13; она их обобщает.

Следствие для Нарративного дрейфа (перекрёстная ссылка на T-12). При отфильтрованном входе X' = \mathcal{F}(X) с исключённым сигналом \mathcal{X}_{\text{excl}} компоненты \theta_i, чей предиктивный вклад относится исключительно к \mathcal{X}_{\text{excl}}, удовлетворяют условию G_i(t, \tau) \to 0 на отфильтрованном потоке (поскольку их целевая переменная отсутствует в наблюдаемом входе). Тогда срабатывает условие отсечения (T9.4-1), поскольку 0 < C_i - \epsilon для любого компонента с положительной стоимостью. Результат о необратимости из теоремы T-12 в T-12 следует из этого срабатывания в сочетании с различением четырёх модальностей в §5 ниже.

§5. Четыре модальности прунинга

Операция прунинга (T9.4-1) допускает четыре различных реализации в кодеке, обладающих разными свойствами обратимости. Это различие существенно для условия восстановления (§6) и для утверждения о необратимости Нарративного дрейфа в T-12 Correction 1 (memo appendix-corrections §2.8).

Модальность 5.1 — Обратимое подавление. Вес выхода компонента \theta_i снижается до нуля (или ниже порога участия), однако параметры и структура компонента остаются сохранёнными в кодеке. Восстановление здесь прямолинейно: повторное взвешивание возвращает компонент. Именно эта операция лежит в основе поведенческого угасания при обусловливании (условная реакция ослабевает, но след сохраняется) и регуляризации в стиле dropout в нейронных сетях.

Модальность 5.2 — Затухание весов. Параметры компонента непрерывно затухают к состоянию по умолчанию под давлением регуляризации \propto \lambda. Компонент не удаляется, но теряет верность; частичное восстановление возможно, если состояние по умолчанию информативно.

Модальность 5.3 — Репрезентационное забывание. Параметры компонента перезаписываются конкурирующими компонентами в ходе консолидации (Pass II, preprint §3.6.4). Структурный слот сохраняется, но конкретная репрезентация утрачивается. Восстановление требует повторного воздействия релевантного входного потока в течение последующего Цикла обслуживания и носит частичный характер (заново выученная репрезентация отличается от исходной в тонких деталях).

Модальность 5.4 — Архитектурный прунинг. И параметры компонента, и его структурный слот удаляются; архитектура кодека сокращается. Восстановление на уровне кодека невозможно — компонент должен быть выращен заново с нуля через полный эпизод обучения. Это необратимая модальность.

Классификация модальностей при фильтрованном входе. Утверждение о «необратимости» в T-12 Theorem T-12 (в его формулировке в существующем preprint) требует Модальности 5.4 (архитектурного прунинга) и исключает Модальности 5.1–5.3. T-9 делает эту зависимость от модальности явной; Correction 1 в memo appendix-corrections v0.4 §2.8 («irreversible should be conditional on no protected archive / no replay buffer / no external teacher / no architectural reserve capacity / continued operation under the same filter / pruning is literal capacity deletion, not reversible suppression») согласуется с интерпретацией через Модальность 5.4.

Реальные биологические и синтетические кодеки, как правило, демонстрируют смесь модальностей, причём Модальность 5.4 обычно резервируется для компонентов, которые устойчиво подвергаются прунингу на протяжении многих Циклов обслуживания. Переход от обратимого к необратимому прунингу при длительном фильтрованном входе представляет собой структурный механизм, лежащий в основе хронического Нарративного дрейфа (T-12).

§6. Условие восстановления

Отсечённый компонент \theta_i является восстановимым, если существует процесс, посредством которого его можно вернуть к активному участию в кодеке. Вероятность восстановления в течение окна восстановления \tau_R задаётся как:

P\big(\text{recover } \theta_i \mid \tau_R\big) \;=\; P\big(\text{Modality 5.1 or 5.2}\big) \cdot p_{\text{restore}}(\tau_R) \;+\; P\big(\text{Modality 5.3 or 5.4}\big) \cdot p_{\text{regrow}}(\tau_R) \tag{T9.6-1}

Первый член охватывает обратимое / частично обратимое отсечение (подавление, затухание весов); второй — репрезентационное забывание и архитектурное отсечение, где восстановление требует внешнего входа.

Восстановление положительно только в том случае, если выполняется хотя бы одно из трёх условий:

1. Защищённая память. Кодек сохраняет архивную репрезентацию \theta_i в неотсечённом субстрате (отдельный кэш, резервная копия с контролем версий, нейрофизиологически защищённая память, консолидированная в иной области). Модальности 5.1 и 5.3 могут восстанавливаться при этом условии.

2. Внешний учитель / повторная экспозиция. Кодек подвергается воздействию входных потоков, содержащих сигнал \mathcal{X}_{\text{excl}}, который отсечённый компонент изначально отслеживал. Активное переобучение в ходе последующего прохода II Цикла обслуживания перестраивает компонент (с оговорками относительно тонкозернистой верности). При этом условии все четыре модальности могут восстанавливаться за достаточное время, хотя Модальность 5.4 требует полного эпизода обучения, сопоставимого с исходным приобретением.

3. Архитектурный резерв. Кодек располагает структурными слотами, не закреплёнными за конкретными компонентами, и они могут быть выделены для размещения заново выращенной репрезентации. Это условие, при котором восстановление Модальности 5.4 вообще механически возможно.

Если ни одно из условий (1), (2), (3) не выполняется, то P(\text{recover}\, \theta_i \mid \tau_R) = 0 для всех \tau_R, и отсечение является постоянным.

Условие верности субстрату. Условие верности субстрату из T-12 (теорема T-12b — избыточность \delta-независимых входных каналов, пересекающих Марковское одеяло) представляет собой аналог пункта (2) на масштабе линии происхождения: эти каналы обеспечивают, что входной поток продолжает содержать релевантный субстрату сигнал даже при фильтрации внешними механизмами \mathcal{F}. Условие восстановления из T-9 задаёт реализацию внутри кодека: защищённые компоненты, буферы воспроизведения, архитектурный резерв.

§7. Следствия — Нарративный дрейф и дрейф действия

Примитивы T-9 поддерживают две цепочки следствий, разработанные в приложениях T-12 и T-13.

Следствие 7.1 — Нарративный дрейф (T-12). При устойчивом фильтрованном входе X' = \mathcal{F}(X), исключающем сигнал \mathcal{X}_{\text{excl}}: - Компоненты \theta_i, чей предиктивный выигрыш целиком связан с \mathcal{X}_{\text{excl}}, имеют G_i(t, \tau) \to 0 на фильтрованном потоке. - Условие отсечения (T9.4-1) срабатывает для всех таких компонентов. - Если отсечение происходит в модальности 5.4 (архитектурной) — которая доминирует при устойчивой фильтрации на протяжении многих Циклов обслуживания, — и ни одно из условий восстановления (§6, пункты 1–3) не выполняется, способность моделировать \mathcal{X}_{\text{excl}} утрачивается необратимо. - Кодек не может изнутри обнаружить собственную утрату способности (утраченные компоненты больше не участвуют в генерации ошибки предсказания), воспроизводя тезис T-12a о неидентифицируемости.

Полная формальная трактовка дана в T-12; T-9 задаёт модально-специфическое прочтение «необратимости», которого требует Correction 1 в T-12.

Следствие 7.2 — Дрейф действия (T-13). Компоненты, кодирующие способность к поведенческой оценке неиспользуемых ветвей: - Имеют предиктивный выигрыш G_i(t, \tau), измеряемый относительно фактически реализованных исходов ветвей во входном потоке; если некоторые ветви никогда не выбираются, соответствующие оценщики не получают обучающего сигнала. - Условие отсечения срабатывает, когда G_i неиспользуемого оценщика падает ниже C_i - \epsilon. - В модальности 5.4 оценщик необратимо отсекается; кодек становится уверенно бессильным в соответствующей области действия.

Утверждение T-13.P1 (дрейф действия) в T-13 представляет собой масштабированный до уровня линии развития случай этого внутри-кодекового механизма.

Перекрёстная ссылка: Цикл обслуживания на уровне линии развития. Приложение T-15 §3 разрабатывает структурное соответствие между Циклом обслуживания в пределах жизни и филогенетическим уточнением. Четыре модальности отсечения в T-9 отображаются соответственно на: временное сужение ниши (5.1), дрейф линии развития при ослабленном отборе (5.2), замещение ниши (5.3) и вымирание линии развития (5.4). Условия восстановления (§6) отображаются на филогенетическую избыточность: защищённые рефугиумы (1), экологическое повторное воздействие при восстановлении ниши (2) и резервную мощность развития (3).

§8. Связь с уравнениями §3.6 основной статьи

T-9 носит консолидирующий, а не вытесняющий характер. Уравнения основной статьи T9-1–T9-13 (препринт §3.6.1–§3.6.6) сохраняются в цитируемом виде; T-9 вводит дополнительные формальные примитивы и уточнения, которые их дополняют.

Принципиально новое содержание в T-9: явное определение предиктивного выигрыша G_i(t,\tau) (§2); рамка стоимости как ресурсной ёмкости в качестве первичной (§3, форма 3.1); пороговая форма условия прореживания с буфером удержания \epsilon (§4); четыре модальности прореживания (§5); условие восстановления (§6); модально-специфическое прочтение утверждения T-12 о необратимости (§7.1).

§9. Открытые вопросы

Согласование с переформулировкой независимости каналов в T-12 (Фаза 4). T-12 находится в очереди appendix-corrections (v0.4 §2.8) на переформулировку условия независимости каналов: независимость механизмов фильтрации, а не сигналов. Условие прунинга в T-9 (§4) и условие восстановления (§6) написаны так, чтобы согласовываться с этой переформулировкой, однако доказательство Теоремы T-12 в T-12 потребуется заново проверить после введения переформулированного определения независимости каналов. В частности: утверждение о необратимости в T-12 §3.1 в настоящее время ссылается на T9-3 / T9-4; после очистки v3.7.0 оно должно ссылаться на пороговую форму §4 в T-9 + классификацию модальностей §5 + условие восстановления §6, причём трактовка необратимости должна быть ограничена Модальностью 5.4 в случае отсутствия условия восстановления. Открыто.

Согласование учёта ресурсной ёмкости и K-сложности. §3 делает доступными обе формы, но не выводит их количественного соответствия. Для некоторых классов компонентов эти две формы тесно связаны (C_i^{\text{params}} \sim K(\theta_i) с точностью до постоянного множителя, например для запомненных lookup-таблиц); для других они резко расходятся (композиционная структура, разделяемая между компонентами, даёт экономию K-сложности, которую форма ресурсной ёмкости не фиксирует). Желательно провести такое согласование в v3.7.0 или более поздней версии. Открыто.

Нейтральность виртуального прочтения (v3.6.21). Полностью виртуальное прочтение состояния-как-устойчивой-конфигурации (основная статья §8.6.1) заново описывает Цикл обслуживания как свойства потока, проходящего Фильтр стабильности, а не работающей машины, но не перестраивает иерархию учёта Формы 3.1 / Формы 3.2: Форма 3.1 (ресурсная ёмкость) остаётся первичной для всех операциональных утверждений, и действующее доказательство T-12 по-прежнему использует именно её. Интерпретация сжимаемости, нативная для потока, входит только как интерпретативный слой, отмеченный в T-12 §3.1. Указанное выше согласование K-аддитивности — это то место, где могла бы быть обоснована любая будущая перестройка иерархии Форм, — а не виртуальное прочтение. Открыто (не смешивать с очисткой v3.7.0).

Эмпирическая калибровка \epsilon. Буфер удержания \epsilon в (T9.4-1) является эффективным гиперпараметром прунинга. Эмпирические биологические значения должны поступать из исследований нейронного прунинга (пороги синаптического распада, показатели удержания дендритных шипиков) или из эксперимента по асимптоте Δ_self^op в прототипе opt-ai-subject. T-9 не выводит конкретного значения. Открыто.

Перекрёстная ссылка на эмпирические предсказания Цикла обслуживания. В препринте §3.6.7 перечислены эмпирические предсказания для Цикла обслуживания (сон / сновидение / консолидация). Четыре модальности прунинга в T-9 дают более тонкие предсказания: предсказание о том, что «REM-сновидения непропорционально часто выбирают ветви высокой важности» (препринт §3.6.5, Pass III), раскладывается на модально-специфические предсказания о том, какие именно типы репрезентаций сохраняются при Модальности 5.1 (удержание, взвешенное по важности, вопреки прунингу) по сравнению с Модальностью 5.4 (где отсутствие ветвей высокой важности в бодрствующем опыте ведёт к архитектурному удалению соответствующего оценщика). Открыто.

Это приложение поддерживается как часть репозитория проекта OPT наряду с opt-theory.md. Ссылки на примитивы Цикла обслуживания в препринте §3.6 сохранены; T-9 дополняет их явным предиктивным выигрышем G_i (§2), стоимостью ресурсной ёмкости (§3 Форма 3.1), пороговой формой условия прунинга с буфером удержания \epsilon (§4), четырьмя модальностями прунинга (§5) и условиями восстановления (§6). Ссылки на следствия: T-12 (Нарративный дрейф) §3.6.3; T-13 (Action-Drift) §6; T-15 (Фильтр филогенетической стабильности) §3.