ПостAI-инженерия и код

We keep securing the model and trusting the scaffolding around it.

Every control we put on an agent lives in the harness — so once the agent can edit its own prompts, tools and memory, a harness change is a privileged production change.

Lukman Nuriakhmetov
Lukman Nuriakhmetov
1 мин чтения · 10 августа 2026 г.

We keep securing the model and trusting the scaffolding around it.

That assumption breaks the moment the agent can edit the scaffolding.

Most agent architectures rest on a quiet division: the model is the untrusted part, and the harness — the prompts, the tools, the memory, the subagent definitions — is the infrastructure that constrains it. Every control we put on an agent lives in that layer.

The newer self-improving harnesses dissolve the division. When an agent can rewrite its own context assembly, register new tools, spawn subagents, and persist state that survives the session, it is no longer just producing answers. It is modifying the machinery that produces every later answer.

So a harness edit is not a runtime detail. It is a privileged production change, and it deserves what production changes get: a version, an author, a diff, a review path, an evaluation gate, and a rollback that actually restores the previous behaviour.

The alternative is not to freeze the harness — that forfeits the improvement. It is to let the agent propose changes in a sandboxed branch, and require the same evidence a human would need to merge one.

If the agent can change the thing that governs it, that thing is not a control any more.

Теги: ai-engineering · ai-governance · systems-thinking · agent-architecture

Связанные тексты

Пост2 июля 2026 г.

If an AI output is hard to evaluate, the problem may not be the eval. It may be the product boundary.

Good AI products make verification cheaper — decompose work into reviewable units, attach evidence, make the boundary between decided and inferred visible. Output that cannot be verified cheaply gets trusted blindly or ignored, and both are failures.

AI Engineering
EN1 мин
Заметка24 августа 2026 г.

Модель перестала быть интересной переменной

Неделя 17 августа 2026. Mistral утроила точность на финансовой отчётности — с 26,7% до 86% — изменив то, как модель ищет, а не какая модель ищет. Две разные модели из двух разных лабораторий получили примерно одинаковый трёхкратный прирост от одной и той же обвязки. Тот же узор прошёл через неделю: авторизация распалась на четыре отдельных вопроса, оптимизация токенов сократила токены и подняла суммарную стоимость в полтора раза, пропускная способность обогнала окружающую её ёмкость ревью, а исполнение переехало в общие командные каналы. Рычаг раз за разом оказывался вне модели. Скан-слой TL;DR, пять тем каждая с operator move, одна разобрана глубоко, три контр-сигнала и что отслеживать.

Разбор недели
12 мин
Заметка10 августа 2026 г.

Способность обогнала подтверждение

Неделя 3 августа 2026. Frontier-модели сгенерировали 6080 патчей безопасности, и примерно четверть из них сработала — а правдоподобная, но неверная подсказка в промпте роняла успех до одного из шести, причём агенты шли за подсказкой против собственных данных. Тот же зазор открылся всюду: пиковая способность расходится с продакшн-надёжностью, агенты не могут проверять сами себя, операционные данные ставят потолок любой модели, а переносимые артефакты не несут переносимого доверия. Производство подешевело. Подтверждение производимого — нет. Скан-слой TL;DR, пять тем каждая с operator move, одна разобрана глубоко, три контр-сигнала и что отслеживать.

Разбор недели
12 мин