Lukman Nuriakhmetov
ENRU
ПостАгенты, безопасность и доверие

Recursive self-improvement is not just an AI research problem. It is an operating model problem.

The moment an AI system can improve the system that evaluates it, governance stops being a policy document and becomes part of the architecture.

Lukman Nuriakhmetov
Lukman Nuriakhmetov
1 мин чтения · 10 июня 2026 г.

Recursive self-improvement is not just an AI research problem. It is an operating model problem.

In engineering systems, feedback loops matter more than individual actions. A bad signal, optimized repeatedly, becomes a system failure. That is why I read the latest recursive self-improvement signals less as science fiction and more as a management question.

Who decides which feedback signal the agent optimizes for? Who approves changes to tests, prompts, or deployment behavior? Where does the rollback path live? The moment an AI system can improve the system that evaluates it, governance stops being a policy document and becomes part of the architecture.

The question isn't only whether the agent can improve itself. It's whether we can prove the improvement is real.

Теги: ai-governance · engineering-leadership · ai-systems · feedback-loops

Связанные тексты

Заметка24 августа 2026 г.

Модель перестала быть интересной переменной

Неделя 17 августа 2026. Mistral утроила точность на финансовой отчётности — с 26,7% до 86% — изменив то, как модель ищет, а не какая модель ищет. Две разные модели из двух разных лабораторий получили примерно одинаковый трёхкратный прирост от одной и той же обвязки. Тот же узор прошёл через неделю: авторизация распалась на четыре отдельных вопроса, оптимизация токенов сократила токены и подняла суммарную стоимость в полтора раза, пропускная способность обогнала окружающую её ёмкость ревью, а исполнение переехало в общие командные каналы. Рычаг раз за разом оказывался вне модели. Скан-слой TL;DR, пять тем каждая с operator move, одна разобрана глубоко, три контр-сигнала и что отслеживать.

Разбор недели
12 мин
Заметка17 августа 2026 г.

Следствие оторвалось от причины

Неделя 10 августа 2026. Мартовская компрометация только в этом месяце получила своё настоящее число — около 2500 организаций: радиус поражения стал виден через пять месяцев. Тот же зазор прошёл через всю неделю: полномочия переживают контекст, который их выдал; одно допущение сверху размножается по графу агентов; ускоренный шаг не даёт ускоренной системы; метрика уезжает от того, что измеряет. Связь между действием и его последствием перестала быть локальной. Скан-слой TL;DR, пять тем каждая с operator move, одна разобрана глубоко, три контр-сигнала и что отслеживать.

Разбор недели
13 мин
Заметка10 августа 2026 г.

Способность обогнала подтверждение

Неделя 3 августа 2026. Frontier-модели сгенерировали 6080 патчей безопасности, и примерно четверть из них сработала — а правдоподобная, но неверная подсказка в промпте роняла успех до одного из шести, причём агенты шли за подсказкой против собственных данных. Тот же зазор открылся всюду: пиковая способность расходится с продакшн-надёжностью, агенты не могут проверять сами себя, операционные данные ставят потолок любой модели, а переносимые артефакты не несут переносимого доверия. Производство подешевело. Подтверждение производимого — нет. Скан-слой TL;DR, пять тем каждая с operator move, одна разобрана глубоко, три контр-сигнала и что отслеживать.

Разбор недели
12 мин