ПостАгенты, безопасность и доверие

In agentic systems, safe defaults matter more than good warnings — the agent may never read the warning.

As agents run more workflows, security has to live in default-off execution paths, because the agent may never read the warning a human would have caught.

Lukman Nuriakhmetov
Lukman Nuriakhmetov
1 мин чтения · 15 июля 2026 г.

In agentic systems, safe defaults matter more than good warnings.

Because the agent may never read the warning.

As AI agents execute more setup, package, and tool workflows, security has to live in default-off execution paths, not optional caution.

I have seen developer workflows depend on a quiet assumption: a human will notice the suspicious step. The install script. The remote URL. The strange dependency. The unexpected command.

That assumption weakens fast when an agent runs the workflow instead of a person. npm turning off install scripts, git dependencies, and remote-URL installs by default is a useful signal — not because it solves supply-chain security, but because it moves the boundary the right way. The safe path becomes the default path, and risky execution has to be explicitly turned on. A warning assumes a reader who pauses. An agent working through a task does not pause at a comment; it acts on the path in front of it. So the protection cannot be advisory — it has to be the default the runtime enforces before the action runs.

The more we let agents act, the less we can rely on a human catching the one risky step in the stream.

A good guardrail is not one the agent promises to respect. It is one the runtime enforces before action.

Теги: ai-security · ai-engineering · systems-thinking · agent-safety

Связанные тексты

Пост10 июля 2026 г.

The dangerous agent failure is not always a bad answer. Sometimes it is public input reaching private context.

GitLost showed a crafted public GitHub issue steering an agent with cross-repo read access into posting a private README as a public comment — no stolen credentials, just a context-separation failure. The agent runs on a service-account permission model, not a user one, so no patch closes it; the fix is architectural. If public text can steer private access, the permission model is already broken.

AI Security
EN1 мин
Заметка24 августа 2026 г.

Модель перестала быть интересной переменной

Неделя 17 августа 2026. Mistral утроила точность на финансовой отчётности — с 26,7% до 86% — изменив то, как модель ищет, а не какая модель ищет. Две разные модели из двух разных лабораторий получили примерно одинаковый трёхкратный прирост от одной и той же обвязки. Тот же узор прошёл через неделю: авторизация распалась на четыре отдельных вопроса, оптимизация токенов сократила токены и подняла суммарную стоимость в полтора раза, пропускная способность обогнала окружающую её ёмкость ревью, а исполнение переехало в общие командные каналы. Рычаг раз за разом оказывался вне модели. Скан-слой TL;DR, пять тем каждая с operator move, одна разобрана глубоко, три контр-сигнала и что отслеживать.

Разбор недели
12 мин
Заметка10 августа 2026 г.

Способность обогнала подтверждение

Неделя 3 августа 2026. Frontier-модели сгенерировали 6080 патчей безопасности, и примерно четверть из них сработала — а правдоподобная, но неверная подсказка в промпте роняла успех до одного из шести, причём агенты шли за подсказкой против собственных данных. Тот же зазор открылся всюду: пиковая способность расходится с продакшн-надёжностью, агенты не могут проверять сами себя, операционные данные ставят потолок любой модели, а переносимые артефакты не несут переносимого доверия. Производство подешевело. Подтверждение производимого — нет. Скан-слой TL;DR, пять тем каждая с operator move, одна разобрана глубоко, три контр-сигнала и что отслеживать.

Разбор недели
12 мин