ПостАгенты, безопасность и доверие

The dangerous agent failure is not always a bad answer. Sometimes it is public input reaching private context.

GitLost showed a crafted public GitHub issue steering an agent with cross-repo read access into posting a private README as a public comment — no stolen credentials, just a context-separation failure. The agent runs on a service-account permission model, not a user one, so no patch closes it; the fix is architectural. If public text can steer private access, the permission model is already broken.

Lukman Nuriakhmetov
Lukman Nuriakhmetov
1 мин чтения · 10 июля 2026 г.

The dangerous agent failure is not always a bad answer.

Sometimes it is public input reaching private context.

I have seen permission models that looked reasonable until two contexts touched. Separately, each made sense. Together, the boundary quietly disappeared.

GitLost is a clean example of this. Researchers showed that a crafted public GitHub issue could steer an AI agent — one wired with read access across an organization's repos — into fetching a private README and posting it as a public comment. No stolen credentials, no code, just a well-worded issue the agent read as an instruction. It is not really "prompt injection" in the narrow sense. It is a context-separation failure: the agent held both untrusted public input and privileged private access, and the workflow let them meet. As the researchers put it, the agent's context window is its attack surface.

Here is why this is structural, not a one-off bug. The agent runs on a service-account permission model, not a user one — it has standing credentials and reads attacker-reachable text in the same context. No patch closes that; the fix is architectural. Scope the token to the one repo it triages, not the whole org. Treat every issue, PR, and comment as untrusted input. Separate what can instruct the agent from what it can access. Gate anything it can publish.

A safe agent needs more than a refusal policy. It needs a hard boundary between what can instruct it and what it can reach.

If public text can steer private access, the permission model is already broken — the model just hasn't been asked the right question yet.

Теги: ai-security · ai-engineering · systems-thinking · agents

Связанные тексты

Пост15 июля 2026 г.

In agentic systems, safe defaults matter more than good warnings — the agent may never read the warning.

As agents run more workflows, security has to live in default-off execution paths, because the agent may never read the warning a human would have caught.

AI security
EN1 мин
Заметка24 августа 2026 г.

Модель перестала быть интересной переменной

Неделя 17 августа 2026. Mistral утроила точность на финансовой отчётности — с 26,7% до 86% — изменив то, как модель ищет, а не какая модель ищет. Две разные модели из двух разных лабораторий получили примерно одинаковый трёхкратный прирост от одной и той же обвязки. Тот же узор прошёл через неделю: авторизация распалась на четыре отдельных вопроса, оптимизация токенов сократила токены и подняла суммарную стоимость в полтора раза, пропускная способность обогнала окружающую её ёмкость ревью, а исполнение переехало в общие командные каналы. Рычаг раз за разом оказывался вне модели. Скан-слой TL;DR, пять тем каждая с operator move, одна разобрана глубоко, три контр-сигнала и что отслеживать.

Разбор недели
12 мин
Заметка10 августа 2026 г.

Способность обогнала подтверждение

Неделя 3 августа 2026. Frontier-модели сгенерировали 6080 патчей безопасности, и примерно четверть из них сработала — а правдоподобная, но неверная подсказка в промпте роняла успех до одного из шести, причём агенты шли за подсказкой против собственных данных. Тот же зазор открылся всюду: пиковая способность расходится с продакшн-надёжностью, агенты не могут проверять сами себя, операционные данные ставят потолок любой модели, а переносимые артефакты не несут переносимого доверия. Производство подешевело. Подтверждение производимого — нет. Скан-слой TL;DR, пять тем каждая с operator move, одна разобрана глубоко, три контр-сигнала и что отслеживать.

Разбор недели
12 мин