Чат-бот, который отвечает на вопросы, — низкий риск: худшее, что он сделает, — ошибётся в тексте. ИИ-агент, встроенный в реальные процессы, — другая категория: он регистрирует документы, назначает исполнителей, готовит приказы. Значит, и требования к его безопасности должны быть другими. Рассказываем, на каких принципах построена безопасность цифровых сотрудников d8n.ai.
Агент работает строго под правами пользователя
У агента в d8n.ai нет собственных привилегий. Он наследует ACL конкретного сотрудника: видит те же документы, папки и процессы, что и человек, от имени которого работает, — не больше. Смена прав сотрудника мгновенно меняет и возможности его агента. Это снимает целый класс рисков: скомпрометировать «всевидящего ИИ» невозможно, потому что его не существует.
Каждое действие — в ленте аудита
Всё, что агент сделал, видно в ленте действий: какой документ прочитал, что создал, по какому маршруту отправил, кому написал. Полная трассируемость означает, что работа ИИ проверяема ровно так же, как работа человека, — и в текущем моменте, и ретроспективно при служебном расследовании или внешнем аудите.
Критичные шаги подтверждает человек
Агент готовит — человек решает. Оплата, отправка документа вовне, кадровый приказ, изменение настроек — такие действия агент не совершает автоматически: он формирует черновик и выносит его на подтверждение сотруднику. Этот принцип human-in-the-loop мы считаем обязательным для доверия: ИИ убирает рутину, но ответственность за решения остаётся за людьми.
Как мы контролируем галлюцинации
Ошибающийся агент — это тоже вопрос безопасности. Здесь работают три механизма. Первый — изолированная база знаний: агент каждого клиента обучен только на документах и конфигурациях этого клиента и не «фантазирует» из общих данных. Второй — золотой стандарт ответов, с которым агент постоянно сверяется. Третий — живой цикл обратной связи: стандарт регулярно обновляется на основе реакции пользователей, поэтому знания агента развиваются вместе с компанией. Этот подход мы обкатали на собственной техподдержке — и описали его в первом выпуске build-in-public.
Чего агент не делает никогда
Есть действия, которые архитектурно закрыты для агента вне зависимости от настроек: он не подписывает документы, не согласует за человека, не меняет права доступа, не отправляет данные за пределы контура без подтверждения. Мы продаём не магию, а прозрачность и контроль — и считаем, что именно это отличает корпоративный ИИ от эксперимента.