Сұрақтарға жауап беретін чат-бот — тәуекелі төмен: ең жаманы, мәтінде қателеседі. Нақты процестерге енгізілген ЖИ-агент — басқа санат: ол құжаттарды тіркейді, орындаушыларды тағайындайды, бұйрықтар дайындайды. Демек, оның қауіпсіздігіне қойылатын талаптар да басқа болуы тиіс. d8n.ai цифрлық қызметкерлерінің қауіпсіздігі қандай қағидаттарға құрылғанын айтып береміз.
Агент пайдаланушының құқықтарымен ғана жұмыс істейді
d8n.ai-дегі агенттің өз артықшылықтары жоқ. Ол нақты қызметкердің ACL-ін мұра етеді: өзі атынан жұмыс істейтін адам көретін құжаттарды, қалталар мен процестерді ғана көреді — артық емес. Қызметкердің құқықтары өзгерсе, агенттің мүмкіндіктері де лезде өзгереді. Бұл тәуекелдердің тұтас класын жояды: «бәрін көретін ЖИ-ді» бұзу мүмкін емес, өйткені ол жоқ.
Әр әрекет — аудит лентасында
Агент жасағанның бәрі әрекеттер лентасында көрінеді: қай құжатты оқыды, нені құрды, қай маршрутпен жіберді, кімге жазды. Толық трассирленетіндік ЖИ жұмысын адам жұмысы сияқты тексеруге болатынын білдіреді — қазіргі сәтте де, қызметтік тексеру немесе сыртқы аудит кезінде ретроспективті түрде де.
Маңызды қадамдарды адам растайды
Агент дайындайды — адам шешеді. Төлем, құжатты сыртқа жіберу, кадрлық бұйрық, баптауларды өзгерту — мұндай әрекеттерді агент автоматты түрде жасамайды: жобасын дайындап, қызметкердің растауына шығарады. Бұл human-in-the-loop қағидатын біз сенім үшін міндетті деп санаймыз: ЖИ күнделікті жұмысты алып тастайды, бірақ шешімдер үшін жауапкершілік адамдарда қалады.
Галлюцинацияларды қалай бақылаймыз
Қателесетін агент — бұл да қауіпсіздік мәселесі. Мұнда үш механизм жұмыс істейді. Біріншісі — оқшауланған білім базасы: әр клиенттің агенті тек сол клиенттің құжаттары мен конфигурацияларында оқытылған және жалпы деректерден «қиялдамайды». Екіншісі — агент үнемі салыстырып отыратын жауаптардың алтын стандарты. Үшіншісі — тірі кері байланыс циклі: стандарт пайдаланушылардың реакциясы негізінде жүйелі жаңартылады, сондықтан агенттің білімі компаниямен бірге дамиды. Бұл тәсілді біз өз техникалық қолдауымызда сынақтан өткіздік — және build-in-public алғашқы шығарылымында сипаттадық.
Агент ешқашан не істемейді
Баптауларға қарамастан агент үшін архитектуралық түрде жабық әрекеттер бар: ол құжаттарға қол қоймайды, адамның орнына келіспейді, қолжетімділік құқықтарын өзгертпейді, растаусыз деректерді контурдан тыс жібермейді. Біз сиқыр емес, ашықтық пен бақылауды сатамыз — және дәл осы корпоративтік ЖИ-ді эксперименттен ажыратады деп санаймыз.