ИИ в бизнес-процессах: кто несет ответственность, когда алгоритм ошибается

ИИ уже работает там, где компании привыкли полагаться на профессиональное суждение: помогает анализировать финансовую отчетность, проверять договоры, составлять прогнозы и готовить черновики юридических документов.

Результат может стать основанием для платежа, изменения бюджета, согласования условий контракта или принятия управленческого решения. Важно не только то, насколько быстро система обработала данные, но и то, можно ли доверять полученному результату.

Техническую архитектуру системы оценивает IT-команда. Аудитор проверяет процесс, в который она встроена: сохраняется ли достоверность информации, защищены ли корпоративные данные, предусмотрена ли проверка перед принятием решения.

Использование нового инструмента не отменяет требований к внутреннему контролю. Наоборот — в привычном процессе появляется ещё одно звено, качество работы которого компания не всегда может оценить без участия специалиста.

Shadow AI: чего не видит компания

Во многих компаниях ИИ внедряется в рабочие процессы не по централизованному решению руководства, а по инициативе сотрудников. Человек выбирает общедоступный сервис, чтобы быстрее проанализировать документ или подготовить его черновик.

Вместе с рабочим запросом в чат-бота могут попасть договор, финансовая отчетность или часть клиентской базы. Так возникает Shadow AI — теневой ИИ.

Технология уже используется, однако компания не знает, какие сервисы выбрали сотрудники и какую информацию им передают. В отсутствие общих правил каждый сотрудник сам решает, какие корпоративные данные можно загружать во внешнюю систему и насколько можно доверять полученному ответу.

Запрета недостаточно. Он не даёт понимания того, как ИИ используется внутри компании, и может сделать эту практику ещё менее заметной. Поэтому перед разработкой правил необходимо выяснить реальный масштаб: какие инструменты выбрали сотрудники и в каких рабочих процессах появляются созданные ими материалы.

Определять границы дозволенного

Корпоративная политика должна опираться на то, как сотрудники используют ИИ. Ее задача — отделить приемлемые способы работы от рискованных.

Первая категория включает инструменты, утвержденные для работы в защищенной среде компании. Внешние сервисы можно разрешать с ограничениями после проверки юристами и службой безопасности, если они необходимы для неконфиденциальных задач. Непроверенные публичные системы не должны работать с корпоративными данными. Отдельного режима требует информация, защищенная законом или внутренними правилами: персональные данные, банковская и коммерческая тайна.

Финансовую отчетность, клиентские документы или внутреннюю модель нельзя считать безопасными для загрузки только потому, что сотрудник использует их для выполнения рабочего задания. Перед использованием внешнего сервиса необходимо проверить, использует ли он введенную информацию для обучения модели.

Если для работы достаточно части документа, сведения, по которым можно идентифицировать клиента, операцию или компанию, следует удалить до загрузки.

Политика также должна увязывать каждый разрешенный инструмент с конкретными задачами и порядком согласования. Тогда допустимый уровень риска будет определять компания, а не сотрудник, который хочет быстрее подготовить документ.

Ответ может быть ошибочным

Защищенная среда позволяет контролировать доступ к данным, однако не гарантирует правильности ответа. Крупные языковые модели не устанавливают факты так, как это делает специалист. Они прогнозируют наиболее вероятное продолжение текста, поэтому могут убедительно излагать информацию, которой на самом деле не существует.

Так, в юридическом заключении может появиться ссылка на несуществующую норму или судебное решение. В финансовом анализе ошибка может возникнуть при расчете или интерпретации показателей. Если такой материал попадает в документ без проверки, уверенная форма ответа скрывает ненадежность его содержания.

Результат работы ИИ должен проходить профессиональную проверку. Этот принцип в корпоративной политике можно закрепить как Human-in-the-Loop. Юридическое заключение сверяют с действующими нормами и проверенными документами, финансовый анализ — с данными бухгалтерской или ERP-системы. Решение согласовывает специалист, который понимает контекст и может оценить не только отдельную цифру, но и логику вывода.

Уменьшить количество ошибок помогает технология RAG. Система находит релевантные документы в подготовленной корпоративной базе, а затем использует их для формирования ответа. Однако его качество всё равно зависит от качества источников. RAG сужает пространство для ошибки, но не заменяет профессиональное суждение.

Кто отвечает за использование ИИ

Контроль за использованием ИИ нельзя полностью передать одному подразделению. Юристы устанавливают ограничения на работу с конфиденциальной информацией. IT-команда отвечает за инфраструктуру и доступ к системам. Финансисты и аудиторы оценивают, как полученные результаты влияют на отчетность и решения компании.

Для повседневной работы нужен человек, который будет следить за соблюдением установленного порядка. Компания должна определить, кто отвечает за выполнение политики и её своевременное обновление. К этой же функции относится ведение перечня разрешённых сервисов. Если система работает с корпоративной базой знаний, необходимо закрепить ответственность за актуальность загруженных документов.

Даже хорошо разработанная политика не будет работать, если сотрудники не знают её требований или воспринимают их как формальность. Поэтому правила нужно объяснять команде и пересматривать вместе с изменениями в рабочих процессах.

При таком подходе ИИ перестает быть отдельной неконтролируемой практикой и становится частью корпоративной системы. Компания получает скорость, которую даёт технология, не теряя контроля над финансовой и юридической работой.