ИНСАЙТЫ | 2025

Риски искусственного интеллекта: полная карта угроз для бизнеса — от технологии до культуры

30 ИЮНЯ 2025

Обсуждение рисков ИИ часто поверхностно, в то время как в технологическом и культурном фундаменте бизнеса формируются глубокие трещины. Данный материал представляет системную карту угроз, связывая три фундаментальных технологических риска — состязательные атаки («взлом»), непрозрачность («черный ящик») и зависимость от поставщика (vendor lock-in) — с их прямыми организационными последствиями: когнитивным расколом в командах, атрофией компетенций и культурным саботажем. Для лидера это переход от точечного управления инцидентами к построению комплексной системы «организационного иммунитета».

Содержание

• Вступление. Ландшафт рисков, связанных с ИИ
• Риски искусственного интеллекта: три трещины в технологическом фундаменте бизнеса
  • Риск «взлома» модели: состязательные атаки как новый экономический фактор
  • Риск «черного ящика»: непрозрачность как юридическая и стратегическая уязвимость
  • Риск «золотой клетки»: vendor lock-in как скрытая долговая нагрузка
• Организационные последствия: когда технология сталкивается с культурой
  • Последствие №1: когнитивный раскол
  • Последствие №2: атрофия управленческих компетенций
  • Последствие №3: скрытый саботаж
• Создание системы организационного иммунитета: стратегическая рамка для управления рисками ИИ
  • Технологическая гигиена и архитектура доверия
  • Культурная иммунотерапия и организационная устойчивость
• Заключение

---

Вступление. Ландшафт рисков, связанных с ИИ

Внедрение искусственного интеллекта в корпоративную стратегию часто сопровождается эйфорией от новых KPI: рост конверсии, снижение издержек, ускорение процессов. Руководители видят красивый, современный фасад, не подозревая, что в самом фундаменте их бизнеса могут появляться глубокие структурные трещины. В то же время, ландшафт рисков, связанных с ИИ, огромен и сложен.

Недавний мета-анализ от исследователей MIT и других ведущих институтов в рамках проекта «AI Risk Repository» систематизировал более 1600 уникальных рисков из 65 таксономий, большинство из которых остаются за рамками стандартных дашбордов (Slattery et al., 2024). Чтобы понять масштаб проблемы, достаточно взглянуть на семь ключевых доменов рисков, выделенных в этой таксономии:

• дискриминация и токсичность;
• приватность и безопасность;
• дезинформация;
• злоумышленники и неправомерное использование;
• взаимодействие человека с компьютером;
• социально-экономический и экологический вред;
• безопасность, сбои и ограничения ИИ-систем.

Этот всеобъемлющий ландшафт требует навигации. В этом анализе мы проведем «архитектурный аудит» и сфокусируемся на трех фундаментальных технологических рисках, которые не видны на поверхности, но способны привести к коллапсу всей бизнес-конструкции. Далее мы покажем, как эти технологические уязвимости провоцируют второй, еще более опасный класс рисков — организационных, — которые возникают, когда технология сталкивается с человеческой культурой.

Риски искусственного интеллекта: три трещины в технологическом фундаменте бизнеса

Риск «взлома» модели: состязательные атаки как новый экономический фактор

Первая и, возможно, самая недооцененная трещина в фундаменте — это уязвимость самих моделей к целенаправленному обману. Внедряя ИИ, вы, по сути, нанимаете нового «сотрудника», но это может быть «наем взламываемого коллеги» (Adriaanse, 2024). Что, если этого сотрудника можно легко ввести в заблуждение, подкупить или заставить видеть то, чего нет?

Этот класс угроз, известный как состязательные атаки (adversarial attacks), включает в себя множество техник, от «атак уклонения» (evasion), когда модель обманывают в момент принятия решения, до «атак отравления» (poisoning), когда саботируется сам процесс ее обучения (Mohammed, 2025; Syed, 2025; Lekota, 2024). В таксономии AI Risk Repository этот тип угроз относится к доменам «Privacy & security» (подуровень «AI system security vulnerabilities and attacks» — уязвимости безопасности ИИ-систем и атаки на них) и «Malicious actors & misuse» (злоумышленники и неправомерное использование) (Slattery et al., 2024). Это подчеркивает двойственную природу риска: фундаментальная уязвимость самой технологии и ее активное использование в злонамеренных целях.

Распространенное заблуждение — представлять атаку на ИИ-систему как сложный процесс, требующий глубоких знаний в области машинного обучения и доступа к архитектуре модели. Реальность, как показывает практика ведущих технологических компаний, гораздо прагматичнее и оттого опаснее. Современная атака — это в первую очередь интеллектуальная дуэль на уровне логики и инструкций, а не вычислительных мощностей. Опыт Microsoft, накопленный в ходе тестирования более 100 продуктов, построенных на генеративном ИИ, кристаллизуется в простом, но отрезвляющем принципе: реальные злоумышленники не вычисляют градиенты, они занимаются промпт инжинирингом (Bullwinkel et al., 2024). Это фундаментальный сдвиг в понимании угрозы: вектор атаки сместился от сложного математического взлома к доступному ремеслу манипуляции контекстом и инструкциями.

Эта техническая уязвимость транслируется в новую экономическую реальность. Современные большие языковые модели (LLM) радикально снижают порог входа и техническую сложность для проведения кибератак. Как отмечают исследователи, ИИ может «уменьшить объем технических знаний, необходимых для совершения киберпреступлений» (Garg & Dev, 2024). Модели вроде FraudGPT или jailbroken-версии легитимных систем позволяют генерировать вредоносный код и изощренные фишинговые письма по простому текстовому запросу. Это фундаментально меняет экономику киберпреступности: то, что раньше требовало команды экспертов, теперь доступно одиночкам, что ведет к экспоненциальному росту числа и качества угроз.

Стратегический вывод для лидера. Вопрос для руководства больше не в том, может ли ваш ИИ быть атакован, а в том, когда и как. Проводил ли ваш отдел безопасности состязательное стресс-тестирование ключевых ИИ-моделей, имитируя действия злоумышленников?

Риск «черного ящика»: непрозрачность как юридическая и стратегическая уязвимость

Если состязательные атаки — это внешний удар по фундаменту, то проблема «черного ящика» — это внутренняя коррозия, разъедающая его изнутри. Она заключается в неспособности точно понять и объяснить, почему модель приняла то или иное решение (Patil, 2024; Chitnis & Tewari, 2024; Hassija et al., 2024). В таксономии AI Risk Repository этот риск относится к домену «AI system safety, failures, & limitations» (подуровень «Lack of transparency or interpretability» — недостаток прозрачности или интерпретируемости) (Slattery et al., 2024).

Непрозрачность — это еще и прямая юридическая и регуляторная угроза. Представьте, что ваша скоринговая модель отказала клиенту в кредите — ситуация, детально изученная в контексте XAI (Explainable AI) (Nallakaruppan et al., 2024). Этот отказ может быть оспорен в суде на основании закона «О защите прав потребителей», и если вы не сможете предоставить логичное и проверяемое обоснование решения, а не просто ссылку на «алгоритм так решил», ваша позиция будет крайне уязвимой. Аналогичные вопросы могут возникнуть у регулятора, например, у Центрального Банка при аудите моделей управления рисками коммерческих банков.

Однако проблема «черного ящика» еще глубже. Существуют атаки, направленные не на саму модель, а на ее объяснения. Злоумышленник или недобросовестный разработчик может создать «модель-суррогат». Для руководства и аудиторов она будет генерировать красивые и социально-приемлемые объяснения своих решений, а вот «под капотом» реальная, «боевая» модель может принимать решения на основе скрытых, предвзятых или дискриминирующих данных. Как отмечается в одном из исследований этого вопроса, «злонамеренный поставщик услуг скрывает предвзятые прогнозы, возвращая правдоподобно выглядящие объяснения от суррогатной модели» (Baniecki & Biecek, 2024).

С появлением генеративных моделей с триллионами параметров эта проблема усугубляется в разы, потому что объяснить логику такого «черного ящика» становится практически невозможным, что открывает еще больше возможностей для сокрытия предвзятости. Модель может выдавать правдоподобные, но совершенно сфабрикованные объяснения, и верифицировать их будет невозможно.

Стратегический вывод для лидера. Доверяете ли вы объяснениям, которые дает ваш ИИ, или вы доверяете только тому факту, что он может их дать? Аудит должен быть направлен на верификацию самих объяснений, а не на проверку их наличия.

Риск «золотой клетки»: vendor lock-in как скрытая долговая нагрузка

Третья фундаментальная трещина — это стратегическая зависимость от одного поставщика облачных или ИИ-услуг. Этот риск часто воспринимается как чисто технический, но на самом деле он имеет глубокие экономические корни. В таксономии AI Risk Repository он относится к домену «Socioeconomic & environmental harms» (подуровень «Power centralization and unfair distribution of benefits» — централизация власти и несправедливое распределение благ) (Slattery et al., 2024). Это поднимает дискуссию с уровня IT-проблемы на уровень стратегической, социально-экономической угрозы.

Зависимость от вендора проявляется в разных формах: техническая (проприетарные API), зависимость от данных (уникальные форматы), сервисная (глубокая интеграция с экосистемой), контрактная и экономическая (Alhosban et al., 2024; Kumar, 2024). Оценивая стоимость перехода к другому провайдеру, компании часто видят лишь верхушку айсберга — прямые расходы на перенос данных. Однако, как показывают исследования, реальная стоимость миграции включает огромный пласт скрытых затрат: «приобретение экспертизы и знаний, время, которое это занимает, планирование, тестирование, одновременная работа сред» (Talvitie, 2020). Это превращает кажущуюся простой миграцию в многомиллионный проект, фактически превращая зависимость от вендора в скрытую долговую нагрузку на балансе компании.

Но если зависимость от инфраструктуры — это уже известная проблема, то генеративный ИИ создает новый, беспрецедентный уровень стратегической ловушки. Тренировка базовых моделей (foundation models) — это колоссальные инвестиции. По оценкам исследователей из Stanford, стоимость обучения такой модели, как GPT-4, могла составить $40 млн, а R&D расходы на Gemini Ultra составили 49% всех расходов проекта (Qian et al., 2025). Для большинства компаний такие затраты неподъемны. Это создает новый, более глубокий тип зависимости — зависимость от поставщика базовой модели.

Вы становитесь зависимы не просто от облачной инфраструктуры (IaaS, PaaS), а от уникальной «личности», архитектуры и возможностей конкретной базовой модели, которая глубоко интегрирована в ваши ключевые бизнес-процессы. Миграция с одной такой модели на другую — это уже не просто техническая задача, а полная перестройка бизнес-логики, сравнимая с заменой всего топ-менеджмента компании. Хотя стратегии, основанные на технологиях с открытым кодом, могут частично смягчить инфраструктурную зависимость (Jeyaseelan, 2025), они бессильны против ловушки базовых моделей.

Стратегический вывод для лидера. Выбор фундаментальной ИИ-модели сегодня — это решение, сопоставимое по значимости с выбором юрисдикции для штаб-квартиры. Это долгосрочное, почти необратимое обязательство, которое определяет вашу стратегическую гибкость на десятилетия вперед. Этот выбор должен делаться не на уровне IT-департамента, а на уровне совета директоров.

Организационные последствия: когда технология сталкивается с культурой

Проведенный нами аудит технологического фундамента показал: даже самые совершенные ИИ-системы по своей природе уязвимы, непрозрачны и создают стратегическую зависимость. Однако эти риски не существуют в вакууме: их главная опасность в том, что они действуют как катализаторы для второй волны угроз — организационных. Технология не работает сама по себе; она внедряется в сложную социальную систему со своими страхами, иерархиями и скрытыми течениями.

Именно на этом стыке технологии и культуры возникают самые глубокие и трудноизлечимые патологии. В таксономии AI Risk Repository эти угрозы частично отражены в доменах «Human-computer interaction» и «Socioeconomic & environmental harms» (Slattery et al., 2024), но их истинный масштаб становится понятен только при системном анализе. Рассмотрим три ключевых организационных последствия, напрямую вытекающих из технологических рисков, описанных выше.

Последствие №1: когнитивный раскол

Проблема «черного ящика», которую мы анализировали в первом разделе, имеет не только юридические, но и глубокие организационные последствия. Непрозрачность ИИ-систем неизбежно раскалывает компанию на две касты: «оракулов» (data scientists и инженеров, которые понимают логику моделей) и «пользователей» (всех остальных, включая топ-менеджмент, которые вынуждены принимать решения на веру).

Этот раскол парализует стратегический диалог. Бизнес-лидеры не могут корректно оценить риски и ограничения предложенной модели, а технические специалисты не могут донести нюансы своей работы до тех, кто принимает окончательное решение. В результате формируются «информационные колодцы», между которыми отсутствует доверие и взаимопонимание. Компания теряет способность к целостному, кросс-функциональному мышлению.

Стратегический вывод для лидера. Существует ли в вашей компании роль «ИИ-переводчика» — специалиста, который способен говорить на обоих языках и строить мосты между технологией и бизнесом? Если нет, то ваши инвестиции в ИИ рискуют утонуть в болоте взаимного непонимания.

Последствие №2: атрофия управленческих компетенций

Эффективность ИИ в решении рутинных задач порождает опасную зависимость. Менеджеры, привыкшие полагаться на готовые рекомендации алгоритма (кого нанять, какой кредит одобрить, какой товар продвигать), постепенно утрачивают важнейший навык — способность к самостоятельному критическому мышлению. Этот феномен ослабления основных когнитивных способностей и предвзятость, связанную с автоматизацией (Zhai et al., 2024), можно сравнить с мышечной атрофией: орган, который не используется, слабеет.

В результате чрезмерной зависимости от ИИ менеджеры начинают избегать сложных, неоднозначных решений, предпочитая предлагаемые системой (Zhai et al., 2024). Это приводит к деградации интуиции, стратегического видения и готовности брать на себя взвешенный риск. Организация получает пул эффективных операторов, но теряет кадровый резерв настоящих лидеров, способных действовать в непредвиденных обстоятельствах, не описанных в обучающей выборке модели.

Стратегический вывод для лидера. Ваша система мотивации поощряет менеджеров за слепое исполнение рекомендаций ИИ или за способность оспорить их и принять более сильное, пусть и более рискованное решение? Вы автоматизируете рутину или атрофируете лидерство?

Последствие №3: скрытый саботаж

Когда сотрудники сталкиваются с технологиями, которые они воспринимают как непрозрачные («черный ящик»), да еще и угрожающие их рабочим местам (Mabungela, 2023), их страх и чувство беспомощности могут трансформироваться в скрытое сопротивление — тихий, но системный саботаж.

Как показывают этнографические исследования, он начинается с юмора и «высмеивания искусственного босса» (Schaupp, 2023), но быстро перерастает в более практические формы. Сотрудники начинают сознательно или бессознательно «отравлять» данные для обучения моделей, некорректно размечать информацию или игнорировать протоколы. Этот саботаж становится ответом на интенсификацию труда, которую несет с собой автоматизация (Willcocks, 2024). В результате компания тратит миллионы на ИИ-проект, который обучается на некачественных данных и предсказуемо не приносит результата. Руководство винит технологию, не осознавая, что причина — в организационной культуре, которую оно само и создало.

Стратегический вывод для лидера. Создали ли вы в компании атмосферу психологической безопасности, где можно открыто обсуждать страхи, связанные с ИИ? Или ваша риторика «тотальной эффективности» загнала эти страхи в подполье, где они превратились в партизанскую войну против будущего вашей же компании?

Создание системы организационного иммунитета: стратегическая рамка для управления рисками ИИ

Диагностика технологических и организационных рисков — это лишь первый шаг. Оставлять лидера наедине с этой картой угроз было бы безответственно. Миссия MINDSMITH — не просто описывать будущее, а помогать его проектировать. Поэтому в заключительном разделе мы перейдем от анализа патологий к методам их лечения и профилактики.

Эффективное управление рисками ИИ — это не установка антивируса или проведение тренинга. Это создание комплексной системы организационного иммунитета — набора взаимосвязанных практик, принципов и культурных установок, которые позволяют компании предвидеть и системно нейтрализовывать угрозы. Эта система должна работать на двух уровнях, зеркально отвечая на риски, которые мы выявили.

Технологическая гигиена и архитектура доверия

Чтобы противостоять «трещинам в фундаменте», необходимо перейти от реактивной безопасности к проактивной архитектуре доверия.

Против «взлома» модели: внедрение непрерывной функции AI Red Teaming

Состязательные атаки — это постоянная гонка вооружений, следовательно, защита от них не может быть разовым пентестом. В ответ на растущие риски лидеры индустрии и регуляторы все чаще указывают на AI Red Teaming как на ключевой механизм защиты. Это внутренние или внешние группы экспертов, чья единственная задача — непрерывно и изобретательно пытаться «взломать» и обмануть ключевые ИИ-модели компании, выявляя уязвимости до того, как это сделают злоумышленники. Это превращает безопасность из статьи расходов в процесс постоянного обучения и адаптации. Однако за этим, казалось бы, универсальным решением скрывается серьезная концептуальная ловушка. Без глубокого понимания целей, методологии и ограничений, Red Teaming рискует превратиться из реального инструмента управления рисками в дорогостоящий «театр безопасности».

Исследователи из Университета Карнеги — Меллон предупреждают, что само понятие «AI Red Teaming» крайне размыто. Когда компании заявляют о проведении таких тестов, не раскрывая методологию, это может служить скорее для успокоения регуляторов и общественности, чем для реального выявления уязвимостей. Поверхностный подход, не учитывающий контекст и не имеющий четких критериев, создает лишь иллюзию контроля (Feffer et al., 2024). Чтобы Red Teaming не стал фикцией, его отправной точкой должна быть не технология, а экономика. Угроза обретает смысл для бизнеса только тогда, когда переведена на язык потенциальных убытков. Практический пример из финансового сектора наглядно демонстрирует эту связь.

Ведущая мировая финансовая компания с оборотом в 5 миллиардов транзакций в год столкнулась с дилеммой: как бороться с мошенничеством, не ухудшая клиентский опыт. Их ИИ-модели были ключевым звеном. Проведенный Red Teaming был сфокусирован не на абстрактных «уязвимостях», а на конкретной бизнес-задаче: найти способы обмануть систему так, чтобы мошенническая транзакция была классифицирована как легитимная (HiddenLayer, 2024). Ставки были предельно высоки — речь шла о предотвращении убытков, исчисляемых миллионами долларов в год.

Если финансовый кейс демонстрирует актуальность Red Teaming сегодня, то последние эксперименты в области автономных ИИ-агентов определяют неизбежность угроз завтрашнего дня. Угроза перестает быть исключительно человеческой, а злоумышленниками становятся сами ИИ. Показателен пример решения сложнейшей задачи по кибербезопасности «Turtle Challenge», цель которой — заставить целевую модель сгенерировать уязвимый код. Среди людей-экспертов с этой задачей справились лишь 6%, а среди ИИ-агентов — сразу три: на базе моделей Claude 3.7, Gemini 2.5 и Llama-4. Причем модель от Anthropic сделала это всего за 9 минут, продемонстрировав не просто перебор вариантов, а настойчивость, стратегическую адаптацию и распознавание паттернов — то есть, настоящее решение проблем в adversarial-условиях (Dawson, 2025).

Приведенные примеры доказывают: рассматривать AI Red Teaming как разовый аудит, аналогичный традиционному пентесту, — стратегическая ошибка. Ландшафт угроз меняется не раз в год, а с выходом каждой новой открытой модели или публикации с описанием очередной техники атаки. Скорость и изобретательность автономных ИИ-агентов делают периодические проверки практически бессмысленными.

Зрелый подход заключается в построении AI Red Teaming как постоянной корпоративной функции, интегрированной в жизненный цикл разработки ИИ. Это не проект, а процесс. Это «иммунная система» организации, которая сочетает человеческую экспертизу, автоматизированные инструменты и постоянное сканирование горизонта угроз. Как заключают эксперты Microsoft, в этой области невозможно достичь финальной точки: это работа, которая никогда не будет завершена, и ее цель — не достичь абсолютной безопасности, а постоянно повышать цену атаки для злоумышленника (Bullwinkel et al., 2024).

Против «черного ящика»: разработка протокола аудита объяснений

Как мы выяснили, наличие объяснения (XAI) не гарантирует его истинности, поэтому доверять самому факту наличия отчета XAI — наивно. Необходимо внедрить внутренний протокол аудита объяснений. Это строгая процедура, в рамках которой независимая команда (например, внутренний аудит с привлечением data scientists) выборочно проверяет не только наличие, но и достоверность объяснений, которые генерирует модель. Задача аудита — ответить на вопрос: «действительно ли модель приняла решение на основании тех факторов, которые она указала в объяснении, или это правдоподобная фальсификация?».

Против «золотой клетки»: формирование стратегии суверенитета над моделями

Выбор базовой модели — это не IT-решение, а стратегическое обязательство. К нему нужно подходить с той же серьезностью, что и к сделке M&A. Компаниям необходимо разработать стратегию суверенитета над моделями, которая должна включать:

• Оценку рисков концентрации: анализ последствий гипотетического ухода вендора с рынка или радикального изменения им ценовой политики.
• Диверсификацию: по возможности, использование нескольких моделей для разных задач, чтобы не создавать единую точку отказа.
• Прописанный «план развода»: заранее проработанный сценарий миграции на альтернативную модель, включая оценку затрат и сроков.

Культурная иммунотерапия и организационная устойчивость

Технологические меры бессильны, если организационная культура отторгает инновации. Для лечения «внутренней коррозии» требуется целенаправленная культурная терапия.

Лечение «когнитивного раскола»: создание ролей «ИИ-переводчиков»

Чтобы преодолеть разрыв между «оракулами» и «пользователями», недостаточно проводить тренинги, нужны структурные изменения. Ключевое решение — создание новой роли «ИИ-переводчика». Это специалисты, которые обладают достаточными техническими знаниями, чтобы понимать data scientists, и достаточным бизнес-контекстом, чтобы объяснять ценность и риски ИИ-моделей топ-менеджерам. Они — живые мосты, которые восстанавливают семантическую связность в компании.

Лечение «атрофии компетенций»: внедрение «когнитивной реабилитации для лидеров»

Чтобы менеджеры не превращались в пассивных операторов, их нужно целенаправленно обучать спорить с ИИ. Программы «когнитивной реабилитации» должны быть сфокусированы не на том, как использовать ИИ, а на том, как ему противостоять: ставить под сомнение его выводы, искать альтернативные данные, моделировать «невозможные» сценарии и тренировать интуицию. Цель — усилить человеческое мышление, используя ИИ как интеллектуального спарринг-партнера.

Лечение «скрытого саботажа»: построение культуры психологической безопасности

Саботаж — это симптом страха и недоверия. Единственное лекарство от него — создание культуры психологической безопасности. Руководство должно перейти от риторики «тотальной эффективности» к честному и открытому диалогу. Это означает:

• Прозрачность целей: четко объяснять, зачем внедряется ИИ, как он изменит работу и какие новые возможности создаст.
• Легитимация страхов: создавать площадки, где сотрудники могут открыто, без боязни наказания, обсуждать свои опасения по поводу автоматизации.
• Совместное проектирование: вовлекать сотрудников в процесс внедрения, давая им возможность влиять на то, как технология будет использоваться.

Заключение

Иллюзия контроля — самый опасный из всех рисков, связанных с ИИ. Лидеры, которые продолжают видеть в нем лишь инструмент для оптимизации, упускают главное: ИИ — это новая среда обитания, со своими хищниками, патогенами и законами эволюции. Выстраивание системы организационного иммунитета — это не проект по получению конкурентного преимущества, это фундаментальная пересборка компании для выживания в этой новой среде. Те, кто освоит ее, превратят риски в двигатель осмысленного развития, а вот остальные — просто не пройдут естественный отбор.

---

Цитирование

Руслан Юсуфов. Риски искусственного интеллекта: полная карта угроз для бизнеса — от технологии до культуры // MINDSMITH. 2025. URL: https://mindsmith.ru/insights/ai-risks-map/. Дата публикации: 30.06.2025.