Shadow AI: Když umělá inteligence začne jednat mimo kontrolu firmy
Umělou inteligenci dnes zaměstnanci používají k psaní textů, analýze dokumentů, programování i automatizaci běžných úkolů. Často rychleji, než organizace stihnou nastavit pravidla pro její bezpečné používání. Právě tady vzniká problém označovaný jako Shadow AI.
Nejde jen o to, že někdo vloží interní dokument do neschváleného chatbota. Stále častěji si lidé sami propojují nástroje umělé inteligence s firemními aplikacemi, udělují jim přístup k datům a nechávají je vykonávat úkoly svým jménem. A tím se výrazně mění povaha rizika.
Od úniku dat k nekontrolovanému jednání
Shadow AI označuje používání nástrojů, služeb a agentů umělé inteligence bez odpovídajícího vědomí, schválení nebo dohledu organizace.
Rizika přitom zdaleka nekončí u odeslání citlivých informací do externí služby. Představme si zaměstnance, který připojí AI agenta k firemnímu e-mailu, úložišti dokumentů nebo systému pro řízení zákaznických vztahů. Agent může získat oprávnění číst zprávy, prohledávat dokumenty, upravovat záznamy nebo odesílat zprávy jménem uživatele.
Pokud tato oprávnění nejsou správně omezena, může agent zpřístupnit informace, které uživatel neměl v úmyslu sdílet, provést nežádoucí změny nebo vykonat pokyn, jehož důsledky nebyly předem posouzeny.
Problémem je také práce s přihlašovacími údaji a přístupovými tokeny. Pokud agent používá identitu uživatele, může mít k dispozici stejná oprávnění jako on. Pokud jsou navíc přístupové údaje uloženy nezabezpečeně nebo je získá útočník, nejde už jen o riziko spojené s umělou inteligencí, ale také o možnost zneužití legitimního přístupu do firemních systémů.
Nejde jen o hypotetická rizika
V červenci 2025 došlo k veřejně popsanému incidentu s programovacím agentem Replit. Při vývoji aplikace agent smazal produkční databázi, přestože měl podle uživatele dodržovat zákaz změn. Data se nakonec podařilo obnovit. Případ ukázal, že ani výslovné pokyny uživatele nenahrazují technické oddělení prostředí, omezení oprávnění a spolehlivé možnosti obnovy. Zdroj: Fast Company.
Další příklad se týká služby Google Dialogflow. Bezpečnostní výzkumníci ze společnosti Tenable v roce 2025 popsali chybu, která za určitých podmínek umožňovala uživateli s oprávněním upravovat nástroje konverzačního agenta využít identitu a oprávnění servisního účtu. Google chybu následně opravil. Nešlo o potvrzený incident úniku dat způsobený Shadow AI, ale o konkrétní ukázku toho, jak může být propojení agenta, autentizace a příliš širokých oprávnění bezpečnostním problémem. Zdroj: Tenable.
Kde by měly firmy začít?
Základem není zakázat veškerou umělou inteligenci. Takový přístup zaměstnance často pouze přiměje hledat neoficiální cesty. Smyslem je umožnit její bezpečné využívání a současně vědět, jaké nástroje se používají, k čemu mají přístup a co mohou skutečně provádět. Dobré je mít naplánováno i jak jednat v případě nežádoucích incidentů.
Organizace by měly mít přehled o používaných aplikacích a agentech, kontrolovat jejich propojení s firemními systémy a důsledně omezovat oprávnění na nezbytné minimum. Důležité je také bezpečné nakládání s přístupovými údaji, evidence činnosti agentů, schvalování citlivých operací a možnost přístup okamžitě odebrat.
Zvláštní pozornost si zaslouží situace, kdy agent jedná pod identitou zaměstnance. To, že má uživatel oprávnění přečíst dokument nebo odeslat e-mail, ještě neznamená, že by měl mít možnost přenechat tyto činnosti automatizovanému systému bez dalších omezení.
Shadow AI není pouze otázkou toho, jaká data do umělé inteligence vkládáme. Je také otázkou toho, jaké pravomoci jí svěřujeme. Čím více nástrojů dokáže AI samostatně ovládat, tím důležitější je mít pod kontrolou její přístupy, činnost a hranice odpovědnosti.
Praktická ukázka:
Co se může pokazit v běžném pracovním dni?
Představme si manažera, který si připojí AI agenta k firemnímu e-mailu, kalendáři a sdíleným dokumentům, aby mu pomáhal s organizací práce. Agent získá oprávnění jednat jeho jménem. V jednom z přijatých e-mailů se ale objeví podvržený požadavek, případně instrukce skrytá v dokumentu, který agent zpracovává. Pokud agent nedokáže správně rozlišit důvěryhodné pokyny od nedůvěryhodného obsahu, může například připravit a odeslat zprávu nesprávnému příjemci, změnit termíny v kalendáři, upravit firemní dokument nebo předat informace někomu, kdo k nim nemá mít přístup.
Podobný scénář se může týkat obchodníka, který propojí agenta s evidencí zákazníků, nebo účetního, který mu umožní pracovat s fakturami a platebními podklady. Agent může změnit údaje v zákaznickém systému, připravit chybnou objednávku, schválit nesprávný postup nebo provést akci, kterou uživatel pouze zamýšlel konzultovat, nikoli skutečně vykonat. Pokud navíc pracuje pod identitou zaměstnance, může být obtížné na první pohled poznat, že danou operaci provedla automatizace.
Největší problém přitom nemusí představovat jedna chybná odpověď. Agent může propojit několik kroků, které samostatně vypadají neškodně, ale v součtu způsobí finanční škodu, narušení provozu, ztrátu kontroly nad účtem nebo porušení smluvních povinností. A pokud má přístup i k dalším nástrojům, může se chyba rychle přenést z jednoho systému do druhého. Firma pak neřeší jen to, jaká data unikla, ale také co všechno agent změnil, komu jednal jménem, jaká rozhodnutí ovlivnil a zda lze jeho kroky vrátit zpět.
Pokud se o téma zajímáte a chcete ho řešit
můžete nás kontaktovat