Přeskočit na hlavní obsah

Bezpečnost AI agentů v enterprise prostředí

Poznejte rizika nasazení AI (nejen) v průmyslových firmách, kde chyba v odpovědi znamená zranění nebo finanční ztráty.

Svetlana Margetová, seniorní SW a AI vývojářka
80 minut
Svetlana Margetová, seniorní SW a AI vývojářka

Hodnocení webináře

Celkové hodnocení webináře
Zpětná vazba – Pavel Gloss
Zpětná vazba – Silvia Valientová
Zpětná vazba – Martin

Jak to dnes s bezpečností agentů vypadá

Nasazování LLM agentů v enterprise a "safety-critical" provozech je velkým trendem, ale často zde chybí respekt k fyzickým následkům. Firmy často věří, že:

  • ​AI agent se v manuálech a instrukcích "nějak zorientuje",
  • ​bezpečnostní pravidla v promptu stačí k zastavení nebezpečné akce,
  • ​halucinace je jen drobná estetická vada na kráse.

​Realita v tovární hale je ale neúprosná :

  • ​Vymyšlený chybový kód nebo postup může zničit stroj.
  • ​Špatná interpretace senzoru může vést k úrazu.
  • ​Model věří externímu dokumentu víc než instrukcím od programátora.
  • ​Útok na AI systém se mění z digitálního problému na fyzickou hrozbu.

​Co když na bezpečnost agentů půjdeme systematicky

​Místo doufání, že "model bude mít rozum", si na případové studii a kódu ukážeme, jak stavět agenty s architekturou, která selhání nepřipouští. Na webináři uvidíte:

  • ​kde přesně jsou vstupní body útoků (od PDF v RAGu po hlasový vstup),
  • ​proč musíme halucinaci chápat jako security issue, nikoliv jako problém kvality,
  • ​jak nastavit hranice autonomie – co může agent udělat sám a kde musí zasáhnout člověk,
  • ​jak postavit deterministické guardrails, které nejdou obejít kreativním promptem,
  • ​jak řešit izolaci dat, aby se informace "nepřelily" mezi zákazníky nebo provozy.

Co si odnesete

Jak vytvořit threat model pro AI agenta.

Jak se bránit proti prompt injection a manipulaci přes RAG (např. v dokumentaci).

Kdy je vhodnější nasadit deterministický systém místo agenta.

Jak zajistit "bezpečné selhání" (fail safe) LLM systému.

Jak nastavit funkční human-in-the-loop procesy.

Jak testovat odolnost systému na reálných datech, ne na akademických.

O přednášejícím

Svetlana Margetová je seniorní vývojářka, která se specializuje na enterprise a průmyslové aplikace. Nasazuje AI systémy v průmyslovém prostředí a má praktické zkušenosti s vývojem agentů pro safety-critical provozy, kde je kladen důraz na spolehlivost, integritu dat a eliminaci rizik spojených s halucinacemi LLM modelů.

Získat přístup ke všem webinářům

Koupit za €12 / měsíc

Další zpětná vazba

Silvia Valientová o webináři napsala příspěvek na LinkedIn