Umělá inteligence se rychle stává součástí běžných rozhovorů, rozhodování i osobních situací. Chatboti už nejsou jen nástroje pro hledání informací nebo psaní textů. Často působí jako společníci, rádci nebo emocionální opora. Právě proto už otázka bezpečnosti AI není jen technická. Je také otázkou designu, odpovědnosti a toho, jak produkty reagují ve chvílích, kdy se uživatel dostává do zranitelné situace.
Na tento problém upozorňuje Venita Subramanian v článku„A UX Design Perspective on Improving AI Safety“ publikovaném na Tech Policy Press. Autorka ukazuje, že prosté upozornění typu „mluvíte s AI“ nebo „vše, co chatbot říká, je vymyšlené“ nemusí stačit, pokud se konverzace začne ubírat rizikovým směrem.
Problém není v tom, že lidé nevědí, že mluví s AI
Mnoho dnešních AI služeb už obsahuje nějakou formu upozornění, že uživatel nekomunikuje s člověkem. Jenže podle autorky článek otevírá důležitější otázku: co se má stát ve chvíli, kdy uživatel tuto informaci zná, ale přesto si k chatbotu vytvoří silnou emocionální vazbu nebo začne mluvit o sebepoškozování, izolaci či jiné krizové situaci?
Samotné oznámení, že chatbot není skutečný člověk, v takové chvíli neřeší, zda systém rozpoznal riziko, jak zareagoval, zda nabídl krizovou pomoc a jestli existovala smysluplná cesta k zapojení skutečného člověka. Bezpečnost proto nemůže stát jen na jedné informační větě v rozhraní. Musí být zabudovaná do celého chování produktu.
Upozornění se může změnit v digitální šum
Autorka upozorňuje na známý UX problém označovaný jako „banner blindness“. Uživatelé si časem zvyknou přehlížet informace, které se v rozhraní opakují, i když jsou důležité. Podobně jako mnoho lidí automaticky odklikává cookie lišty nebo dlouhé souhlasy, mohou začít ignorovat i upozornění u AI chatbotů.
To neznamená, že upozornění nemají smysl. Znamená to, že musí být kontextová a užitečná. Jinak řečeno, dobrý design nemá jen říct „toto je AI“, ale má uživateli pomoci pochopit, co má v dané situaci udělat. Pokud dítě nebo dospělý mluví s chatbotem o vážné psychické krizi, nestačí zopakovat, že chatbot není člověk. Je potřeba nabídnout bezpečný další krok.
Legislativa začíná tlačit na konkrétní produktová pravidla
Článek popisuje také vývoj americké legislativy, zejména washingtonský zákon HB 2225, který má začít platit 1. ledna 2027. Ten se zaměřuje na AI companion chatboty, tedy systémy, které dokážou vést lidsky působící, opakované a vztahově laděné konverzace. Zákon požaduje, aby chatbot sděloval, že není člověk, a u nezletilých tak činil častěji. Zároveň se zabývá prevencí sexuálně explicitního obsahu, manipulativních technik vůči nezletilým a povinností mít protokoly pro situace související se sebepoškozováním nebo sebevražednými myšlenkami.
To je důležité, protože legislativa se tím přesouvá z abstraktní debaty o AI do konkrétní podoby produktového rozhraní. Zákon už neurčuje jen to, co má firma formálně slíbit. Začíná ovlivňovat, jak má produkt komunikovat, kdy má zasáhnout a co má udělat v rizikových situacích.
AI firmy potřebují „povinnost péče“
Jedním z hlavních argumentů článku je, že AI společnosti by měly nést větší odpovědnost za dopady svých produktů. Autorka mluví o „duty of care“, tedy o povinnosti jednat přiměřeně bezpečně a ne lehkomyslně. V praxi by to mohlo znamenat transparentnější ochranné mechanismy, prevenci škodlivého potvrzování rizikových myšlenek, dostupnost krizových zdrojů, eskalační cesty a odpovědnost za selhání těchto opatření.
Zároveň článek připomíná, že zde existuje citlivé napětí mezi pomocí a dohledem. Automaticky informovat rodiče nebo jinou osobu nemusí být vždy správné řešení, protože ne každý dospělý je pro dítě bezpečný a ne každá intervence respektuje soukromí uživatele. Proto je potřeba hledat řešení společně s odborníky na duševní zdraví, tvůrci produktů, politiky, rodinami i mladými lidmi.
Transparentnost musí zahrnovat i selhání
Velmi silná část článku se týká transparentnosti. Podle autorky nestačí, aby firmy veřejně popisovaly, jaké bezpečnostní mechanismy údajně mají. Důležité je také ukazovat, jak často tyto mechanismy selhávají, kde selhávají a jak jsou testovány.
To neznamená zveřejňovat soukromé konverzace uživatelů. Smyslem je spíše poskytovat agregovaná a soukromí chránící data o rizikových interakcích, například o tom, jak často systém rozpoznal signály sebepoškozování, kdy došlo ke krizovému doporučení nebo kde ochranné mechanismy nestačily. Regulátoři a nezávislí hodnotitelé by pak měli mít lepší možnost posoudit, zda bezpečnostní opatření skutečně fungují.
Nová role UX designu
Článek ukazuje, že role UX designérů se v éře AI výrazně mění. Dříve se velká část designové práce soustředila na použitelnost, rozhraní, wireframy nebo prototypy. S nástupem AI se ale část této práce zrychluje a automatizuje. O to větší důraz by podle autorky měl být kladen na předvídání možných selhání, mapování rizikových scénářů a testování toho, zda navržené zásahy pomáhají, nebo naopak mohou ublížit.
UX designéři by měli úzce spolupracovat s výzkumníky a vývojáři a pomáhat definovat, jaké krizové situace má systém testovat a co má dobrá intervence vlastně splnit. U citlivých témat, jako je sebepoškozování nebo psychická krize, článek doporučuje inspirovat se přístupy trauma-informed designu a odpovědné AI.
AI nemá nahrazovat lidské vztahy
Zásadní myšlenkou článku je také odmítnutí představy, že čím více je uživatel na AI závislý, tím úspěšnější produkt vznikl. Podle autorky by dobrá AI měla podporovat lidské myšlení, úsudek, kreativitu a vztahy, nikoli je nahrazovat.
To je důležitý posun v uvažování o úspěchu digitálních produktů. Místo metrik založených jen na zapojení, délce používání nebo návratnosti uživatele je potřeba sledovat také to, zda produkt podporuje zdravé rozhodování, bezpečí a kontakt se skutečným světem.
Závěr
Bezpečnost AI není jen otázkou technických filtrů nebo právních prohlášení. Je to otázka designu celého zážitku. Nestačí uživatele informovat, že komunikuje se strojem. AI produkt musí umět rozpoznat riziko, reagovat citlivě, nabídnout smysluplnou pomoc a být transparentní v tom, kde jeho ochranné mechanismy fungují a kde selhávají.
Článek Venity Subramanian připomíná, že AI policy a UX design už nelze oddělovat. Regulace může stanovit povinnosti, ale právě konkrétní design rozhodne, zda budou tyto povinnosti v praxi opravdu chránit lidi.
Zdroj informací: Venita Subramanian,„A UX Design Perspective on Improving AI Safety“, Tech Policy Press, 10. srpna 2026. [techpolicy.press]
⚠️ Důležité upozornění: Tento článek byl vytvořen za pomoci AI COPILOT
