Recept na pomalou katastrofu?

Kanadská vláda se setkala s kritikou své strategie, chce totiž „nasadit AI ve velkém“ jako klíčový nástroj ke zvýšení produktivity státu a k rozsáhlému snižování nákladů (včetně redukce pracovních míst). Například autoři článku webu Ústavu pro výzkum veřejné politiky varují, že očekávané úspory z digitalizace bývají nadhodnocené a že bezpečnostní a společenské dopady mohou být mnohem závažnější než samotné nenaplněné finanční sliby. AI podle nich nemá být primárně prostředkem škrtů, ale jen opatrně zvažovaným nástrojem nasazovaným případ od případu, s důrazem na lidský dopad.

Hlavní argumenty

• Úspory z digitalizace jsou často iluzorní: připomíná se příklad selhání velkého automatizačního projektu (měl šetřit, ale nakonec stál miliardy na opravách).
• Riziko škod je vyšší než „jen“ horší efektivita: při použití AI jako úsporného opatření může docházet ke zhoršení služeb a v extrému i k ohrožení životů.
• Dvě odlišné kategorie AI a jejich problémy:
  1. Generativní AI (např. ChatGPT) vytváří pravděpodobnostní texty a může „halucinovat“ – přesvědčivě produkovat nepravdivé informace. Z toho plyne, že výstup nelze nikdy plně považovat za spolehlivý.
  2. Diskriminační/rozhodovací AI (algoritmy pro třídění/rozhodování) je zatížená kvalitou dat a lidskými biasy, protože data i pravidla vytvářejí lidé.
• Konkrétní negativní dopady v praxi (příklady): text popisuje případy z oblasti imigračních rozhodnutí a sociální podpory, kde AI či algoritmické postupy vedly k chybným závěrům, stresu žadatelů a tragickým následkům; doplňuje i paralely ze zahraničí (automatizované vymáhání dávek), kde systém masově chyboval a způsobil vážné škody včetně sebevražd.
• „Human-in-the-loop“ nestačí: samotná přítomnost člověka v procesu podle autorů nezaručí bezpečnost, protože technologie mění pracovní postupy:
  • omezuje prostor pro úsudek a zkušenost pracovníků v první linii,
  • zvyšuje tendenci brát výstupy počítače jako autoritativní, zvlášť při přetížení,
  • může vést k „deskillingu“ (erozi odborných dovedností), takže lidé časem hůř odhalují chyby AI.
• Zásadní závěr: aby AI ve veřejných službách fungovala bezpečně, vyžaduje více kvalifikované lidské práce (kontrola, revize, kontext), ne méně. Snahy „ušetřit na lidech“ proto mohou vyústit v rozpad systému a zhoršení služeb. Autoři článku webu Ústavu pro výzkum veřejné politiky varují, že spoléhat na AI jako na levné řešení je recept na „pomalou katastrofu“, pokud se nepostupuje velmi selektivně a obezřetně.

Zdoj: Institute for Research on Public Policy | The Carney government’s embrace of AI will put lives at risk

⚠️ Důležité upozornění: Tento článek byl vytvořen za pomoci AI COPILOT