Jižní Afrika oficiálně stáhla svůj návrh národní politiky umělé inteligence poté, co vyšetřování zjistilo, že několik akademických citací v dokumentu bylo zcela vymyšleno AI.
Rozhodnutí, které oznámil ministr komunikací Solly Malatzi, přišlo poté, co se zjistilo, že politika – která má utvářet technologickou budoucnost země – byla ohrožena „halucinacemi“. Jde o jev, při kterém generativní umělá inteligence vytváří věrohodné, ale neexistující informace.
Krize důvěry
Návrh politiky měl původně za cíl ustavit Jižní Afriku jako regionálního lídra v inovacích AI. Navrhla komplexní regulační rámec, včetně:
– Vytvoření národní komise pro AI.
– Vytvoření Etické rady AI.
– Zřízení regulačního orgánu v oblasti AI.
– Finanční pobídky, jako jsou daňové úlevy a granty na podporu investic soukromého sektoru do infrastruktury AI.
Důvěryhodnost dokumentu však byla podkopána, když novináři z News24 zjistili, že nejméně šest z 67 akademických citací použitých k ospravedlnění této politiky ve skutečnosti neexistuje. Ačkoli uvedené časopisy – jako South African Journal of Philosophy a AI & Society – jsou legitimní, redaktoři těchto publikací potvrdili, že citované články byly fiktivní.
Proč na tom záleží: problém „halucinací“
Tento incident je významným příkladem rostoucího problému v éře velkých jazykových modelů (LLM). Nástroje jako ChatGPT a Google Gemini jsou navrženy tak, aby předpovídaly statisticky nejpravděpodobnější další slovo v sekvenci, nikoli ověřování faktů. Když tyto modely narazí na mezery ve svých tréninkových datech, často „vyplní mezery“ informacemi, které zní směrodatně, ale jsou zcela nepravdivé.
Toto není ojedinělý případ. Důsledky pro akademickou sféru a vládu jsou významné:
– Rise in Error Rate: Studie v časopise Nature zaznamenala prudký nárůst počtu chyb generovaných AI: podíl vědeckých prací obsahujících „halucinované“ citace vyskočil z 0,3 % v roce 2024 na více než 2,5 % v roce 2025.
– Rozsah dopadu: Odhaduje se, že v roce 2025 bylo publikováno přibližně 110 000 článků obsahujících neplatné citace.
– Institucionální riziko: Když se tvůrci politik spoléhají na netestovaný výstup umělé inteligence, riskují, že postaví vládní zákony na základě dezinformací.
Další kroky
Ministr Malatsi zdůraznil, že nejde jen o technické selhání, ale o zásadní selhání kontrolního systému.
“Toto selhání není jen technický problém; podkopal integritu a důvěryhodnost politického projektu,” uvedl Malatsi na sociální síti X (dříve Twitter).
Ministr uvedl, že osoby odpovědné za chybu při přípravě dokumentu ponesou odpovědnost, a zdůraznil, že politika projde důkladným revizním procesem, než bude znovu předložena k veřejnému připomínkování.
Závěr
Odvolání jihoafrické politiky umělé inteligence slouží jako ostré varování pro vlády a instituce po celém světě: i když umělá inteligence může urychlit proces výroby dokumentů, nemůže nahradit potřebu přísné kontroly člověkem, která je nezbytná k zajištění přesnosti a důvěry institucí.
