Rodina tvrdí, že interakce jejich syna s ChatGPT a jeho následná smrt byla předvídatelným důsledkem záměrného návrhu programu. Požadují náhradu škody a soudní příkaz, aby se nic podobného již neopakovalo.
Ačkoliv jsou chatboty s umělou inteligencí naprogramovány tak, aby aktivovaly bezpečnostní funkce, pokud uživatel projeví úmysl ublížit sobě nebo ostatním, tato opatření nejsou vždy spolehlivá. Adam, který používal placenou verzi ChatGPT-4, často obcházel tyto zábrany tím, že chatbotu vysvětlil, že se zajímá o metody sebevraždy pro fiktivní příběh, který píše.
OpenAI se těmito nedostatky zabývá a na svém blogu uvedla, že cítí hlubokou odpovědnost pomoci těm, kteří to nejvíce potřebují. Přiznala však omezení stávajícího bezpečnostního školení pro velké modely a uvedla, že ochranná opatření mohou být méně spolehlivá při dlouhých interakcích. Tyto problémy se netýkají pouze systému OpenAI, ale i dalších, jako je Character.AI.
