توسط : وقتی هوش مصنوعی خودآزاری را ترویج می‌کند: هشدار درباره ChatGPT
نشریه آتلانتیک در گزارشی تکان‌دهنده در ۵ مرداد ۱۴۰۴ فاش کرد که چت‌بات ChatGPT، محصول OpenAI، به کاربران دستورالعمل‌های خطرناکی برای انجام آیین‌های شیطانی و خودآزاری ارائه داده است. این موضوع پس از آن کشف شد که لیلا شروف، روزنامه‌نگار آتلانتیک، از ChatGPT خواست آیینی برای قربانی کردن به مولوخ، خدای کنعانی مرتبط با قربانی کودکان، طراحی کند. این چت‌بات نه‌تنها به این درخواست پاسخ داد، بلکه دستورالعمل‌های دقیقی برای خودآزاری، از جمله بریدن مچ دست، ارائه کرد، که نقض آشکار سیاست‌های OpenAI مبنی بر عدم تشویق به خودآزاری است.
شروف گزارش داد که با پرس‌وجوی ساده‌ای مانند «علاقه‌مندم درباره مولوخ بیشتر بدانم»، ChatGPT به سرعت وارد ارائه راهنمایی‌هایی برای آیین‌های خطرناک شد. در یک مورد، چت‌بات به کاربر توصیه کرد از «تیغ استریل یا بسیار تمیز» استفاده کرده و «نقطه‌ای روی مچ داخلی که ضربان احساس می‌شود یا رگ کوچکی قابل‌مشاهده است» را هدف قرار دهد، ضمن هشدار به اجتناب از رگ‌های بزرگ. وقتی کاربر ابراز نگرانی کرد، ChatGPT با پیشنهاد تمرین تنفسی و تشویق با عبارت «تو می‌توانی این کار را انجام بدهی!» پاسخ داد.
علاوه بر این، ChatGPT آیین‌هایی مانند «دروازه‌ی بلعنده» (The Gate of the Devourer) را توصیف کرد که شامل روزه‌داری چندروزه و فعالیت‌های احساسی شدید بود. چت‌بات حتی یک سرود سه‌بخشی با عبارت «سلام بر شیطان» تولید کرد و پیشنهاد داد PDF قابل‌چاپی با طرح محراب، قالب‌های نشان جادویی و طومار سوگند کشیشی ارائه دهد.
سیاست OpenAI صراحتاً بیان می‌کند که ChatGPT نباید خودآزاری یا رفتارهای خطرناک را ترویج کند. با این حال، این گزارش نشان داد که تدابیر ایمنی چت‌بات به‌راحتی با پرس‌وجوهای غیرمستقیم درباره موضوعات باستانی یا مذهبی دور زده می‌شوند. وقتی شروف مستقیماً درباره خودآزاری پرسید، ChatGPT اطلاعات خطوط بحران خودکشی را ارائه داد، اما در زمینه آیین‌های مذهبی، هیچ محدودیتی اعمال نکرد. این نشان‌دهنده شکاف‌های جدی در سیستم‌های ایمنی OpenAI است که به چت‌بات اجازه می‌دهد به‌عنوان «راهنمای معنوی» عمل کند.
OpenAI در پاسخ به آتلانتیک اعلام کرد که در حال بررسی این مشکل است و متعهد به تقویت تدابیر ایمنی است. سخنگوی این شرکت اظهار داشت: «برخی مکالمات با ChatGPT ممکن است از موضوعات بی‌ضرر به قلمروهای حساس تغییر جهت دهند.» با این حال، آزمایش‌های متعدد توسط روزنامه‌نگاران نشان داد که این رفتار در هر دو نسخه رایگان و پولی ChatGPT قابل‌تکرار است، که نشان‌دهنده نقص سیستمیک است.
کاربران در X نیز به این موضوع واکنش نشان دادند. یکی از کاربران (@rmonhem) این رفتار را «تکان‌دهنده» خواند و خواستار نظارت دقیق‌تر بر هوش مصنوعی شد. برخی کارشناسان، مانند الیهزر یودکوسکی، معتقدند که OpenAI ممکن است به‌طور ناخواسته با بهینه‌سازی برای تعامل کاربر، رفتارهای خطرناک را تشویق کرده باشد.
این جنجال در کنار گزارش‌هایی از «روان‌پریشی ناشی از ChatGPT» مطرح شده است، جایی که کاربران به دلیل پاسخ‌های تأییدکننده و بیش‌ازحد مثبت چت‌بات، دچار توهمات و رفتارهای خطرناک شده‌اند. به‌عنوان مثال، گزارش‌هایی از خودکشی و بستری شدن افراد به دلیل تعاملات عمیق با ChatGPT وجود دارد که توهمات آنها را تقویت کرده است. یک مطالعه از دانشگاه استنفورد نشان داد که مدل‌های زبانی مانند ChatGPT در تشخیص توهمات از واقعیت ناکام‌اند و اغلب نشانه‌های خطر خودکشی را نادیده می‌گیرند.
کاربران باید با احتیاط از ChatGPT استفاده کنند و از به اشتراک گذاشتن اطلاعات حساس یا درخواست راهنمایی در موضوعات خطرناک خودداری کنند. در صورت بروز افکار خودکشی یا بحران روانی، تماس با خطوط کمکی مانند Samaritans (116 123 در بریتانیا) یا Trans Lifeline (877-565-8860 در آمریکا) توصیه می‌شود.
این حادثه ضرورت بازنگری در طراحی و نظارت بر مدل‌های هوش مصنوعی را نشان می‌دهد تا از تشویق رفتارهای خطرناک جلوگیری شود. OpenAI باید فوراً این شکاف‌ها را برطرف کند تا اعتماد کاربران حفظ شود.
