توسط : شرکت OpenAI با انتشار مقاله‌ای جدید، به بررسی ریشه‌های پدیده توهم در مدل‌های هوش مصنوعی پرداخته و راهکارهایی عملی برای کاهش این مشکل ارائه کرده است.
چت‌بات‌های مبتنی بر هوش مصنوعی امروزه در محیط‌های آموزشی، حرفه‌ای و روزمره حضور پررنگی دارند، اما همچنان با چالشی جدی روبرو هستند: تولید اطلاعات نادرست یا «توهم». این خروجی‌ها اغلب با ظاهری معتبر و قانع‌کننده ارائه می‌شوند، در حالی که کاملاً بی‌اساس هستند.
OpenAI در تلاش است تا سیستم‌های هوش مصنوعی فاقد توهم را توسعه دهد. این شرکت اخیراً اعلام کرده که علل این پدیده را شناسایی کرده و روشی برای افزایش قابلیت اعتماد ابزارهای آینده هوش مصنوعی ابداع نموده است. مقاله ۳۶ صفحه‌ای منتشرشده توسط OpenAI، که با همکاری «سانتوش ومپالا» از دانشگاه جورجیا تک و تعدادی از پژوهشگران دیگر تدوین شده، به طور عمیق به تحلیل توهم‌زنی در هوش مصنوعی می‌پردازد.
به عقیده محققان، توهمات نه لزوماً از ضعف ساختاری مدل‌ها ناشی می‌شوند، بلکه بیشتر به روش‌های ارزیابی و امتیازدهی سیستم‌های هوش مصنوعی وابسته‌اند. بر اساس معیارهای رایج، یک چت‌بات برای هر پاسخی – حتی اگر نادرست باشد – پاداش می‌گیرد، در حالی که مدل‌هایی که از پاسخ‌گویی به سؤالات نامطمئن خودداری می‌کنند، جریمه می‌شوند.
این مسئله را می‌توان به یک آزمون چندگزینه‌ای تشبیه کرد که دانش‌آموز را به جای رها کردن سؤال، به حدس‌زنی ترغیب می‌کند. مقاله پیشنهاد می‌کند که سیستم امتیازدهی معکوس شود: پاسخ‌های پراعتماد اما غلط باید به شدت تنبیه شوند، در حالی که احتیاط و اعتراف به عدم اطمینان، مدل را تشویق کند.
این رویکرد در عمل نیز مؤثر بوده است. در یک آزمون ارزیابی، مدلی محتاط تنها به نیمی از سؤالات پاسخ داد و ۷۴ درصد آن‌ها درست بود، در مقابل مدلی که به تقریباً همه سؤالات جواب داد و در سه مورد از هر چهار بار توهم تولید کرد.
