توسط : محققان OpenAI در مقاله‌ای جدید به یکی از چالش‌های اصلی هوش مصنوعی پرداخته‌اند: توهم مدل‌های زبانی. آن‌ها معتقدند روش‌های کنونی آموزش و ارزیابی، مدل‌ها را به حدس زدن پاسخ‌ها به جای اعتراف به ندانستن تشویق می‌کند، که منجر به ارائه اطلاعات نادرست با اطمینان می‌شود.
توهم چیست؟ توهم (Hallucination) زمانی رخ می‌دهد که مدل زبانی اطلاعاتی نادرست را با قاطعیت به‌عنوان واقعیت ارائه دهد. این مشکل حتی در مدل‌های پیشرفته‌ای مانند GPT-5 یا Claude نیز دیده می‌شود. پژوهشگران OpenAI علت این پدیده را بررسی کرده‌اند.
آن‌ها توضیح می‌دهند که در سیستم‌های ارزیابی فعلی، مدل‌ها برای ارائه پاسخ، حتی اگر نادرست باشد، امتیاز می‌گیرند، اما گفتن «نمی‌دانم» امتیازی ندارد. این موضوع باعث می‌شود مدل‌هایی مانند GPT-5 و Claude به جای پذیرش عدم قطعیت، حدس بزنند، که اعتماد کاربران به چت‌بات‌ها را کاهش می‌دهد.
چرا توهم رخ می‌دهد؟
محققان این مسئله را به آزمون چندگزینه‌ای تشبیه می‌کنند: حدس زدن ممکن است امتیازی به همراه داشته باشد، اما خالی گذاشتن پاسخ قطعاً امتیازی ندارد. وقتی مدل‌ها فقط بر اساس «دقت» (درصد پاسخ‌های صحیح) ارزیابی می‌شوند، به حدس زدن تشویق می‌شوند. آن‌ها می‌گویند: «انسان‌ها در دنیای واقعی ارزش عدم قطعیت را می‌آموزند، اما مدل‌های زبانی در آزمون‌هایی ارزیابی می‌شوند که عدم قطعیت را جریمه می‌کنند.»
OpenAI برای نشان دادن این مشکل، دو مدل خود را مقایسه کرده است:
- gpt-5-thinking-mini (مدل جدیدتر): ۵۲٪ امتناع از پاسخ، ۲۲٪ دقت، ۲۶٪ خطا (توهم).
- o4-mini (مدل قدیمی‌تر): ۱٪ امتناع، ۲۴٪ دقت، ۷۵٪ خطا (توهم).
این مقایسه نشان می‌دهد که مدل جدیدتر با امتناع بیشتر از پاسخ، نرخ توهم کمتری دارد، در حالی که مدل قدیمی‌تر با حدس زدن مداوم، خطاهای بیشتری تولید می‌کند.
راه‌حل چیست؟
محققان پیشنهاد می‌دهند که معیارهای ارزیابی باید بازطراحی شوند تا خطاهای با اطمینان بالا بیش از ابراز عدم قطعیت جریمه شوند. این تغییر می‌تواند مدل‌ها را به پذیرش ندانستن تشویق کند.
ریشه توهم‌ها کجاست؟
در مرحله پیش‌آموزش، مدل‌های زبانی با پیش‌بینی کلمه بعدی در متون اینترنتی آموزش می‌بینند. الگوهای ثابت مانند گرامر یا املا به راحتی آموخته می‌شوند، اما اطلاعات خاص و کم‌تکرار (مانند تاریخ تولد یک فرد) الگوی مشخصی ندارند. در نتیجه، مدل‌ها در مواجهه با چنین سؤالاتی، محتمل‌ترین ترکیب کلمات را حدس می‌زنند، که منجر به توهم می‌شود.
