چت ربات OpenAI ChatGPT در حال حاضر بهترین نمونه از هوش مصنوعی عمومی است، اما همچنان با تعدادی از مشکلات دست و پنجه نرم می کند که برخی از آنها گیج کننده تر هستند. به گزارش Vice، محققان جسیکا رامبلو و متیو واتکینز از گروه یادگیری ماشینی SERI-MATS دریافتند که اگر از ChatGPT در مورد کلمات کلیدی عجیب و غریب بپرسید، به نظر می رسد که به طور غیرقابل توضیحی پاسخ های غیرمنطقی و نامربوط به شما می دهد.
اسکریپت Futurism، اساس پردازش زبان ChatGPT، شامل نشانه‌های رایج یا رشته‌هایی از کاراکترها در متن است و اگر به دلایلی گروهی از نشانه‌ها مانند نام کاربری برخی از اعضای Reddit و سایر دسته‌های آنلاین به طور مرموزی در استخر نشانه‌های ChatGPT در هنگام چت یافت می‌شوند. با استفاده از این هوش مصنوعی، چت بات به «فرار، توهین، طنز عجیب، تلفظ اشتباه یا املای کلمات» متوسل می شود.
محققان متوجه شدند که اگر از ChatGPT در مورد SolidGoldMagikarp بپرسید، chatbot معنای کلمه Distribute را توضیح می دهد و در برخی موارد معنای کلمه Disperse را نیز ارائه می دهد.
محققان این کلمه ناگفتنی را TheNitromeFan نامیده اند. با وارد کردن این کلمه در ChatGPT فقط 182 برمی گردد.
واتکینز او همچنین متوجه یک چیز عجیب شد. برخی از نام‌های خاصی که ChatGPT هنگام مواجهه با آنها پاسخ‌های غیرقابل پیش‌بینی می‌دهد متعلق به گروهی از کاربران Reddit هستند. وی در بخشی از توضیحات خود گفت:
محققان برای نشان دادن اینکه برخی از کاراکترهای نام کاربری اعضای Reddit باعث سردرگمی ChatGPT شده‌اند، آنها را کمی تغییر دادند، مثلاً با حذف یک حرف یا استفاده از یک حرف کوچک به جای حرف بزرگ. این تغییرات باعث شد که ربات به طور معمول طبق انتظار کار کند.
غرش در مصاحبه با Vice، او اظهار داشت که این ممکن است به این دلیل باشد که سیستم توکن‌سازی ChatGPT بر روی داده‌های بسیار خام متشکل از اطلاعاتی که معمولاً برای عموم قابل مشاهده نیستند آموزش داده شده است. او ادامه داد:
ممکن است در پردازش ChatGPT هر اتفاقی بیفتد یا خطاهایی از سوی این هوش مصنوعی رخ دهد. تاثیر برخی کلمات مانند ناگفته یکی از مسائل اساسی هوش مصنوعی است که می تواند مشکلات بزرگ تری را به دنبال داشته باشد.
واتکینز هشدار می دهد: