گرشک می گوید که اهمیت مرزهای امنیتی بین ورودی های قابل اعتماد و نامعتبر برای مدل های زبان بزرگ دست کم گرفته شده است. وی همچنین بیان کرد که تزریق فرمان یک تهدید امنیتی جدی است که باید در استفاده از این مدل ها مورد توجه قرار گیرد.
قبلاً مشخص بود که برخی افراد چت ربات های هوشمند مصنوعی را فریب می دهند و آنها را مجبور به اجرای دستورات برنامه ریزی نشده و زیر پا گذاشتن قوانین می کنند. با این حال، به نظر می رسد که مشکل روش جدید تزریق دستور سریع در ChatGPT و بینگ جدید مایکروسافت برطرف نشده است.
کوین لیو، یک دانشجوی دانشگاه استنفورد از یک تزریق فوری برای کشف نام رمز اولیه ربات چت بینگ استفاده کرد. در پاسخ، هوش مصنوعی مایکروسافت به لیو گفت که نام رمز آن سیدنی است، اما قرار نیست چنین اطلاعاتی را فاش کند.
Vice می نویسد، کشف یک روش تزریق غیر مستقیم سریع به دلیل محبوبیت ناگهانی چت ربات های هوش مصنوعی مهم است. مایکروسافت از مدل GPT OpenAI در بینگ جدید استفاده کرده است و گوگل و آمازون هر دو برای ارائه مدل های هوش مصنوعی خود به کاربران رقابت می کنند.
OpenAI اخیراً در توضیح یکی از API های ChatGPT در GitHub به موضوع تزریق سریع اشاره کرده است. توسعه دهندگان چت بات مذکور می گویند:
محققان در مقاله خود خاطرنشان کردند که مشخص نیست که آیا تزریق غیرمستقیم سریع با مدل هایی که با یادگیری تقویتی از بازخورد انسانی (RLHF) آموزش دیده اند، کار می کند یا خیر. گفتنی است GPT 3.5 بر اساس این مدل آموزش داده شد.
بینگ جدید احتمالاً برای کاهش پاسخ‌های تهدیدآمیز و عجیب بهینه‌سازی خود ادامه خواهد داد و از تحقیقات بنیادی برای محدود کردن رفتار غیرقابل پیش‌بینی در این مدل‌ها استفاده خواهد شد، در غیر این صورت کاربران در هنگام تعامل با ربات‌های چت هوش مصنوعی در معرض خطر افشای اطلاعات شخصی خواهند بود. آنها خواهند بود.
مایکروسافت اعلام کرده است که از مشکل تزریق غیر مستقیم آگاه است و اقدامات لازم را برای حفظ امنیت کاربران انجام خواهد داد. این تکنیک تنها در نسخه پیش نمایش مرورگر Edge موجود است و غول فناوری مستقر در ردموند متعهد شده است که امنیت مرورگر خود را قبل از انتشار نسخه عمومی بهبود بخشد.