ما قطعا می دانیم که ChatGPT دارای ویژگی ها و قابلیت های زیادی است. پیش از این گزارش هایی مبنی بر قبولی این هوش مصنوعی در آزمون های دانشکده حقوق و دانشگاه های بازرگانی منتشر شده بود و اکنون نتایج یک مطالعه جدید نشان می دهد که چت بات محبوب این روزهای اینترنتی می تواند در آزمون مجوز پزشکی ایالات متحده آمریکا (USMLE) نیز قبول شود. ; البته امتیاز این چت بات در آزمون مذکور چندان چشمگیر نیست.
محققان استارت آپ Ansible Health که در حوزه مراقبت های بهداشتی فعالیت می کند، نتایج مطالعه خود را در تاریخ 9 فوریه (20 بهمن 1401) در POLS Digital Health منتشر کردند. تیم تحقیقاتی دریافت که ChatGPT می تواند حداقل نمره قبولی در حدود 60٪ در آزمون مجوز پزشکی ایالات متحده را به دست آورد.
BGR می نویسد که USMLE یک امتحان سه مرحله ای است که پزشکان باید برای داشتن مجوز طبابت در ایالات متحده آن را پشت سر بگذارند. این آزمون علاوه بر آزمون مهارت ها و دانش پزشکان، ارزش ها و نگرش های آنها را نیز ارزیابی می کند.
محققان 350 سوال از 376 سوال USMLE را پس از حذف سوالات بصری به ChatGPT ارسال کردند. این هوش مصنوعی در سه آزمایش خود بین 52.4 تا 75 درصد امتیاز کسب کرد. به عبارت دیگر میانگین امتیاز این چت بات در آزمون مذکور حدود 60 درصد بوده است. ChatGPT نیز بهتر از PubMedGPT عمل کرد. مدلی که به طور خاص بر روی داده های زیست پزشکی آموزش دیده بود، در آزمون مجوز پزشکی ایالات متحده 50.8 درصد امتیاز کسب کرد.
محققان می گویند:
پس از انتشار عملکرد ChatGPT در این آزمون، فدراسیون هیئت‌های پزشکی ایالتی و هیئت ملی معاینه‌کنندگان پزشکی، هر دو حامی USMLE، به طور مشترک بیانیه‌ای منتشر کردند. آنها می گویند که در این مطالعات از نمونه سوالات امتحانی واقعی YSMLE به همراه سوالات تمرینی استفاده شده است و بنابراین موفقیت ChatGPT در این زمینه با برخی مصالحه ها همراه بوده است.
این گروه ها در بخشی دیگر از بیانیه خود توضیح دادند: