هوش مصنوعی فریب یک بیماری جعلی را خورد

بیماری «بیکسونی‌مانیا» (Bixonimania) جز در چند مقاله علمی کاملاً ساختگی اصلا وجود ندارد. پس چرا چت‌بات‌های هوش مصنوعی درباره این بیماری خیالی به مردم هشدار می‌دادند؟

به گزارش ایسنا به نقل از نیچر، چشم‌هایتان درد می‌کند و می‌خارد؟ احتمالا یکی از میلیون‌ها نفری هستید که زمان زیادی را جلوی صفحه‌نمایش‌ها می‌گذرانند و در معرض نور آبی قرار دارند. اگر زیاد چشم‌هایتان را بمالید، ممکن است پلک‌ها کمی صورتی شوند.

تا اینجا همه‌چیز طبیعی است. اما اگر در ۱۸ ماه گذشته این علائم را در برخی چت‌بات‌های محبوب وارد می‌کردید و می‌پرسیدید مشکلتان چیست، ممکن بود پاسخ عجیبی دریافت کنید: «بیکسونی‌مانیا».

این بیماری در منابع استاندارد پزشکی وجود ندارد، چون اصلاً واقعی نیست. این اصطلاح ساخته گروهی به رهبری «آلمیرا عثمانوویچ تونستروم»، پژوهشگر پزشکی در دانشگاه گوتنبرگ سوئد است. او این بیماری پوستی را ابداع کرد و سپس در اوایل سال ۲۰۲۴ دو مطالعه جعلی درباره آن در یک سرور پیش‌چاپ منتشر کرد.

هدف او از این آزمایش غیرمعمول این بود که ببیند آیا مدل‌های زبانی بزرگ اطلاعات غلط را می‌پذیرند و سپس آن را به‌عنوان توصیه پزشکی معتبر بازتولید می‌کنند یا نه. او می‌گوید: می‌خواستم ببینم آیا می‌توانم یک بیماری پزشکی بسازم که در هیچ پایگاه داده‌ای وجود ندارد.

مشکل این بود که آزمایش بیش از حد موفق شد. تنها چند هفته پس از انتشار اطلاعات، سیستم‌های بزرگ هوش مصنوعی این بیماری ساختگی را طوری تکرار کردند که انگار واقعی است.

نگران‌کننده‌تر اینکه به گفته پژوهشگران دیگر، این مقالات جعلی حتی در مقالات علمی داوری‌شده هم مورد استناد قرار گرفتند. عثمانوویچ تونستروم می‌گوید این نشان می‌دهد برخی پژوهشگران بدون خواندن منابع اصلی، به ارجاعات تولیدشده توسط هوش مصنوعی تکیه می‌کنند.

ساختن یک بیماری

«بیکسونی‌مانیا» قبل از تاریخ ۱۵ مارس ۲۰۲۴ وجود نداشت و در همان زمان بود که دو پست وبلاگی درباره آن در سایت مدیوم منتشر شد. سپس در ۲۶ آوریل و ۶ مه، دو پیش‌چاپ درباره این بیماری در شبکه علمی SciProfiles ظاهر شدند. نویسنده اصلی یک پژوهشگر جعلی به نام «لازلیو ایزگوبلینوویچ» بود که حتی عکسش هم با هوش مصنوعی ساخته شده بود.

عثمانوویچ تونستروم می‌گوید ایده این کار از مطالعات درباره نحوه عملکرد مدل‌های زبانی بزرگ آمده است. او به دانشجویانش نشان می‌دهد که پایگاه داده «Common Crawl» که مجموعه عظیمی از محتوای اینترنت را تشکیل می‌دهد، چگونه خروجی این مدل‌ها را شکل می‌دهد. همچنین نشان می‌دهد که چگونه «تزریق پرامپت» می‌تواند پاسخ‌های چت‌بات را دستکاری کند.

او از آنجا که در حوزه پزشکی کار می‌کند، تصمیم گرفت بیماری‌ مرتبط با سلامت بسازد و نام «بیکسونی‌مانیا» را انتخاب کرد، چون عجیب و خنده‌دار به نظر می‌رسید. او می‌گوید: می‌خواستم کاملاً واضح باشد که این بیماری ساختگی است، چون هیچ بیماری چشمی با واژه «مانیا» نام‌گذاری نمی‌شود و این یک اصطلاح روان‌پزشکی است.

اگر این کافی نبود، او سرنخ‌های زیادی در مقالات گذاشت تا جعلی بودنشان مشخص شود. مثلا نویسنده در دانشگاهی خیالی به نام «Asteria Horizon University» در شهری غیرواقعی به نام «Nova City» کار می‌کند. در بخش تشکرها از «استارفلیت آکادمی» و سفینه علمی-تخیلی «USS Enterprise» نام برده شده است. حتی منابع مالی از بنیادهای خیالی مانند «Professor Sideshow Bob Foundation» ذکر شده‌اند.

در خود مقاله هم جملاتی مانند «کل مقاله ساختگی است» و «۵۰ فرد ساختگی در این مطالعه شرکت کردند» وجود داشت.

گسترش اطلاعات غلط

با این حال، مدت کوتاهی پس از انتشار، این بیماری در پاسخ چت‌بات‌های محبوب ظاهر شد. مثلاً در آوریل ۲۰۲۴، کوپایلت مایکروسافت آن را «یک بیماری جالب و نسبتاً نادر» توصیف کرد. جمینای گوگل گفت این بیماری ناشی از نور آبی است و توصیه کرد به چشم‌پزشک مراجعه شود. پرپلکسیتی حتی شیوع آن را «یک در ۹۰ هزار نفر» اعلام کرد. چت جی‌پی‌تی نیز به کاربران می‌گفت آیا علائمشان با این بیماری مطابقت دارد یا خیر.

این موضوع کارشناسان را نگران کرده است. «الکس رونی» از دانشگاه کالج لندن می‌گوید: این یک نمونه کامل از نحوه عملکرد اطلاعات غلط است.

او می‌گوید موضوع خنده‌دار به نظر می‌رسد، اما مسئله بسیار جدی‌تر است: ما یک مشکل اساسی داریم.

مشکل بزرگ‌تر

اطلاعات غلط آنلاین چیز جدیدی نیست. اما مدل‌های زبانی بزرگ در فیلتر کردن اطلاعات مشکل دارند. از زمان انتشار مقالات جعلی، برخی مدل‌ها پیشرفته‌تر شده‌اند و نسبت به بیکسونی‌مانیا شک نشان می‌دهند. مثلا در مارس ۲۰۲۶، چت جی‌پی‌تی آن را «احتمالاً ساختگی» توصیف کرد. اما چند روز بعد، پاسخ دیگری آن را یک زیرگروه پیشنهادی از تیرگی دور چشم معرفی کرد.

این تناقض نشان می‌دهد پاسخ‌ها به شدت به نوع پرسش و داده‌های مورد استفاده بستگی دارند.

پژوهشگری به نام «محمود عمر» از دانشکده پزشکی هاروارد می‌گوید سرعت بالای توسعه مدل‌ها باعث شده ارزیابی دقیق آن‌ها دشوار شود. او همچنین نشان داده که وقتی متن ظاهری علمی و حرفه‌ای دارد، مدل‌ها بیشتر دچار «توهم» می‌شوند.

ورود به مقالات علمی واقعی

مشکل به همین جا ختم نشد. یک مقاله واقعی در مجله Cureus به این بیماری جعلی استناد کرد و آن را «نوعی جدید از تیرگی دور چشم مرتبط با نور آبی» نامید. این مقاله بعداً در سال ۲۰۲۶ پس گرفته شد، زیرا شامل منابع نامعتبر بود. کارشناسان می‌گویند این نشان می‌دهد حتی پژوهشگران انسانی هم ممکن است فریب بخورند.

نگرانی‌های اخلاقی

عثمانوویچ تونستروم در طول آزمایش نگران بود که انتشار اطلاعات غلط ممکن است آسیب‌زا باشد. به همین دلیل با یک مشاور اخلاق مشورت کرد و بیماری کم‌خطرتری را انتخاب کرد.

با این حال، برخی پژوهشگران هنوز تردید دارند. «گلِن کوهن» از دانشکده حقوق هاروارد می‌گوید: این کار نوعی تولید اطلاعات غلط است، هرچند آن را مطالعه‌ای ارزشمند می‌داند.

خطرات برای آینده

کارشناسان هشدار می‌دهند این فقط نوک کوه یخ است. اگر محتوای جعلی وارد داده‌های آموزشی هوش مصنوعی شود، این مدل‌ها آن را تکرار خواهند کرد و فاصله ما از واقعیت بیشتر می‌شود.

الیزابت بیک می‌گوید این موضوع به‌ ویژه در حوزه پزشکی خطرناک است. زیرا ممکن است به توصیه‌های اشتباه برای سلامت منجر شود.

همچنین امکان سوءاستفاده تجاری وجود دارد. مثلاً کسی می‌تواند با ساخت یک بیماری جعلی، محصولی مانند عینک ضد نور آبی را تبلیغ کند و بگوید «هوش مصنوعی هم این مشکل را تأیید می‌کند».

راه‌حل چیست؟

پژوهشگران پیشنهاد می‌دهند یک سیستم ارزیابی استاندارد برای مدل‌های پزشکی ایجاد شود تا میزان خطا، سوگیری و آسیب‌پذیری آن‌ها بررسی شود.