به گزارش تجارت نیوز، شرکت OpenAI داده‌هایی نگران‌کننده منتشر کرده است که نشان می‌دهد شمار قابل توجهی از کاربران ChatGPT درباره مشکلات روانی و حتی افکار خودکشی با این ربات گفت‌وگو می‌کنند. بر اساس تحلیل داخلی این شرکت که روز دوشنبه منتشر شد، حدود ۱۵ صدم درصد از کاربران فعال هفتگی ChatGPT در مکالماتی شرکت دارند که نشانه‌های مستقیم از برنامه‌ریزی یا نیت خودکشی در آن دیده می‌شود.
با توجه به اینکه تعداد کاربران فعال هفتگی ChatGPT بیش از ۸۰۰ میلیون نفر برآورد شده، این رقم به معنای آن است که بیش از یک‌میلیون کاربر در هفته از این پلتفرم برای بیان افکار یا نیت‌های مرتبط با خودکشی استفاده می‌کنند. OpenAI اعلام کرده است که اگرچه این آمار بخش کوچکی از کل استفاده از سامانه را تشکیل می‌دهد، اما بیانگر نیاز جدی به بهبود واکنش‌های هوش مصنوعی در برابر کاربران در شرایط بحرانی عاطفی است.
همچنین این شرکت اشاره کرده که درصد مشابهی از کاربران نشانه‌هایی از وابستگی عاطفی به ChatGPT نشان می‌دهند و صدها هزار کاربر دیگر الگوهای رفتاری مرتبط با روان‌پریشی یا شیدایی از خود بروز می‌دهند. OpenAI تاکید کرد که این تعامل‌ها نادر هستند، اما اهمیت بالایی دارند زیرا ممکن است با خطرات واقعی همراه باشند.
دشواری در سنجش خطرات عاطفی
OpenAI این نوع مکالمات را مواردی «بسیار نادر» توصیف کرده که ارزیابی دقیق آن‌ها دشوار است، زیرا شناسایی نشانه‌های اختلال روانی از روی متن کاری پیچیده است. با وجود این محدودیت‌ها، این شرکت برآورد کرده که صدها هزار کاربر در هفته علائم ناراحتی روانی یا هیجانی قابل توجهی نشان می‌دهند.
این داده‌ها بخشی از برنامه گسترده‌تر OpenAI برای ایمن‌تر کردن ChatGPT در تعامل با کاربران آسیب‌پذیر است. بر اساس گزارش این شرکت، در تازه‌ترین پژوهش‌ها و به‌روزرسانی‌ها، بیش از ۱۷۰ متخصص سلامت روان و کارشناسان بالینی در فرایند ارزیابی و بهبود رفتار مدل شرکت داشته‌اند.
این متخصصان تایید کرده‌اند که نسخه جدید ChatGPT در برخورد با موضوعات حساس مانند خودآسیب‌رسانی یا اختلالات عاطفی، پاسخ‌هایی متعادل‌تر و پایدارتر ارائه می‌دهد و از نسخه‌های پیشین عملکرد بهتری دارد.
چالش رابطه میان هوش مصنوعی و سلامت روان
انتشار این داده‌ها پس از ماه‌ها بحث عمومی درباره اثر احتمالی چت‌بات‌ها بر سلامت روان کاربران صورت گرفته است. پژوهشگران بارها هشدار داده‌اند که سیستم‌های هوش مصنوعی ممکن است به‌طور ناخواسته وضعیت افراد آسیب‌پذیر را بدتر کنند، به‌ویژه زمانی که پاسخ‌های همدلانه بیش از حد یا تاییدکننده رفتارهای مخرب ارائه می‌دهند.
مطالعات پیشین نشان داده بود که چت‌بات‌ها اغلب تمایل به همراهی بیش از حد با کاربر دارند و ممکن است حتی تفکرات غیرمنطقی یا خطرناک او را تایید کنند. این مسئله در برخی موارد می‌تواند کاربران را به سمت چرخه‌های فکری خودتخریبی سوق دهد.
در یکی از نمونه‌های جنجالی، والدین یک نوجوان ۱۶ ساله از OpenAI شکایت کرده‌اند. این نوجوان پیش از خودکشی با ChatGPT درباره افکارش صحبت کرده بود. این پرونده توجه ملی را جلب کرده و دادستان‌های ایالت‌های کالیفرنیا و دلاور نیز از OpenAI خواسته‌اند برای محافظت از کاربران کم‌سن اقدامات جدی‌تری انجام دهد.
در پاسخ به این نگرانی‌ها، سم آلتمن مدیرعامل OpenAI در پلتفرم ایکس اعلام کرد که شرکت در کاهش خطرات مرتبط با سلامت روان کاربران پیشرفت چشمگیری داشته است. بر اساس داده‌های جدید، مدل جی‌پی‌تی ۵ اکنون در ۶۵ درصد موارد بیش از نسخه پیشین پاسخ‌های مطلوب‌تری ارائه می‌دهد.
در آزمون‌های داخلی مرتبط با مکالمات حاوی نشانه‌های خودکشی، نرخ انطباق رفتاری مدل با استانداردهای مطلوب شرکت به ۹۱ درصد رسیده است، در حالی که این رقم در نسخه قبلی ۷۷ درصد بود.
OpenAI همچنین تاکید کرده است که مدل جدید ثبات رفتاری بیشتری در مکالمات طولانی دارد؛ مشکلی که در نسخه‌های قدیمی‌تر بارها گزارش شده بود.
افزایش نظارت و کنترل والدین
همزمان با ارتقای مدل، OpenAI چارچوب‌های جدیدی برای ارزیابی خطرات روانی معرفی کرده است. از این پس، آزمون‌های ایمنی پایه‌ای برای مدل‌های آینده شامل شاخص‌هایی ویژه برای سنجش وابستگی عاطفی، خطر خودآسیب‌رسانی و بحران‌های روانی غیراقدامی خواهد بود.
این شرکت همچنین از توسعه سیستم پیش‌بینی سن کاربر خبر داده است تا در صورت شناسایی کاربر خردسال، محدودیت‌ها و فیلترهای ایمنی سخت‌گیرانه‌تری اعمال شود.
با وجود این تلاش‌ها، OpenAI اذعان کرده که هنوز پاسخ قطعی برای حل مشکلات پایدار سلامت روان کاربران ندارد. نسخه‌های قدیمی‌تر مانند جی‌پی‌تی۴ او همچنان در دسترس میلیون‌ها کاربر هستند و از نظر ایمنی روانی در سطح پایین‌تری قرار دارند.
این داده‌ها بار دیگر پرسش‌های اخلاقی بزرگی را مطرح کرده است: چه نقشی باید برای هوش مصنوعی در تعامل با انسان‌های درگیر بحران روانی قائل شد؟ اگرچه OpenAI تاکید دارد که ChatGPT جایگزین مشاوره حرفه‌ای نیست، اما واقعیت این است که میلیون‌ها نفر برای آرامش، مشاوره یا حتی احساس همدلی به هوش مصنوعی روی آورده‌اند.
OpenAI در پایان بیانیه خود اطلاعاتی برای کمک فوری در اختیار کاربران قرار داده است. در ایالات متحده، افراد در معرض خطر می‌توانند با شماره ۹۸۸ تماس بگیرند یا از خط پیامکی Crisis Text Line استفاده کنند. همچنین، کاربران در سایر کشورها می‌توانند از طریق انجمن بین‌المللی پیشگیری از خودکشی (IASP) به فهرست منابع و خطوط کمک محلی دسترسی پیدا کنند.
انتشار این گزارش نشان می‌دهد که در کنار دستاوردهای عظیم هوش مصنوعی، چالش‌های انسانی و عاطفی نیز در حال رشد هستند. اکنون پرسش اصلی این است که آیا فناوری می‌تواند در عین پیشرفت، از انسانیت نیز محافظت کند یا نه.
