به گزارش تجارت نیوز، پژوهشگران برای انجام این آزمایش صرفاً سوالات عمومی نپرسیدند؛ آنها یک تست دقیق طراحی کردند:
۱. آنها ۱۶۰۰ کوئری (پرسش) مختلف را آزمایش کردند.
۲. در هر پرسش، یک «نقلقول مستقیم» از یک مقاله خبری به هوش مصنوعی داده میشد.
۳. سپس از مدل خواسته میشد تا تیتر مقاله، تاریخ انتشار، نام نشریه و لینک (URL) آن را پیدا کند.
نتیجه تکاندهنده بود: در مجموع، ابزارهای هوش مصنوعی در بیش از ۶۰ درصد موارد نتوانستند منبع درست را پیدا کنند.
مشکل اصلی فقط غلط بودن جوابها نبود، بلکه لحن بیان آنهاست. مدلها (بهویژه Grok و Gemini) پاسخهای غلط را با لحنی کاملا مقتدرانه و مطمئن بیان میکردند. نویسندگان مقاله نتیجه گرفتند که موتورهای جستجوی مبتنی بر هوش مصنوعی هنوز برای کارهای پژوهشی جدی یا یافتن منابع خبری، ابزارهای قابل اطمینانی نیستند و بیشتر شبیه به یک «قمار» عمل میکنند تا یک ابزار جستجوی دقیق.
