تحقیقات جدیدی که ۱۶ میلیون URL را مورد بررسی قرار داده، با پیش‌بینی‌های گوگل مبنی بر اینکه لینک‌های توهمی به یک مشکل جدی در پلتفرم‌های هوش مصنوعی تبدیل خواهند شد، همخوانی دارد.
یک مطالعه از Ahrefs نشان می‌دهد که دستیارهای هوش مصنوعی تقریباً سه برابر بیشتر از جستجوی گوگل، کاربران را به صفحات وب شکسته (Broken Pages) ارسال می‌کنند.
این داده‌ها شش ماه پس از آن منتشر می‌شود که جان مولر از گوگل، آگاهی‌رسانی درباره این موضوع را آغاز کرد.
ChatGPT در نرخ تولید URLهای توهمی پیشتاز است
در میان تمام دستیارهای هوش مصنوعی آزمایش‌شده، ChatGPT بیشترین تعداد URLهای جعلی را ایجاد می‌کند. این مطالعه نشان داد که ۱٪ از URLهایی که کاربران روی آن‌ها کلیک کرده‌اند، به صفحات 404 منجر شده است. این نرخ برای گوگل تنها ۰.۱۵٪ است.
مشکل زمانی بدتر می‌شود که تمام URLهای ذکر شده توسط ChatGPT را در نظر بگیریم، نه فقط آن‌هایی که کلیک شده‌اند. در این حالت، ۲.۳۸٪ از لینک‌ها به صفحات خطا منتهی می‌شوند. این در حالی است که در نتایج برتر جستجوی گوگل، تنها ۰.۸۴٪ لینک‌ها شکسته هستند.
Claude با ۰.۵۸٪ لینک شکسته برای URLهای کلیک‌شده در رتبه دوم قرار گرفت. Copilot با ۰.۳۴٪، Perplexity با ۰.۳۱٪ و Gemini با ۰.۲۱٪ در رتبه‌های بعدی قرار دارند. Mistral با ۰.۱۲٪ بهترین نرخ را داشت، اما کمترین میزان ترافیک را نیز به وب‌سایت‌ها ارسال می‌کند.
چرا این اتفاق می‌افتد؟
این تحقیق دو دلیل اصلی برای ایجاد لینک‌های جعلی توسط هوش مصنوعی پیدا کرده است.
اول، برخی از URLها در گذشته وجود داشته‌اند اما اکنون دیگر در دسترس نیستند. زمانی که هوش مصنوعی به جای جستجوی آنی در وب، به اطلاعات قدیمی تکیه می‌کند، ممکن است صفحاتی را پیشنهاد دهد که حذف یا منتقل شده‌اند.
دوم، هوش مصنوعی گاهی URLهایی را ابداع می‌کند که به نظر درست می‌رسند اما هرگز وجود نداشته‌اند.
رایان لا (Ryan Law) از Ahrefs نمونه‌هایی از وب‌سایت خودشان را به اشتراک گذاشت. دستیارهای هوش مصنوعی URLهای جعلی مانند «/blog/internal-links/» و «/blog/newsletter/» ایجاد کرده بودند، زیرا این آدرس‌ها شبیه صفحاتی هستند که Ahrefs ممکن است داشته باشد. اما در واقعیت چنین صفحاتی وجود ندارند.
تأثیر محدود بر ترافیک کلی
این مشکل شاید قابل توجه به نظر برسد، اما بیشتر وب‌سایت‌ها تأثیر چندانی را احساس نخواهند کرد. دستیارهای هوش مصنوعی تنها حدود ۰.۲۵٪ از ترافیک وب‌سایت‌ها را تشکیل می‌دهند. در مقایسه، گوگل ۳۹.۳۵٪ از ترافیک را به خود اختصاص داده است.
این بدان معناست که URLهای جعلی، بخش بسیار کوچکی از یک منبع ترافیکِ در حال حاضر کوچک را تحت تأثیر قرار می‌دهند. با این حال، با افزایش استفاده مردم از هوش مصنوعی برای تحقیق و کسب اطلاعات، این مشکل ممکن است رشد کند.
این مطالعه همچنین نشان داد که ۷۴٪ از صفحات وب جدید حاوی محتوای تولید شده توسط هوش مصنوعی هستند. وقتی این محتوا شامل لینک‌های جعلی باشد، خزنده‌های وب ممکن است آن‌ها را ایندکس کرده و مشکل را گسترش دهند.
پیش‌بینی مولر دقیق از آب درآمد
این یافته‌ها با آنچه جان مولر از گوگل در ماه مارس پیش‌بینی کرده بود، مطابقت دارد. او «افزایش جزئی در کلیک روی این لینک‌های توهمی» را طی ۶ تا ۱۲ ماه آینده پیش‌بینی کرده بود.
مولر پیشنهاد کرده بود که به جای تلاش برای جذب ترافیک تصادفی، بر بهبود صفحات 404 تمرکز شود.
توصیه او برای جمع‌آوری داده‌ها قبل از ایجاد تغییرات بزرگ، با توجه به تأثیر اندک ترافیکی که Ahrefs پیدا کرده، هوشمندانه به نظر می‌رسد.
مولر همچنین پیش‌بینی کرده بود که با بهبود نحوه مدیریت URLها توسط سرویس‌های هوش مصنوعی، این مشکل به تدریج محو خواهد شد. زمان نشان خواهد داد که آیا او در این مورد نیز درست گفته است یا خیر.
نگاه به آینده
در حال حاضر، بیشتر وب‌سایت‌ها باید روی دو چیز تمرکز کنند. اول، صفحات 404 مفیدی برای کاربرانی که با لینک‌های شکسته مواجه می‌شوند، ایجاد کنند. دوم، فقط برای URLهای جعلی که ترافیک قابل توجهی دریافت می‌کنند، ریدایرکت تنظیم کنند.
این رویکرد به شما امکان می‌دهد تا بدون واکنش بیش از حد به آنچه برای اکثر سایت‌ها یک مشکل جزئی باقی می‌ماند، مسئله را مدیریت کنید.
