گوگل بخش تازه‌ای به راهنمای پیشگیری از اسپم اضافه کرده و خیلی هم صریح گفته: اگه سرویس شما به کاربرها اجازه می‌دهد صفحه بسازند، خروجی ابزار تحویل بگیرند یا لینک اشتراکی درست کنند، همین صفحه‌ها باید به‌صورت پیش‌فرض از ایندکس دور بمانند. این آپدیت ۲۶ اکتبر در چنج‌لاگ رسمی گوگل ثبت شده و هدفش هم روشن است؛ صفحه‌هایی که برای جستجو ساخته نشده‌اند نباید وارد نتایج شوند و اسپم هم باید زودتر پیدا شود. شاید فکر کنید این خبر ربطی به کار شما ندارد، ولی دارد. خیلی از ما سایت‌هایی داریم که صفحه پروفایل می‌سازد، لینک دعوت می‌دهد یا ابزار آنلاینی دارد که خروجی قابل اشتراک می‌دهد. بذارید ببینیم گوگل دقیقاً چه گفته و ما چطور باید اجرایش کنیم.
گوگل دقیقاً چه چیزی را تغییر داده؟
یک بخش جدید به اسم «Only index content meant for Search» به راهنمای جلوگیری از سوءاستفاده گوگل اضافه شده. متنش هم به همین سادگی است: وقتی صفحه‌ای را کسی می‌سازد که فقط کسانی که لینکش را دارند بازش کنند و قرار نیست از جستجو پیدا شود، همان اول باید noindex بخورد (با متا تگ robots یا هدر X-Robots-Tag) یا خزشش در robots.txt بسته شود. گوگل فقط یک توصیه اضافه نکرده و جمله اول راهنما را هم عوض کرده. حالا می‌گوید غیر از سرویس‌های هاستینگ، هر ابزاری که اجازه بدهد کاربر صفحه اشتراکی بسازد یا محتوای تولیدی و وب‌اپ منتشر کند، می‌تواند مورد سوءاستفاده قرار بگیرد. حتی کلمه «سایت‌ها» را هم به «صفحه‌ها یا سایت‌ها» تغییر داده، چون اسپمرهای امروز دیگر یک سایت نمی‌سازند؛ صدها و هزارها صفحه روی یک دامنه می‌سازند.
این آپدیت هم بی‌دلیل نیست. ابزارهای هوش مصنوعی و سرویس‌های آنلاین هر روز بیشتر می‌شوند و هر کدام میلیون‌ها لینک اشتراکی تولید می‌کنند که برای جستجو ارزشی ندارند. وقتی این‌همه صفحه بی‌فایده وارد نتایج شود، کیفیت نتایج پایین می‌آید و منابع گوگل هم بیهوده درگیر می‌شود. برای همین حرف گوگل ساده است: هر صفحه‌ای که برای جستجو ساخته نشده، جایی در ایندکس ندارد.
چرا فقط بستن robots.txt کافی نیست؟
اینجاست که خیلی‌ها اشتباه می‌کنند. خیلی فکر می‌کنند همین که در robots.txt بنویسند Disallow، صفحه از گوگل حذف می‌شود. ولی سند رسمی گوگل حرف دیگری می‌زند: robots.txt «مکانیزمی برای بیرون نگه‌داشتن صفحه از گوگل نیست». تا وقتی یک سایت دیگر به آن URL لینک داده باشد، ممکن است صفحه بدون توضیحات و فقط با عنوان (یا حتی بدون عنوان) در نتایج دیده شود. در Search Console هم برای همین حالت یک ردیف جدا دارید: «Indexed, though blocked by robots.txt». راهنمای خود گوگل برای این ردیف هم روشن است؛ بلاک خزش را بردارید و به‌جایش noindex بگذارید.
noindex چه زمانی کار می‌کند؟
یک شرط مهم دارد: ربات گوگل که به آن گوگل‌بات می‌گوییم باید بتواند صفحه را باز کند و بخواند. اگر در robots.txt خزش را بسته باشید، گوگل‌بات اصلاً وارد صفحه نمی‌شود و noindex را هم نمی‌بیند. نتیجه‌اش همان می‌شود که نمی‌خواهید؛ URL در نتایج نشان داده می‌شود بدون اینکه noindex را دیده باشد. پس راه درست این است که خزش باز بماند و noindex کار خودش را بکند. اگر هم خزش را بستید، حواستان باشد URL ممکن است به شکل محدود در نتایج ظاهر شود. نمونه واقعی‌اش سرویس اشتراک Claude است که هم Disallow در robots.txt دارد و هم هدر X-Robots-Tag را با مقدار none می‌فرستد؛ مقداری که طبق مستندات robots گوگل یعنی هم noindex و هم nofollow. اگه بخواهید با این تگ‌ها از صفر آشنا شوید، قبلاً راهنمای کامل متا تگ‌های robots را در آپ‌تم منتشر کرده‌ایم.
برای چه سایت‌هایی این توصیه‌ها باید جدی گرفته شود؟
اگر سایت شما جایی به کاربر اجازه می‌دهد محتوا بسازد یا چیزی تولید کند، این بخش مال شماست: سایت‌های ابزار آنلاین با خروجی قابل اشتراک، انجمن‌ها، سامانه‌های آگهی، آموزشگاه‌های آنلاین، فروشگاه‌هایی که لینک اشتراک محصول دارند و حتی سایت‌هایی که فاکتور یا صفحه پرداخت اختصاصی می‌سازند. گوگل در همین راهنما یک چک‌لیست مانیتورینگ هم داده: سایت یا ساب‌دامین را در Search Console وریفای کنید تا ایمیل اکشن‌های دستی و مشکلات امنیتی به شما برسد، گزارش Page Indexing و Performance را برای جهش‌های عجیب بازدید و کوئری چک کنید و برای حالتی که «تعداد کمی کاربر سهم بزرگی از URLهای قابل ایندکس را می‌سازند» هشدار بگذارید. این مورد آخر دقیقاً کار اسپمرهاست و اگر زود بفهمیدش، خیلی از دردسرها جلوگیری می‌شود.
برای سایت‌های وردپرسی چه کار کنیم؟
وردپرس خودش هم صفحات بی‌ارزش زیادی برای ایندکس تولید می‌کند: نتایج جستجوی داخلی، آرشیو تگ‌های کم‌محتوا، فیدها و مشابه این‌ها. قدم اول این است که با افزونه سئو، این‌ها را noindex کنید. قدم دوم مال سایت‌های خاص‌تر است: اگه لینک دعوت، صفحه خروجی ابزار یا صفحه شخصی‌سازی‌شده دارید، برایشان noindex بگذارید و مطمئن شوید robots.txt جلوی خزششان را نگرفته باشد. نسخه قبلی همین راهنما که دسامبر ۲۰۲۵ به‌روز شده بود یک توصیه دارد که هنوز سر جایش است و برای انجمن‌های وردپرسی خیلی به کار می‌آید: پست کاربران تازه‌کار را تا وقتی اعتبار پیدا کرده‌اند noindex نگه دارید. اگر هم وقت یا تیم فنی برای این کارها ندارید، سرویس پشتیبانی وردپرس برای همین لحاظ شده؛ تنظیمات ایندکس و چک کردن سرچ کنسول جزو کارهای روزانه ماست.
راستی، چند روز پیش وردپرس آپدیت امنیتی 7.1.4 را منتشر کرد که ۲۲ حفره قدیمی را بست. این دو ماجرا یعنی امنیت و تنظیمات ایندکس، جدا از هم نیستند. سایتی که امنیتش شل است یا تنظیماتش به‌هم ریخته، همان جایی است که اسپمرها رویش صفحه می‌سازند و آخرش هم گوگل دامنه شما را به‌خاطر صفحاتی که خودتان نساخته‌اید جریمه می‌کند.
حرف آخر
اگر بخواهم کل ماجرا را در یک جمله بگویم: ایندکس شدن حق هیچ صفحه‌ای نیست، یک انتخاب است. اگر صفحه‌ای برای جستجو ساخته نشده، بی‌دلیل جا اشغال نکنید؛ هم ایندکس شما تمیز می‌ماند و هم کیفیت سایتتان بهتر نشان داده می‌شود. کاری که از همین امروز می‌توانید بکنید: ردیف «Indexed, though blocked by robots.txt» را در سرچ کنسول ببینید، برای صفحات اشتراکی noindex قابل‌خزش بگذارید و برای جهش‌های عجیب در گزارش‌ها هشدار فعال کنید. صفحه‌های بی‌فایده را از ایندکس بیرون بیاورید تا صفحه‌های خوبتان راحت‌تر دیده شوند؛ هم در گوگل و هم در پاسخ‌های هوش مصنوعی.
