اگه این مدت با سئو و GEO کلنجار رفته باشید، حتماً از شلوغی تنظیمات بستن هوش مصنوعی کلافه شده‌اید. برای گوگل باید Google-Extended را تنظیم کنید و برای بقیه شرکت‌ها هم هر کدام مسیر و سینتکس خودشان را دارند؛ نتیجه‌اش می‌شود یک فایل robots.txt طولانی که هیچ‌کس دلش نمی‌خواهد نگهش دارد. حالا سه بازیگر اصلی ماجرا یعنی گوگل، مایکروسافت و OpenAI اعلام کرده‌اند قرار است یک کنترل مشترک برای انصراف از آموزش هوش مصنوعی بپذیرند؛ توکنی که با یک گروه ساده در robots.txt، انتخاب شما را به همه شرکت‌کنندگان می‌رساند.
این اعلامیه روز ۳۰ اکتبر ۲۰۲۶ منتشر شد و پشتوانه‌اش پیش‌نویس استانداردی است که در گروه کاری AIPREF نهاد IETF نوشته شده. تا این پیش‌نویس به استاندارد نهایی برسد هنوز فاصله داریم، اما همین که سه شرکت بزرگ بگویند «ما قبولش می‌کنیم» یعنی مسیر عملی شده است. بذارید ببینیم این کنترل دقیقاً چه شکلی است، هر شرکت چه قولی داده و شما از الان تا اجرای ۲۰۲۷ باید چه کارهایی انجام بدهید.
اعلامیه سه غول دقیقاً چی می‌گه؟
گوگل در اعلامیه رسمی وبلاگ Search Central نوشته که قصد دارد کنترل مشترک آموزش هوش مصنوعی را در robots.txt پشتیبانی کند؛ همان کاری که از سال ۲۰۲۳ فقط برای خودش با Google-Extended انجام می‌داد. مایکروسافت هم پست مفصلی در وبلاگ Bing منتشر کرده و جزئیات فنی بیشتری داده و OpenAI هم طبق همین اعلامیه جزو شرکت‌کنندگان است. ایده اصلی ساده است: به‌جای اینکه برای هر شرکت هوش مصنوعی جداگانه دستور بنویسید، یک policy token مشترک در robots.txt می‌گذارید و همه شرکت‌کنندگان آن را می‌خوانند.
خیلی هم صریح گفته: گوگل تأکید کرده این روش با کد عمل GPAI در قانون هوش مصنوعی اتحادیه اروپا سازگار است؛ جایی که robots.txt به‌عنوان روش اصلی بیان ترجیح ناشر شناخته می‌شود. یعنی پشت این توکن فقط نیت تجاری نیست، فشار قانونی هم هست و همین شانس تبدیل شدنش به یک استاندارد واقعی را بالا می‌برد؛ برخلاف پیشنهادهای قبلی که بعد از مدتی فراموش شدند.
این توکن جدید توی robots.txt چه شکلیه؟
توکن مورد بحث __usage_ai-training است و مثل یک User-Agent معمولی در گروه‌های robots.txt می‌نشیند. برای بستن آموزش در کل سایت کافی است بنویسید:
User-Agent: __usage_ai-training
Disallow: /اگر بخواهید فقط یک مسیر خاص را ببندید، به‌جای «/» همان مسیر را می‌گذارید؛ مثلاً Disallow: /private/. اجازه هم پیش‌فرض است، یعنی اگر هیچ قاعده‌ای ننویسید عملاً آموزش آزاد گذاشته‌اید. مایکروسافت یک قدم جلوتر رفته و همین ترجیح را به سطح صفحه هم برده؛ با متاتگ Bingbot یا هدر X-Robots-Tag می‌شود برای یک صفحه خاص جداگانه گفت آموزش نخواهد شد. برای وردپرسی‌ها یعنی می‌شود بدون دست زدن به robots.txt روی صفحات مهم تصمیم جدا گرفت، هرچند فعلاً این بخش از سمت مایکروسافت است و باید دید بقیه هم اجرایش می‌کنند یا نه.
حالا نکته اینجاست، این توکن فقط در ورودی «آموزش» را می‌بندد و ربطی به نمایش در نتایج جستجو ندارد؛ خزیدن برای ایندکس شدن در سرچ سر جایش می‌ماند و محتوای شما از گوگل و بینگ حذف نمی‌شود. این تفکیک دقیقاً همان چیزی است که خیلی از وبمسترها اشتباه می‌گیرند و از ترس، کل سایتشان را از دید ربات‌ها قفل می‌کنند.
گوگل چطور با Google-Extended کنارش میاد؟
مهم‌ترین بخش اعلامیه گوگل همین‌جاست. گوگل گفته اگر سایتی با توکن مشترک از آموزش انصراف بدهد و Google-Extended را جداگانه تنظیم نکرده باشد، این انتخاب مثل بستن Google-Extended تفسیر می‌شود. کنترل‌های شرکتی قبلی هم سر جایشان می‌مانند؛ یعنی می‌توانید روی انتخاب کلی، قانون مخصوص هر شرکت را سوار کنید و دلخواه ترکیب کنید.
یک ظرافت هم دارد: سایتی که Google-Extended را صریحاً اجازه داده باشد، همچنان می‌تواند در پاسخ‌های Gemini Apps دیده شود و کلیک بگیرد. پس انصراف عمومی، جایی که اجازه صریح داده‌اید، از آن رد نمی‌شود. گوگل هم گفته هدفش اجرای این پشتیبانی در سال ۲۰۲۷ است و پیشرفتش را اعلام خواهد کرد.
مایکروسافت چرا جزئیات بیشتری داده؟
مایکروسافت علاوه بر آموزش، یک ترجیح جدا به اسم AI Grounding معرفی کرده که تعیین می‌کند محتوایتان در پاسخ‌سازی مدل‌ها به‌عنوان منبع استفاده شود یا نه. گزینه تازه‌ای به اسم DisallowExtended هم دارد که یعنی محتوای من فقط در تجربه‌های خود مایکروسافت مثل AI Mode و AI Overview و Copilot و Microsoft 365 مصرف شود و از سرویس‌های grounding ثالث مثل Web IQ کنار گذاشته شود.
جدول زمانی‌اش هم روشن است: از ۱ فوریه ۲۰۲۷ ترجیح‌های جدید موقع خزش اعمال می‌شوند. ۱ مارس ۲۰۲۷ ضرب‌الاجل کنار گذاشتن NoArchive و NoCache است؛ بعد از این تاریخ دیگر برای آموزش و grounding نادیده گرفته می‌شوند و اگر می‌خواهید جلوی grounding را بگیرید، باید ترجیح سطح صفحه را منتشر کنید و یک تنظیم موقت هم در Bing Webmaster Tools ثبت کنید که تا ۳۰ سپتامبر ۲۰۲۷ اعتبار دارد.
برای سایت وردپرسی ایرانی چه معنایی دارد؟
اولین خبر خوب اینکه عجله‌ای در کار نیست. هیچ‌کدام از این سه شرکت الان توکن را اجرا نمی‌کنند؛ گوگل صریح گفته ۲۰۲۷ و مایکروسافت فوریه ۲۰۲۷ را شروع کار گذاشته. پس فایل robots.txt فعلی سایتتان را دست نزنید و قاعده‌های قبلی مثل Google-Extended را حذف نکنید؛ چون این‌ها همچنان کار می‌کنند و تا اجرای توکن مشترک، تنها ابزار واقعی شما هستند. اگه تا حالا سراغ این تنظیمات نرفته‌اید، راهنمای بستن هوش مصنوعی با robots.txt را از دست ندهید.
نکته دوم برای دوستانی است که دغدغه دیده شدن در جستجوی هوش مصنوعی را دارند. انصراف از آموزش، به معنی حذف از پاسخ‌های AI نیست؛ آموزش و grounding دو ماجرای جدا هستند و گوگل خودش گفته بدون تعریف Google-Extended، توکن مشترک فقط مسیر آموزش را می‌بندد. پس اگر استراتژی شما GEO و حضور در پاسخ‌های هوش مصنوعی است، این تفکیک را قبل از هر تصمیمی حساب کنید. برای ویرایش راحت robots.txt از داخل پیشخوان هم می‌توانید از افزونه سئو یواست کمک بگیرید.
از الان تا اجرای ۲۰۲۷ چک‌لیست عملی چیست؟
کار امروز شما سه قدم ساده است. اول فایل robots.txt فعلی را بکشید بیرون و ببینید الان چه قاعده‌ای برای هوش مصنوعی دارید. دوم اگر NoArchive یا NoCache دارید و مهم است که از grounding مایکروسافت کنار بمانید، یادداشت کنید که از فوریه ۲۰۲۷ باید ترجیح جدید بگذارید. سوم گوشتان به اعلامیه‌های Search Central باشد، چون گوگل قول داده پیشرفت پشتیبانی را اعلام کند.
و یک توصیه آخر: وقتی پشتیبانی واقعی شروع شد، اول روی یک سایت آزمایشی یا زیردامنه کم‌اهمیت توکن را امتحان کنید و رفتار خزنده‌ها را در لاگ سرور چک کنید. استانداردهای تازه معمولاً با تاخیر و باگ همراه‌اند و عجله کردن روی سایت اصلی فقط ریسک بی‌دلیل دارد.
اگر بخواهم کل ماجرا را در یک جمله بگویم: انصراف از آموزش هوش مصنوعی دارد از یک لیست پراکنده از تنظیمات شرکتی به یک قاعده استاندارد و واحد تبدیل می‌شود. تا آن موقع نه نیازی به تغییر هست نه ضروری است دست به فایل بزنید؛ فقط بدانید فوریه ۲۰۲۷ کجای تقویم است و الان robots.txt سایتتان دقیقاً چه می‌گوید.
