اگر تا حالا خواسته باشید به ChatGPT یا Gemini بگویید از محتوای سایتتان برای آموزش استفاده نکند، احتمالاً وسط یک لیست طولانی گیر کرده‌اید: GPTBot و Google-Extended و CCBot و کلی خزنده دیگر که هر کدام یک قانون جدا می‌خواهند. حالا چهار بازیگر اصلی یعنی گوگل و مایکروسافت و OpenAI و آنتروپیک اعلام کرده‌اند به یک خط مشترک در robots.txt تن می‌دهند؛ خطی که یک بار می‌نویسید و برای همه شرکت‌های همراه اعلام می‌کند محتوای شما برای آموزش مدل‌ها بسته است یا باز. ببینید این پیشنهاد دقیقاً چیست، از کی عملی می‌شود و همین امروز چه کاری از دست شما برمی‌آید.
خط جدید در robots.txt چطور کار می‌کند؟
موضوع یک توکن سیاستی به اسم __usage_ai-training است که مثل همیشه با همان دستورهای آشنا Allow و Disallow نوشته می‌شود. مثلاً این یعنی کل سایت برای آموزش بسته باشد و فقط پوشه کیت مطبوعاتی باز بماند:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/طبق تعریف پیش‌نویس، منظور از آموزش این است: «استفاده از یک محتوا برای تغییر پارامترهای یادگرفته‌شده یک مدل مولد». مدل‌هایی که فقط کار غیرمولد می‌کنند مثل طبقه‌بندی یا رتبه‌بندی از این قاعده خارج‌اند. دو نکته فنی هم مهم است: اول اینکه grammar جدیدی به robots.txt اضافه نمی‌شود و پارسرهای فعلی گروه‌های ناشناخته را نادیده می‌گیرند، پس خطای چیزی را خراب نمی‌کند. دوم اینکه قواعد قدیمی robots.txt شما جزو این ترجیح مشترک حساب نمی‌شوند؛ فقط همین گروه تازه معنی دارد. سند این پیشنهاد را کوین کلی از آنتروپیک در ۳۰ اکتبر به گروه کاری AI Preferences سازمان IETF داده و تا ۳ مه ۲۰۲۷ اعتبار دارد؛ می‌توانید خودتان متن کامل پیش‌نویس IETF را بخوانید.
هر شرکت چه قولی داده و از کی؟
گوگل با امضای جان مولر گفته پشتیبانی از این کنترل را در ۲۰۲۷ برنامه‌ریزی می‌کند و یک تعهد مشخص هم داده: اگر سایتی با خط مشترک از آموزش خارج شود و جداگانه Google-Extended را تعیین تکلیف نکرده باشد، گوگل همان را مثل بستن Google-Extended تفسیر می‌کند. مایکروسافت با معرفی کریشنا مادهاوان رفته جلوتر و دو ترجیح جدا تعریف کرده: AI Training و AI Grounding؛ از ۱ فوریه ۲۰۲۷ هنگام خزش اعمال می‌شوند و برچسب‌های قدیمی NoArchive و NoCache از ۱ مارس ۲۰۲۷ دیگر برای آموزش معتبر نیستند. OpenAI هم گفته چند ماه آینده این سیگنال را می‌پذیرد و کنترل‌های فعلی سر جایشان می‌مانند. پس بگذارید روراست باشم: فعلاً هیچ‌کدام اجرایش نکرده‌اند و هر شرکت ساعت خودش را دارد؛ این ماجرا الان یک قول است، نه یک کلید روشن.
چرا تفکیک آموزش از نمایش در پاسخ‌ها مهم است؟
جالب‌ترین بخش ماجرا برای سئوکارها همین‌جاست. آموزش یعنی مدل از محتوای شما یاد بگیرد؛ گویندینگ یعنی هنگام ساختن یک پاسخ، از محتوای امروز شما به‌عنوان منبع استفاده شود. این دو را قبلاً ناچار بودید با یک قاعده ترکیب‌شده مدیریت کنید. مایکروسافت این دو را جدا کرده و عملاً می‌شود گفت: «برای آموزش نه، ولی برای پاسخ دادن به کاربران بله». یعنی می‌توانید جلوی سوخت‌شدن محتوایتان در دیتاست‌ها را بگیرید و هم‌زمان در پاسخ‌های هوش مصنوعی دیده شوید و ترافیک GEO بگیرید؛ فرصتی که قبلاً در مقاله جستجوی هوش مصنوعی و فرصت سایت‌های کوچک از آن گفتیم. این جدا بودن، بخت کسب‌وکارهای کوچک را برای مذاکره روی لایسنس آموزش هم بالا می‌برد چون حضور در پاسخ‌ها را فدای ممنوعیت آموزش نمی‌کنید.
اگر از NoArchive یا NoCache استفاده کرده‌اید چه کنید؟
مایکروسافت برچسب‌های قدیمی را بازنشسته می‌کند و این یعنی یک کار عملی برای بعضی سایت‌ها. طبق اعلان رسمی وبلاگ بینگ، اگر سایت شما تا ۱۵ دسامبر ۲۰۲۶ از NoArchive یا NoCache استفاده می‌کند، ترجیح صفحه‌ای تازه را منتشر کنید و در Bing Webmaster Tools تا ۱ مارس ۲۰۲۷ ترجیح موقت گویندینگ را ثبت کنید؛ این تنظیم موقت تا ۳۰ سپتامبر ۲۰۲۷ یا تا خزش مجدد دوام دارد. اگر ثبتش نکنید، صفحات شما تا خزش بعدی روی حالت پیش‌فرض Allow برای گویندینگ می‌روند؛ یعنی عملاً درِ آشپزخانه باز می‌ماند. برای آشنایی بیشتر با همین فایل، راهنمای کامل فایل robots.txt و متاتگ‌ها ما را هم ببینید.
الان باید خط تازه را اضافه کنیم؟
نه عجله‌ای لازم است و نه ضرری دارد. این سند فعلاً یک پیش‌نویس فردی است، نه استاندارد مصوب IETF، و تا نوبت اجرای هر شرکت ممکن است چند بار عوض شود. پیشنهاد من سه قدم است. اول: سیاست‌تان را همین حالا مشخص کنید که کدام بخش‌های محتوا حاضرید برای آموزش باز بماند و کدام نه؛ این تصمیم مدیریتی است و ربطی به فنی‌ها ندارد. دوم: کنترل‌های امروزی مثل Google-Extended و GPTBot را نگه دارید و اگر نمی‌خواهید مدل‌ها محتوایتان را بخوانند، همان‌ها را همین الان فعال کنید؛ تجربه بلاک‌های خاموش مثل ماجرای بسته‌شدن سایت‌ها برای ChatGPT نشان داده تکیه بر قاعده واحد و قدیمی ریسک دارد. سوم: اعلان‌های رسمی هر شرکت را دنبال کنید و وقتی پشتیبانی رسماً شروع شد، خط مشترک را اضافه کنید و تاریخ و نسخه فایل robots.txt سرو‌شده را برای سند نگه دارید.
حرف آخر
اگر بخواهم کل ماجرا را در یک جمله بگویم: ناشرها سال‌ها می‌گفتند «یک بار بنویس، همه بفهمند» و حالا برای اولین بار بزرگ‌های هوش مصنوعی همان زبان مشترک را پذیرفته‌اند، حتی اگر اجرایش به ۲۰۲۷ موکول شده باشد. کار امروز شما سنگین نیست: یک تصمیم برای سیاست محتوا، یک بازبینی robots.txt و یک نگاه به برچسب‌های قدیمی بینگ. از این به بعد هر شرکتی که بخواهد وارد بازی آموزش مدل‌ها شود، به‌جای مذاکره جداگانه با شما، باید زبان مشترکی را که این چهار شرکت راه انداخته‌اند بفهمد؛ و این یعنی دست ناشرها برای اولین بار کمی بالاتر از آب است.
