کلودفلر فایل Robots.txt شما را بازنویسی می‌کند؛ اقدامی منطقی اما چالش‌برانگیز

ابزار Bot Preference Sync کلودفلر چگونه کار می‌کند؟

ابزار Bot Preference Sync به‌طور خودکار فایل robots.txt سایت شما را تنظیم و به‌روزرسانی می‌کند. بر این اساس، هر سیاستی که برای رفتار ربات‌ها در داشبورد کلودفلر تعیین کنید، به کدهای robots.txt تبدیل شده و در بالای فایل شما (بین دو عبارت مشخص‌کننده # BEGIN Cloudflare Bot Preference Sync و # END Cloudflare Bot Preference Sync) قرار می‌گیرد. نکته مهم این است که کدهای قبلی و دستی شما در ادامه فایل بدون تغییر باقی می‌مانند.

کلودفلر اعلام کرده که این ویژگی برای تمامی پلن‌ها (از جمله پلن رایگان) فعال خواهد بود و برای مشتریان جدید به صورت پیش‌فرض روی حالت روشن (On) قرار دارد.

با وجود مفید بودن این ابزار، یک نقد اساسی به آن وارد است: واگذاری تصمیم‌گیری درباره نحوه تعامل سایت با خزنده‌های هوش مصنوعی به یک شرکت واسط (Vendor)، آن هم در قالبی بسیار ساده‌انگارانه که توانایی انعکاس استراتژی‌های پیچیده وب‌سایت‌ها را ندارد.

تناقض میان Edge و robots.txt؛ بهانه‌ای برای دور زدن قوانین سایت

کلودفلر در اعلامیه رسمی خود تأکید می‌کند:

«هنگامی که میان قوانین اعلام‌شده در فایل robots.txt و قوانین اعمال‌شده در سطح لبه سرور (Edge) تناقض وجود داشته باشد، برخی از خزنده‌ها از همین موضوع به عنوان بهانه‌ای برای بی‌توجهی به تمایلات شما یا دور زدن محدودیت‌ها استفاده می‌کنند.»

اگرچه کلودفلر مشخص نکرده که کدام خزنده‌ها یا چه درصدی از آن‌ها دست به چنین کاری می‌زنند، اما واقعیت این است که کلودفلر به عنوان میزبان حجم عظیمی از ترافیک وب، دید کاملی به این داده‌ها دارد. وجود ناهماهنگی میان فایل متنی robots.txt (که معمولاً مدتی قبل نوشته شده) و تنظیمات داشبورد کلودفلر (که به‌مرور زمان تغییر کرده)، بهانه‌ای حقوقی و فنی به دست ابزارهای جمع‌آوری داده هوش مصنوعی می‌دهد تا محدودیت‌های شما را نادیده بگیرند.

دسته‌بندی سه‌گانه کلودفلر؛ محدودیت در تعیین استراتژی اختصاصی

ابزار Bot Preference Sync کدهای فایل robots.txt را بر اساس تنظیمات موجود در بخش Security Settings و زیربخش Configure AI bot policies تولید می‌کند. این تنظیمات شامل ۳ دسته اصلی هستند:

1. جستجو (Search): مربوط به موتورهای جستجوی سنتی و هدایت‌کننده ورودی.

2. ایجنت‌ها (Agent): ربات‌های عملیاتی و دستیارهای هوشمند.

3. آموزش (Training): خزنده‌هایی که از داده‌ها برای آموزش مدل‌های زبانی استفاده می‌کنند.

برای هر یک از این دسته‌ها، سه گزینه وجود دارد:

• مسدودسازی در تمام صفحات (Block on all pages)

• مسدودسازی فقط در صفحات دارای تبلیغات (Block only on pages with ads)

• مجاز بودن (Allow)

چرا این دسته‌بندی برای همه وب‌سایت‌ها کافی نیست؟

بزرگ‌ترین نقطه ضعف این سیستم، عدم امکان مدیریت مجزای هر ربات است. برای مثال، یک وب‌سایت ممکن است قصد داشته باشد به ربات‌های OpenAI (مانند GPTBot)، Anthropic و PerplexityBot اجازه دسترسی بدهد (چون باعث دیده شدن برند در پاسخ‌های هوش مصنوعی و دریافت ورودی می‌شود)، اما ربات‌هایی مانند Bytespider یا meta-externalagent را مسدود کند (چون فقط داده‌ها را استخراج می‌کنند و ارزشی به سایت بازنمی‌گردانند).

در سیستم کلودفلر نمی‌توان چنین تفکیکی قائل شد. اگر بخش Training را مسدود کنید، ربات‌های مفید هم مسدود می‌شوند؛ و اگر آن را باز بگذارید، راه برای خزنده‌های غیرمفید نیز باز خواهد بود. راهکار پیشنهادی کلودفلر برای کنترل جزئی‌تر، غیرفعال کردن قابلیت همگام‌سازی (Sync) و مدیریت دستی فایل robots.txt است.

شرایط چهارگانه کلودفلر برای شفافیت خزنده‌های هوش مصنوعی

اگر گزینه Training را روی حالت Disallow قرار دهید، کلودفلر تمام خزنده‌های هوش مصنوعی «غیرشفاف» (Opaque) را مسدود می‌کند. از نظر کلودفلر، یک خزنده برای اینکه شفاف تلقی شود و مسدود نگردد، باید ۴ شرط زیر را داشته باشد:

1. از دستورات عدم آموزش (no training) در فایل robots.txt پشتیبانی کند.

2. راهکاری به صاحبان سایت‌ها ارائه دهد تا بتوانند از نمایش محتوای خود در خلاصه‌های هوش مصنوعی (AI Summaries) انصراف دهند.

3. شفافیت در سطح URL ارائه دهد تا مشخص شود چه صفحاتی برای آموزش مدل‌ها استفاده شده‌اند و آمار آن را گزارش کند.

4. به‌صورت عمومی اثبات کند که مسدود کردن بخش Training، هیچ آسیب یا افت رتبه‌ای در نتایج جستجوی سنتی ایجاد نمی‌کند.

وضعیت گوگل و مایکروسافت در برابر این ۴ شرط

• گوگل: شرط چهارم را برآورده می‌کند (مستندات گوگل تصریح دارد که ابزار Google-Extended تاثیری بر رتبه نتایج جستجو ندارد). اما گوگل در شرط دوم دچار چالش است؛ زیرا تنها راه انصراف از خلاصه‌های هوش مصنوعی (AI Overviews)، استفاده از تگ‌های عمومی مانند nosnippet یا noindex است که متأسفانه حضور در نتایج عادی گوگل را هم محدود می‌کند!

• مایکروسافت (Bing): مایکروسافت این مشکل را حل کرده است؛ با قرار دادن تگ NOARCHIVE محتوای شما در پاسخ‌های چت بینگ استفاده نمی‌شود، اما همچنان در نتایج جستجوی عادی باقی می‌ماند.

فعال‌سازی پیش‌فرض؛ خطری برای وب‌سایت‌های غافل‌گیرشده

تنظیمات پیش‌فرض کلودفلر برای دامنه های جدید به این صورت است که اگر هنگام راه‌اندازی گزینه “کسب درآمد از طریق تبلیغات” را انتخاب کنید، بخش Training به‌طور خودکار روی حالت Disallow قرار می‌گیرد.

خطر اصلی متوجه وب‌سایت‌هایی است که فایل robots.txt خود را پس از راه‌اندازی چک نمی‌کنند. این سایت‌ها بدون آنکه بدانند، موضعی سخت‌گیرانه در قبال آموزش هوش مصنوعی اتخاذ می‌کنند که ممکن است با اهداف بازاریابی و سئوی آن‌ها همخوانی نداشته باشد.

فایل robots.txt قانون‌مداران را متوقف می‌کند، نه همه را!

یادآوری این نکته بسیار حیاتی است که دستورات موجود در robots.txt صرفاً یک درخواست پروتکلی هستند و اجرا یا عدم اجرای آن به رفتار خود ربات بستگی دارد. ربات‌های مخرب یا خزنده‌های سیاه که به دنبال فایل‌های حساس (مانند .env یا کلیدهای SSH) هستند، هرگز به کدهای این فایل توجهی نمی‌کنند.

بنابراین، مسدودسازی واقعی همیشه در سطح لبه سرور (Edge) و با بازگرداندن ارور ۴۰۳ (Access Denied) اتفاق می‌افتد. فایل robots.txt بیشتر جنبه سندیت قانونی و اعلام موضع رسمی وب‌سایت را دارد.

چک‌لیست ۳ مرحله‌ای قبل از فعال‌سازی Bot Preference Sync

برای مدیریت صحیح این تغییر، انجام ۳ قدم زیر پیشنهاد می‌شود:

1. مقایسه و تطبیق: فایل robots.txt فعلی خود را با تنظیمات بخش Configure AI bot policies در کلودفلر مقایسه کنید تا ناهماهنگی وجود نداشته باشد.

2. ارزیابی استراتژی: بررسی کنید آیا دسته‌بندی سه‌گانه کلودفلر با استراتژی دیجیتال مارکتینگ شما همخوانی دارد یا خیر. اگر قصد برخورد متفاوت با ربات‌های مختلف را دارید، همگام‌سازی خودکار را خاموش کنید.

3. بازبینی نهایی: پس از هرگونه تغییر، کدهای تولیدشده در فایل robots.txt را مستقیماً بازبینی کنید.

حالا چه باید کرد؟ (قدم‌های بعدی از دیدگاه پارس سئو دبی)

موضوع مدیریت دسترسی خزنده‌های هوش مصنوعی و همگام‌سازی آن با کلودفلر، یکی از مهم‌ترین مباحث سئوی فنی (Technical SEO) و معماری وب در سال جاری است. ندیدن این ناهماهنگی‌ها می‌تواند منجر به از دست رفتن ورودی‌های ارزشمند از موتورهای جستجوی مبتنی بر هوش مصنوعی (مانند Perplexity و ChatGPT) یا برعکس، سرقت رایگان محتوا توسط ربات‌های بی‌نام‌ونشان شود.

پیشنهاد پارس سئو دبی برای پیاده‌سازی هوشمندانه این استراتژی در وب‌سایت‌های ایرانی و بین‌المللی، شروع با این ۳ قدم کلیدی و اکشن‌پلان کاربردی است:

1. ارزیابی ارزش افزوده هر ربات (Bot Audit): قبل از اینکه همه‌چیز را به دست تنظیمات پیش‌فرض کلودفلر بسپارید، لیست خزنده‌های ورودی به سایت خود را آنالیز کنید. در تیم پارس سئو دبی، ما همیشه ربات‌ها را به دو دسته «سودرسان» (که برند شما را در پاسخ‌های AI به عنوان منبع ذکر می‌کنند) و «مصرف‌کننده محض» تقسیم می‌کنیم. استراتژی دسترسی باید بر اساس این تحلیل تعیین شود.

2. مدیریت دستی و سناریومحور در صورت نیاز به سئوی رقابتی: اگر در یک بازار پرترافیک و رقابتی فعالیت می‌کنید، پیشنهاد پارس سئو دبی غیرفعال کردن قابلیت همگام‌سازی خودکار (Bot Preference Sync) و تنظیم دقیق فایل robots.txt به همراه فایرول کلودفلر (WAF Rules) به صورت اختصاصی است. این کار مانع از مسدود شدن ناخواسته ربات‌های ارزشمندی مثل GPTBot یا PerplexityBot می‌شود.

3. یکپارچه‌سازی سطح Edge و robots.txt: مطمئن شوید کدهایی که در robots.txt می‌نویسید دقیقا با قوانین WAF و تنظیمات Bots در کلودفلر یکسان باشد. تجربه عملی ما در پروژه‌های بین‌المللی پارس سئو دبی نشان می‌دهد که وجود حتي یک تناقض کوچک، سیگنال‌های گمراه‌کننده‌ای به موتورهای جستجو ارسال کرده و اثرگذاری استراتژی سئوی فنی شما را کاهش می‌دهد.