موتورهای جستجو نسبت به ایجاد محتوای تکراری که صرفاً برای رباتهای هوش مصنوعی طراحی شده است، هشدار میدهند.
اخیراً روندی در میان مالکان وبسایتها شکل گرفته است که طی آن نسخههای متنی ساده یا با فرمت مارکداون (Markdown) از صفحات خود را ایجاد میکنند تا فرآیند خزش (Crawling) و درک محتوا را برای مدلهای زبانی بزرگ (LLMs) تسهیل کنند. با این حال، نمایندگان گوگل و بینگ اعلام کردهاند که این اقدام نه تنها ضرورتی ندارد، بلکه میتواند منجر به بروز مشکلاتی در زمینه محتوای تکراری شود.
گوگل: «این کار مزیتی برای جستجو ندارد»
جان مولر، تحلیلگر ارشد جستجو در گوگل، در پاسخ به سؤالی درباره استفاده از فایلهای .txt یا نسخههای مارکداون برای هوش مصنوعی، صراحتاً اعلام کرد که گوگل چنین رویکردی را توصیه نمیکند.
مولر اظهار داشت: «اگر هدف شما بهبود وضعیت در نتایج جستجوی گوگل است، ایجاد نسخهای جداگانه از محتوا با فرمت مارکداون هیچ مزیتی نخواهد داشت. گوگلبات (Googlebot) در درک ساختار HTML بسیار توانمند است و نیازی به یک نسخه سادهشده ندارد.»
وی همچنین خاطرنشان کرد که ایجاد نسخههای متعدد از یک محتوای یکسان میتواند مدیریت سایت را دشوار کرده و سیگنالهای رتبهبندی را میان نسخههای مختلف تقسیم کند، مگر اینکه از تگهای کانونیکال (Canonical) بهدرستی استفاده شود.
بینگ: «بر روی محتوای اصلی تمرکز کنید»
فابریس کانل، مدیر محصول ارشد در بینگ، دیدگاه مشابهی را به اشتراک گذاشته است. او تأکید کرد که موتورهای جستجو و مدلهای هوش مصنوعی مایکروسافت به گونهای طراحی شدهاند که محتوای موجود در صفحات وب استاندارد را پردازش کنند.
کانل توضیح داد: «ما ترجیح میدهیم که مالکان سایتها انرژی خود را صرف بهبود کیفیت و ساختار محتوای اصلی HTML کنند. ارائه یک نسخه موازی با فرمت مارکداون تنها باعث ایجاد پیچیدگیهای غیرضروری در ایندکسگذاری میشود.»
چالش محتوای تکراری و نگهداری
یکی از نگرانیهای اصلی متخصصان سئو در مورد ایجاد صفحات مخصوص LLM، خطر «محتوای تکراری» (Duplicate Content) است. اگر یک مقاله به دو صورت HTML و Markdown در دسترس باشد، موتورهای جستجو باید تصمیم بگیرند که کدام نسخه را در نتایج جستجو نمایش دهند.
علاوه بر این، بهروز نگه داشتن هر دو نسخه بهصورت همزمان میتواند بار عملیاتی سنگینی را به تیمهای محتوا تحمیل کند. عدم تطابق بین نسخه اصلی و نسخه مارکداون ممکن است منجر به ارائه اطلاعات متناقض به کاربران و رباتها شود.
توصیههای نهایی برای مالکان وبسایت
به جای ایجاد صفحات جداگانه برای هوش مصنوعی، کارشناسان موارد زیر را توصیه میکنند:
-
بهینهسازی ساختار HTML: استفاده صحیح از تگهای هدینگ (H1-H6) و کدهای معنایی (Semantic HTML).
-
دادههای ساختاریافته (Schema Markup): استفاده از اسکیما برای کمک به درک بهتر موجودیتها و روابط توسط موتورهای جستجو و LLMها.
-
سرعت بارگذاری: اطمینان از اینکه محتوا به سرعت در دسترس رباتها قرار میگیرد.
در مجموع، در حالی که تسهیل دسترسی هوش مصنوعی به محتوا ایده جذابی به نظر میرسد، اما از نظر فنی، موتورهای جستجوی پیشرو همچنان HTML را به عنوان استاندارد طلایی برای خزش و نمایهسازی میشناسند.
