راهنمای جامع Robots.txt

فایل روبوتس

robots.txt چیست و چرا برای سئو الزامی است؟، با ما همراه باشید تا در راهنمای جامع Robots.txt و سئو، موارد جالب توجهی را با شما در میان بگذاریم.

Robots.txt چیست؟

فایل Robots.txt یک فایل متنی ساده و کارا است.توسط این فایل شما قادر خواهید بود صفحات، لینک ها، پوشه‌های خاصی را از دید موتور‌های جستجو پنهان کنید این کار کمک شایانی در seo یک سایت می‌کند بطوری که وب سایت هایی که از این فایل استفاده می‌کنند در رتبه بهتری قرار می‌گیرند همچنین اگر فایل روبوتس درست مدیریت شود میتواند سایت ما را در برابر روبات ها و خزنده های مخرب ایمن کند.

دستور های فایل Robots.txt

یک فایل روبوتس از سه دستور کلی user-agent ، disallow و allow تشکیل شده است:

user-agent: این دستور نام روبات یا خزنده خاصی را مورد خطاب قرار میدهد که دستور مشخص شده برای آن اعمال شود.
disallow:این دستور مشخص میکند که خزنده و روبات مورد نظر به قسمت مشخص شده از سایت دسترسی نداشته باشد به ازای هر آدرس باید این دستور تکرار شود.
allow:این دستور برای خزنده های گوگل تعریف شده و دسترسی به یک آدرس خاص را امکان پذیر می سازد.

سایر دستور های رایج در فایل Robots.txt

crawl-delay:به کمک این دستور مشخص میکنیم ربات ها و خزنده ها با چه تاخیر زمانی مجدد لینک های وب سایت ما را ایندکس کنند.
sitemap:قراردادن آدرس سایت مپ در فایل Robots به ربات موتورهای جست و جو اجازه ی دسترسی مستقیم به نقشه ی سایت را میدهد.این کار به ایندکس سریع تر و بهتر لینک های سایت کمک میکند.

نمونه ای از دستورات فایل Robots

به کمک دستور زیر میتوانید به همه ی روبات ها اجازه ی دسترسی به همه ی قسمت های سایت بدهید:

User-agent: *
Disallow:

این دستور به هیچ روبات و خزنده ای اجازه ی ورود به هیچ قسمتی از سایت را نمی دهد:

User-agent: *
Disallow: /

برای محدود کردن دسترسی به یک دسته یا فولدر مشخص از دستور زیر استفاده کنید:

Disallow: /category/

برای محدود کردن دسترسی روی یک صفحه مشخص از وب سایت از دستور زیر استفاده کنید:

Disallow:blog/control-crawl-index-robots

چگونه دسترسی روبات گوگل و سایر روبات ها را ببندیم؟

برای جلوگیری از ورود تمامی ربات ها از دستور زیر استفاده کنید:

<meta name=”robots” content=”noindex” />

برای محدود کردن روبات های گوگل از دستور زیر استفاده کنید:

<meta name=”googlebot” content=”noindex” />

معرفی روبات های گوگل

  • Googlebot desktop: این ربات به بررسی و ایندکس نسخه دسکتاپی وب سایت ها می ردازد.
  • Googlebot mobile: این ربات به بررسی و ایندکس نسخه مویابلی سایت ها می پردازد.
  • Googlebot Video: این ربات به بررسی ویدئوهای موجود در وب می پردازد.
  • Googlebot Images: این ربات به پایش تصاویر موجود در وب می پردازد.
  • Googlebot News: این ربات مختص سایت های خبری است.

مهم ترین نکات اجرای robots.txt که حتما باید در خاطر خود حفظ کنید.

  • اولین نکته مورد توجه در راهنمای جامع robots.txt و سئو در خصوص ایجاد دستور العمل است. هنگام ایجاد و تغییر در robots.txt دقت کنید. این فایل ممکن است بخش بزرگی از وب سایت تان را برای موتور های جستجو، غیر قابل دسترس کند.
  • فایل robots.txt باید در آدرس سایت شما باشد. به عنوان مثال https://www.google.com/robots.txt
  • مورد بعدی که در راهنمای جامع robots.txt و سئو باید یاداوری کنیم آن است که فایل فقط برای دامنه های کامل (از جمله پروتکل های http و https) اعتبار دارد.
  • هر موتور جستجوگری، دستور را متفاوت تفسیر می کند. به طور معمول و پیش فرض اولین فرمان اجرا می شود اما نکته ای که در راهنمای جامع robots.txt و سئو متذکر می شویم این است که موتور جستجوگر گوگل که سایت برتر و اختصاصی است را نمی توان از دسترسی به وب سایت محروم کرد.
  • مطابق با این راهنمای جامع robots.txt ، از به تاخیر انداختن فرمان های آزاد، تا حد امکان خود داری نمایید.
برچسب ها :
دیدگاه‌ها
دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد.