راهنمای جامع Robots.txt

آنچه در این مقاله ی Robots.txt خواهید خواند:

• Robots.txt چیست؟
• دستور های فایل Robots.txt
• نمونه ای از دستورات فایل Robots
• استفاده از متا تگ روباتس
• معرفی روبات های گوگل

Robots.txt چیست؟

فایل Robots.txt یک فایل متنی ساده و کارا است.توسط این فایل شما قادر خواهید بود صفحات، لینک ها، پوشه‌های خاصی را از دید موتور‌های جستجو پنهان کنید. نوشتن اصولی فایل روبوتس کمک شایانی در seo یک سایت می‌کند. بطوری که وب سایت هایی که از این فایل استفاده می‌کنند در رتبه بهتری قرار می‌گیرند همچنین اگر فایل روبوتس درست مدیریت شود میتواند سایت ما را در برابر روبات ها و خزنده های مخرب ایمن کند.
قبل از اینکه به طور کامل ساز و کار فایل روباتس را توضیح دهیم باید اندکی شما را با نحوه ی کار موتور های جست و جو آشنا کنیم و بدانیم چرا نیاز است گاها دسترسی یک سری از صفحات را از دید موتور های جست و جو مسدود کنیم.

نحوه ی کار موتور های جست و جو

موتور های جست و جو از 4 بخش تشکیل شده اند که بخش اول خزنده یا crawler و بخش دوم Index نام دارد. در واقع روبات خزنده وظیفه ی خزش سایت را بر عهده دارد. این روبات تمامی اطلاعاتی که خزش کرده است را در اختیار Indexer قرار می دهد که Indexer وظیفه ی ذخیره کردن این اطلاعات را دارد.

شما به کمک فایل روبوتس مشخص میکنید که روبات خزنده در کدام قسمت از وب سایت میتواند خزش کند و آن اطلاعات را در اختیار Indexer قرار دهد. در واقع روبات های گوگل پیش از ورود به وب سایت فایل robots را بررسی می کنند که به کدام قسمت ها میتوانند وارد شوند.

فایل روباتس هر سایتی از طریق آدرس زیر قابل دیدن است:

https://example.com/robots.txt

برای اطلاعات بیشتر مقاله ی زیر را دنبال کنید:

نحوه ی کار موتور های جست و جو

دستور های فایل Robots.txt

یک فایل روبوتس از سه دستور کلی user-agent ، disallow و allow تشکیل شده است:

user-agent: این دستور نام روبات یا خزنده خاصی را مورد خطاب قرار میدهد که دستور مشخص شده برای آن اعمال شود.
disallow:این دستور مشخص میکند که خزنده و روبات مورد نظر به قسمت مشخص شده از سایت دسترسی نداشته باشد به ازای هر آدرس باید این دستور تکرار شود.
allow:این دستور برای خزنده های گوگل تعریف شده و دسترسی به یک آدرس خاص را امکان پذیر می سازد.

سایر دستور های رایج در فایل Robots.txt

crawl-delay:به کمک این دستور مشخص میکنیم ربات ها و خزنده ها با چه تاخیر زمانی مجدد لینک های وب سایت ما را ایندکس کنند.
sitemap:قراردادن آدرس سایت مپ در فایل Robots به ربات موتورهای جست و جو اجازه ی دسترسی مستقیم به نقشه ی سایت را میدهد.این کار به ایندکس سریع تر و بهتر لینک های سایت کمک میکند.

نمونه ای از دستورات فایل Robots

به کمک دستور زیر میتوانید به همه ی روبات ها اجازه ی دسترسی به همه ی قسمت های سایت بدهید:

User-agent: *
Allow:/

این دستور به هیچ روبات و خزنده ای اجازه ی ورود به هیچ قسمتی از سایت را نمی دهد:

User-agent: *
Disallow: /

برای محدود کردن دسترسی به یک دسته یا فولدر مشخص از دستور زیر استفاده کنید:

Disallow: /category/

برای محدود کردن دسترسی روی یک صفحه مشخص از وب سایت از دستور زیر استفاده کنید:

Disallow:blog/control-crawl-index-robots

استفاده از متا تگ Robots.txt

اگر شما میخواهید روبات های گوگل یه صفحه ی خاصی از وب سایت شما را نبیند و در نتایج خود ایندکس نکند میتوانید از متا تگ روباتس استفاده کنید. امروزه بسیاری از افزونه ها پس از نو ایندکس کردن صفحه این متا تگ را در هدر صفحه قرار میدهند.

برای جلوگیری از ورود تمامی ربات ها از دستور زیر استفاده کنید:

<meta name=”robots” content=”noindex” />

برای محدود کردن روبات های گوگل از دستور زیر استفاده کنید:

<meta name=”googlebot” content=”noindex” />

معرفی روبات های گوگل

• Googlebot desktop: این ربات به بررسی و ایندکس نسخه دسکتاپی وب سایت ها می پردازد.
• Googlebot mobile: این ربات به بررسی و ایندکس نسخه مویابلی سایت ها می پردازد.
• Googlebot Video: این ربات به بررسی ویدئوهای موجود در وب می پردازد.
• Googlebot Images: این ربات به پایش تصاویر موجود در وب می پردازد.
• Googlebot News: این ربات مختص سایت های خبری است.

سوالات رایج Robots.txt:

آیا گوگل به سایتی که robots.txt ندارد سر می زند؟

بله روبات های گوگل به صورت پیش فرض همه ی وب سایت ها را خزش و ایندکس میکنند مگر اینکه خود سایت جلوی ورود روبات های گوگل را بسته باشد.

آیا فایل روباتش به صورت پیش فرض ساخته می شود؟

خیر فایل روباتس به صورت پیش فرض ساخته نمی شود و شما میتوانید این فایل را در هاست وب سایت خود ایجاد کنید.

آیا قراردادن آدرس سایت مپ در فایل روباتس ضروری است؟

قراردادن آدرس سایت مپ در روباتس ضروری نیست ولی قرار دادن ن به روبات ها کمک میکند سریع تر لینک وب سایت ما را بشناسند.