user-agent های فایل robots.txt
robots فایلی است که بسیار در بهینه سازی ارتباط وب سایت با ربات های موتور جستجوگر گوگل مورد استفاده قرار می گیرد، در این مطلب قصد داریم شما عزیزان را بیشتر با دستورات آن آشنا کنیم که به صورت یک جدول در اختیارتان قرار می گیرد.
استفاده از این فایل بسیار می تواند روند تسریع بخشیدن سرعت ایندکس مطالب وب سایت شما را افزایش داده و باعث پیشرفت بیش از پیش وب سایتی شود که حتی به تازگی راه اندازی کرده اید و در حال حاضر امکانات لازم را نیز نخواهد داشت تا به رتبه های اول گوگل برسد. شما عزیزان می توانید این فایل را روی هاست آپلود کرده و به گوگل وب مستر تولز نیز معرفی کنید که باعث می شود سرعت ایندکس چند برابر گردد.
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/
User-agent: BadBot
Disallow: /
User-agent: Google
Disallow:
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/