روش بهینه کردن فایل Robots.txt برای سئو

سلام به دوستان عزیز بیگ تمی. همه ی ما میدونیم یکی از مهم ترین لازمه ها برای هر وبسایتی، بهینه بودن از نظر سئو هست. البته بحث سئو خیلی خیلی گستردس و جنبه های زیادی رو در بر میگیره و نمیشه با چند آموزش محدود؛ تمام مبحث سئو رو فراگرفت. محدوده ی سئو از تنظیمات درون هاست تا کیفیت مطالب سایت رو در برمیگیره. در همین راستا، امروز یه آموزش کاربردی برای بهینه کردن سئو، یعنی روش بهینه کردن فایل Robots.txt براتون آماده کردم.

روش بهینه کردن فایل Robots.txt برای سئو

خب اول بذارین ببینیم این فایل چی هست و چقدر توی افزایش سئوی سایتمون اهمیت داره؟ این فایل در واقع بر سئوی کلی سایت اثر میذاره و کارش اینه که با موتورهای جستجو ارتباط برقرار میکنه و به اونها میفهمونه که کدوم بخش های سایتتون رو باید ایندکس کنن.

آیا وجود فایل Robots.txt ضروریه؟

نبود این فایل، مانعی برای ایندکس کردن و خزش مورتوهای جستجو در سایت شما نیست، اما همون طور که گفتم وجود این فایل میتونه کمک موثری به بهبود سئوی کلی سایت شما بکنه.بنابراین پیشنهاد من اینه که حتماً این فایل رو بسازین. اگه میخواین نقشه ی xml سایتتون رو به موتورهای جستجو بفرستین، این همون جایی هست که مورتوهای جستجو به دنبال نقشه ی سایت شما می گردن، مگر اینکه اون رو در Google Webmaster Tools مشخص نکرده باشین.

فایل Robots.txt کجا واقع شده و چطوری باید ساخته شه؟

این فایل معمولاً در ریشه ی سایت شما قرار داره، (مثلاً توی public_html ) و شما می تونین از طریق سی پنل یا دایرکت ادمین به اون دسترسی پیدا کنین. اگه این فایل در هاست شما وجود نداره، نگران نباشین، یا میتونین در خود هست یک فایل با نام robots.txt ایجاد کنین و یا توی کامیپوترتون یه فایل متنی ساده با نوت پد باز کنین و اون رو به اسم robots.txt ذخیره کنید. سپس اون رو در ریشه سایتتون آپلود کنین.

چطور باید از فایل Robots.txt استفاده کنیم؟

ساختار این فایل بسیار سادس. حالا قدم به قدم با هم پیش میریم. اولین خط که user agent نامیده میشه، در واقع نام ربات جستجویی هست که شما باهاش ارتباط برقرار می کنین، مثلا ربات گوگل (Googlebot)، ربات بینگ (Bingbot) و برای شامل کردن تمام ربات ها هم می تونین، علامت * رو در مقابلش قرار بدین. خطوط بعدی ساختارهای مجاز و غیرمجاز برای ایندکس شدن رو نشون میدن، یعنی شما می تونین مشخص کنین ربات، مجازه کدوم شاخه ها رو ایندکس کنه و کدوم شاخه ها رو مجاز نیست. فایل زیر یه نمونه از فایل robots.txt هست که تمام ربات های جستجوگر رو فراخوانی میکنه و در ضمن به شاخه ی آپلود تصاویر رو برای ایندکس شدن مجاز میدونه و دو شاخه ی دیگه رو غیرمجاز میدونه.

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html

بهینه سازی فایل robots.txt برای سئو

گوگل به وبمسترها توصیه می کنه که از فایل robots.txt برای پنهان کردن محتوای کم کیفیتشون استفاده نکنن. بذارین راحت تر بگم، اگه شما با استفاده از فایل robots.txt، گوگل رو از ایندکس کردن شاخه هایی مثل دسته بندی ها، تاریخ و … منع کنید، به هیچ وجه کار عاقلانه ای نکردین. البته به یاد داشته باشین که هدف فایل robots.txt اینه که با فایل های سایت شما چه برخوردی کنه، اما در هر صورت اون ها رو بررسیخواهد کرد.

نیازی نیست که صفحاتی مثل صفحه ی ورود، شاخه ی مدیریت (admin) یا صفحه ی ثبت نام رو به فایل robots.txt اضافه کنین، چرا که این صفحات به صورت پیش فرض دارای برچسب noindex هستن و ایندکس نمیشن. توصیه میشه که فایل readme.html را در robots.txt غیرمجاز کنین. چرا؟ چون این فایل ممکنه توسط بعضی از افراد برای فهمیدن نسخه ی وردپرس شما استفاده بشه و در نتیجه غیرمجاز کردن اون باعث جلوگیری از برخی حملات مخرب میشه.

افزودن نقشه ی XML سایت به فایل robots.txt

اگر از پلاگین هایی مثل WordPress SEO by Yoast و … برای تولید نقشه ی سایتتون استفاده می کنین، این پلاگین ها، به صورت اتوماتیک، نقشه ی سایتتون رو به فایل robots.txt اضافه خواهد کرد. اما اگه پلاگین موفق به انجام این کار نشد، شما اینکار رو باید به صورت دستی انجام بدین، یعنی همون آدرسی که توی پلاگین برای نقشه ی سایت گذاشته شده رو باید استفاده کنین. کدهای زیر یه نمونه رو نشون میدن.

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

نمونه ی یک فایل robots.txt مناسب

 در نهایت یک فایل robots.txt میتونه بخش های زیر رو داشته باشه که البته می تونه متناسب با نیازهای شما تغییر کنه.

User-Agent: *
Allow: /?display=wide
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html
Disallow: /refer/

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

امیدوارم این آموزش هم براتون مفید واقع شده باشه.