سه شنبه , دی ۲۸ ۱۳۹۵
صفحه اصلی / آموزش سئو / بهینه سازی robots.txt و تاثیر آن بر سئو

بهینه سازی robots.txt و تاثیر آن بر سئو

robots.txt چیست؟

robots.txt یک عامل تاثیر گذار در تمامی سئو سایت شماست به طوری که کار robots.txt به این ترتیب است که با موتورهای جستجو ارتباط برقرار کرده و به صورت وکیل برای وب سایت شما به موتورهای جستجو قسمت هایی از سایت شما را که باید ایندکس شوند را نشان می دهد و به آن ها می فهماند که کجا ها باید مورد توجه قرار گیرند که این بسیار مهم و حیاتی است حال شما باید بتوانید آن را به خوبی بهینه سازی کنید تا آن هم بتواند به خوبی وظایف خود را انجام دهد.

دلایل وجود فایل robots.txt چیست؟

نبود فایل robots.txt در وب سایت شما دلیلی برا عدم ایندکس شدن سایت شما در موتورهای جستجو نیست ولی وجود آن بسیار می تواند در وب سایت شما مفید باشد و همچنین در معرفی نقشه سایت به گوگل نیز بسیار تاثیر گذار و مهم است و اکثر کارشناسان سئو وب سایت آن را تائید کرده و توصیه می کنند.

نحوه ساخت فایل robots.txt

روش ساخت این فایل از آن چیزی که فکر می کنید هم ساده تر است البته شما باید ابتدا در فایل ریشه سایت خود جستجو کنید و در صورتی که وجود داشت که هیچ و اگر این فایل وجود نداشت اصلا نگران نباشید و باید یک فایل نوشتاری توسط نت پد درست کرده سپس آن را robot بنامید و آن را در ریشه سایت خود آپلود کنید به همین راحتی و سادگی این فایل ساخته شد.

ساختار فایل robots.txt چگونه است؟

ساختار این فایل بسیار ساده است و گام به گام پیش می رویم.در خط نخست عبارت User-Agent وجود دارد که این عبارت نام ربات شما بوده و با استفاده از آن می توانید با ربات خود ارتباط برقرار کنید و دلیل استفاده از * در مقابل این نام برای این است که این نام به تمامی ربات ها الحاق شود و تمامی خط های بعدی برای مشخص کردن فایل های مجاز و غیر مجاز به ربات است که کدام را مجاز است به موتورهای جستجو برای ایندکس کردن معرفی کند و کدام را مجاز به انجام این کار نیست. که شما خود می توانید این موارد را نوشته و مشخص کنید و فایلی همانند زیر بسازید:

ساختار فایل robots.txt

همانطور که می بینید فایل هایی را اجازه داده شده و فایل هایی را از این کار منع کرده است که کاملا واضح است. پس شما باید این فایل را با فرمت بالا بسازید و آن را در ریشه سایت خود آپلود کنید.

نحوه بهینه سازی فایل robots.txt

برای بهینه سازی این فایل باید به نکات مهمی توجه کنید:

  • فایل readme را به هیچ وجه در ان قرار ندهید زیرا در صورت قرار دادن آن و به دلیل اینکه نسخه و اطلاعات قالب وردپرس شما در آن قرار گرفته است می تواند مشکلاتی برای امنیت وب سایت شما ایجاد کند زیرا در صورت قرار دادن این فایل موتورهای جستجو آن را ایندکس کرده و دسترسی دیگران به آن زیاد می شود و می تواند برای شما مشکل ساز باشد.
  • از این فایل برای پنهان سازی نواقص و مشکلات سایت خود استفاده نکنید زیرا این کار بسیار اشتباهی بوده شما در اصل با این کار سعی می کنید تا موتورهای جستجو را فریب دهید در صورتی که به هیچ وجه نمی توانید این کار را انجام دهید و همچنین باعث افت رتبه وب سایت خود می شوید.
  • شاخه هایی همانند مدیریت و یا صفحه ثبت نام و … را نیازی به قرار دادن در این فایل نیست زیرا این شاخه ها کلا ایندکس شدنی نیستند و قرار دادن آن ها هم بیهوده بوده و فقط وقت شما را تلف می کند.

حال نیمی از فایل robots.txt ساخته شد و در ادامه به بررسی نحوه قرار دادن نقشه سایت در این فایل می پردازیم.

نحوه قرار دادن نقشه سایت در فایل robots.txt

برای این کار ابتدا باید توجه کنید که اگر نقشه وب سایت خود را با افزونه WordPress SEO by Yoast (افزونه سئو وردپرس) ساخته اید که دیگری نیازی به اعمال تغییرات نیست و خود افزونه نقشه سایت را به این فایل اضافه می کند و اما اگر از طریقی دیگر آن را ساخته اید باید آدرس فایل XML را که به شما داده است همانند کد زیر در این فایل قرار دهید.

سایت مپ در robots.txt

حال تمامی عملیات شما به پایان رسیده است و شما توانستید فایل robots.txt را ساخته و بهینه سازی نمائید که در پایان باید محتوایات شما همانند زیر باشد:

robots.txt

همانطور که می بینید دو فایل قابل دسترسی قرار گرفته و دو فایل نیز غیرقابل دسترسی هستند و در انتها نیز آدرس های نقشه سایت قرار گرفته است.

منبع: فریش تم

درباره فاطمه ایمانی راد

این مطالب را نیز ببینید!

سئو محلی (Local SEO) چیست؟

سئو محلی (Local SEO) چیست؟

سئو محلی (Local SEO) چیست؟ با هوشمندتر شدن موتورهای جستجوگر نتایج جستجو آن ها نسبت …

یک دیدگاه

  1. سلام دوست عزیز
    از مطالب مفیدتون نهایت تشکر را دارم.

پاسخ دهید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *