آموزش سئو

راهنمای بهینه سازی فایل robots.txt

بهینه سازی فایل robots.txt
احمد اردیبهشت
نوشته شده توسط احمد اردیبهشت

فایل ربات یا همان robots.txt یکی از مهم‌ترین و اصلی‌ترین بخش‌های ارتباط خزنده‌های موتورهای جستجو با وب سایت‌ها می‌باشد. در واقع این فایل برای ربات‌های موتورهای جستجو مشخص می‌کند که اجازه دارند به کدام بخش‌های یک وب سایت دسترسی داشته باشند.

شاید در گذشته وجود یا عدم وجود فایل robots.txt اهمیت زیادی برای وب سایت‌ها نداشت اما در حال حاضر گوگل به عدم وجود فایل robots.txt در وب سایت، واکنش منفی نشان می‌دهد و وجود یک فایل ربات بهینه، یکی از مهمترین ملزومات سئو محسوب می‌شود.

چگونه یک فایل robots.txt ایجاد کنیم؟

ربات‌های موتورهای جستجو وقتی وارد وب سایت شما می‌شوند در مرحله‌ی اول به دنبال این فایل هستند تا بدانند اجازه Crawl و دسترسی به چه بخش‌هایی را دارند. طبق قراردارد، این فایل باید در روت وب سایت یعنی فولدر اصلی هاست که تمامی فایل‌های وب سایتتان در آن قرار دارد قابل مشاهده باشد. یعنی اگر آدرس زیر را باز کردید قادر به مشاهده‌ی فایل robots.txt در وب سایتتان باشید:

http://www.domain.com/robots.txt

بنابراین وارد کنترل پنل هاست خود شده و ابتدا چک کنید فایلی به نام robots.txt وجود دارد یا خیر. اگر این فایل را مشاهده نکردید، فایلی به همین نام ایجاد کنید. می‌توانید از طریق کنترل پنل هاست و یا اتصال به FTP این کار را انجام دهید.

نحوه‌ی نوشتن فایل robots.txt

از آنجایی که فایل robots.txt یک فایل متنی ساده است، می‌توانید با برنامه notepad یا هر نرم افزار دیگری که قابلیت نوشتن متن دارد آن را ایجاد کنید. حتی می‌توانید از ادیتور پیشفرض کنترل پنل هاست خود برای نوشتن دستورات این فایل استفاده کنید.

معمولا در خط اول فایل robots.txt باید مشخص کنیم دستوراتی که می‌نویسیم برای ربات‌های کدام موتور جستجو است. این کار را با نوشتن نام ربات بعد از عبارت user-agent انجام می‌دهیم. به مثال زیر دقت کنید:

User-agent: Googlebot
Disallow: /img/

در مثال بالا، مخاطب ما گوگل بات یا همان ربات‌های گوگل می باشد. اگر به جای Googlebot ، عبارت Bingbot را قرار می‌دادیم فقط ربات‌های موتور جستجوی بینگ به دستوری که نوشته‌ایم عمل می‌کردند.

برای اینکه دستوراتمان را برای ربات‌های تمامی موتورهای جستجو بنویسیم، دستور بالا را به شکل زیر تغییر می‌دهیم:

User-agent: *
Disallow: /img/

خط دوم دستورات بالا اشاره به این دارد که ربات‌ها حق ورود به فولدر img و تمامی فایل‌ها و فولدرهای داخل آن را ندارند. پس برای جلوگیری از دسترسی ربات‌ها به یک فایل یا فولدر از دستور Disallow استفاده می‌کنیم.

نکته: در وارد کردن نام فایل‌ها و فولدرها دقت کنید. ربات‌ها حساس به حروف کوچک و بزرگ هستند. بنابراین فولدرهای Img و img با یکدیگر کاملا متفاوت هستند.

اگر بخواهیم دسترسی ربات‌ها به مجموعه‌ای از فولدرها که در ابتدا یا انتهای آن‌ها کاراکترهای مشترکی وجود دارد را مسدود کنیم، از کاراکتر * به جای حروف غیر مشترک استفاده می‌کنیم. به مثال زیر توجه کنید:

User-agent: *
Disallow: /*img/

با این دستور، دسترسی به تمامی فولدرهایی که در انتهای نام آن‌ها img وجود داشته باشد مانند freeimg , myimg , bestimg , … مسدود خواهد شد.

در مثال بالا با استفاده از کاراکتر $ می‌توانیم پایان الگو را مشخص کنیم. فرض کنید می‌خواهیم دسترسی به فولدری به نام new در تمامی فولدرهایی که نام آن‌ها با img تمام می‌شود را مسدود کنیم. برای این کار، مثال بالا به شکل زیر تغییر می‌کند:

User-agent: *
Disallow: /*img$/new/

همچنین برای مسدود کردن مستقیم آدرس‌های مشخص، نام دامنه را حذف کرده و ادامه‌ی آدرس را همراه با علامت اسلش (/) در ابتدای آن می‌نویسیم. به مثال زیر توجه کنید:

User-agent: *
Disallow: /post12.html
Disallow: /page1.php
Disallow: /category/old/test/

افزودن نقشه سایت به فایل robots.txt

یکی از استفاده‌های مفیدی که می‌توانیم از فایل robots.txt داشته باشیم، افزودن آدرس نقشه سایت به انتهای این فایل است. با این کار ربات‌های موتورهای جستجو به سادگی به Sitemap دسترسی پیدا کرده و لیستی از تمامی لینک‌های مفید وب سایت شما را در اختیار خواهند داشت. مثال:

User-agent: *
Disallow: /wp-admin/

Sitemap: http://www.domain.com/sitemap.xml

مراقب حساسیت‌های گوگل باشید

هنگام مسدود کردن دسترسی ربات‌ها از طریق فایل robots.txt بسیار مراقب باشید تا ناخواسته دسترسی به فایل‌های جاوااسکریپت با پسوند js. و سی اس اس با پسوند css. را مسدود نکنید.

گوگل بسیار زیاد بر روی این مساله تاکید دارد که باید تمامی سورس‌های استفاده شده در قالب سایت به خصوص فایل‌های جاوااسکریپت برای ربات‌های گوگل قابل خواندن باشند. به این مساله دقت کنید زیرا وب سایت‌های بسیاری به همین دلیل توسط گوگل جریمه یا پنالتی شده‌اند.

راهنمای بهینه سازی فایل robots.txt
امتیاز 4.3 از مجموع 15 رای

7 دیدگاه

  • سلام
    چند روزیه که فایل robots.txt جدید رو بارگذاری کردم ولی نمیدونم چجوره هنوز قبلی رو نشون میده که حاوی User-agent: *
    Disallow: /
    هستش با اینکه در سرچ کنسول هم ثبت کردم ولی هنوز قبلی رو اونجا هم نشون میده
    مشکل از کجا میتونه باشه الان ۷۲ ساعت هم گذشته ولی نمیدونم چرا ایندکس نمیکنه صفحات سایت رو

    • سلام و عرض ادب

      مطمئن هستید فایل جدید رو جایگزین فایل قبلی کردین؟
      وقتی آدرس فایل robots.txt رو در سایتتون می‌زنید فایل جدید نمایش داده می‌شود یا فایل قدیمی؟
      یکبار کَش سایت رو پاک کنید و مجدد چک کنید.
      اگر مشکل برطرف نشد آدرس سایتتون رو بفرمایید بررسی کنم.

      موفق باشید.

      • سلام ممنون که پاسخ گفتید
        بله الان متاسفانه در بعضی مواقع فایل قدیمی رو نمایش میده
        https://liftyar.com/robots.txt
        کش سایت رو چجوری پاک کنم ؟ من از افزونه راکت استفاده میکنم و دائما کش رو پاک میکنم
        داخل سرچ کنسول تو اون قیمت ادیتور ربات هم همون قبلی رو میاره

        • سلام مجدد. خواهش می‌کنم.
          بنده هم فایل قدیمی رو می‌بینم و به نظرم اصلا فایل جدید جایگزین نشده است.
          لطفا یکبار مجدد بررسی کنید و از کنترل پنل هاستتان یا از طریق FTP فایل robots.txt را ویرایش کنید ببینید محتوای فایل جدید نمایش داده می‌شود یا فایل قدیمی.

          • خیر چندین بار ادیت کردم محتوای داخل فایل robots.txt رو و گاهی اوقات روی ریفرش های زیاد فایل جدید رو نمایش میده ؛ نمیدونم شاید ممکنه از این باشه که سایت داره با دو حالت www و بدون www کار میکنه که این مشکل رو من حلش کردم از طریق .htaccess
            یگه کلافه شدم از بس همه راهکارهارو امتحان کردم

  • فقط یه نکته اینکه سایت من در حال حاظر روی کلود فلر با ssl میاد بالا ولی وقتی داخل هاست روی فایل مورد نظر کلیک راست میکنم و copy url رو میزنم در مشخصات آدرس این فایل رو با http نشون میده
    http://liftyar.com/robots.txt
    ممکنه این مورد باشه ؟؟

    • روی ایمیلی که ارسال کردین علت این مشکل را عرض کردم:

      علت این است که سایت شما از هاست قبلی خوانده میشه و شما در حال ویرایش فایل robots.txt روی هاست جدید هستید.
      اگر DNS هاست جدید را بر روی دامنه ست کنید مشکل برطرف خواهد شد.

      موفق باشید.

دیدگاهتان را بنویسید

هفده − یک =

ایمیلتان را وارد کنید و این هدایای ارزشمند را دانلود کنید.

یک جزوه الکترونیکی همراه با فیلم دوره آموزشی سئو

برایم ایمیل شود

نگران نباشید ما هم مثل شما از ایمیل‌های مزاحم متنفریم.

close-link

ایمیلتان را وارد کنید و این هدایای ارزشمند را دانلود کنید.

یک جزوه الکترونیکی همراه با فیلم دوره آموزشی سئو

برایم ایمیل شود

نگران نباشید ما هم مثل شما از ایمیل‌های مزاحم متنفریم.

close-link