آموزش سئو

راهنمای بهینه سازی فایل robots.txt

بهینه سازی فایل robots.txt
نوشته شده توسط احمد اردیبهشت

فایل ربات یا همان robots.txt یکی از مهم‌ترین و اصلی‌ترین بخش‌های ارتباط خزنده‌های موتورهای جستجو با وب سایت‌ها می‌باشد. در واقع این فایل برای ربات‌های موتورهای جستجو مشخص می‌کند که اجازه دارند به کدام بخش‌های یک وب سایت دسترسی داشته باشند.

شاید در گذشته وجود یا عدم وجود فایل robots.txt اهمیت زیادی برای وب سایت‌ها نداشت اما در حال حاضر گوگل به عدم وجود فایل robots.txt در وب سایت، واکنش منفی نشان می‌دهد و وجود یک فایل ربات بهینه، یکی از مهمترین ملزومات سئو محسوب می‌شود.

چگونه یک فایل robots.txt ایجاد کنیم؟

ربات‌های موتورهای جستجو وقتی وارد وب سایت شما می‌شوند در مرحله‌ی اول به دنبال این فایل هستند تا بدانند اجازه Crawl و دسترسی به چه بخش‌هایی را دارند. طبق قراردارد، این فایل باید در روت وب سایت یعنی فولدر اصلی هاست که تمامی فایل‌های وب سایتتان در آن قرار دارد قابل مشاهده باشد. یعنی اگر آدرس زیر را باز کردید قادر به مشاهده‌ی فایل robots.txt در وب سایتتان باشید:

http://www.domain.com/robots.txt

بنابراین وارد کنترل پنل هاست خود شده و ابتدا چک کنید فایلی به نام robots.txt وجود دارد یا خیر. اگر این فایل را مشاهده نکردید، فایلی به همین نام ایجاد کنید. می‌توانید از طریق کنترل پنل هاست و یا اتصال به FTP این کار را انجام دهید.

نحوه‌ی نوشتن فایل robots.txt

از آنجایی که فایل robots.txt یک فایل متنی ساده است، می‌توانید با برنامه notepad یا هر نرم افزار دیگری که قابلیت نوشتن متن دارد آن را ایجاد کنید. حتی می‌توانید از ادیتور پیشفرض کنترل پنل هاست خود برای نوشتن دستورات این فایل استفاده کنید.

معمولا در خط اول فایل robots.txt باید مشخص کنیم دستوراتی که می‌نویسیم برای ربات‌های کدام موتور جستجو است. این کار را با نوشتن نام ربات بعد از عبارت user-agent انجام می‌دهیم. به مثال زیر دقت کنید:

User-agent: Googlebot
Disallow: /img/

در مثال بالا، مخاطب ما گوگل بات یا همان ربات‌های گوگل می باشد. اگر به جای Googlebot ، عبارت Bingbot را قرار می‌دادیم فقط ربات‌های موتور جستجوی بینگ به دستوری که نوشته‌ایم عمل می‌کردند.

برای اینکه دستوراتمان را برای ربات‌های تمامی موتورهای جستجو بنویسیم، دستور بالا را به شکل زیر تغییر می‌دهیم:

User-agent: *
Disallow: /img/

خط دوم دستورات بالا اشاره به این دارد که ربات‌ها حق ورود به فولدر img و تمامی فایل‌ها و فولدرهای داخل آن را ندارند. پس برای جلوگیری از دسترسی ربات‌ها به یک فایل یا فولدر از دستور Disallow استفاده می‌کنیم.

نکته: در وارد کردن نام فایل‌ها و فولدرها دقت کنید. ربات‌ها حساس به حروف کوچک و بزرگ هستند. بنابراین فولدرهای Img و img با یکدیگر کاملا متفاوت هستند.

اگر بخواهیم دسترسی ربات‌ها به مجموعه‌ای از فولدرها که در ابتدا یا انتهای آن‌ها کاراکترهای مشترکی وجود دارد را مسدود کنیم، از کاراکتر * به جای حروف غیر مشترک استفاده می‌کنیم. به مثال زیر توجه کنید:

User-agent: *
Disallow: /*img/

با این دستور، دسترسی به تمامی فولدرهایی که در انتهای نام آن‌ها img وجود داشته باشد مانند freeimg , myimg , bestimg , … مسدود خواهد شد.

در مثال بالا با استفاده از کاراکتر $ می‌توانیم پایان الگو را مشخص کنیم. فرض کنید می‌خواهیم دسترسی به فولدری به نام new در تمامی فولدرهایی که نام آن‌ها با img تمام می‌شود را مسدود کنیم. برای این کار، مثال بالا به شکل زیر تغییر می‌کند:

User-agent: *
Disallow: /*img$/new/

همچنین برای مسدود کردن مستقیم آدرس‌های مشخص، نام دامنه را حذف کرده و ادامه‌ی آدرس را همراه با علامت اسلش (/) در ابتدای آن می‌نویسیم. به مثال زیر توجه کنید:

User-agent: *
Disallow: /post12.html
Disallow: /page1.php
Disallow: /category/old/test/

افزودن نقشه سایت به فایل robots.txt

یکی از استفاده‌های مفیدی که می‌توانیم از فایل robots.txt داشته باشیم، افزودن آدرس نقشه سایت به انتهای این فایل است. با این کار ربات‌های موتورهای جستجو به سادگی به Sitemap دسترسی پیدا کرده و لیستی از تمامی لینک‌های مفید وب سایت شما را در اختیار خواهند داشت. مثال:

User-agent: *
Disallow: /wp-admin/
Sitemap: http://www.domain.com/sitemap.xml

مراقب حساسیت‌های گوگل باشید

هنگام مسدود کردن دسترسی ربات‌ها از طریق فایل robots.txt بسیار مراقب باشید تا ناخواسته دسترسی به فایل‌های جاوااسکریپت با پسوند js. و سی اس اس با پسوند css. را مسدود نکنید.

گوگل بسیار زیاد بر روی این مساله تاکید دارد که باید تمامی سورس‌های استفاده شده در قالب سایت به خصوص فایل‌های جاوااسکریپت برای ربات‌های گوگل قابل خواندن باشند. به این مساله دقت کنید زیرا وب سایت‌های بسیاری به همین دلیل توسط گوگل جریمه یا پنالتی شده‌اند.

راهنمای بهینه سازی فایل robots.txt
امتیاز 3.7 از مجموع 3 رای

دیدگاهتان را بنویسید

4 × 2 =