فایل روبات یا همان robots.txt یکی از مهم‌ترین و اصلی‌ترین بخش‌های ارتباط موتورهای جستجو با وب سایت‌ها می‌باشد. در واقع این فایل برای ربات‌های موتورهای جستجو مشخص می‌کند که اجازه دسترسی به کدام قسمت‌های وب سایت را دارند و اجازه‌ی ورود به کدام قسمت‌ها را ندارند. شاید در گذشته وجود یا عدم وجود این فایل اهمیت زیادی برای وب سایت‌ها نداشت اما در حال حاضر گوگل به عدم وجود […]