با توجه به رقابت پیچیده‌ای که امروز در دنیای بازاریابی اینترنتی شاهد آن هستیم، پیشی گرفتن از سایر رقبا نقش بسیار مهمی را در پیشرفت و توسعه کسب‌وکار اینترنتی ایفا می‌کند. اگر شما هم صاحب یک وب‌سایت اینترنتی هستید و خودتان به مدیریت و توسعۀ وب‌سایتتان می‌پردازید، به‌طور حتم با مباحث مختلفی در زمینۀ سئو و بهینه‌سازی سایت آشنایی دارید.
احتمالاً شما هم در مقاطع زمانی مختلف به‌خصوص در شروع کار وب‌سایتتان با مشکل ایندکس نشدن و یا تأخیر در ایندکس صفحات سایت خود روبرو شده‌اید. باید بگویم بسیاری از وبمسترها کم‌وبیش این مشکل را تجربه کرده‌اند و به دنبال راهکاری برای افزایش سرعت ایندکس صفحات سایت خود هستند.
موارد مختلفی می‌توانند باعث ایندکس نشدن و یا تأخیر در سرعت ایندکس صفحات سایت شما شوند. در ادامه به بیان نکاتی می‌پردازیم که می‌توانند تأثیر بسیاری بر سرعت ایندکس صفحات سایت شما داشته باشند. با رعایت این نکات می‌توانید تا حد زیادی سرعت ایندکس صفحات را بهبود بخشیده و وب‌سایت خود را بهینه کنید.
چک کردن مقادیر متا تگ robots در سورس صفحات
مقادیری که در متا تگ robots قرار می‌گیرند حاوی دستورات و پیام‌هایی برای خزنده‌های موتورهای جستجو هستند و به همین دلیل دارای اهمیت بسیار زیادی می‌باشند. برای چک کردن این مورد می‌توانید وارد صفحه اصلی و صفحات مختلف سایت خود شده و با زدن کلیدهای ترکیبی Ctrl+U و یا راست کلیک بر روی صفحه و انتخاب گزینه View page source، سورس کد صفحۀ وب‌سایتتان را مشاهده کنید.
از قسمت بالای صفحه و در داخل تگ <head> به دنبال متا تگ robots بگردید. می‌توانید این کار را با فشردن کلیدهای ترکیبی Ctrl+F و جستجوی کلمه robots انجام دهید. درصورتی‌که در مقابل متا تگ robots کلمۀ noindex را مشاهده کردید، یعنی به خزنده‌های موتورهای جستجو دستور داده‌اید این صفحه را ایندکس نکنند و علت ایندکس نشدن وب‌سایت شما وجود این مقدار در متا تگ robots است؛ اما اگر این مقدار را مشاهده نکردید و یا اینکه اصلاً متا تگ robots در صفحه شما وجود نداشت، بدین معنی است که در سورس سایت شما مشکلی از جهت ایندکس شدن وجود ندارد.
چک کردن فایل robots.txt در روت هاست
در فولدر اصلی‌هاست شما فایلی به نام robots.txt وجود دارد. این فایل حاوی دستوراتی برای تعیین دسترسی خزنده‌های گوگل به بخش‌های مختلف وب‌سایت شما است. مراقب باشید ناخواسته دسترسی خزنده‌های موتورهای جستجو به محتوای سایت را توسط این فایل مسدود نکرده باشید.
اگر در این زمینه آگاهی لازم را ندارید با یک متخصص سئو مشورت کنید و یا در قسمت نظرات همین پست، مشکل خود را مطرح کنید. همین‌طور توصیه می‌کنم نوشته‌ای که در خصوص راهنمای بهینه‌سازی فایل robots.txt منتشر کرده‌ام را نیز مطالعه کنید.
ثبت وب‌سایت در سرچ کنسول گوگل
اگر تاکنون وب‌سایت خود را در Search Console ثبت نکرده‌اید همین حالا این کار را انجام دهید. تنها لازمۀ آن داشتن یک اکانت جیمیل است. وارد سرچ کنسول شده و پس از Sign in، از قسمت Add a Site لینک سایت خود را ثبت و وریفای کنید. سرچ کنسول ابزاری است که گوگل در اختیار شما قرار داده تا بتوانید به مدیریت بهتر وضعیت وب‌سایت خود در موتور جستجوی گوگل بپردازید.
ایجاد نقشه سایت
یکی از مواردی که تأثیر زیادی بر سرعت ایندکس صفحات سایت دارد، نقشه سایت (Sitemap) است. سایت مپ می‌تواند گوگل را از وجود تمامی صفحات سایت شما آگاه کند. درصورتی‌که از سیستم‌های مدیریت محتوا برای مدیریت وب‌سایت خود استفاده می‌کنید، حتماً پلاگینی برای ایجاد سایت مپ وجود دارد که می‌توانید از آن استفاده کنید. به‌عنوان‌مثال در سیستم مدیریت محتوای وردپرس می‌توانید از پلاگین Google XML Sitemaps و یا Yoast SEO برای ایجاد نقشه سایت استفاده کنید.
پس از ایجاد سایت مپ، می‌توانید از طریق سرچ کنسول آن را به گوگل معرفی کنید و منتظر باشید تا گوگل ربات‌های خود را به سراغ لینک‌های موجود در سایت مپ فرستاده و صفحات وب‌سایتتان را ایندکس کند.
تولید محتوای استاندارد و باکیفیت
این یک واقعیت انکارناپذیر است. اگر می‌خواهید گوگل با شما دوست باشد باید دل کاربرانتان را به دست آورید. محتوای ارزشمند و باکیفیت تولید کنید و مطالب و مقالات کپی شده و بی‌کیفیت را بر روی وب‌سایتتان منتشر نکنید. الگوریتم پاندای گوگل بسیار هوشمند عمل می‌کند و به‌خوبی می‌تواند بین محتوای اختصاصی و یک نوشتۀ کپی شده تفاوت قائل شود.
اگر مطالب خوب و باکیفیت و خصوصاً دست‌اول و اختصاصی بر روی وب‌سایت خود منتشر کنید به‌زودی شاهد افزایش سرعت ایندکس صفحات سایت و همین‌طور افزایش ورودی از موتورهای جستجو خواهید بود.
به‌روزرسانی منظم وب‌سایت
هرچه تعداد مطالب ارسالی بر روی وب‌سایت بیشتر باشد، به همان نسبت خزنده‌های موتورهای جستجو بیشتر وارد سایت شما شده و به مشاهده صفحات سایت می‌پردازند. درنتیجه پس از مدت کوتاهی شاهد خواهید بود که نوشته‌هایتان بلافاصله پس از انتشار در گوگل ایندکس می‌شوند و این فرایند در کمتر از چند ثانیه اتفاق می‌افتد.
البته در به‌روزرسانی‌های منظم وب‌سایتتان فراموش نکنید که هیچ‌گاه کیفیت را فدای کمیت نکنید. گوگل بسیار هوشمند است!
کاهش سرعت لود وب‌سایت
وقتی ربات‌ها وارد وب‌سایت شما می‌شوند، باید در کوتاه‌ترین زمان ممکن به محتویات وب‌سایت دسترسی داشته باشند و درصورتی‌که لود شدن وب‌سایتتان کمی طول بکشد، ربات‌ها آن صفحه را ترک کرده و به سراغ صفحات بعدی می‌روند و درنتیجه صفحه موردنظر ایندکس نشده باقی می‌ماند.
راه‌حل این مشکل، بهینه‌سازی ساختار داخلی وب‌سایتتان است. شما می‌توانید با کاهش حجم تصاویر، بهینه‌سازی و کاهش حجم کدهای HTML و CSS، استفاده از سیستم Caching، استفاده از CDN و… سرعت وب‌سایتتان را تا چندین برابر افزایش دهید.
برای چک کردن وضعیت فعلی سرعت وب‌سایت خود می‌توانید از وب‌سایت معروف و پرطرفدار GTmetrix استفاده کنید.
استفاده از شبکه لینک داخلی
لینک‌های داخلی مانند سیم‌هایی هستند که جریان برق را به تمامی بخش‌های یک خانه پخش می‌کنند. تصور کنید اگر سیم‌کشی داخلی یک ساختمان دچار اشکال باشد و یا به‌طور ناقص انجام شده باشد، چه اتفاقی می‌افتد؟ طبیعتاً جریان برق نمی‌تواند به تمام قسمت‌های ساختمان برسد.
در اینجا نیز یک ربات خزنده پس از ورود به وب‌سایتتان، از طریق لینک‌هایی که در هر صفحه وجود دارد وارد صفحات دیگر شده و این روند به همین ترتیب ادامه دارد. اگر این ساختار لینک داخلی به‌درستی رعایت نشده باشد، ربات خزنده پس از طی کردن چند صفحه به بن‌بست خواهد رسید و لینک دیگری وجود ندارد که بتواند وارد آن شده و به صفحات دیگر دست پیدا کند.
انتشار پست‌ها در شبکه‌های اجتماعی
اگر پس از انتشار نوشته بر روی وب‌سایتتان آن را بر روی شبکه‌های اجتماعی منتشر کنید، گوگل متوجه سیگنال‌های دریافتی از شبکه‌های اجتماعی در خصوص وب‌سایت شما شده و در عرض چند ثانیه، پینگ‌هایی از شبکه‌های اجتماعی در مورد انتشار پست شما دریافت خواهد کرد که می‌تواند بر روی سرعت ایندکس آن نوشته تأثیر زیادی داشته باشد.
علاوه بر آن، تعداد لایک و به اشتراک گذاری نوشتۀ شما در شبکه‌های اجتماعی، نشان از محبوبیت آن نوشته دارد و گوگل این مورد را در نتایج جستجو لحاظ می‌کند.
افزایش میزان مراجعۀ ربات‌های خزنده
قسمتی در پنل سرچ کنسول وجود دارد که با استفاده از آن می‌توانید به گوگل اعلام کنید که با حداکثر توان ممکن، وب‌سایت شما را Crawl کند. برای این کار وارد Site Setting شده و از بخش Crawl rate گزینه Limit Google’s maximum crawl rate را انتخاب کرده و مقدار آن را High قرار دهید.
البته دقت کنید که استفاده از این مورد از سوی خود گوگل توصیه نشده است و من نیز توصیه می‌کنم از این مورد صرف‌نظر کنید.
وب‌سایت‌های مختلف را پینگ کنید!
پینگ کردن به معنی آگاهی دادن به موتورهای جستجو از انتشار مطلبی جدید بر روی وب‌سایت است. اگر از سیستم‌های مدیریت محتوا استفاده می‌کنید احتمالاً پلاگین‌های مختلفی برای این کار وجود دارد.
اگر از وردپرس استفاده می‌کنید می‌توانید از منوی «تنظیمات» وارد زیر منوی «نوشتن» شوید. بخش پایین صفحه یعنی «آگاهی‌دهنده‌های به‌روز شدن سایت» محل قرار گرفتن لیستی از سرویس‌های مختلف دریافت پینگ است.
توجه کنید!
موارد گفته‌شده می‌توانند مشکل تأخیر در ایندکس شدن و یا ایندکس نشدن صفحات سایت شما را به‌طور کامل برطرف کنند. دقت کنید اگر در مورد بخش‌ها و موارد گفته‌شده اطلاعاتی ندارید، قبل از انجام هر کاری حتماً با یک مشاور سئو مشورت کنید.
سلام. ممنون از زحماتتون. مرسی که قسمت crawl rate رو معرفی کردید من نمیشناختمش چون از سرچ کنسول جدید حذف شده با جستجو پیداش کردم و استفاده کردم. اگر کسی خواست استفاده کنه توی گوگل crawl rate یا site setting رو سرچ کنه پیداش میکنه.
ممنون