سرچهمان‌طور که می‌دانید یکی از مهم‌ترین و تاثیر‌گذار‌ترین موتور‌های جستجو، موتور جستجوی گوگل می‌باشد. از این رو برای بهینه سازی سئوی وب سایت‌ها بیش از همه بر روی گوگل تمرکز و سرمایه‌گذاری می‌شود. تقریباً دغدغه اصلی هر متخصص سئو این است که وب سایت، رتبه قابل قبولی در لیست نتایج جستجوی گوگل به دست بیاورد.
گوگل بسیاری از استراتژی‌ها و الگوریتم هایی را که برای رتبه بندی وب سایت‌ها استفاده می‌کند، به صورت رسمی اعلام کرده تا بدین شکل برای مدیران وب سایت‌ها مشخص شود که چه فاکتور‌هایی بر گوگل در اولویت قرار دارد. غیر از این، گوگل یک ابزار کار آمد هم دارد که استفاده از آن برای همگان آزاد است. نام این ابزار گوگل وبسمتر تولز می‌باشد البته در سال ۲۰۱۵ این نام به کنسول جستجوی گوگل (Google Search Console) تغییر پیدا کرد. با استفاده از این ابزار می‌توانید بررسی کنید و متوجه شوید که وب سایت شما از نظر گوگل، چه مشکلاتی دارد. با بررسی و رفع این مشکلات می‌توانید رتبه سایت را در نتایج جستجوی گوگل، بالاتر ببرید.
یکی از عنوان‌هایی که در گوگل وبمستر وجود دارد مربوط به خطا‌هایی است که Crawlerهای گوگل، در رابطه با صفحات وب سایت شما، با آن مواجه شده اند. نام این قسمت Crawl Errors است.
در این مطلب می‌خواهیم تمام خطاهای مربوط به Crawl Errors را بررسی کنیم و ببینیم اگر این خطاها برای وب سایت شما پیش آمد، چگونه باید آن‌ها را رفع کنید.
رفع خطاهای Crawl Errors
ابتدا لازم است که وارد صفحه اصلی گوگل وبمستر بشوید و به قسمت crawl و سپس Crawl Errors بروید. مانند تصویر زیر خواهید دید که خطاهای مربوط به وب سایت شما در دو بخش نشان داده شده‌اند: خطاهای سایت (Site Errors) و خطاهای آدرس (URL Errors).
خطاهای سایت (Site Errors) در Google Webmaster Tools
در قسمت خطاهای سایت یا Site Errors می‌توانید خطا های مربوط به سایت را در طول ۳ ماه گذشته ببینید و بررسی کنید. اگر سایت شما جدید و تازه راه‌اندازی شده است ممکن است خطاهای زیادی در این قسمت ببینید که تا حدی طبیعی می‌باشد. بهر حال هر چه سریع‌تر باید خطا‌هایی که در این قسمت وجود دارند را رفع کنید تا سایت عمل‌کرد طبیعی و مثبتی داشته باشد. توصیه ما به شما این است که به عنوان مدیر وب سایت، به صورت مستمر این قسمت را چک کرده و ایراد‌ها را رفع نمایید. هر چند اگر هم این کار را انجام ندهید گوگل به شما پیام‌ها و در ادامه هشدار‌هایی خواهد داد.
اگر خطاها را رفع کنید یا اصلاً هیچ خطایی در وب سایت شما وجود نداشته باشد تیک های سبز را مانند تصویر، در گوگل وبمستر مشاهده خواهید کرد که نشانه این است که وب سایت هیچ مشکلی ندارد و درست عمل می‌کند. خب، در تصویر دیدید که زیر عنوان Site Errors سه قسمت وجود دارد: DNS، Server connectiviy، Robots.txt fetch.
حال می‌خواهیم به همین ترتیب، خطا‌هایی که ممکن است در هر کدام از این بخش‌ها بوجود بیاید را بررسی کنیم و راه حل رفع این خطا ها را هم بررسی کنیم:
DNS Errors
این قسمت مربوط به تنظیمات سرور سایت شما است. چنانچه وب سایت خود را تازه راه اندازی کرده باشید به دلیل تغییر DNS در این قسمت خطا‌هایی را مشاهده خواهید کرد که بعد از مدتی به صورت خودکار رفع خواهند شد. ولی اگر وب سایت را مدت هاست ایجاد کرده‌اید باید خطاهای این بخش را جدی بگیرید زیرا همان‌طور که گفتیم وجود خطا در بخش DNS نشان می‌دهد که ضعف یا خطایی در تنظیمات سرور شما وجود دارد. ممکن است ضعف در تنظیمات سرور باعث شود که ترافیک سایت شما پایین بیاید و دسته‌ای از کاربران نتوانند وارد سایت شوند برای همین است که باید این موضوع را جدی بگیرید.
برای اینکه اهمیت این قسمت را بهتر متوجه شده باشید تعریفی خلاصه از DNS خواهیم داشت. هر وب سایت دارای یک IP منحصر به فرد است ولی از آنجاییکه به خاطر سپردن آی پی‌ها مشکل می‌باشد، با استفاده از نام دامنه‌ها این مشکل رفع می‌شود. پس به این ترتیب هر وب سایت دارای یک IP و یک نام دامنه متناظر می‌باشد که با وارد کردن هر کدام از آن‌ها در نوار آدرس می‌توانید به آن وب سایت دسترسی پیدا کنید. تبدیل کردن نام دامنه به IP متناظر یا بالعکس وظیفه سیستم DNS یا Domain Name System است. حال تمام اطلاعات مربوط به IP و نام دامنه در DNS Server ها ذخیره شده است. پس لازم و ضروری است که تنظیمات مربوط به این قسمت برای وب سایت شما به دقت انجام شده باشد.
چرا DNS Error رخ می‌دهد و چگونه باید آن را رفع کرد؟
وقتی که وب سایت شما قادر نباشد با سرور‌های DNS ارتباط برقرار کند، خطا‌هایی در این بخش مشاهده خواهید کرد. دو دلیل می‌تواند باعث عدم ارتباط وب سایت شما با سرور DNS شود: اول اینکه گوگل نتواند به سایت شما متصل شود و DNS Server پاسخگو نیست و دوم اینکه گوگل نتواند به سایت شما متصل شود زیرا وب سایت شما به DNS Server متصل نمی‌شود.
حالا برای رفع خطای DNS باید مراحل زیر را انجام دهید:
۱. وارد گوگل وبمستر تولز شوید و از منوی Crawl گزینه fetch as google را انتخاب کنید. سپس در کادر جستجو، مسیر صفحه مورد نظر خود را وارد کنید و دکمه fetch and render را کلیک کنید. چند لحظه صبر کنید تا گوگل نتیجه بررسی را نمایش بدهد. اگر خطایی در صفحه مورد نظر وجود داشته باشد یک تیک قرمز در مقابل صفحه نشان داده خواهد شد.
۲. تنظیمات سرور وب سایت خود را چک کنید اگر مشکلی در آن نمی‌بینید با شرکتی که هاست را از آن خریده‌اید تماس بگیرید و مشکل را بر طرف کنید.
Server Errors
اگر Crawler ها نتوانند با سرور‌های وب سایت شما ارتباط برقرار کنند، در این قسمت خطا‌هایی را مشاهده خواهید کرد. توجه داشته باشید که اگر Crawler ها با وب سایت شما ارتباط برقرار نکنند، صفحات سایت شما هیچ‌وقت ایندکس نخواهد شد. پس باید در اسرع وقت این مشکل را برطرف کنید.
چرا Server Error رخ می‌دهد و چگونه باید آن را رفع کرد؟
برای اینکه گوگل بتواند سایت شما را ایندکس کند یا اصلاً بتواند آن را Crawl کند، Crawlerها باید تمام صفحات آن را بررسی کرده و ذخیره کنند حالا اگر در ابتدا یا اواسط کار Crawl ارتباط سرور وب سایت شما با Crawlerها قطع شود، Crawler ها در این قسمت گزارشی مبنی بر خطای سرور ارسال می‌کنند. دلایل مختلفی می‌تواند باعث قطع شدن ارتباط سرور و ربات‌های گوگل باشد:
- Timeout: وقفه‌ای در اتصال بین سرور سایت شما و ربات‌های گوگل بوجود آمده و به درخواست گوگل پاسخی داده نشده است.
- Truncated headers: گوگل می‌تواند با سرور سایت شما ارتباط برقرار کند اما این ارتباط قبل از ارسال کد‌های headers متوقف می‌شود.
- Connection reset: سرور سایت شما با موفقیت درخواست ربات‌های گوگل را پردازش می‌کند. اما هیچ صفحه و لینکی را باز نمی‌کند زیرا ارتباط با سرور reset یا دوباره راه اندازی شده است.
- Truncated response: ارتباط با سرور سایت شما قبل از اینکه ربات‌های گوگل بتوانند اطلاعات را به صورت کامل دریافت کنند، متوقف شده است.
- Connection refused: ربات‌های گوگل نمی‌توانند به سرور سایت شما دسترسی پیدا کنند یا متصل شوند زیرا هاست شما ممکن است Googlebot را بلاک کرده باشد و یا مشکلی با تنظیمات Firewall داشته باشد.
- Connect failed: ربات‌های گوگل قادر به ارتباط با سرور سایت شما نمی‌باشند چون اتصال غیر قابل دسترسی است.
- Connect timeout: ربات‌های گوگل نمی‌توانند با سرور سایت شما ارتباط برقرار کنند.
- No response: ربات‌های گوگل می‌توانند به سرور سایت شما متصل شوند ولی قبل از ارسال کد‌های هدر.
برای رفع این خطا، مانند رفع خطای DNS بایستی به صفحه اصلی گوگل وبمستر تولز بروید و به منوی Crawl رفته و گزینه fetch as google را کلیک کنید. حالا در کادر جستجو، آدرس صفحه مد نظر را وارد کنید و گزینه fetch and render را بزنید. اگر در این قسمت، تیک‌های قرمز را مشاهده کردید، باید چند مورد را چک کرده و اگر مشکلی وجود دارد بر طرف کنید:
- باید هاست خود را چک کنید و همچنین پهنای باند را بررسی نمایید که به اتمام نرسیده باشد.
- باید کد و تنظیمات وب سایت را بررسی کنید که به صورت عمدی یا غیر عمدی صفحات را بر روی ربات های گوگل نبسته باشید.
- هر تغییری در رابطه با ایندکس کردن صفحه ها انجام داده‌اید آن را به حالت قبل باز گردانید.
- اگر این مشکلات را بر طرف کردید و خطا همچنان پا برجا بود با شرکتی که هاست را از آن خریده‌اید تماس بگیرید و مشکل را برطرف کنید.
Robots Failure Errors
یک فایل به نام robots.txt در میان دایرکتوری‌ها و فایل‌های مربوط به وب سایت شما وجود دارد که در آن اطلاعاتی درباره چگونگی Crawl کردن و ایندکس کردن صفحات وب سایت شما وجود دارد. گوگل وجود این فایل را ضروری می‌داند یعنی باید حتماً این فایل وجود داشته باشد حتی اگر داخل آن اطلاعاتی درج نکنید. اگر Crawler ها به فایل robots.txt مراجعه کنند ولی در بازیابی آن دچار مشکل شوند، در قسمت Robots Failure خطایی را گزارش خواهند کرد.
چگونه باید Robots Failure Errors را رفع کرد؟
- ابتدا مطمئن شوید که فایل robots.txt در میان فایل‌ها و دایرکتوری‌های وب سایت شما وجود داشته باشد. همچنین این فایل باید به درستی پیکربندی شده باشد.
- باید تنظیمات سرور و هاست را بررسی کنید تا مطمئن شوید که گوگل قادر است به فایل robots.txt دسترسی پیدا کند.
- علاوه بر این می‌توانید برای اطمینان از عمل‌کرد صحیح از ابزار robots.txt Tester که در کنسول جستجوی گوگلوجود دارد، استفاده کنید. برای این کار از صفحه گوگل وبمستر وارد منوی crawl شوید و بروی گزینه robots.txt Tester کلیک کنید. اگر در این بخش مشکلی وجود داشته باشد، می‌توانید مشاهده کنید.
خطاهای آدرس (URL Errors) در Google Webmaster Tools
خطاهای مربوط به URL می‌تواند مربوط به صفحات داخلی سایت باشد، یعنی تنها تعدادی از صفحات سایت شما برای ربات‌های گوگل قابل ایندکس گذازی نباشند. این اتفاقات معمولاً وقتی بیشتر رخ می‌دهند که به تازگی آدرس وب سایت خود را تغییر داده باشید. همچنین ممکن است خطا‌هایی که در این قسمت مشاهده می‌کنید، رفع شده باشند. اگر بعد از بررسی گوگل وبمستر دیدید که خطاهای URL زیاد شده‌اند، حتماً باید این ایراد ها را برطرف کنید اگر احساس می‌کنید دلیل خطاها مربوط به تغییرات نام آدرس سایت می‌باشد، می‌توانید آن‌ها را نادیده بگیرید ولی اگر بعد از مدتی این خطاها پاک نشوند، گوگل به شما پیام‌هایی می‌دهد و از شما می‌خواهد که آن‌ها را رفع کنید. در صورتی که خطاها رفع نشده باشند باید آن‌ها را بر اساس مواردی که نام می‌بریم بررسی کنید و مشکل را رفع نمایید.
Error 404
اگر لینکی که به صفحه‌ای از وب سایت شما وجود دارد، شکسته باشد ربات‌های جستجو، نمی‌توانند صفحه مورد نظر را پیدا کرده و به کاربر نشان بدهند. دلیل این خطا می‌تواند این باشد که صفحه‌ای را حذف کرده یا آدرس آن را تغییر داده باشید.
چرا 404 Error رخ می‌دهد و چگونه باید آن را رفع کرد؟
همان‌طور که گفتیم این خطا زمانی پیش می‌آید که ارجاعی به صفحه‌ای از وب سایت وجود داشته باشد و آن صفحه پیدا نشود. ممکن است این لینک شکسته به دلیل حذف صفحه یا تغییر آدرس آن باشد، همچنین ممکن است که لینکی ناشناخته به صورت غیر عمدی در برخی از کد‌های جاوا اسکریپت یا فایل فلش، توسط ربات های جستجو بدست آمده باشد.
به هر حال بایستی این خطاها را به روش‌هایی که در ادامه نام می‌بریم، رفع کنید:
- باید صفحه مد نظر، به حالت پابلیک، منتشر شده باشد.
- حتماً بررسی کنید که آدرس سایت تغییر نکرده باشد، همچنین باید توجه کنید که آیا آدرس سایت http است یا https آیا www دارد یا خیر.
- سایت مپ را همیشه بروز کنید و مطمئن شویدکه صفحه هایی که حذف شده‌اند به درستی ریدایرکت شده باشند.
- اگر نمی‌خواهید ریدایرکت انجام دهید می‌توانید صفحه را احیا کنید و دقیقاً در همان آدرس قرار دهید.
اگر خطا هایی که نمایش داده می‌شوند مربوط به گذشته است، گوگل، بعد از مدتی صفحاتی را که یافت نمی‌شوند، از لیست حذف می‌کند، اما اگر می‌خواهید این خطا ها نمایش داده نشوند. می‌توانید به شکل زیر عمل کنید:
- ابتدا وارد گوگل وبمستر تولز شوید و از منوی Crawl Errors گزینه URL Errors را کلیک کرده و به تب Not Found بروید.
- آدرس صفحه مورد نظر را وارد کرده و سپس در پنجره ای که نمایش داده می‌شود گزینه Linked Form را کلیک کنید.
- حالا باید تمام لینک هایی که به این صفحه داده شده است از وب سایت خود و دیگر وب سایت‌ها پاک کنید.
Soft 404 Error
گفتیم که بنا بر دلایلی ممکن است یک صفحه وجود نداشته ولی لینک هایی به آن ارجاع داده شود که در این صورت خطای ۴۰۴ رخ می‌دهد. حال اگر صفحه‌ای که قرار است نمایش داده شود دارای محتوای کمی باشد یا سرور به اشتباه صفحه دیگری را نمایش دهد، در این صورت موتور‌های جستجویی مانند گوگل به آن برچسب خطای ۴۰۴ را می‌زنند.
چگونه Soft 404 Error باید رفع کرد؟
- اگر دو یا چند صفحه مشابه دارید بهتر است که صفحه قدیمی را به صفحه جدید هدایت کنید.
- اگر صفحه یا صفحاتی را حذف کرده‌اید حتماً باید تنظیمات آن‌ها را تغییر داده و پیغام Not Found مناسب برای آن‌ها قرار دهید.
- حتماً توجه کنید که هر صفحه‌ای که در وب سایت ایجاد کرده‌اید دارای محتوای مناسب و کافی باشد.
Access denied Error
همان‌طور که می‌دانید وظیفه Crawlerها این است که از مسیر‌های مختلف وارد صفحات مختلف وب سایت شده و آن‌ها را Crawl کنند. حال اگر به صفحه‌ای برخورد کنند که به آن دسترسی نداشته باشند، خطای Access denied رخ می دهد. معمولاً این عدم دسترسی برای صفحاتی است که قرار است اطلاعات کاربران در آن وارد شود، برای مثال، صفحات لاگین که مربوط به حریم خصوصی اعضای وب سایت می‌باشد.
چگونه Access denied باید رفع کرد؟
- ممکن است در فایل robots.txt دسترسی ربات های جستجو را برای برخی از صفحات وب سایت، به درستی محدود نکرده باشید. در این فایل تنظیمات لازم برای عدم دسترسی ربات‌ها به صفحات لاگین را انجام دهید.
- با استفاده از ابزار fetch as google بررسی کنید که ربات های جستجو به چه شکلی صفحات وب سایت شما را Crawl می‌کنند.
- با استفاده از ابزار Screaming frog تمام درخواست‌هایی که به وب سایت شما می‌شوند بررسی کنید و ایراد‌ها و خطاها را رفع کنید.
Not Followed Error
خطای Not followed به این دلیل بوجود می‌آید که ربات های گوگل نمی‌توانند بعضی از URLهای شما را دنبال کنند. معمولاً این خطا ها به دو دلیل به وجود می‌آیند:
- کد‌های جاوا اسکریپت یا فایل‌های فلش
بعضی از کد های جاوا اسکریپت و فلش می‌توانند عملیاتCrawlerهای گوگل را در وب سایت شما، با مشکلاتی مواجه کنند. با استفاده Fetch as Google در گوگل وبمستر یا یک مرورگر متنی مانند lynx وب سایت خود را برای یافتن این کد های جاوا اسکریپت یا فایل‌های فلش بررسی کنید. با حذف کردن یا تصحیح این کد‌ها و فایل‌های فلش می‌توانید خطای Not followed را نیز برطرف کنید.
- ریدایرکت‌ها یا هدایت کردن صفحات
۱. صفحات وب سایت را با یک روش کارآمد دوباره هدایت یا ریدایرکت کنید.
۲. از لینک‌های دقیق و مطلق استفاده کنید. یعنی هر صفحه‌ای که ایجاد می‌کنید و می‌خواهید به آن لینک بدهید آدرس آن را به صورت نسبی وارد نکنید.
۳. ریدایرکت‌هایی که انجام می‌دهید نباید به صفحات نامعتبر هدایت شوند.
۴.بعد از آنکه ریدایرکت‌های لازم را انجام دادید، لازم نیست که لینک صفحات ریدایرکت شده را در سایت مپ قرار بدهید.
Faulty redirect Error
وب سایت‌هایی وجود دارند که برای کاربران سیستم‌های کامپیوتر( لپتاپ و PC ) و موبایل از URLهای متفاوتی استفاده می‌کنند. یعنی یک نسخه از وب سایت برای کامپیوترها نمایش داده می‌شود و یک نسخه برای گوشی های موبایل. حال اگر جای این درخواست ها بر عکس شود، یعنی روی یک کامپویتر به جای صفحه اصلی وب سایت، نسخه‌ای از وب سایت مربوط به موبایل نمایش داده شود، خطای faulty redirect پیش می آید.
اگر این اتفاق برای سایت شما افتاده باشد، می‌توانید آن را در وبمستر تولز در قسمت Crawl و سپس در قسمت Smart phones مشاهده کنید.
برای رفع این ایراد می‌توانید تمام URLهای مربوط به هر دو نسخه وب سیات را بررسی کنید که به درستی ارجاع داده شده باشند. ولی بهترین کار این است که به جای دو نسخه، وب سایت شما تنها دارای یک نسخه ریسپانسیو باشد تا این مشکلات بوجود نیایند.
URLS blocked for smartphones Error
این خطاوقتی پیش می‌آید کهURL یک یا چند صفحه از وب سایت شما در گوشی‌های همراه برای ربات‌های جستجوی گوگل با استفاده از فایلrobots.txt بلاک شده باشند. خطا در گوگل وبمستر در قسمت Crawl و در بخشURL Errors قابل مشاهده است. البته از نظر گوگل این خطا تنها در گوشی‌های همراه اتفاق نمی‌افتد و ممکن است صفحات بر روی کامپیوترها هم بلاک شده باشند. حال اگر این خطا را در گوگل وبمستر مشاهده کردید باید فایل robots.txt را بررسی کرده و مطمئن شوید که دسترسی ربات ها را به صفحات سایت خود محدود یا بلاک نکرده باشید.
Flash content Error
در نسخه‌های جدید سیستم عامل های دسکتاپ و اندروید از فلش پشتیبانی نمی‌شود، الگوریتم‌های گوگل تعدادی از URLها که دارای فایل‌های فلش زیادی باشند را در گوگل وبمستر در قسمتCrawl و در تب Smartphones و با خطای flash content نمایش می‌دهد. بهترین کار این است که تجربه کاربری وب سایت خود را با یک طراحی ریسپانسیو بالا برده و این مشکلات را برطرف کنید.
از هر طراحی برای وب سایت خود استفاده کردید باید توجه داشته باشید که ربات‌های جستجو باید بتوانند به تمام کد ها و قسمت‌های مختلف سایت شما دسترسی داشته باشند تا وب سایت شما را به بهترین شکل ممکن ایندکس کنند.
Data too old Error
این خطا نشان دهنده این است که تاریخ مطلبی که در صفحه مورد نظر منتشر شده است بسیار قدیمی می باشد. برای مثال Google news تنها مطالبی که دو روز از انتشار آن‌ها گذشته باشد را جمع آوری می‌کند بنابراین این خطا برای سایت‌های خبری اتفاق می افتد.
جمع‌بندی
همان‌طور که مشاهده کردید، با استفاده از گوگل وبمستر تولز می‌توانید تمام مشکلات مربوط به وب سایت خود را بررسی کرده و حل کنید. توصیه ما به شما این است که بر اساس یک برنامه مستمر، گوگل وبمستر را چک کرده و از درستی عمل‌کرد وب سایت خود مطمئن شوید. بسیار احتمال دارد که با انباشته شدن خطاهای وب سایت شما، رتبه شما نیز در گوگل افت کند، پس قبل از اینکه دیر شود با یک بررسی ساده، در هزینه خود صرفه جویی کنید.