رفع خطای خزنده گوگل Crawl با وب مستر گوگل

ممکن است نام خزنده های گوگل را شنیده باشید. ربات های خستگی ناپذیر گوگل یا همین خزنده ها در طی روز بارها و بارها وارد صفحات وب سایت ها می شوند و به معنای واقعی کلمه به درون صفحات می خزند و به لینک ها وارد می شوند تا ساختار وب سایت ها را می شناسند. اگر در این راه به هر شکلی دسترسی آنها به سایت شما یا صفحات خاص آن با مانع روبه رو شود خطای خزنده گوگل رخ می دهد. در این مقاله قصد داریم تا نگاهی دقیق تر به این خزنده ها بیاندازیم و روش های رفع انواع خطاهای خزنده های گوگل توسط ابزار وب مستر گوگل را شرح دهیم. 

خطای خزنده گوگل چیست؟

خزش یا همان دنبال کردن فرآیندی است که یک موتور جستجو تلاش می کند از طریق بات های خود صفحه شما را بازدید کند. خطای خزنده های گوگل زمانی اتفاق می افتد که موتور جستجو با استفاده از بات های خود سعی می کند به صفحه ای در سایت شما دسترسی یابد اما در این راه شکست می خورد. این بات ها یک لینک در صفحه شما می یابد و بعد آن را دنبال کرده تا به بقیه صفحات شما دست یابد و تمام محتوا را اندیس گذاری کند. اولین هدف شما به عنوان مدیر سایت این است که اطمینان یابید بات های موتور جستجو می توانند به تمام صفحات سایت شما دسترسی پیدا کنند. اگر در این مسیر با مانع مواجه شوند خطای خزنده رخ می دهد.

گوگل خطای خزنده ها را به دو گروه تقسیم می کند:

1- خطای سایت: شما مطمئنا این خطا را دوست ندارید. این خطا بدین معنی است که کلا سایت شما قابل خزیدن نیست و خزنده های گوگل در همان وهله اول نمی توانند به سایت شما دسترسی پیدا کنند.
2- خطای URL: حتما این خطا را نیز نمی خواهید. اما از آنجا که فقط مربوط به یک URL خاص از وب سایت شماست اصلاح آنها راحت تر است.

خطای سایت

همان طور که گفتیم خطای سایت خطای است که در آن بات های موتور جستجو نمی توانند به وب سایت شما دست پیدا کنند. پس راحت از کنار این خطا نگذرید. برای این خطا دلایل زیادی وجود دارد اما مهم ترین آنها به قرار زیر است:

• خطای DNS) Domain Name System)

در خطای DNS موتور جستجو نمی تواند با سرور شما ارتباط برقرار کند. در این نوع خطا وب سایت شما به طور موقت قابل بازدید نیست. گوگل در دفعات بعد از وب سایت شما بازدید میکند و در سایت شما شروع به خزیدن می کند. اگر شما با این خطا در Google Search Console مواجه شدید به این معنی است که گوگل چندین بار تلاش کرده در سایت شما بخزد اما هنوز موفق نشده است. این خطا معمولا به دو دلیل رخ می‌دهد:

 DNS Timeout : گوگل نمی‌تواند به سایت شما دسترسی پیدا کند زیرا DNS سرور شما پاسخگو نمی‌باشد.
 DNS Lookup : گوگل نمی‌تواند به سایت شما دسترسی پیدا کند زیرا DNS سرورتان با دامنه شما ارتباط برقرار نمی‌کند.

روش های رفع خطای DNS توسط وب مستر گوگل

برای مشاهده خطاهای سایت خود پس از ورود به صفحه اصلی کنسول جستجوی گوگل به مسیر Crawl > Crawl Errors بروید. همان‌گونه که در این بخش می‌بینید خطاها در گوگل وبمستر به دو بخش خطاهای کلی سایت (Site Errors) و خطاهای آدرس‌ها (URL Errors) تقسیم می‌شوند.

اگر شما در نود روز گذشته هیچ خطایی در رابطه با خزنده های گوگل در سایت خود نداشته باشید با پیغام زیر مواجه می شوید:

حال برای رفع خطای DNS گوگل به شما توصیه می کند از ابزار Fetch as Google استفاده کنید تا مشاهده کنید بات های گوگل چطور در سایت شما می خزند. این گزینه در قسمت راست صفحه Search Console قرار دارد.

از منوی Crawl بروی گزینه Fetch as Google کلیک نمایید. سپس در کادر جستجو URL صفحه مد نظر خود را وارد کنید و گزینه FETCH AND RENDER را بزنید. پس از مدت کوتاهی گوگل نتایج بررسی را برای‌تان نشان می‌دهد. در صورتی که مشکلی در این قسمت یافت شود در مقابل آدرس صفحه‌ای که وارد کردید، تیک قرمز خواهد خورد.

برای رفع خطای DNS روش های زیر را امتحان کنید:

 اگر شما به دنبال وضعیت اتصال DNS خود هستید و سعی دارید سریعا آن را رفع کنید می توانید بدون Render کردن از آن Fetch بگیرید.
 تنظیمات سرور خود را بررسی کنید. اگر شما نتوانید صفحه خود را به صورت صحیح Fetch و Render کنید شرکت خدمات DNS خود را بررسی کنید. ممکن است مشکل ازطرف آنها باشد.

 اطمینان یابید سرور خطای 404 یا 500 را نمایش می دهد و به جای خطا در اتصال، ارور 404 (Not Found) و ارور 500 (Server Error) را نشان دهد. این کدها دقیق تر از خطای DNS است.

• خطای سرور

اگر Search console شما خطای سرور را نشان داد به این معنی است که بات نتوانسته به سایت شما بخزد. موتور جستجو سعی کرده به سایت شما بخزد اما زمان آن به اتمام رسیده است و خطای سرور را ظاهر کرده است. این خطا معمولا زمانی اتفاق می افتد که خطایی در کدنویسی شما وجود داشته است. همینطور می تواند به این معنی باشد که سایت شما با ترافیک حجیم و بازدیدکننده روبه رو شده و سرور نتوانسته پاسخ گو باشد. این خطاها به حالت کدهای 5xx باز گردانده می شود. برای جلوگیری از این مشکل، مطمئن شوید که ارائه دهنده هاستینگ شما می‌تواند مقدار فشار ناگهانی از ترافیک وبسایت را تطبیق دهد.

مهم ترین دلایل خطای سرور می تواند یکی از موارد زیر باشد:

•  Timeout : وقفه‌ای در ارتباط به وجود آمده و سرور شما در زمان مقرر به درخواست گوگل پاسخ نداده است.
• Truncated headers : گوگل می‌تواند به سرور شما متصل شود اما اتصال قبل از ارسال‌های headers قطع شد.
• o Connection reset : سرور شما با موفقیت درخواست گوگل را پردازش کرد. اما هیچ محتوایی را باز نمی‌کند زیرا ارتباط با سرور ریست شده است.
• Truncated response : سرور شما قبل از اینکه گوگل بتواند اطلاعات را کامل دریافت کند، قطع شده است.
•  Connection refused : گوگل نمی‌تواند به سرور سایت شما دسترسی پیدا کند زیرا هاست شما ممکن است گوگل بات را مسدود کرده باشد و یا مشکلی با تنظیمات فایروال داشته باشد.
•  Connect failed : گوگل قادر به اتصال به سرور سایت شما نمی‌باشد چون شبکه غیر قابل دسترس است.
•  Connect timeout : گوگل نمی‌تواند با سرور سایت شما اتصال برقرار کند.
•  No response : گوگل می‌تواند به سرور شما وصل گردد اما قبل از ارسال داده‌های مورد نیاز ارتباط قطع شده است!
  
  

روش های رفع خطای سرور توسط وب مستر گوگل

 از Fetch as Google استفاده کنید تا بررسی کنید وضعیت خزش سایت شما چگونه است. اگر بدون مشکل محتوای شما را برگرداند می توانید مطمئن شوید که گوگل در حال حاضر به سایت شما دسترسی دارد و در این زمینه مشکلی وجود ندارد.

 اطمینان یابید سرور شما به درستی کار می کند و با بار اضافه یا پیکربندی نادرست مواجه نشده است. هم چنین اتصال خود به اینترنت را بررسی کنید.
 اطمینان یابید وب سایت شما به طور تصادفی گوگل را مسدود نکرده است. ممکن است مسئله ای در مورد پیکربندی DNS و با پیکربندی فایروال یا حتی سیستم مدیریت محتوا وجود داشته است که دسترسی گوگل به سایت شما را مسدود کرده است.
 اطمینان یابید با درخواست های زیاد صفحات دینامیک مواجه نشده باشید. این صفحات با سرعت کمی بارگذاری می شوند و صفحاتی هستند که برای چند URL یک محتوا را نشان می دهند. به همین خاطر باید استفاده خود از این صفحات را محدود کنید.

• خطای ربات ها

قبل از خزیدن، بات های گوگل تلاش می کنند در فایل robots.txt file شما بخزند تا متوجه شوند آیا قسمت هایی از سایت شما وجود دارد که شما هنوز اندیس گذاری نکرده اید. اگر بات نتواند به فایل robots.txt file شما دسترسی یابد عمل خزیدن به وب سایت شما را به حالت تعویق در می آورد تا آنکه بتواند به فایل robots.txt file دسترسی پیدا کند. شما در این فایل می‌توانید رفتار Crawlerهای موتور جستجو در قبال وب‌سایت خود را تعیین کنید و به آن‌ها بگویید کدام قسمت از صفحات وب‌سایت‌تان را نباید جستجو و ایندکس کنند. بنابراین شما همیشه به یک فایل ربوت نیاز دارید و گوگل نیز وجود آن را الزامی می‌داند، حتی اگر خالی باشد. اگر یک فایل robots.txt ندارید سرور شما خطای 404 را باز خواهد گرداند.

روش های رفع خطای ربوت ها توسط وب مستر گوگل

 اطمینان یابید فایل ربوت به درستی کار می کند. آن دسته از سایت هایی که نمی خواهید گوگل بات در آنها را بخزد را مجددا بررسی کنید.
 اگر در فایل ربوت شما مشکلی از این لحاظ وجود ندارد از ابزار  header checker tool استفاده کنید تا متوجه شوید آیا خطای 200 یا 400 برگردانده می شود یا خیر.

 بهتر است اصلا یک فایل ربوت نداشته باشید تا یک فایل ناقص داشته باشید. گوگل مثل همیشه به سایت شما می خزد و اگر خطایی داشته باشید خزیدن خود را متوقف می کند تا آنکه آن را رفع کنید پس همیشه این خطا را هر چند وقت یکبار بررسی کنید.

 اطمینان حاصل کنید که گوگل به فایل ربوت دسترسی دارد. گاهی ممکن است یک خطا از سمت سرور و یا تنظیمات فایروال هاست، فایل Robots را مسدود کرده باشد.

 همچنین می‌توانید برای اطمینان از صحت عملکرد از ابزار robots.txt Tester تعبیه شده در کنسول جستجوی گوگل استفاده کنید. برای دسترسی به این ابزار از صفحه گوگل وبمستر وارد منوی crawl شوید و بروی گزینه robots.txt Tester کلیک کنید. درصورت وجود مشکل به شما گزارش داده می‌شود.

2-خطاهای URL

همانطور که اشاره شد خطای خزش URL به خطایی اشاره داد که بات موتور جستجو تلاش می کند به یک صفحه خاص در سایت شما دسترسی پیدا کند اما با شکست مواجه می شود.
خطاهای URL Errors شامل سه بخش اصلی Desktop و Smartphone و Feature Phone است که در گوگل کنسول در سربرگ Desktop آن خطاهایی را خواهید دید که خزنده سایت شما را در حالت دسکتاپ باز می‌کند و در بخش Smartphones خطاهایی که از دید موبایل های هوشمندباز شده قابل رویت است و در بخش Feature Phone خطاهای خاص برای نسخه موبایل های نه چندان هوشمند را نشان می دهد.

برای عدم نمایش این خطاها می‌توانید در گوگل کنسول از گزینه Mark as fixed استفاده کنید.

هنگامی‌که شما اینکار را انجام می‌دهید همه خطاهای شما از داشبورد پاک خواهد شد اما گوگل خطاها را در زمان بعدی که سایت را کراول می‌کند نشان می‌دهد. اگر شما به درستی این خطاها را در گذشته برطرف کرده باشید، دوباره نشان داده نخواهند شد.

• خطای 404
  
  

خطای 404، کد اعتبار HTTP است و زمانی نشان داده می شود که صفحه مورد نظر شما توسط سرور پیدا نگردد. این اخطار بیشتر زمانی روی می دهد که کاربری آدرس صفحه را نادرست وارد می کند یا اینکه آدرس صفحه ای که تایپ می کند، وجود ندارد.یک عامل دیگر نیز حذف صفحه مورد نظر است و مالک سایت آدرس صفحات قدیم را به صفحات جدید، ریدایرکت نکرده است. وقتی کاربری روی لینکی کلیک می کند که صفحه آن حذف شده، با خطای 404 مواجه می شود.

انواع نمایش اخطار صفحه 404 که ممکن است با هر کدام از آن ها مواجه شوید:

•  404 Error
•  404 Not Found
•  Error 404
•  The Requested URL[URL] was not found on this server
•  HTTP 404
•  Error 404 Not Found
•  404 File or Directory Not Found
• HTTP 404 Not Found
•  404 Page Not Found
  
  

رفع خطای 404

1.بعضی از دلایل خطای 404 واقعا نامعلوم است، حتی ممکن است که شما آدرس صفحه حذف شده را به صفحه دیگر ریدایرکت کرده باشید اما باز این اخطار نشان داده شود. بهتر است که چندبار دکمه Refresh یا F5 را چند بار بزنید تا از اگر در کش سیستم وجود داشته باشد، از بین برود.

1. فایل robots.txt را چک کنید تا مطمئن شوید که از ایندکس صفحات لاگین جلوگیری شده است. اگر قبلا آن‌ها را اضافه نکرده‌اید حتما این کار را انجام دهید.

2. با استفاده از ابزار robots.txt tester هشدارها و خطاهای موجود در فایل robots.txt را بررسی کنید.

2.آدرس صفحه یا URL را بررسی کنید. ممکن است به اشتباه تایپ یا نوشته شده باشد. حتی ممکن است در لینک هایی که در سایت قرار گرفته است، آدرس به اشتباهی نوشته شده باشد.

3.سطح صفحات را در آدرس کم کنید. برای مثال فرض کنید که آدرس www.test.com/a/b/c.html برای دسترسی به یک صفحه سایت خود تعریف کرده اید. این آدرس کاملا طولانی است و کاربران خیلی حوصله تایپ ندارند پس بهتر است تا جایی که می توانید آدرس صفحه خود را کوتاه کنید.

4.کاربران وقتی آدرس دقیقی را نمی دانند، آن را در موتورها، جستجو می کنند. پس سعی کنید حتما آدرس خود با کلمات ساده ای بنویسید که در سریعا در موتورهای جستجو نشان داده شود.

• خطای Soft 404

این دسته از خطاها مربوط به هنگامی است که URL پیدا نشده ولی سرور سایت شما ، خزنده را به صفحه 404 ارجاع نداده است.در واقع هنگامی که صفحه‌ای وجود نداشته باشد اما سرور به اشتباه صفحه دیگری (با محتوای کم و غیر قابل استفاده) را نمایش دهد، در گوگل وبمستر خطای 404 soft رخ می‌دهد. صفحاتی در سایت که قبلا وجود داشته اند اما اکنون حذف شده اند و لینک هایی که به صفحات وارد می شوند از عوامل اصلی بروز این خطا هستند.

رفع خطای soft 404

ابتدا باید صفحاتی را که از دید شما خارج شده اند و با وجود این که هیچ محتوایی ندارند باز هم بازدید می گیرند شناسایی شوند.

بعد از شناسایی این صفحات دو برنامه کلی را باید دنبال کرد:

1. ریدایرکت ۳۰۱ صفحات به صفحه ای که از نظر محتوایی نزدیک تر است
2. تولید وبازسازی صفحه حذف شده
3. در صورتی که صفحه دیگری با محتوای مشابه دارید، بهتر است صفحه قدیمی را به روی آن ریدایرکت کنید

اگر دلیل بروز خطای Soft 404 لینک ها باشند باید به سرعت برای اصلاح آن ها اقدام کنیم. دشوارترین بخش این کار پیدا کردن لینک های خراب است؛ خصوصا برای سایت هایی که شاید میلیون ها پست یا صفحه داشته باشند. برای پیدا کردن این لینک ها می توانید از نرم افزارهای Xenu ،DeepCrawl ،Screaming Frog یا Botify استفاده کنید.

•  خطای Access denied

خطای Access Denied در هنگامی که از ورود خزنده به صفحاتی جلوگیری شود، رخ خواهد داد. اگر این گونه صفحات برای شما مهم هستند باید اقدام فوری در خصوص آنها انجام دهید. اما اگر نمی خواهید این صفحات اندیس گذاری شوند از آنها صرف نظر کنید.

در هر صورت این خطا به روش های زیر گوگل بات را مسدود می کند:

• زمانی که شما از کاربر می خواید برای مشاهده یک URL خاص در صفحه لوگ این کند. در این صورت گوگل بات مسدود می شود.
• فایل ربوت شما در مورد URL های خاص یا پوشه های آن یا کل وب سایت شما گوگل بات را مسدود می کند.
• شرکت هاستینگ شما گوگل بات سایت شما را مسدود کرده و یا از کاربر می خواهد با پروکسی تایید شده وارد شود.

رفع خطای access Denied توسط وب مستر گوگل

برای رفع خطای access Denied باید موانعی که دسترسی بات های گوگل را مسدود کرده است برطرف کنید:

• لوگ این (Login) صفحاتی که می خواهید گوگل در آن بخزد را حذف کنید. حتی اگر صفحه پاپ آپ یا page-in باشد.
• اطمینان یابید فایل های ربوت شما قرار بوده بلاک شوند یا خیر و از ایندکس صفحات لاگین جلوگیری شده است یا خیر.
• از robots.txt tester جهت دریافت هشدار برای فایل ربوت خود استفاده کنید و هر URL را بررسی کنید.
• از Fetch as Google استفاده کنید تا وضعیت ظاهر شدن وبسایت های خود را ببینید.

•  خطای Not followed

خطای Not followed زمانی رخ می دهد که گوگل نمی تواند یک URL خاص را دنبال کند. اغلب مواقع وقتی گوگل با مسائلی مانند Flash یا javascript یا ری دایرکت مواجه می شود این خطا را نشان می دهد. برخی از ویژگی‌ها مانند فایل‌های جاوا اسکریپت و فلش، کوکی‌ها و session IDها و DHTML می‌توانند عملیات خزش خزنده‌های گوگل در سایت شما را سخت کنند.

رفع خطای خطای Not followed توسط وب مستر گوگل

• از google Fetch وضعیت مشاهده وب سایت خود را ملاحظه کنید.
• صفحات‌تان را با یک روش صحیح ریدایرکت کنید.
• در صورت امکان لینک‌های مطلق را جایگزین لینک‌های نسبی کنید؛ به‌عنوان مثال هنگام پیوند دادن به صفحه دیگری از سایت خود به شکل www.example.com/mypage.html لینک دهید، به جای mypage.html
• مطئمن شوید ریدایرکت‌های خود را به صفحاتی با URLهای معتبر انجام داده اید.
• لینک صفحه‌هایی را که ریدایرکت کرده‌اید در نقشه سایت وارد نکنید.
  
  این خطاها از جمله خطاهای رایج خزندهای گوگل بود. خطاهای دیگری نیز وجود دارند که برای دسترسی کامل به همه آنها می توانید به راهنمای گوگل کنسول مراجعه کنید.

جمع بندی

در مجموع هر نوع خطای خزنده ها را شناسایی کنید و از حضور دوباره آنها در آینده خود داری کنید. هر چه خطای خزنده کمتری داشته باشید گوگل به سلامت و صحت سایت شما بیشتر اعتماد می کند. صفحاتی که کار خزنده های گوگل را با اخلال مواجه می کنند باعث مخدوش شدن تجربه کاربر می شوند و به نسبت سایت های سالم در رتبه کمتری قرار می گیرند. در این زمینه اقدامات زیر را به طور مرتب انجام دهید:

 تمامی خطاهای خزندهای گوگل را در حالت Mark as fixed قرار دهید تا درآینده با آنها مواجه نشوید.
 برخی از خطاها موقت هستند و به دلیل بارگزاری سرور اتفاق می افتد. اما اگر مدام با خطایی مواجه شدید و یا اگر ایمیلی را از ابزار گوگل وبمستر تولز دریافت کردید حتما آنها را رفع کنید.
 همیشه به صورت مداوم به گزارش خطاهای خزنده وب مسترتولز خود مراجعه نمایید و مشکلاتی که گوگل در این بخش نشان می دهد را بررسی نمایید و آنها را برطرف نمایید.
 از بروز این خطاها جلوگری کنید و از شرکت سرور خود در صورت نیاز کمک بگیرید.
 ممکن است بسیاری از خطاهای بوجود آمده از طریق لینکهای خارجی به سایت شما از طریق سایت های اسپم بوجود آمده باشند. بنابراین این موضوع را نیز باید در نظر بگیرید و آنها را غیر فعال کنید.
 برای بررسی دیگر خطاها از Google’s resources راهنمایی و کمک بگیرید.