بودجه خزش (Crawl Budget) یکی از اصطلاحات سئو است که اغلب درباره آن اطلاعات کمی داریم و با نادیده گرفتن این فاکتور، میزان ایندکس شدن صفحات وب سایت را نا‌خواسته کاهش می‌دهیم. اجازه بدهید تا این بحث را از پایه پیگیری کنیم تا پاسخ سؤالات را به شکل دقیق‌تری بدست بیاوریم. همان‌طور که می‌دانید برای اداره هر نوع وب سایتی، لازم است که برای سئو سرمایه‌گذاری مؤثر و مناسبی انجام دهیم تا رتبه خوبی در گوگل بدست بیاوریم. موتور جستجوی گوگل از آرگومان‌های زیادی استفاده میکند تا این رتبه بندی عادلانه و دقیق باشد، زیرا گوگل نهایتاً قصد دارد بهترین نتایج را در جواب جستجوی کاربران ارائه بدهد. در تمام مدت، ربات‌های موتور جستجوی گوگل، به صفحات وب سایت‌های مختلف می‌خزند و این صفحات را ایندکس می‌کنند.
قطعاً تا به حال برای شما پیش آمده که صفحاتی ایجاد کنید و این صفحات ایندکس نشوند. حتی ممکن است این صفحات دارای محتوای مفید و ارزشمندی هم باشند، ولی با این حال ایندکس نشوند. در چنین مواقعی، سوال پیش می‌آید که چرا این صفحات ارزشمند و استاندارد، ایندکس نشدند؟! یک فاکتور مهم وجود دارد که آن را نادیده گرفته‌اید، این فاکتور، بودجه خزش یا همان Crawl Budget است.
واقعیت این است که ربات‌های گوگل، تمامی صفحات وب سایت‌ها را بررسی یا Crawl نمی‌کنند، بلکه برای هر وب سایت یک محدودیت در نظر می‌گیرند و بر اساس الگوریتم‌ها، تنها صفحاتی را که مهم هستند، Crawl می‌کنند. اینکه چه صفحاتی از وب سایت به نظر ربات‌های موتور جستجو اهمیت دارند، تقریباً مشخص است ولی گوگل برای هر وب سایت یک بودجه خزش در نظر می‌گیرد و بیش از آن، صفحات یک وب سایت را Crawl نمی‌کند.
بودجه خزش (Crawl Budget) چیست؟
تعداد صفحاتی از وب سایت که در یک بازه زمانی مشخص (مثلا یک روز)، توسط ربات‌های گوگل ایندکس می‌شوند. همان‌طور که حدس می‌زنید بودجه خزش بر اساس بزرگی سایت، توسط گوگل تعیین می‌گردد. همچنین تعداد لینک‌هایی که از صفحات معتبر به صفحات وب سایت شما وجود دارند به افزایش بودجه خزش کمک می‌کنند.
در ادامه این مطلب می‌خواهیم بودجه خزش را بیشتر بررسی کنیم و ببینیم این فاکتور تا چه حد در زمینه سئو اهمیت دارد. همچنین روش‌هایی برای افزایش آن نام ببرید.
گوگل، اگر صفحات شما را ایندکس نکند آنها را در نتایج موتورهای جستجو رتبه بندی هم نخواهد کرد. در اینجاست که بودجه خزش برای سئو اهمیت پیدا میکند. پس اگر تعداد صفحات شما بیشتر از تعداد صفحات ایندکس شده بشود شما با رو به رو خواهید شد.
بیشتر سایت ها احتیاجی ندارند که نگران بودجه خزش باشند چرا که گوگل در پیدا کردن و ایندکس صفحات مهارت زیادی دارد. فقط به چند دلیل است که شما باید به بودجه خزش خود توجه ویژه بکنید.
- شما یک سایت بزرگ را اداره میکنید: اگر شما یک سایت فروشگاه اینترنتی با بیش از 10000 صفحه دارید گوگل برای پیدا کردن تمام این صفحات به مشکل بر میخورد.
- شما به تازگی صفحات زیادی را به سایت اضافه کرده اید: اگر به تازگی صفحات زیادی را به سایت خود اضافه کرده اید باید مطمئن بشوید که بودجه خزش کافی برای ایندکس تمامی این صفحات را دارید.
- ریدایرکت: ریدایرکت های پی در پی باعث اتمام بودجه خزش شما میشود.
واقعیت امر این است که فقط سایت های خیلی بزرگ ممکن است با مشکل بودجه خزش رو به رو بشوند پس یکدفعه نگران این موضوع نشوید اگر شما تمام موارد بهینه سازی سایت را از معماری سایت، لینک سازی داخلی و سرعت بالا رعایت کنید برای بودجه خزش به مشکلی برنخواهید خورد.
نظر گوگل در مورد بودجه خزش
اهمیت بودجه خزش برای گوگل تا چه حد است و اصلاً چرا گوگل این مفهوم را بوجود آورد؟
هدف گوگل این است که بهترین و مفید‌ترین نتایج را در پاسخ به سرچ کابران، ارائه بدهد. برای همین است که گوگل با استفاده از یک سیستم رتبه بندی، تصمیم می‌گیرد کدام صفحات از چه وب سایتهایی، در پاسخ به سرچ کابران، نمایش داده شوند. برای اینکه گوگل بتواند تصمیم بگیرد هر صفحه چه میزان ارزش دارد باید از محتوای آن آگاه شود. در این مرحله Crawlerها وارد عمل می‌شوند و به صفحات وب سایت‌ها، می‌خزند. حال اگر وب سایتهایی وجود داشته باشند که به طور متناوب، محتوای مفید‌تری تولید کنند، قطعاً بودجه خزش بیشتری دریافت می‌کنند. به عبارتی گوگل بسیاری از صفحات چنین وب سایتهایی را Crawl میکند چون اثبات شده است این وب سایت‌ها، ارزش خزش را دارند.
علاوه بر تمام نکاتی که گفتیم، گوگل در اطلاعیه‌های رسمی خود اعلام کرده است که لازم نیست نگران بودجه خزش باشید بلکه اگر وب سایتی دارید که بیش از صد‌ها صفحه را در بر گرفته است باید در هنگام انتشار صفحه و محتوای جدید، بیش از بودجه خزش، نگران میزان زمانی باشید این صفحه تازه، باید منتظر بماند تا ایندکس شود.
تعیین بودجه خزش
تعیین بودجه خزش که توسط گوگل برای وب سایت‌های مختلف انجام میشود، در این بخش مورد بررسی قرار می‌گیرد. برای تعیین Crawl Budget مواردی وجود دارند که گوگل بر اساس آنها، اولویت‌هایی در نظر می‌گیرد و بودجه را اختصاص می‌دهد. فاکتور‌های مد نظر گوگل برای تعیین بودجه خزش عبارتند از:
- Crawl Limit: همان‌طور که می‌دانید هر بار که یک ربات موتور جستجو یا Crawler وارد وب سایت میشود، درخواستی به سرور ارسال می‌گردد. حالا اگر تعداد درخواست‌ها به سرور زیاد باشند، ممکن است در این زمینه دچار مشکل شده و وب سایت از کار بیفتد. بنابراین گوگل در نظر می‌گیرد که محدودیت خزش در هر وب سایت تا چه حد است. برای اینکه گوگل در این باره تصمیم بگیرد، کافی است به تاریخچه خزش‌های خود در وب سایت مذکور، مراجعه کند. اینکه آیا تا به حال این وب سایت برای پاسخ به درخواست‌ها دچار مشکل شده است یا خیر. به معنای ساده میتوان گفت گوگل بررسی میکند که هر سایت بعد از چند درخواست خزش به مشکل برمیخورد این تعداد حد خزیدن در سایت را مشخص میکند. همچنین اگر از هاست‌های اشتراکی برای وب سایت خود استفاده کنید، میزان بودجه خزش کاهش پیدا میکند.
- Crawl Demand: چه صفحه‌ای ارزش خزش را دارد؟ برای تعیین این فاکتور، گوگل بررسی میکند و به تاریخچه صفحه، نگاهی می‌اندازد (صفحه‌هایی که جدید نیستند ولی بروز شده‌اند) اگر این صفحه‌ها در گذشته برای کاربران مفید بوده و نظراتی را جلب کرده باشند، پس ارزش دوباره Crawl شدن را خواهند داشت. به علاوه صفحه‌هایی که بر اساس یک برنامه‌ریزی خاص، بروز می‌شوند نیز ارزش خزش دوباره را دارند.
چگونه بودجه خزش را افزایش دهیم؟
در این قسمت می‌خواهیم راهکار‌هایی برای افزایش بودجه خزش نام ببریم:
- وب سایت باید از نظر فنی در سطحی باشد که تمام درخواست‌ها به سرور در کمترین زمان پاسخ داده شوند. به عبارتی هر چقدر که سرعت وب سایت بالا‌تر باشد، امکان افزایش بودجه خزش وجود دارد؛ زیرا گوگل مطمئن میشود که وب سایت، استاندارد است و ربات‌ها می‌توانند بدون ایجاد اختلال در عملکرد وب سایت، آن را Crawl کنند.
- افزایش دامین آتوریتی : افزایش اعتبار دامنه و به دنبال آن Page Authority می‌تواند باعث افزایش بودجه خزش شود.
نکات مهم در خصوص بودجه خزش:
- بودجه خزش را مدیریت کنید. به این معنی که اجازه ندهید بودجه خزش وب سایت، صرف صفحات بی‌اهمیت شود. ممکن است کلمات کلیدی مهمی در آدرس URL برخی صفحات پر تکرار مانند صفحات فروش و یا معرفی محصولات وجود داشته باشد. به این ترتیب ربات‌های موتور جستجو تصمیم می‌گیرند این صفحه‌ها را Crawl کنند و بودجه خزش وب سایت به هدر می‌رود.
- محتوای تکراری را حذف کنید. اگر صفحاتی در وب سایت دارید که دارای محتوای یکسان می‌باشند یا تقریباً یکسان هستند، بهتر است یکی از آنها را حذف کرده یا در هم ادغام کنید در غیر این صورت، ممکن است هر دو صفحه توسط ربات‌ها Crawl شوند و باز هم بودجه خزش هدر برود.
- صفحات بی‌ارزش یا کم ارزش را در اسرع وقت حذف کنید یا دسترسی گوگل به آنها را از بین ببرید. با استفاده robot.txt.
- در وب سایت خود صفحاتی که Redirect شده‌اند را به خوبی مدیریت کنید، در غیر این صورت ممکن است ربات‌های موتور جستجو برای هدایت شدن به صفحات دیگر دچار مشکل شوند و تعداد زیادی درخواست به سرور ارسال کنند و به همین راحتی بودجه خزش هدر برود.
- لینکهای بیشتری بگیرید. این نکته در حرف آسان است اما در عمل سخت است. دریافت لینک فقط با محتوای خوب اتفاق نمی افتد اینکه بقیه بفهمند شما محتوای خوب دارید مهم است.
- خطاهای crawl سایت را برطرف کنید.
نتیجه گیری
بر اساس مطالبی که در این مقاله بررسی کردیم به نظر می‌رسد موضوع بودجه خزش برای وب سایت‌های کوچک یا متوسط، موضوع حساسی نیست. اگر مدیر چنین وب سایتهایی هستید، کافی است از اصول سئو پیروی کرده و محتوای مفید تولید کنید. اما اگر مدیریت یک وب سایت بزرگ با تعداد صفحات بالا را به عهده گرفته‌اید یا قصد دارید چنین وب سایتی داشته باشید بهتر است بودجه خزش را در زمینه سئو، جدی بگیرید و نکات لازم را رعایت کنید.