وقتی حرف از سئو می‌شود، قاعدتاً به ایندکس شدن سایت فکر می‌کنیم. نه؟ به این که صفحات سایتمان به سرعت توسط ربات‌های گوگل دیده شوند و خیلی زود در موتورهای جست‌وجو بنشینند. اما ایندکس شدن سایت همیشه هم چیزی نیست که ما سئوکارها بخواهیم. مثل وقت‌هایی که پیامی را به اشتباه برای کسی می‌‌فرستیم و سریع پشیمان می‌شویم. این‌طور وقت‌ها اولین چیزی که به ذهن‌مان می‌رسد این است که هرطور شده، از رسیدن پیام به آن مخاطب اشتباه جلوگیری کنیم.
جلوگیری از ایندکس شدن سایت هم همین حکم را دارد. خب بیایید ببینیم در چه مواقعی و چطور باید از ایندکس شدن صفحه‌های سایت جلوگیری کنیم.
کدام صفحه‌ها در سایت نیاز به ایندکس شدن ندارند؟
همه صفحه‌های سایت شما نیازی به ایندکس شدن در گوگل ندارند یا حتی از این هم شدیدتر؛ باید از ایندکس شدن‌شان جلوگیری کرد. مثلاً چه صفحه‌هایی؟
- لندینگ پیج‌هایی که تبلیغات در آن منتشر می‌شود
- صفحه‌های قدردانی از مشتریان یا کارفرمایان
- صفحات مربوط به قوانین و مقررات
- صفحات مدیریت سایت
- محتواهای تکراری
- محتواهای بی‌کیفیت
- و ...
قبل از این که تصمیم بگیرید کدام صفحات نوایندکس شوند، سایت را به طور کامل بررسی کنید و لیستی از این صفحه‌ها آماده کنید. از تمامی مراحل کارتان مستندسازی کنید تا همه چیز به طور کامل ثبت شود و چیزی از زیر دستتان در نرود.
نو ایندکس چیست؟
ایندکس کردن یک صفحه و مطلب در گوگل به معنای نمایش دادن آن در صفحات گوگل است. بنابراین، زمانی که در مورد نو ایندکس صحبت می کنیم، منظورمان شرایطی است که باید مطلب یا صفحه ای در لیست جستجوهای گوگل قرار نگیرد. اینکه هدف نو ایندکس کردن سایت و یا برخی از صفحات آن چیست، دقیقا مرتبط با سئو سایت است. برخی از صفحات موجود در وب سایت شما عملا تاثیر مفیدی روی گوگل ندارند و حتی ممکن است به عنوان یک صفحه اضافه شناخته شوند. از این رو گوگل آن ها را بی ارزش تلقی خواهد کرد. این موضوع نه تنها باعث عدم نمایش آن صفحه در گوگل می شود، بلکه روی رتبه کل سایت شما نیز تاثیر بسیار زیادی خواهد گذاشت.
علاوه بر این، نو ایندکس کردن برخی از صفحات وب سایت باعث تاثیر روی کراول باجت گوگل نمی شوند. اگر گوگل صفحه ای را ایندکس نکند، روی کراول باجت که یک عامل موثر در سئو سایت است تاثیری نخواهد داشت. بنابراین، نو ایندکس کردن برخی از صفحات و مطالب در سایت به عنوان یک راه حل برای تقویت سئو و جلوگیری از آسیب به سایت شناخته می شود. با این کار صفحاتی که دارای تکرار و یا مطالب بی ارزش هستند را از دید گوگل حذف می کنید. گوگل نیز به حرف شما گوش می دهد و آن ها را در نظر نمی گیرد. در واقع نو ایندکس، یک تگ اضافه است که برای برخی از صفحات سایت با هدف بهبود سئو در نظر گرفته خواهد شد.
چطور کاری کنیم که گوگل صفحات مورد نظر ما را ایندکس نکند؟
برای این کار 4 روش وجود دارد:
- استفاده از متا تگ noindex
- استفاده از X-Robots-Tag
- استفاده از فایل robots.txt
- استفاده از وبمستر گوگل
روش اول: استفاده از متا تگ noindex
ساده ترین و مؤثرترین روش جلوگیری از ایندکس شدن یک صفحه، تگ نو ایندکس است. این تگ دستورالعملی است که به گوگل می‌گوید این صفحه را ایندکس نکن و در نتیجه صفحه مورد نظر در نتایج جست و جو نشان داده نمی‌شود.
برای نوایندکس کردن یک صفحه باید تگ زیر را در قسمت <head> در HTML صفحه وارد کنید:
عملکرد این روش مثل تگ نو ایندکس است با این تفاوت که با استفاده از تگ X-ROBOTS می‌توانیم در موتورهای جست و جوی مختلف، تغییرات جزئی ایجاد کنیم. نکته ای که درباره این روش وجود دارد این است که تگ X-ROBOTS در مرورگرهای مختلف به شکل های متفاوتی وارد می‌شود و باید قلق آن را برای هر مرورگر پیدا کرد. مثلاً برای گوگل کروم می‌توانید از دو ابزار ModHeader یا Modify Header Value استفاده کنید. بیایید چند مثال ببینیم که چطور از این تگ استفاده می‌شود:
| برای خارج کردن صفحه از ایندکس | X-Robots-Tag: noindex |
| برای قرار دادن قوانین مختلف برای موتورهای جست‌وجوی مختلف | X-Robots-Tag: googlebot: nofollow |
| X-Robots-Tag: otherbot: noindex, nofollow |
روش سوم: استفاده از فایل robots.txt
فایل robots.txt برای این استفاده می‌شود که به خزنده‌های موتورهای جست‌وجو بگوییم برخی از مسیرها را در سایت ما به طور کل دنبال نکنند. مثلاً اگر نخواهیم بعضی از تصاویرريال ویدئوها یا صفحات سایتمان در نتایج جست‌وجو نمایش داده شوند، از این روش استفاده می‌کنیم. البته باید این را بدانید که این روش کاملاً فنی است. برای این کار باید یک تکست فایل استاندارد ASCII یا UTF-8 بسازید و آن را در فولدر root وبسایت خود قرار دهید.
روش چهارم: استفاده از گوگل وبمستر یا سرچ کنسول گوگل
روش بعدی استفاده از سرچ کنسول گوگل است. در این روش از ابزار گوگل استفاده می کنیم تا برخی از urlها را به طور موقت از گوگل پنهان کنیم. البته فراموش نکنید که این روش فقط برای گوگل جواب می‌دهد و برای موتورهای جست و جوی دیگر قابل انجام نیست.
برای پیاده سازی این روش Remove URLs Tool را در سرچ کنسول باز کنید و گزینه Temporarily Hide را بزنید. بعد url مورد نظر را در آن قرار دهید و گزینه Clear URL from cache and temporarily remove from Search را بزنید. با این روش، صفحه مورد نظر همچنین تمام cacheها و اسنیپت‌های آن، به مدت 90 روز از گوگل پنهان می‌شود.
در آخر
جلوگیری از ایندکس شدن صفحه یا خارج کردن صفحه از ایندکس گوگل، ممکن است کمی زمانبر باشد. اگر دیدید که بعد از گذشت چند هفته صفحه مورد نظر هنوز در گوگل وجود دارد، احتمال به خاطر این است که آن صفحه هنوز توسط ربات‌های گوگل بررسی نشده. در چنین مواقعی به گوگل درخواست دهید که صفحه مورد نظر شما را مجدداً بررسی کند.
آموزش جلوگیری از ایندکس شدن سایت وردپرس
وردپرس به عنوان یک سیستم مدیریت محتوا (cms) محبوب که افزونه و قالب های آماده رایگان دارد، شناخته می شود که می توانید از آن برای طراحی یک سایت حرفه ای و با هزینه کم استفاده کنید. پس از ساخت سایت با قالب های آماده یا طراحی اختصاصی، یک سری مطالب و صفحات پیش فرض در سایت شما به وجود می آیند که بهتر است که تا زمان عدم تکمیل آن ها، گوگل به این صفحات دسترسی نداشته باشد. در واقع، یکی از اقدامات مهم سئو این است که پس از طراحی سایت تا زمانی که یک سری اطلاعات و برگه ها را داخل سایت وارد نکرده اید، سایت را ایندکس نکنید. جلوگیری از ایندکس شدن سایت وردپرس بسیار ساده قابل انجام است. برای جلوگیری از ایندکس شدن سایت وردپرس می توانید به دو روش این کار را انجام دهید اولین روش این است که شما پس از اینکه وردپرس را روی هاست خود نصب کردید، در زمان راه اندازی و وارد کردن اطلاعات دیتا بیس می توانید با انتخاب گزینه ای که در عکس زیر مشخص است از ربات های موتورهای جستجوگر بخواهید که سایت شما را ایندکس نکنند.
اگر از روش اول استفاده نکردید می توانید به سادگی با ورود به بخش پیشخوان وردپرس و طی کردن مراحل زیر، از ایندکس شدن سایت وردپرسی جلوگیری کنید:
- پس از اینکه قالب وردپرس را نصب کردید، وارد بخش تنظیمات قالب وبسایت خودتان بروید.
- در این بخش روی گزینه «خواندن» کلیک کرده تا تنظیمات مربوطه باز شود.
- در آخرین گزینه تیک «از موتورهای جستجو درخواست کن تا محتوای سایت را بررسی نکنند.» را فعال کنید.
- در نهایت روی گزینه آبی رنگ ذخیره تغییرات بزنید تا تغییرات شما ثبت شوند.
- تا زمانی که تنظیمات مورد نظر مانند اضافه کردن یک سری محتواها و برگه ها را انجام نداده اید، می توانید این تیک را فعال نگه دارید. بعد از آن تیک را برداشته و گزینه ذخیره اطلاعات را بزنید تا سایت در گوگل نمایش داده شود.
عدم نمایش سایت وردپرسی در گوگل
عدم نمایش سایت وردپرسی در گوگل یکی از مشکلات شایعی است که بسیاری از افراد به ویژه افراد تازه کار با آن مواجه می شوند. اولین و مهم ترین دلیل بروز این مشکل، عدم شناسایی سایت شما توسط گوگل یا بهینه نبودن سایت برای نمایش در صفحه سرپ است. اگر گوگل، هدف صفحات سایت شما را متوجه نشود و یا کد نویسی قالب وردپرسی که استفاده می کنید بهینه نباشد و گوگل بخواهد برای یک سایت تازه تاسیس، کراول باجت زیادی صرف کند مطمئنا شما را در اولویت ایندکس خود قرار نمی دهد. بنابراین به شما پیشنهاد می کنیم در زمان نصب قالب وردپرسی، حتما از بهینه بودن کدها و سرعت قالب اطمینان حاصل کنید. در زمان خرید هاست، حتما از هاستینگ های معتبر خرید کنید و میزان منابع هاست به گونه ای باشد که Average response time سایت شما در حالت بهینه باشد. به صورت کلی می توان چند دلیل اصلی برای عدم نمایش سایت وردپرسی در گوگل ارائه کرد که به شرج زیر است:
- تگ نو ایندکس
اگر صفحه یا صفحات وب سایت شما دارای تگ نو ایندکس باشند و یا از طریق روش جلوگیری از ایندکس شدن سایت وردپرس، اجازه نمایش دادن آن ها را در گوگل لغو کرده باشید، گوگل قادر به نمایش وبسایتتان نخواهد بود. برای رفع مشکل عدم نمایش سایت وردپرسی در گوگل، ابتدا لازم است که مطمئن شوید صفحات شما نو ایندکس نیستند. برای این کار به بخش «تنظیمات» و «خواندن» قالب وردپرس بروید و اگر تیک مربوط به «از موتورهای جستجو درخواست کن تا محتوای سایت را بررسی نکنند.» فعال بود، آن را غیرفعال نمایید. اگر همچنان سایت شما در گوگل ایندکس نبود، باید سایر مشکلاتی که باعث بروز این مشکل می شوند را بررسی کنید. - جدید بودن وبسایت
گاهی اوقات سایت ها مشکلی ندارند، اما به دلیل تازه تاسیس بودن توسط گوگل شناسایی نمی شوند. گوگل فقط به زمان نیاز دارد تا صفحات وب شما را فهرست کند. این زمان می تواند از چند ساعت تا چند هفته. متغیر باشد. در این میان، بهترین راه حل این است که حتما سرچ کنسول سایت خود را فعال کنید و به اضافه کردن و حفظ محتوا در وب سایت خود ادامه دهید. به این ترتیب، زمانی که گوگل وب سایت شما را ایندکس می کند، نام تجاری خود را به عنوان یک منبع قابل اعتماد و مرتبط معرفی خواهید کرد که در دستیابی به رتبه بالاتر موتور جستجو و ایجاد اعتماد بین مخاطبان مهم است. - طراحی مجدد وبسایت
پس از طراحی مجدد، تغییر نام تجاری، یا تغییر قابل توجه وب سایت خود، ممکن است متوجه شوید که گوگل وب سایت شما را بازنگری نکرده است. اگر می خواهید تضمین کنید که تغییرات وبسایت شما در عملکرد موتور جستجوی شما منعکس می شود، باید به صورت دستی یک درخواست جستجوی مجدد از طریق کنسول جستجوی Google ارسال کنید. ابتدا مطمئن شوید که سایت شما از دستورالعمل های مناسب پیروی می کند. سپس، URL را بررسی کنید. این امر باعث می شود که گوگل وب سایت شما را دوباره شناسایی و صفحات را فهرست کند. - عدم وجود نقشه سایت
نقشه سایت یک لیست ساختار یافته از همه چیز در وب سایت شما است: صفحات، فیلم ها، فایل ها و روابط بین همه محتوا. این طرح اطلاعات ارزشمندی را ارائه می دهد که به گوگل کمک می کند هر یک از صفحات شما را ایندکس کند. بنابراین اگر نقشه سایت نداشته باشید، گوگل نمی تواند به طور موثر وب سایت شما را شناسایی کند. هنگام ایجاد این فایل، از نقشه سایت XML به جای نقشه HTML استفاده کنید، زیرا اولی به طور خاص برای عملکرد موتور جستجو طراحی شده است. هنگامی که نقشه سایت خود را ایجاد کردید، می توانید آن را به صورت دستی از طریق کنسول جستجو به گوگل ارسال کنید یا آن را در فایل robots.txt خود قرار دهید، افزونه ای که به گوگل می گوید کدام URL ها را بشناسد و فهرست کند. برای سایت های وردپرسی افزونه های زیادی برای ساخت سایت مپ وجود دارد که از معروف ترین آن ها افزونه های سئو مانند yoast و Rankmath اشاره کرد. - ساختار ضعیف سایت
هنگام فهرست بندی، گوگل وب سایت هایی را که تجربه کاربری خوبی را ارائه می کنند، در اولویت قرار می دهد؛ زیرا موتور جستجو می خواهد منابع مفید و مرتبطی را برای درخواست های کاربرانش ارائه کند. این بدان معناست که وب سایت هایی که پیمایش آن ها برای کاربران دشوار است، ممکن است توسط ربات های گوگل نادیده گرفته شوند. ساختار ضعیف سایت همچنین می تواند مانع از توانایی گوگل در پیدا کردن صفحات شما شود. برای رفع این مشکل و تشویق گوگل به ایندکس کردن وب سایت شما، مطمئن شوید که از ساختار وب سایت واضح و لینک دهی بصری استفاده می کنید. - صفحات یتیم
صفحاتی در وب سایت شما که به سایر قسمت های سایت (یعنی صفحات یتیم) متصل نیستند، توسط گوگل شناسایی نمی شوند. شما می توانید صفحات یتیم را ابتدا با شناسایی آن ها و سپس اتصال آن ها به بقیه وب سایت خود با استفاده از پیوندهای داخلی برطرف کنید. اگر یک صفحه یتیم حاوی محتوای نامناسب و تکراری است، ممکن است توسط گوگل به عنوان صفحه ورودی اشتباه گرفته شود، یا در غیر این صورت ارزشی برای کاربران ایجاد نمی کند، می توانید صفحه یتیم را به طور کلی حذف کنید. اگر این کار را انجام دادید، در صورتی که صفحه یتیم بک لینک شده است، یک تغییر مسیر 301 را به یک URL مرتبط اضافه کنید. - عدم سازگاری با موبایل
در حال حاضر، بیش از نیمی از جستجوهای آنلاین از طریق یک دستگاه تلفن همراه انجام می شود. به همین دلیل است که گوگل هنگام پیمایش وب سایت، سازگاری با موبایل را در اولویت قرار می دهد. اگر وب سایت شما برای موبایل بهینه سازی نشده باشد، احتمالا گوگل آن را ایندکس نمی کند. می توانید با استفاده از طراحی سازگار، فشرده سازی تصاویر و بهبود زمان بارگذاری، سایت خود را موبایل پسندتر کنید. خلاص شدن از شر پنجره های بازشو و در نظر گرفتن دسترسی به انگشتان نیز می تواند کمک کننده باشد. - محتوای با کیفیت پایین
گوگل می خواهد نتایج جستجوی منحصربه فرد، دقیق و به روز را به کاربران ارائه کند. بنابراین، اگر محتوای صفحه وب شما کیفیت پایینی دارد و از پر کردن کلمات کلیدی استفاده می کند، می تواند به شانس شما برای ایندکس کردن سایت وردپرسی در گوگل آسیب برساند. برای رفع این مشکل، مطمئن شوید که وب سایت شما با در نظر گرفتن کاربران طراحی شده است، اطلاعات خوبی را با کلمات کلیدی مرتبط ارائه می دهد. - کد مشکوک یا با خوانش سخت
کد وب سایت شما باید به راحتی برای گوگل قابل دسترسی باشد و در HTML شما ثابت بماند. پنهان کردن متن و پیوندها دلایلی هستند هستند که می توانند از فهرست کردن وب سایت شما توسط گوگل جلوگیری کنند. مطمئن شوید که ربات ها را از خزیدن فایل های جاوا اسکریپت و CSS خود مسدود نمی کنید؛ زیرا ممکن است برای Google مشکوک به نظر برسد. اتکای بیش از حد به جاوا اسکریپت نیز ممکن است مانع از ایندکس کردن سایت شما توسط گوگل شود. برای تفسیر جاوا اسکریپت برای ربات ها مراحل بیشتری انجام می شود، که می تواند باعث شود سایت شما از طریق بودجه خزیدن سریع تر سوخته شود. حذف کدهای مشکوک یا سخت خوان از وب سایت شما به Google کمک می کند تا آن را بخزد و فهرست کند. - رفتاری شبیه به سایت های اسپم دارید
سایت های اسپم به وب سایت هایی اطلاق می شود که با هدف فریب کاربران و موتورهای جستجو ایجاد می شوند. یکی از ویژگی‌های بارز سایت‌های اسپم، استفاده از تکنیک‌های کلاه سیاه سئو مانند Keyword Stuffing، مخفی‌سازی محتوا (Cloaking) و لینک‌های غیرطبیعی است. این سایت‌ها معمولاً پر از لینک‌های خراب و مخرب هستند که ممکن است کاربران را به صفحات ناخواسته هدایت کنند یا به انتشار بدافزار بپردازند. طراحی ضعیف، محتوای تکراری و بی کیفیت، و عدم ارائه اطلاعات تماس معتبر از ویژگی های بارز آنهاست. سایت های اسپم به سرعت توسط موتورهای جستجو شناسایی و پنالتی می شوند، اما همچنان مشکل ساز باقی می مانند. تشخیص و اجتناب از این سایت ها به حفاظت از اطلاعات کاربران و بهبود کیفیت نتایج جستجو کمک می کند.
بنابراین، سه شرط کلی برای نمایش دادن یک سایت وردپرسی در گوگل وجود دارد که باید به آن ها توجه داشته باشید:
دسترسی به صفحات کامل: گوگل باید درک کند که سایت شما وجود دارد و فعال است. همچنین باید امکان دسترسی به تمامی صفحات سایت را داشته باشد.
داشتن کلمات کلیدی: برای نمایش دادن یک سایت در گوگل، لازم است که سایت بر اساس یک کلمه کلیدی بهینه شده باشد. در این صورت گوگل تشخیص می دهد که سایت مربوط به چه چیزی است و چه رقبایی دارد.
داشتن محتوای جذاب: برای نمایش دادن سایت در گوگل و گرفتن رتبه های برتر، باید به گوگل اثبات کنید که محتواهای جذابی دارید. در واقع شما باید به گوگل اثبات کنید که سیت شما شرایط حضور در رنک های بالا را دارد و برای این کار باید حتما پاسخی برای پرسش های مختلف کاربران داشته باشید.
عدم نمایش سایت وردپرسی در گوگل می تواند به دلیل تازه بودن سایت و یا موارد دیگری مانند موبایل فرندلی نبودن وبسایت، جریمه شدن وبسایت توسط گوگل، استفاده از کلمات کلیدی بیش از حد رقابتی در سایت و ... باشد. با این حال مهم ترین دلیل ایندکس نبودن سایت است. دلایل احتمالی زیر می توانند باعث عدم نمایش سایت وردپرسی شما در گوگل شوند و می بایست حتما آن ها را بررسی کنید.
