محتوای تکراری به محتوایی گفته می شود که در فضای وب در بیش از یک بار مشاهده می شود یا اگر بخواهیم به طور دقیق تر بگوییم هر گاه یک محتوا در بیش از یک آدرس URL موجود باشد اصطلاحا به آن محتوا، محتوا تکراری یا Duplicate Content گفته می شود.
این موضوع به طور مستقیم صفحه شما را جریمه نمی کند، بلکه باعث می شود رتبه بندی سایت شما در نظر موتور های جستجو تحت تأثیر قرار بگیرد. وقتی خزنده های گوگل در هنگام خزش به چند محتوا که به حد قابل توجهی به هم شبیه هستند و آدرس آنها با هم متفاوت است می رسند، تصمیم گیری برایشان سخت می شود که و از خود می پرسند: "در جواب جستجو، کدام آدرس را باید در معرض دید مخاطب بگذارم؟؟"
اهمیت محتوای تکراری برای سایت ها و موتورهای جستجو
محتوای تکراری برای موتورهای جستجو چه اهمیتی دارد؟
مشکلاتی که محتوا تکراری برای موتورهای جستجو بوجود می آورد شامل سه بخش است:
- موتورهای جستجو متوجه نمی شوند که کدام نسخه شامل دسته بندی مورد نظر می شود و کدام مورد نمی شود؛ در پایان موتور جستجو در این مورد گیج و گم می شود.
- خزنده های گوگل متوجه نمی شوند که طبق چه معیاری از لینک شامل محتوای تکراری استفاده کنند. حتما خزنده ها از خود می پرسند که از کدام معیار باید استفاده کنم؟؟ اعتماد؟ اعتبار دامنه؟ لینک های داخلی موجود در محتوا؟ کیفیت لینک های خارجی؟ و در پایان این سوالات مات ومبهوت می مانند و نمی توانند این محتوا ها را از هم جداسازی کنند.
- آنها نمی توانند تشخیص دهند که از کدام محتوا برای رتبه بندی در فهرست نتایج گوگل استفاده کنند.
محتوا تکراری برای دارندگان سایت چه اهمیتی دارد؟
وقتی در یک سایت محتوای تکراری وجود دارد؛ صاحبان آن وب سایت از دو موضوع بسیار آزار خواهند دید: اول کاهش رتبه سایت و دوم کاهش ترافیک ورودی وب سایت. این کاهش و از دست دادن ها از دو مشکل اصلی ریشه می گیرد:
- موتورهای جستجو همیشه خواهان این هستند که بهترین تجربه در خصوص جستجوی موفق را در اختیار کاربر قرار دهند، به همین دلیل به ندرت محتوا های یکسان را در صفحه نتایج نمایش می دهند؛ پس بنابراین مجبورند که بهترین نتایجی که به نتایج شباهت و ارتباط بالاتری دارد را انتخاب کنند. از همین رو به محتواهای تکراری برچسب بی کیفیت یا بی مایه بودن می زند و از نمایش دادن آنها پرهیز می کند. برای درک کردن بهتر این موضوع می توانید موتورهای جستجو چگونه کار می کنند را مطالعه کنید.
- همانگونه که موتور جستجو وقتی به محتوا تکراری بر میخورد باید بین آنها یکی را انتخاب کند، دارندگان بقیه سایت ها نیز باید همین کار را انجام دهند. همچنین استفاده از محتوای تکراری چون برای سایت شما نوشته نشده است لینک های داخلی مناسبی برای شما نخواهد داشت و از آنجایی که لینک های داخلی در سئو سایت شما بسیار مهم هستند، هیچ تأثیر مثبتی را احساس نخواهید کرد و در پایان این موضوع روی نمایش شما در پیشرفت کردن شا تثیر گزار خواهد بود.
چطور مشکل محتوای تکراری یا Duplicate Content بوجود می آید؟
در اکثر قریب به اتفاق موارد دارندگان وب سایت ها از قصد محتوای تکراری تولید نمی کنند. اما این به معنی این نیست که محتوای تکراری وجود ندارد؛ بلکه در واقع برخی از آمار نشان می دهد که 29 درصد فضای وب را محتوای تکراری تشکیل می دهد. بگذارید در ادامه به راه های معمول به صورت غیر عمدی، محتوای تکراری از طریق آنها ایجاد می شود بپردازیم:
1- تغییر آدرس URL
پارامترهای مربوط به آدرس URL مثل دنبال کننده ی کلیک و یک سری از کد های آنالیتیکس می توانند باعث بروز مشکل محتوای تکراری شوند. این مشکل می تواند صرفا در اثر پارامتر ها بوجود نیامده باشد، بلکه زمانی که خود پارامتر ها در آدرس URL ظاهر شوند این مشکل بوجود خواهد آمد. به عنوان مثال می توانید لینک های زیر را مورد بررسی قرار دهید.
این محتوای تکراری به طور غیر عمد به وجود آمده است.
معمولا آی دی جلسه (session ID) ها یکی از تولید کنندگان محتوای تکراری هستند. این مشکل زمانی بوجود می آید که کاربر از دو session ID از سایت دیدن می کند و همین باعث می شود دو آدرس مختلف برای یکی محتوا بوجود بیاید.
2- صفحه های http در مقابل https یا www در مقابل بدون www قرار گرفته اند.
اگر سایت شما ورژن های مختلفی دارد، به عنوان مثال (www.poonehmedia.com و poonehmedia.com) و محتوایی که بر روی هر دو ورژن از سایت منتشر می شود یکسان است شما با ثابت قدمی فراوان و دقت بالا هر چه محتوا تولید کرده و منتشر کرده اید محتوای تکراری است و میتوان گفت با دستان خود رتبه سایت خود را خراب کرده اید. همین مورد نیز در مورد سایتهایی که دو آدرس URL با پیشوند های http و https دارند صدق می کند. در این مورد اگر هر دو ورژن از صفحه شما برقرار و برای موتورهای جستجو قابل روئیت باشد، باید عرض کنم که شما محتوای تکراری خود را در اختیار خزنده های گوگل گذاشته اید تا رتبه ی شما را پایین بیاورند.
3- استفاده از محتوایی که آنرا کپی کرده اید و یا برای تولید آن به محتواهای دیگر دست درازی کردید.
محتوا فقط شامل پست های وبلاگ و یا مقالات نمی شود، بلکه صفحه اطلاعات محصولی نیز محتوا محسوب می شود. یکی از نمونه های بارز در محتوای تکراری که احتمالا با آشنایی نیز دارید این است که به عنوان مثال یک نفر پست وبلاگ شما را کپی کرده و به عنوان محتوای خود منتشر می کند، ولی دارندگان وب سایت های مربوط به کسب و کارهای اینترنتی _که به عنوان نمونه سایت فروشگاه اینترنتی را می توان نام برد_ نیز در گیر همین مشکل هستند. از آنجایی که ممکن است سایت های زیادی یک محمصول را بفروشند؛ این موضوع به میان می آید که توضیحات محصولی در مورد محصولات مشابه در فروشگاه های مختلف گاهی یکی می شود و همین امر باعث ایجاد محتوای تکراری خواهد شد. با ریشه یابی در خصوص دلیل ایجاد این مشکل به این بر می خوریم که یک عده از این دارندگان وب سایت حال و حوصله ی تولید محتوای خاص را ندارند و بهای آنرا با پایین آمدن رتبه سایت خود نزد گوگل می پردازند.
چگونه مشکل محتوای تکراری خود را حل کنیم؟
تمامی راه حل ها برای حل کردن مشکل محتوای تکراری به یک جا ختم می شود:"مشخص کردن این که محتوای درست کدام است"
هرگاه که یک محتوا بر روی سایت شما با چند آدرس URL پیدا شد، راه حل این است که محتوا برای موتور های جستجو کانالیزه شود. سه راه برای حل این مشکل و جود دارد که آن سه راه:
1- استفاده از ریدایکت 301 برای تصحیح آدرس URL
2- استفاده از تناسب rel=”canonical”
3- استفاده از پارامترHandling tool in google search console
ریدایرکت 301
در اکثر مواقع بهترین راه حل برای مقابله با محتوای تکراری یا Duplicate content راه اندازی یک ریدایرکت 301 برای صفحه ی حاوی محتوا تکراری است.وقتی از این امکان استفاده می کنید به جای اینکه محتوای تکراری باعث شود که رتبه صفحات شما کاهش یابد، به طور کلی هر صفحه ای در آن ریدایرکت 301 استفاده شده به صفحه اصلی و مرجع باز می گردد و به این صورت از بین مثلا 3 صفحه با محتوا یکسان یک صفحه به طور کلی در صفحه نتایج گوگل راه پیدا می کند و باعث بهبود سئو و بالارفتن رتبه صفحه وب سایت شما می شود.
استفاده از rel=”canonical” برای حل مشکل محتوای تکراری
یکی دیگر از گزینه های روی میز برای برطرف کردن مشکل محتوای تکراری این است که از خواص rel=”canonical” استفاده کنید. استفاده از این امکان به موتورهای جستجو می فهماند که این آدرس یک کپی از یک آدرس مشخص دیگر است و تمام لینک ها، معیار ها و مسائل مربوط به محتوا و رتبه بندی که توسط موتورهای جستجو به این صفحه تعلق گرفته است باید در واقع برای یک آدرس URL مشخص تشکیل شود.
rel=”canonical” در واقع یک بخش از قسمت head در html یک صفحه وب است و تقریبا به شکل زیر می باشد
<head>
...[other code that might be in your document's HTML head]...
<link href="/URL OF ORIGINAL PAGE" rel="canonical" />
...[other code that might be in your document's HTML head]...
</head>
rel=”canonical” باید به قسمت head در html تمامی صفحاتی که Duplicate content شده اند اضافه شود و بعد از آدرس URL صفحه اورجینال جایگزین آدرس خود صفحه شود.
استفاده از این امکان تمامی مزایای استفاده از ریدایرکت 301 را دارد و علاوه بر آن استفاده از این امکان زمان کمتری از نصب ریدایکتر 301 می گیرد.
از دستور nofollow و noindex در فایل Robots.txt استفاده کنید
فایل robots.txt یک فایل در دامنه ی اصلی سایت شماست که از آن برای دستور دادن به خزنده های گوگل استفاده می شود. وقتی خزنده ای وارد سایت شما می شود اولین چیزی که چک خواهد کرد این فایل است. شما می توانید برای یادگیری ساخت یک فایل robots.txtrobots.txt از لینک داده شده استفاده کنید.
دامنه و پارامتر های مربوط به کنترل google console در ارجیعیت قرار دهید
Google search console به شما این امکان را می دهد که یک دامنه را در ارجعیت قرار دهید به عنوان مثال www.poonehmedia.com را می توانید نسبت به poonehmedia.com در ارجعیت قرار دهید و به ربات های گوگل بفهمانید که پارامتر های شما برای انجام عمل خزش به چه صورت است.
بسته به ساختار آدرس URL سایت و مورد مربوط به محتوای تکراری خود و مشکلات آن؛ قرار دادن یک آدرس به عنوان اولویت اول یا با کنترل پارامتر ها می توانید راه حلی برای این قضیه پیدا کنید.
راه حل های جانبی برای حل مشکل محتوای تکراری یا Duplicate content
1- لینک دهی های داخلی خود را مصرانه انجام دهید و لینک های داخلی وب سایت خود را تامین کنید. به عنوان مثال اگر ابزار وب مستر خود را در خصوص آدرس www.poonehmedia.com کانالیزه کردید پس همه لینک های داخلی به جای این که به سمت poonemedia.com بروند به علت در ارجعیت قرار دادن www.poonehmedia.com به سمت پونه مدیا می آیند و مشکل خاصی در این خصوص بوجود نمی آید.
2- وقتی محتوای تولیدی خود را سندیکاسیون (متحد سازی) می کنید باید به یاد داشته باشید که وب سایت سندیکاسیون شده را به محتوا های اصلی خود لینک بک دهید و لینک هیچ محتوایی را تغییر ندهید.
3- برای جلوگیری از اینکه بقیه به محتوای تولیدی شما ناخنک بزنند و باعث کاهش کیفیت سئوی شما از طریح انتشار آن محتوا شوند می توانید یک لینک rel=canonical که به خودتان ارجاع داده شود به صفحه ی خود اضافه کنید.