کراول شده اما ایندکس نشده: راهنمای گزارش ایندکس

همان طور که می دانید قرار گرفتن صفحات سایت در لیست ایندکس گوگل برای وبمستران اهمیت حیاتی دارد ولی آیا تا به حال به این مشکل برخورده‌اید که کراولر(خزنده) گوگل صفحه را پیدا کرده باشد ولی ایندکس نکرده باشد؟ در این مقاله با ما همراه باشید تا دلایل این موضوع را بررسی نماییم.گزارش پوشش ایندکس گوگل بسیار عالی است چرا که دلایل شفافی در مورد تصمیمات ایندکس کردن و خزیده شدن توسط گوگل را به سئو ارائه می دهد. از زمانی که این گزارشات متولد شده اند، ما تقریباً هرروز از آن‌ها برای شناسایی مشکلات تکنیکی مشتریان استفاده می کنیم.

داخل این گزارش ها، وضعیت‌های متفاوتی وجود دارد که به صاحبان وب‌سایت ها اطلاعات لازم در مورد این که گوگل چطور با محتوای آن‌ها برخورد می کند قرار دارد. در حالی که بسیاری از این وضعیت ها دارای اطلاعاتی در مورد تصمیمات گوگل در مورد خزیدن و ایندکس کردن محتوای وب‌سایت ها می باشد، یکی از آن‌ها همچنان گیج کننده به نظر می رسد، ” کرلول شده – در حال حاضر ایندکس نشده است.”

از زمانی که این گزارش دیده شده است، بسیاری از صاحبان وب‌سایت ها در مورد معنی این جمله سوال می کنند. یکی از مزیت های کار کردن در آژانس ها قرار داشتن در معرض مقدار بسیار زیادی داده است، و از آنجایی که از این قبیل سوالات را از اکانت های زیادی دیده ایم، تصمیم به برداشتن ترندها از URLهای گزارش شده کردیم.

ایندکس گوگل

کلمه ایندکس (Index) به معنی فهرست است، پس وقتی می گوییم ایندکس گوگل منظورمان فهرستی است که در اختیار گوگل است. امروزه یکی از مواد مهم برای توسعه دهندگان وب و دارندگان وب سایت ایندکس شدن در گوگل است.

گوگل فعالیت خود را از زمانی که لینکی برای بررسی به او معرفی می شود، آغاز می کند. او ابتدا لینک و محتویات صفحه اصلی به همراه لینک های داخلی آن به صفحات دیگر را مورد بررسی قرار می دهد. سپس از طریق لینک، وارد صفحات مورد نظر شده و آن ها را هم نیز مورد بررسی قرار می دهد. در هر بار یکی از عواملی که بررسی می شود، چگالی کلمات کلیدی است. این بررسی صفحات، لینک های داخلی آن و همچنین صفحات آن لینک تا جایی ادامه می یابد که گوگل هیچ‌گونه ارتباط خارجی از آن صفحه به دیگر صفحات نتواند پیدا کند. بعد این صفحات بسته به نوع کلمه کلیدی و معیاری هایی دیگر که برای گوگل مهم هستند، مورد رتبه بندی قرار می گیرند. هر صفحه که بررسی می شود، در پایگاه ایندکس گوگل ذخیره می شود.

کراول شده ولی ایندکس نشده Crawled — Currently Not Indexed

تعریف گوگل: بیایید با تعریف رسمی گوگل شروع کنیم. طبق گفته های رسمی گوگل، این وضعیت بدین معنیست: ” صفحه توسط گوگل پیدا شده است، اما ایندکس نشده است. ممکن است در آینده ایندکس شود و شاید هم نشود؛ بنابراین نیازی نیست که این URL را دوباره برای پیدا شدن ثبت کنید. “

چیزهایی که ما می دانیم:

• گوگل توانایی دسترسی به صفحه را داشته است.
• گوگل برای خزیدن صفحه زمان گذاشته است.
• بعد از خزیده شدن، گوگل تصمیم گرفته است که آن را ایندکس نکند.

کلید درک این وضعیت فکر کردن به دلایلی است که گوگل به خاطر آن‌ها آگاهانه تصمیم گرفته است که صفحه را ایندکس نکند. می دانیم که گوگل در پیدا کردن صفحات مشکلی ندارد، اما ظاهراً به دلایل مختلفی کاربران از این پیدا کردن سودی نمی برند. این موضوع می تواند واقعاً آزاردهنده باشد، مخصوصاً این که ندانید چرا محتوای شما ایندکس نمی شود. در ادامه می خواهم چند دلیل رایج که تیم ما با آنها مواجه شده است را با شما در میان بگذارم که ببینیم چرا این وضعیت مبهم می تواند برروی وب‌سایت شما تاثیر داشته باشد.

۱. False Positives

درجه اولویت: پایین

اولین قدم ما همیشه انجام دادن چند تست نقطه ای از URLهایی است که در بخش ” خزیده شده اما ایندکس نشده ” قرار دارند. خیلی غیرطبیعی نیست که با URLهایی مواجه شوید که طبق گفته های گزارشات Exclude شده اند اما می بینید که در ایندکس گوگل وجود دارند. به عنوان مثال این لینکی است که در وب‌سایت ما در گزارشات در این بخش قرار می گیرد: https://gofishdigital.com/meetup/

اما زمانی که از یک اپراتور جستجوی سایت استفاده می کنیم، می توانیم ببینیم که URL در ایندکس گوگل قرار دارد. شما می توانید این کار را با اضافه کردن ” Site: ” قبل از URL انجام دهید.

اگر URLهایی را در این وضعیت گزارش شده دیدید، به شما پیشنهاد می کنم که اول از اپراتور جستجوی سایت استفاده کنید تا مشخص شود که URL ایندکس شده است یا خیر. گاهی اوقات، این موضوع به نظر مثبت های دروغین می آید.

راه حل: کاری نکنید! شما در وضعیت خوبی قرار دارید.

۲. RSS feed URLs

درجه اولویت: پایین

این موضوع یکی از رایج ترین مثال هاییست که می بینیم. اگر وبسایت شما از RSS Feed بهره می برد، شما ممکن است با URLهایی از آن مواجه شوید که در وضعیت ” خزیده شده – ایندکس نشده ” گزارش شده اند. بسیاری از اوقات این URLها دارای یک رشته ” /feed/ ” در انتهای خود می باشند. آنها می توانند در گزارشات مانند تصویر زیر نشان داده شوند:

گوگل این لینک های RSS Feed را از که از صفحه اصلی لینک شده اند پیدا می کند. آنها معمولاً به یک المان ” rel=alternate ” لینک می شوند. پلاگین های وردپرس مانند Yoast معمولاً می توانند این URLها را به صورت خودکار فعال کنند.

راه حل: کاری نکنید! شما در وضعیت خوبی قرار دارید.

گوگل احتمالاً این لینک ها را برای ایندکس نشدن انتخاب می کند، و کار بدی هم نمی کند. اگر شما به یک لینک RSS feed بروید، شما یک مستند XML مانند تصویر زیر را خواهید دید:

از آنجایی که این مستند XML برای فیدهای RSS مفید است، نیازی نیست که گوگل آن ها را در ایندکس خود شامل کند. چرا که اگر این کار را بکند تجربه بدی را برای مخاطبان در پی دارد چرا که نشان می دهد که این محتوا برای کاربران نیست.

۳- URLهای صفحه بندی شده

درجه اولویت: پایین

یکی دیگر از دلایل به شدت رایج برای این اتفاق می تواند صفحه بندی باشد. ما معمولاً تعداد زیادی از  URLهای صفحه بندی شده را در این گزارش می بینیم. در تصویر پایین می توانیم تعدادی URLهای صفحه بندی شده از یک وبسایت بزرگ ای کامرس را ببینیم.

راه حل: کاری نکنید! شما در وضعیت خوبی قرار دارید.

گوگل باید از میان URLهای صفحه بندی شده بگذرد تا بتواند تمامی وبسایت شما شناسایی کند. این مسیر رسیدن به محتواست که در صفحات داخلی تر دسته بندی ها یا صفحات توضیحات محصولات قرار دارد. اما، در حالی که گوگل از صفحه بندی به عنوان راهی برای رسیدن به محتوا استفاده می کند، نیازی نمی بیند که خود URLهای صفحه بندی شده را ایندکس کند.

در هر صورت، مطمئن شوید کاری انجام نمی دهید که برروی صفحه بندی فردی تاثیری بگذارد. مطمئن شوید که تمامی صفحه بندی های شما دارای یک تگ کنونیکال خود ارجاعی است و دارای هیچگونه تگ No Follow نمی باشد. این صفحه بندی نقش خیابانی را برای گوگل ایفا می کند که گوگل از طریق آن می تواند صفحات کلیدی دیگر سایت شما را شناسایی کند، بنابراین شما قطعاً باید این اجازه را به گوگل بدهید.

۴- محصولات منقضی شده

شدت اولویت: متوسط

وقتی که صفحات مختلف این گزارشات را بررسی می کنیم، یک مشکل رایج که در لینک های مشتریان مشاهده می شود URLهایی است که شامل متن هایی با مضمون ” منقضی شده ” یا ” نا موجود ” برای محصولات است. مخصوصاً در وب‌سایت های ای کامرس، به نظر می آید که گوگل موجود بودن محصولات مختلف را بررسی می کند. اگر مشخص شود که محصولی در دسترس نیست، گوگل این محصول را از ایندکس خود اکسکلود می کند.

از دید UX این کار منطقی به نظر می آید چرا که گوگل ممکن است نخواهد محتوایی را در ایندکس شامل کند که مخاطبان نمی توانند آن را بخرند. اگرچه، اگر این محصولات واقعاً در وبسایت شما وجود داشته باشند، می تواند باعث از دست رفتن فرصت های سئوی زیادی شود. با Exclude کردن صفحات از ایندکس، محتوای شما هیچ شانسی برای رتبه گرفتن نخواهد داشت.

علاوه بر این، گوگل تنها محتوای قابل رویت در صفحه را چک نمی کند. مواردی بوده است که در صفحه محتوای محصول هیچ نشانه ای مبنی بر ناموجود بودن آن وجود نداشته است، اما، هنگام چک کردن داده های ساختاریافته، می بینیم که وضعیت دسترسی روی حالت ” ناموجود ” قرار دارد.

به نظر می آید که گوگل با بررسی محتوای قابل رویت و داده های ساختاریافته در مورد دسترسی یک محصول تصمیم می گیرد. بنابراین چک کردن محتوا و ساختار هر دو بسیار مهم هستند.

راه حل: انبار محصولات خود را چک کنید.

اگر محصولات قابل دسترسی را پیدا کردید که در این گزارش قرار داشتند، شما باید تمام محصولاتی را که در این لیست به عنوان غیرقابل دسترس حضور دارند چک کنید. خزیدن دوباره روی سایت انجام دهید و از یک ابزار استخراج شخصی سازی شده مانند Screaming Frog استفاده کنید تا بتوانید داده ها را از صفحات محصول خود پاک کنید.

به عنوان مثال، اگر می خواهید تمام URLهایی که در ساختار شما به عنوان ناموجود قرار گرفته اند ببینید، شما می توانید Regex  را روی ” availability: ” ست کنید. این ” class=redactor-autoparser-object>http://schema.org/OutOfStock ” باید بتواند به صورت اتوماتیک تمامی URLهای مورد نظر را پاک کند.

شما می توانید این لیست را Export کرده و با استفاده از اکسل یا ابزارهای هوش بیزینسی با داده های انبار خود مقایسه کنید. این کار به سرعت می تواند به شما در صورت وجود، عدم هماهنگی های موجود بین داده های ساختاریافته وبسایت و محصولاتی که واقعاً در دسترس هستند را نشان دهد. همین پروسه نیز می تواند در صورتی که محتوای قابل رویت شما نشان دهنده منقضی شدن محصولی باشد، تکرار شود.

۵- 301 redirects

درجه اولویت: متوسط

یکی از مثال های جالبی که در این وضعیت می توانیم ببینیم URLهای مقصد صفحات مسیردهی شده دوباره هستند. معمولاً می بینیم که گوگل URLهای مقصد را شناسایی می کند اما آن ها را در ایندکس لحاظ نمی کند. اما، با نگاه کردن به صفحه نتایج جستجو، می بینیم که گوگل لینک مسیردهی دوباره را ایندکس می کند. از آنجایی که لینک مسیردهی دوباره ایندکس می شود، لینک مقصد به گزارش ” خزیده شده – ایندکس نشده ” فرستاده می شود.

مشکلی که در اینجا وجود دارد این است که شاید گوگل هنوز مسیردهی دوباره را شناسایی نکرده است. در نتیجه، گوگل لینک مقصد را تکراری تلقی می کند چرا که هنوز در حال ایندکس کردن لینک مسیردهی است.

راه حل: یک sitemap.xml موقتی بسازید

اگر این اتفاق برای تعداد زیادی از لینک ها می افتد، باید چند کار مهم را انجام دهید تا سیگنال های بزرگتری به گوگل ارسال کنید. این مشکل همانطور که گفته شد ممکن است به این دلیل پیش بیاید که گوگل در بازه زمانی معین مسیردهی شما را شناسایی نکرده است، که در نتیجه به سیگنال های محتوای غیریکسان منجر می شود.

یکی از آپشن ها ایجاد کردن یک سایت مپ موقتی است. این سایت مپی است که می توانید بسازید تا بتوانید شناسایی شدن این لینک های مسیردهی را تسریع بخشید. این استراتژی است که جان مولر قبلاً توصیه کرده بود.

برای ساخت سایت مپ موقتی، شما باید مسیردهی هایی که قبلاً ساخته اید را مهندسی معکوس کنید:

1. تمامی لینک های گزارش ” خزیده شده – ایندکس نشده ” را اکسپورت کنید.
2. با استفاده از نرم افزار اکسل آنها را با مسیردهی هایی که قبلاً راه اندازی کرده اید هماهنگ کنید.
3. تمامی مسیردهی هایی که دارای لینک های مقصد در بخش ” خزیده شده – ایندکس نشده ” هستند را پیدا کنید.
4. با استفاده از Screaming Frog یک xml ثابت از این لینک ها بسازید.
5. سایت مپ را آپلود کنید و در Search Console بخش ” خزیده شده – ایندکس نشده ” را تحت نظر بگیرید.

هدف این کار این است که گوگل این لینک ها را در sitemap.xml موقتی با سرعت بیشتری نسبت به گذشته شناسایی کند. بنابراین در نتیجه یکسان سازی مسیردهی ها تسریع خواهد یافت.

۶. Thin content

درجه اولویت: متوسط

گاهی اوقات لینک هایی در این گزارش می بینیم که دارای محتوای بسیار کمی هستند. این صفحات ممکن است تمامی المان های تکنیکی لازم را داشته باشند و به خوبی لینک دهی داخلی نیز شده باشند، اما، وقتی گوگل به این لینک ها می رسد، محتوای بسیار کمی برروی صفحه قرار دارد. در تصویر پایین یک مثال از یک صفحه دسته بندی محصول می بینید که داخل آن یک متن بسیار کوتاه منحصر به فرد وجود دارد.

این صفحه لیست محصولات به عنوان ” خزیده شده – ایندکس نشده ” مشخص شده است. این اتفاق ممکن است بخاطر کمبود محتوای مناسب در صفحه افتاده باشد. این صفحه احتمالاً یا انقدر کم بوده است که به نظر گوگل مفید نیامده است و یا انقدر محتوای کمی دارد که گوگل آن را به عنوان محتوای تکراری یک صفحه دیگر محسوب می کند. نتیجه کار حذف شدن محتوا از ایندکس توسط گوگل است.

یک مثال دیگر ببینید؛ گوگل توانسته است که یک صفحه ثبت نام در وبسایت Go Fish Digital را شناسایی کند، در حالی که این محتوا منحصر به فرد برای سایت است، گوگل احتمالاً باور نمی کند که ثبت نام تک جمله ای باید به عنوان یک صفحه ایندکس شدنی محسوب شود. دوباره تکرار می کنم، گوگل تصمیم گرفته است که این صفحه را به دلیل کمبود کیفیت از ایندکس اکسکلود کند.

راه حل: محتوای بیشتری اضافه کنید و یا سیگنال های ایندکس شدنی را تنظیم کنید

قدم بعدی بستگی به این دارد که ایندکس شدن این صفحات برای شما چقدر مهم باشد. اگر اعتقاد دارید که صفحه باید ایندکس شود، اضافه کردن محتوا را در نظر بگیرید. این به گوگل کمک می کند که به صفحه به چشم فراهم کننده تجربه بهتر برای مخاطبان نگاه کند. اگر ایندکس شدن برای محتوای مورد نظر شما نیاز نیست، سوال اصلی این می شود که آیا شما باید قدم های لازم برای سیگنال دادن به گوگل مبنی بر این که این محتوا نباید ایندکس شود را بردارید یا خیر. گزارش ” خزیده شده – ایندکس نشده ” نشان دهنده این است که محتوا برای ظاهر شدن در ایندکس گوگل واجد شرایط است، اما گوگل تصمیم گرفته است که این کار را نکند.

همچنین ممکن است صفحات بی کیفیت دیگری نیز وجود داشته باشد که گوگل در قبال آن‌ها این سیاست را در پیش نگیرد. شما می توانید یک جستجوی کلی ” site: ” انجام دهید که شامل همان مدل محتواهایی است که در مثال های بالا مشاهده کرده اید که برعکس آن موارد، ایندکس شده اند. اگر متوجه شدید که تعداد زیادی از این موارد در ایندکس لحاظ شده اند، شما باید فعالیت های دیگری نیز انجام دهید که مطمئن شوید این صفحات از ایندکس پاک شده اند، کارهایی مانند تگ های ” no index “، ارور 404 و یا پاک کردن آنها به طور کلی از ساختار لینک های داخلی خود.

۷. محتوای تکراری Duplicate content

درجه اولویت: بالا

زمانی که در حال بررسی این مشکل برروی تعداد زیادی از مشتریان بودیم، این بالاترین اولویتی است که دیده ایم. اگر گوگل محتوای شما را تکراری محسوب کند، ممکن است آن را شناسایی کند اما ایندکس نمی کند. این یکی از شیوه هایی است که با استفاده از آن گوگل از تکراری نبودن صفحه نتایج جستجو اطمینان حاصل می کند. با پاک کردن محتوای تکراری از ایندکس، گوگل اطمینان حاصل می کند که مخاطبان با تنوع زیادی از محتواهای خاص برای تعامل روبرو می شوند. بعضی اوقات گزارشات این لینک ها را به عنوان ” تکراری ” تعیین وضعیت می کنند، اما همیشه موضوع اینطوری نیست.

این یک مشکل با اولویت بالاست، مخصوصاً برروی بسیاری از وبسایت های ای کامرس. صفحات کلیدی مانند صفحات توضیحات محصولات معمولاً شامل توضیحات محصول یکسان یا بسیار مشابه با بسیاری از نتایج جستجوی دیگر در سراسر دنیا هستند. اگر گوگل آنها را بیش از حد مشابه با نمونه های داخلی و خارجی تشخیص دهد، ممکن است همه را با هم از ایندکس حذف کند.

راه حل: المان های منحصر به فرد به محتوای تکراری اضافه کنید

اگر فکر می کنید که این وضعیت برای وبسایت شما نیز پیش آمده است، می توانید این کارها را امتحان کنید:

1. یک بخش از متن احتمالی تکراری را بردارید و در گوگل وارد کنید.
2. در لینک صفحه نتایج جستجو، این رشته را به آخر آن اضافه کنید : ” &num=100 ” . این به شما ۱۰۰ رتبه برتر را نشان می دهد.
3. از قابلیت Find مرورگر خود استفاده کنید و ببینید که جایی در ۱۰۰ رتبه برتر دارید یا خیر. اگر نداشتید، ممکن است رتبه شما از ایندکس فیلتر شده باشد.
4. به لینک صفحه نتایج جستجو برگردید و این رشته را به انتهای آن اضافه کنید: ” &filter=0 ” این کار به شما نتایج غیر فیلتر شده گوگل را نشان می دهد.
5. دوباره از قابلیت Find مرورگر خود استفاده کنید. اگر صفحه شما اکنون ظاهر شده است، این یک نشانه خوب است که محتوای شما از ایندکس گوگل فیلتر شده است.
6. این پروسه را با لینک هایی که دارای محتوای بسیار مشابه یا یکسان هستند و در گزارش ” خزیده شده – ایندکس نشده ” قرار دارند تکرار کنید.

اگر لینک های شما دائماً توسط گوگل از ایندکس فیلتر می شوند، باید قدم هایی را در جهت اختصاصی کردن محتوایتان بردارید. در حالی که هیچ قانون کلی برای دستیابی به این هدف وجود ندارد، می توانید کارهای زیر را امتحان کنید:

• محتوای صفحات با اولویت بالا را بازنویسی کنید تا اختصاصی تر شوند.
• از ویژگی های پویا برای تزریق خودکار محتوای منحصر به فرد به وبسایت استفاده کنید.
• بخش بزرگی از محتوای غیر لازم را حذف کنید. صفحاتی که دارای متون منحصر به فرد نیستند احتمال تکراری محسوب شدن بیشتری دارند.
• اگر وب‌سایت شما به محتوای تولید شده توسط کاربران وابسته است، به شرکت کنندگان خود بگویید که تمامی این محتواها باید منحصر به فرد باشند. این موضوع می تواند از این که شرکت کنندگان محتوای یکسان را برروی چندین دامین و صفحه منتشر کنند جلوگیری کند.

۸- محتوای خصوصی Private-facing content

درجه اولویت: بالا

گاهی اوقات خزندگان گوگل به محتواهایی دسترسی پیدا می کنند که نباید به آنها دسترسی داشته باشند. اگر گوگل محیط dev را پیدا می کند، ممکن است آن لینک ها را در گزارش شامل کند. ما حتی مثال هایی از گوگل در حال شناسایی ساب دامین های مشخصی از مشتری که برای بلیطهای JIRA راه اندازی شده است، دیده ایم. این باعث انفجاری در شناسایی وبسایت شده است، چرا که برروی لینک های تمرکز کرده است که اصلاً نباید برای ایندکس شدن به حساب آورده شوند.

مشکل اصلی اینجاست که شناسایی سایت توسط گوگل متمرکز نیست، و زمان خود را صرف پیدا کردن لینک هایی می کند که برای جستجوکنندگان ایجاد نشده اند. این موضوع می تواند تاثیر بسیار بدی روی بودجه شناسایی شدن یک سایت بگذارد.

راه حل: قدم های ایندکس شدن و شناسایی شدن خود را تنظیم کنید

این راه حل کاملاً وابسته به موقعیت کنونی و این که گوگل می تواند به چه چیزهایی دسترسی داشته باشد، می باشد. معمولاً، اولین کاری که باید انجام دهید این است که مشخص کنید گوگل چطور می تواند این لینک های خصوصی را شناسایی کند، مخصوصاً اگر از طریق ساختار لینک های داخلی شما باشد. با شناسایی صفحه اصلی ساب دامین اصلی خود شروع کنید و ببینید که آیا ساب دامین هایی که نمی خواهید نیز می توانند با شناسایی معمولی Screaming Frog شناسایی شوند یا خیر. اگر این طور است، می توان گفت که ربات های گوگل نیز می توانند این مسیر را پیدا کنند. شما باید تمامی لینک های داخلی به این محتوا را برای جلوگیری از دسترسی گوگل حذف کنید.

قدم بعدی چک کردن وضعیت ایندکس شدن لینک هایی است که باید Exclude شوند. آیا گوگل به طور صحیح همه را از ایندکس دور نگه می دارد، یا بعضی از آنها در ایندکس گیر افتاده اند؟ اگر گوگل میزان زیادی از این محتوا را ایندکس نمی کند، شما باید فایل robots.txt خود را تنظیم کنید تا شناسایی را به سرعت بلاک کند. اگر نشد، تگ noindex، کنونیکال ها و صفحات رمزگذاری شده نیز گزینه های دیگر روی میز شما هستند.

محتوای تولید شده توسط کاربران UGC

برای این که یک مثال واقعی بزنیم، این مشکلی است که با سایت یک مشتری پیش آمده است. این مشتری بسیار مشابه با یک وب‌سایت ای کامرس است چرا که بسیاری از محتوای آن‌ها شامل صفحات توضیحات محصولات می شود. اما، تمامی این صفحات توضیحات محصولات محتوای تولید شده توسط کاربران دارند.

در واقع اشخاص برون سایتی می توانند لیست هایی از این سایت ایجاد کنند. اما، اشخاص دیگر معمولاً در حال اضافه کردن توضیحات بسیار کم به صفحات بودند، که منجر به محتوای باریک می شد. مشکلی که دائماً پیش می آمد این بود که صفحات محصولات تولید شده توسط کاربران در گزارش ” خزیده شده – ایندکس نشده ” گیر می افتادند. این اتفاق باعث از دست رفتن فرصت های سئو می شد چرا که صفحاتی که قابلیت بدست آوردن ترافیک ارگانیک را داشتند از ایندکس خارج می شدند.طی درگیر شدن با پروسه بالا، ما متوجه شدیم که صفحات توضیحات محصولات این مشتری از نظر محتوای منحصر به فرد بسیار دچار کمبود بودند. صفحاتی که مرتب از ایندکس خارج می شدند شامل یک پاراگراف یا حتی کمتر از یک متن منحصر به فرد بودند. علاوه بر این، بیشتر محتوای درون صفحه ای شامل متونی بود که در تمامی مدل های صفحات دیگر نیز وجود داشت. از آنجایی که محتوای منحصر به فرد بسیار کمی برروی صفحه وجود داشت، ممکن است این اتفاق باعث شده باشد که گوگل صفحات را تکراری تلقی کند. نتیجه این بود که گوگل صفحات را از ایندکس حذف می کرد و وضعیت ” خزیده شده – ایندکس نشده ” را برای آن ها تعیین می کرد.

برای حل کردن این مشکلات، ما با مشتری کار کردیم تا مشخص کنیم که کدام بخش از این محتوای تکراری لازم نیست که در توضیحات صفحات محصولات قرار داشته باشد. ما توانستیم که محتوای تکراری که نیاز نبود را از بیش از ۱۰۰۰ لینک حذف کنیم. این کار باعث کاهش چشمگیری در صفحات ” خزیده شده – ایندکس نشده ” شد چرا که گوگل به صفحات به صورت اختصاصی تر نگاه می کرد.

جمع بندی

امیدواریم این مقاله به بازاریابان جستجو در امر درک بهتر وضعیت ” کراول شده – ایندکس نشده ” کمک کرده باشد. البته، دلایل بیشتری نیز احتمالاً برای این که گوگل لینک ها را در این دسته بندی قرار دهد وجود دارد، اما این موارد رایج ترین مواردی بوده اند که ما برروی وبسایت های مشتریان خود مشاهده کرده ایم. به طور کلی، گزارش وضعیت ایندکس شدن یکی از قدرتمندترین ابزارها در Search Console می باشد. من همیشه به بازاریابان جستجو پیشنهاد می کنم که با داده ها و گزارشات که ما به صورت روتین در رفتارهای ایندکس کردن و شناسایی کردن می بینیم، مخصوصاً در وبسایت های بزرگتر آشنا شوند.