ایندکس نشدن صفحات سایت در گوگل: دلایل و راه‌حل‌ها

صفحه‌ی تازه‌ای منتشر کرده‌اید، چند هفته گذشته و هنوز در گوگل خبری از آن نیست. در سرچ کنسول هم کنار بسیاری از صفحه‌ها نوشته شده «Not indexed». ایندکس نشدن صفحات یکی از رایج‌ترین و گیج‌کننده‌ترین مشکلات سئوست. خبر خوب این است که گوگل معمولاً دلیلش را به شما می‌گوید؛ فقط باید زبانش را بلد باشید. در این مقاله وضعیت‌های اصلی گزارش ایندکس را یکی‌یکی توضیح می‌دهیم و راه‌حل هرکدام را می‌گوییم.

ایندکس یعنی گوگل صفحه را خوانده، تحلیل کرده و در پایگاه داده‌ی خودش ذخیره کرده است. فقط صفحه‌های ایندکس‌شده می‌توانند در نتایج جست‌وجو ظاهر شوند. خزش و ایندکس دو مرحله‌ی جدا هستند. گوگل ممکن است صفحه‌ای را ببیند، اما تصمیم بگیرد ایندکسش نکند.

مطمئن‌ترین راه برای بررسی یک صفحه، ابزار URL Inspection در سرچ کنسول است. آدرس صفحه را در نوار بالای سرچ کنسول وارد کنید تا وضعیت دقیق آن را ببینید. برای دیدن تصویر کلی، گزارش Page indexing را باز کنید. جست‌وجوی site: در گوگل هم تخمینی سریع می‌دهد، اما دقیق نیست.

گزارش Page indexing برای هر صفحه‌ی ایندکس‌نشده یک دلیل ذکر می‌کند. در ادامه رایج‌ترین این دلیل‌ها را با همان عنوانی که در سرچ کنسول می‌بینید توضیح می‌دهیم.

صفحه تگ noindex دارد و خودتان از گوگل خواسته‌اید آن را ایندکس نکند. اگر این کار عمدی نبوده، تنظیمات افزونه‌ی سئو و گزینه‌ی مخفی کردن سایت از موتورهای جست‌وجو را در پنل مدیریت بررسی کنید. این تگ گاهی از دوران ساخت سایت روی محیط آزمایشی جا می‌ماند. بعد از حذف آن، از ابزار URL Inspection درخواست ایندکس بدهید.

فایل robots.txt اجازه‌ی خزش این صفحه را نمی‌دهد. اگر صفحه باید در نتایج باشد، دستور مربوط را از robots.txt بردارید. یک نکته‌ی مهم هم هست. اگر می‌خواهید صفحه‌ای از نتایج حذف شود، آن را در robots.txt نبندید. گوگل باید بتواند صفحه را بخواند تا تگ noindex آن را ببیند.

گوگل آدرس صفحه را می‌شناسد، اما هنوز آن را نخوانده است. گاهی دلیلش این است که گوگل نمی‌خواهد فشار زیادی به سرور بیاورد. گاهی هم صفحه از نظر گوگل اولویت پایینی دارد. سرعت سرور را بهتر کنید و از صفحه‌های مهم سایت به این صفحه لینک داخلی بدهید. اگر سایت هزاران آدرس بی‌ارزش مثل فیلترها و برچسب‌های خالی دارد، آن‌ها را کم کنید تا توجه گوگل به صفحه‌های اصلی برسد.

گوگل صفحه را خوانده اما تصمیم گرفته فعلاً ایندکسش نکند. این وضعیت معمولاً به کیفیت و ارزش صفحه برمی‌گردد. صفحه‌های کم‌محتوا، بسیار شبیه به صفحه‌های دیگر یا بدون ارزش افزوده، اغلب اینجا می‌مانند. راه‌حل، بهتر کردن خود صفحه است: محتوای اختصاصی‌تر و کامل‌تر، لینک داخلی بیشتر و ادغام صفحه‌های ضعیف. تکرار درخواست ایندکس بدون تغییر صفحه، معمولاً فایده‌ای ندارد.

وضعیتی مثل Duplicate without user-selected canonical یعنی گوگل صفحه را نسخه‌ی تکراری صفحه‌ی دیگری تشخیص داده است. یک اشتباه رایج در سایت‌های ایرانی، ساختن صفحه‌های جداگانه برای شهرهای مختلف با متن یکسان است. در این صفحه‌ها معمولاً فقط نام شهر عوض شده است. برای هر صفحه‌ی مهم، محتوای واقعاً متفاوت بنویسید و برای نسخه‌های تکراری ناگزیر، با تگ canonical نسخه‌ی اصلی را مشخص کنید. اگر وضعیت Google chose different canonical than user را می‌بینید، یعنی گوگل با انتخاب شما موافق نیست و احتمالاً دو صفحه تفاوت معناداری ندارند.

این وضعیت معمولاً نگرانی ندارد. یعنی صفحه نسخه‌ی دیگری از یک صفحه‌ی اصلی است و تگ canonical درستی به آن اشاره می‌کند. گوگل نسخه‌ی اصلی را ایندکس کرده و این نسخه را کنار گذاشته است؛ همان چیزی که خواسته‌اید.

صفحه به‌ظاهر سالم است، اما محتوایش شبیه صفحه‌ی خطاست. محصول ناموجودی که فقط یک پیام کوتاه دارد، یا دسته‌بندی خالی، نمونه‌های رایج آن‌اند. یا صفحه را با محتوای مفید کامل کنید، یا اگر واقعاً حذف شده، کد ۴۰۴ برگردانید. اگر صفحه‌ی جایگزین مشابهی دارید، با ریدایرکت ۳۰۱ کاربر را به آن هدایت کنید.

صفحه وجود ندارد. اگر آن را عمداً حذف کرده‌اید و جایگزینی ندارد، این وضعیت طبیعی است و به مرور اهمیتش کم می‌شود. اما اگر لینک‌های داخلی سایت هنوز به این آدرس اشاره می‌کنند، آن‌ها را اصلاح کنید. اگر صفحه‌ی جایگزینی وجود دارد، از ریدایرکت ۳۰۱ استفاده کنید.

این آدرس به آدرس دیگری ریدایرکت می‌شود و طبیعی است که خودش ایندکس نشود. فقط مطمئن شوید نقشه‌ی سایت و لینک‌های داخلی به آدرس نهایی اشاره می‌کنند، نه به آدرس قدیمی. زنجیره‌ی ریدایرکت‌های پشت‌سرهم را هم حذف کنید.

ربات گوگل هنگام مراجعه به صفحه با خطای سرور یا عدم دسترسی روبه‌رو شده است. قطعی‌های مکرر هاست، فایروال‌هایی که درخواست‌های خارجی را مسدود می‌کنند و صفحه‌هایی که نیاز به ورود دارند، دلیل‌های رایج این وضعیت‌اند. این نکته برای سایت‌هایی که روی سرورهای داخل ایران میزبانی می‌شوند اهمیت ویژه‌ای دارد. ربات‌های گوگل از خارج کشور به سایت سر می‌زنند. اگر فایروال هاست ترافیک خارجی را ببندد یا اینترنت بین‌الملل مختل شود، به سایت دسترسی ندارند. از شرکت هاستینگ بپرسید آیا ربات گوگل را مسدود می‌کند یا نه، و دسترسی سایت را منظم پایش کنید.

نه. بعضی صفحه‌ها اصلاً نباید در نتایج گوگل باشند و بهتر است noindex داشته باشند. این صفحه‌ها معمولاً این‌ها هستند:

تمرکز اصلی را روی این بگذارید که صفحه‌های خدمات، محصولات و مقاله‌های ارزشمند ایندکس شوند.

ایندکس نشدن صفحات تقریباً همیشه دلیل مشخصی دارد و گزارش Page indexing سرچ کنسول بهترین نقطه‌ی شروع برای پیدا کردن آن است. بعضی دلیل‌ها فنی و سریع‌الحل‌اند، مثل noindex یا robots.txt. بعضی دیگر به کیفیت و ارزش صفحه برمی‌گردند و راه‌حلشان محتوای بهتر است. اگر در پیدا کردن دلیل ایندکس نشدن صفحه‌هایتان به کمک نیاز دارید، پکیج‌های سئوی هیما را ببینید یا با ما تماس بگیرید.