عماد چابک
صفحهای که هفته پیش در نتایج گوگل بود و امروز پیدا نمیشود، معمولاً یکی از این چهار مشکل را دارد: به گوگل گفتهاید ایندکسش نکند (noindex)، آدرس اصلی را اشتباه معرفی کردهاید (canonical)، صفحه خطای سرور یا 404 میدهد، یا گوگل آن را تکراری و کمارزش دیده است.
علت حذف صفحات از ایندکس گوگل تقریباً همیشه در یکی از همین موارد پیدا میشود و بیشترشان را میتوانید خودتان با Search Console بررسی و درست کنید.در ادامه، مشکل را قدمبهقدم پیدا میکنیم، رفعش میکنیم و راههایی برای تکرار نشدنش میگوییم. اگر تازه با این مباحث آشنا شدهاید، مسیر آموزش سئو از صفر تا صد پایههای لازم را برایتان میگذارد.
گوگل هر صفحه را در چند مرحله بررسی میکند: کشف آدرس، خزیدن (خواندن صفحه)، پردازش محتوا و در نهایت ذخیره در ایندکس. اگر در هر مرحله اتفاقی بیفتد، مثلاً گوگل دیگر به صفحه دسترسی پیدا نکند یا آن را ارزشمند نداند یا شما دستور حذف بدهید، صفحه از ایندکس خارج میشود.
برای هر کسی که روی سئو سایت کار میکند، شناخت همین مراحل نقطه شروع تشخیص مشکل است.
نکتهای که کمتر گفته میشود این است که گوگل هیچوقت وعده نداده همه صفحات را برای همیشه در ایندکس نگه دارد. ایندکس یک وضعیت دائمی نیست و گوگل مدام آن را با وضعیت فعلی سایت شما مقایسه میکند. پس دلیل حذف صفحات از ایندکس گوگل گاهی یک تغییر فنی است که خودتان دادهاید، گاهی هم ارزیابی گوگل از کیفیت صفحه.
این دو مشکل ظاهر یکسانی دارند اما راهحلهایشان فرق میکند.
| ایندکس نشدن | حذف از ایندکس (دیایندکس) | |
|---|---|---|
| وضعیت | صفحه هیچوقت وارد ایندکس نشده | صفحه قبلاً در ایندکس بوده و خارج شده |
| معمولترین ردپا | Discovered یا Crawled - currently not indexed | صفحه قبلاً در نتایج بود و حالا نیست |
| اولین سؤال | چرا گوگل اصلاً آن را نپذیرفت؟ | چه چیزی بعد از ایندکس شدن تغییر کرد؟ |
| سرنخ اصلی | کیفیت، لینکدهی داخلی، بودجه خزش | تغییر فنی، ریدایرکت، خطای سرور، noindex |
اگر صفحهای قبلاً ایندکس بوده، بهتر است اول تاریخچه تغییرات فنی سایت را مرور کنید: بروزرسانی قالب، تغییر افزونه، جابهجایی هاست یا ویرایش فایل robots.txt.
علت حذف صفحات از ایندکس گوگل را میشود در سه گروه دستهبندی کرد: دستوری که خودتان (آگاهانه یا ناخواسته) به گوگل دادهاید، مشکل فنی که مانع دیدن صفحه شده، و ارزیابی کیفی خود گوگل.
شناختن گروه مشکل، نصف راه تشخیص است، چون هر گروه راهحل و ابزار بررسی جداگانهای دارد.
تگ noindex مستقیمترین دستور حذف است. وقتی گوگل صفحه را دوباره بخزد و این تگ را ببیند، صفحه را از ایندکس بیرون میآورد.
معمولاً کسی عمداً روی صفحه مهم noindex نمیگذارد. این اتفاقها رایجترند:
تگ canonical به گوگل میگوید نسخه اصلی این صفحه کدام آدرس است. اگر صفحه A به اشتباه به صفحه B اشاره کند، گوگل A را نسخه فرعی میداند و ممکن است فقط B را نگه دارد.
خطاهای معمول:
گوگل canonical را «توصیه» میداند نه «دستور». اگر تشخیص دهد آدرس شما درست نیست، خودش نسخه دیگری را انتخاب میکند، و همین ریشه یکی از رایجترین دلایل دیایندکس شدن صفحات در گوگل است.
اگر صفحهای 404 (پیدا نشد) یا 410 (برای همیشه حذف شده) برگرداند، گوگل بعد از چند بار بررسی آن را از ایندکس خارج میکند. این رفتار طبیعی و درست است، چون صفحهای که وجود ندارد نباید در نتایج باشد.
مشکل وقتی است که صفحه وجود دارد اما بهاشتباه 404 میدهد؛ مثلاً بعد از تغییر ساختار لینکها (پیوند یکتا) در وردپرس. یک حالت خطرناکتر هم هست: Soft 404، یعنی صفحه کد 200 میدهد اما محتوایش خالی یا شبیه «یافت نشد» است. گوگل اینها را هم حذف میکند.
خطای 5xx یعنی سرور نتوانسته درخواست را جواب بدهد. یکی دو بار خطا معمولاً مشکلی ایجاد نمیکند و گوگل بعداً برمیگردد. اما اگر سرور چند روز پشت سر هم خطا بدهد، گوگل اول سرعت خزش را کم میکند و بعد ممکن است آدرسها را از ایندکس کنار بگذارد.
سایتی روی هاست ارزان اجرا میشود، کمپین تبلیغاتی فشار زیادی میآورد، سرور زمین میخورد و همان روزها Googlebot هم چند بار با خطا برمیخورد. اگر سایت شما ساعتهای پرترافیک کند یا قطع میشود، لاگ سرور را هم ببینید.
وقتی آدرس صفحه عوض میشود و ریدایرکت 301 نمیگذارید، گوگل آدرس قدیمی را 404 میبیند و حذفش میکند. آدرس جدید هم از صفر شروع میکند و اعتبار قبلی را ندارد.
اشتباهات رایج در ریدایرکت:
اگر چند صفحه تقریباً یک محتوا داشته باشند، گوگل یکی را انتخاب میکند و بقیه را کنار میگذارد. مثال: فروشگاهی که برای هر رنگ یک محصول یکجور ساخته و توضیح همهشان یکی است. یا سایتی که هم با www و هم بدون www باز میشود.
گوگل در این حالت صفحه شما را «حذف» نمیکند، بلکه صفحه دیگری را «انتخاب» میکند. اما نتیجه برای شما فرقی ندارد: صفحهتان دیده نمیشود.
اگر robots.txt، فایروال، سیستم امنیتی یا CDN مانع Googlebot شود، گوگل نمیتواند صفحه را ببیند. چند نکته دقیق:
بهترین ابزار برای این کار، خود Google Search Console است. بدون آن بیشتر بررسیها حدسی میشود.
آدرس دقیق صفحه را در نوار بالای Search Console وارد کنید. نتیجه اول همین است: «URL is on Google» یا «URL is not on Google». اگر گزینه دوم را دیدید، زیر آن دلیل را مینویسد. این دلیل، شروع مسیر پیدا کردن علت حذف صفحات از ایندکس گوگل است.
| بخش | چه چیزی را نشان میدهد | به چه چیزی دقت کنیم |
|---|---|---|
| Discovery | گوگل صفحه را از کجا پیدا کرده | آیا در سایتمپ هست؟ لینک داخلی دارد؟ |
| Last crawl | آخرین بازدید Googlebot | تاریخ خیلی قدیمی یعنی کمتوجهی گوگل |
| Crawl allowed | اجازه خزیدن | اگر No باشد، robots.txt مانع است |
| Page fetch | نتیجه دریافت صفحه | Successful یا خطا (404، 5xx) |
| Indexing allowed | اجازه ایندکس | اگر No باشد، noindex فعال است |
| User-declared canonical | canonical که شما تعیین کردهاید | آیا آدرس درست است؟ |
| Google-selected canonical | canonical که گوگل انتخاب کرده | اگر متفاوت است، مشکل تکراری بودن دارید |
در بخش Indexing همان صفحه، دو مقدار را با هم مقایسه کنید. اگر کنار Google-selected canonical آدرس دیگری نوشته شده، یعنی گوگل صفحه شما را نسخه دوم میداند. در این حالت باید ببینید صفحه دیگر چه شباهتی دارد: محتوای تکراری است یا canonical اشتباه گذاشتهاید؟
سه قدم مشخص:
اگر صفحات زیادی دچار مشکلاند، گزارش Page Indexing را باز کنید و بهجای صفحهبهصفحه بررسی کردن، به الگوها نگاه کنید. مثلاً همه مقالات یک دسته حذف شدهاند یا فقط صفحات جدید. برای بررسی عمیقتر و چندلایه، آنالیز سئو سایت کمک میکند ریشه مشکل را در کل سایت پیدا کنید، نه فقط در یک آدرس.
برای برگرداندن صفحهای که از ایندکس خارج شده، سه کار به این ترتیب لازم است: علت را پیدا و رفع کنید، با Live Test مطمئن شوید مانعی نمانده، و بعد یکبار Request Indexing بزنید. اگر ترتیب را رعایت نکنید، درخواست ایندکس معمولاً بینتیجه میماند، چون گوگل همان مشکل قبلی را دوباره میبیند.
قبل از هر درخواستی به گوگل، باید علت را بردارید. راهحل بر اساس نوع مشکل:
| مشکل | اقدام |
|---|---|
| noindex | تگ یا هدر را حذف کنید و در تنظیمات افزونه سئو هم بررسی کنید |
| canonical اشتباه | آدرس را به خود صفحه اصلاح کنید (self-canonical) |
| 404 یا soft 404 | صفحه را برگردانید، یا اگر عمداً حذف شده ریدایرکت 301 به صفحه مرتبط بگذارید |
| خطای 5xx | لاگ سرور را بررسی کنید، منابع هاست را افزایش دهید |
| محتوای تکراری | محتوا را منحصربهفرد کنید یا صفحات مشابه را ادغام کنید |
| بلاک robots/فایروال | اجازه Googlebot را باز کنید و با Live Test تأیید کنید |
فقط وقتی Live Test نشان میدهد صفحه بدون مانع قابل دسترسی و قابل ایندکس است. زودتر از این، درخواست ایندکس فقط سهمیهتان را مصرف میکند. هر دامنه در Search Console سهمیه روزانه محدودی برای این درخواست دارد، پس آن را برای صفحات مهم نگه دارید. ثبت درخواست برای همان یک صفحه کافی است و تکرارش چند بار در روز فایدهای ندارد.
Request Indexing به گوگل میگوید «دوباره به این صفحه سر بزن». تصمیم نهایی با گوگل است. اگر صفحه از نظر کیفیت، یکتایی یا اهمیت قانعکننده نباشد، ممکن است ایندکس نشود. زمان مشخصی هم وجود ندارد؛ گاهی چند ساعت طول میکشد و گاهی چند هفته.
اگر بعد از رفع همه موارد صفحه باز هم برنمیگردد، احتمالاً مشکل کیفیت یا الگوی کلی سایت است. در چنین شرایطی مشاوره سئو کمک میکند بدون آزمونوخطا مسیر درست را پیدا کنید.
بعضی وضعیتها ترسناک به نظر میرسند اما معنیشان «حذف شدن» نیست.
گوگل صفحه را دیده، ولی فعلاً آن را به ایندکس اضافه نکرده است. معمولاً یعنی محتوا کمارزش، شبیه صفحات دیگر یا بیربط به ساختار سایت دیده شده. راهحل، بهبود واقعی محتوا و تقویت لینکدهی داخلی است، نه درخواست پشتسرهم ایندکس.
گوگل آدرس را میشناسد اما هنوز نرفته آن را بخزد. این وضعیت معمولاً به بودجه خزش، سرعت پایین سایت، یا تعداد بالای صفحات کماهمیت برمیگردد. صفحه حذف نشده؛ هنوز نوبتش نرسیده است.
| وضعیت | معنی | چه کنیم |
|---|---|---|
| Excluded by 'noindex' tag | خودتان دستور عدم ایندکس دادهاید | اگر ناخواسته است، noindex را بردارید |
| Duplicate without user-selected canonical | تکراری است و canonical مشخص نکردهاید | canonical تعیین کنید |
| Duplicate, Google chose different canonical than user | گوگل canonical شما را قبول نکرده | تفاوت محتوایی یا اصلاح canonical |
| Alternate page with proper canonical | صفحه فرعی است و درست به نسخه اصلی اشاره میکند | معمولاً مشکل نیست |
هر تغییر بزرگ ریسک دارد: عوض کردن دامنه، رفتن از http به https، طراحی مجدد، یا تغییر ساختار آدرسها. علت حذف صفحات از ایندکس گوگل در این موقعیتها معمولاً یکی از اینهاست:
در سایتهای بزرگ، خدمات سئو سایت معمولاً شامل نظارت بر همین مراحل است، چون یک ریدایرکت جاافتاده میتواند ترافیک چند ماه را از بین ببرد.
پیشگیری ارزانتر از تعمیر است. این عادتها کافیاند:
اگر مایلید این کارها را همراه یک متخصص و با تمرین عملی یاد بگیرید، خدمات منتورینگ سئو مناسب است.
برای یادگیری منظم و از پایه هم، جامعترین دوره آموزش سئو ساختار کاملتری ارائه میدهد. پایش ایندکس باید بخش ثابت برنامهتان باشد، نه کاری که فقط وقت بحران انجام میشود.
سخن آخر
اگر صفحهای از ایندکس رفته، این ترتیب را اجرا کنید:
سوالات متداول
معمولاً به یکی از این دلایل: noindex، canonical اشتباه، خطای 404 یا 5xx، ریدایرکت نادرست، محتوای تکراری یا بلاک شدن Googlebot. گاهی هم گوگل بعد از ارزیابی مجدد، صفحه را کمارزش تشخیص میدهد. با URL Inspection میتوانید دلیل دقیق را ببینید.
تغییر معمولی و بهبود محتوا مشکلی ایجاد نمیکند. اما اگر محتوا را بهشدت کم کنید، موضوع صفحه را کاملاً عوض کنید یا آن را شبیه صفحه دیگری بنویسید، ممکن است جایگاه یا ایندکس صفحه آسیب ببیند.
بله، اگر خطا ادامهدار باشد. گوگل بعد از چند بار دیدن 404 صفحه را از ایندکس خارج میکند. اگر صفحه عمداً حذف شده، 404 یا 410 اشکالی ندارد؛ اگر معادل جدید دارد، ریدایرکت 301 بگذارید.
اول علت را با URL Inspection پیدا و رفع کنید، بعد با Live Test مطمئن شوید صفحه قابل دسترسی و قابل ایندکس است، و در نهایت Request Indexing بزنید. همچنین لینک داخلی به صفحه اضافه کنید و آن را در سایتمپ نگه دارید.
چون این درخواست فقط یک پیشنهاد است. اگر مشکل فنی برطرف نشده یا صفحه از نظر گوگل ارزش کافی ندارد، ایندکس نمیشود. کیفیت محتوا، لینکهای داخلی و یکتا بودن صفحه را دوباره بررسی کنید.
یک صفحه کماهمیت معمولاً اثر محسوسی ندارد. اما اگر مشکل الگویی باشد، مثلاً یک قالب یا افزونه معیوب که روی صدها صفحه اثر گذاشته، ترافیک کل سایت افت میکند. همچنین صفحات مهمی که لینکهای داخلی زیادی میگیرند، اگر حذف شوند، اعتبار بقیه صفحات را هم کم میکنند.
صفحهای که هفته پیش در نتایج گوگل بود و امروز پیدا نمیشود، معمولاً یکی از این …
اگر این روزها وارد Google Search Console شدید و پیام مالکیت تأیید نشده یا Property not …
برای اینکه بفهمیم توی سایتمون چه خبره، اولین و معتبرترین راه، وصل کردن سایت به ابزار …
اگر یک وبسایت راهاندازی کردهاید، حتماً به دنبال دیده شدن در نتایج جستجوی گوگل هستید. این …
Emadchabok
در سوشال مدیا خیلی نزدیکتر در کنارتون هستیم، همراهیتون سرمایه ماست.
پس از ارسال پیام همکاران ما با شما تماس خواهند گرفت.
