تگ noindex چیست؟ + چطور باید از آن استفاده کرد؟

تگ noindex به این معنی است که برخی از صفحات وبسایت نباید در فهرست ایندکس گوگل قرار بگیرند. شاید برایتان سوال باشد، چرا صفحه ای که برای آن زحمت می کشیم نباید در گوگل نمایش داده شود؟! اینکه شما محتوایی تولید کنید و آن را در صفحات وبسایت خود قرار دهید و سپس به گوگل اجازه ایندکس کردن آن صفحات را بدهید، امر کاملاً بدیهی است اما این موضوع که گوگل نباید برخی از صفحات وبسایت شما را ایندکس کند، کاملاً غیر منطقی است!

اصلاً چرا باید از گوگل بخواهیم برخی از صفحات وبسایتمان را در صفحه نتایج جستجو نمایش ندهد؟ و از چه طریقی می توانیم این کار را انجام دهیم؟ امروز با بررسی تگ های noindex پاسخ تمام سوالات شما را خواهیم داد پس تا انتهای این مطلب با داناپ همراه باشید.

تگ noindex چیست؟

برای این که صفحات وب در نتایج جستجوی گوگل به کاربران نمایش داده شود، باید ابتدا توسط ربات های گوگل موسوم به اسپایدر ایندکس (Index) شوند. ایندکس شدن صفحات به معنی فهرست کردن آن ها توسط گوگل است. در حقیقت، وقتی می گوییم صفحات یک وبسایت در گوگل ایندکس شده اند، یعنی در فهرست نتایجی که به کاربران نمایش داده می شود قرار خواهند گرفت.

موضوع مهم این است که تمام صفحات یک وبسایت نباید در گوگل نمایش داده شوند؛ اما چرا؟ برخی از صفحات وبسایت هستند که هیچ ارزشی برای مخاطبان ایجاد نخواهند کرد. در واقع، قرار گرفتن چنین صفحاتی در نتایج جستجو ممکن است ضربه های بسیار بدی به عملکرد کلی سایت وارد کنند. تگ noindex بهترین ابزاری است که می توان از آن برای ایندکس نشدن صفحات توسط ربات های گوگل استفاده کرد.

استفاده از تگ noindex هیچ آسیبی به صفحات وبسایت وارد نمی کند و اگر درست از آن استفاده شود، حتی باعث بهبود رتبه کلی وبسایت نیز خواهد شد. اگر یک صفحه وب تگ noindex بر روی خود داشته باشد، نه فقط گوگل بلکه موتورهای جستجوگر دیگری نظیر یاهو و بینگ نیز اجازه خزیدن اسپایدرهای خود به درون آن را نخواهند داد. اما برای کدام صفحات باید از تگ noindex استفاده کرد؟ در ادامه به این سوال پاسخ خواهیم داد.

برای چه صفحاتی باید از تگ noindex استفاده کرد؟

مدیران وب سایت ترجیح می دهند از ایندکس شدن صفحاتی که محتوای به روزی ندارند، جلوگیری کنند. علاوه بر این، شاید می خواهید برخی از صفحات فقط برای کاربرانی که وارد سایت شده اند در دسترس باشد. بنابراین، می توانید با اضافه کردن تگ noindex از فهرست شدن آنها جلوگیری کنید. در برخی اوقات ممکن است وبسایت شما هنوز تکمیل نشده باشد و محتوای صفحات آن به بروزرسانی نیاز داشته باشد، در این صورت با اضافه کردن تگ های نو ایندکس می توانید از خزیدن ربات های موتورهای جستجوگر به درون آن جلوگیری کنید.

به طور کلی می توانید تگ noindex را در صفحات زیر استفاده کنید:

1- نتایج جستجوی داخلی وبسایت

اگر بخواهید تجربه کاربری مخاطبان را خراب کنید، گوگل را عصبانی خواهید کرد. صفحه مربوط به جستجوی بخش های داخلی یک وبسایت خیلی مورد علاقه گوگل نیستند و اگر کاربران را به صفحات جستجوی دیگری ارجاع دهید، از گوگل امتیاز منفی دریافت خواهید کرد. در حقیقت، گوگل می داند که کاربران به این موضوع علاقه ندارند برای همین لازم است که حتماً صفحات جستجوی داخلی وبسایت را نوایندکس کنید.

2- برخی لندینگ های خاص

در برخی اوقات ممکن است شما صفحاتی را برای رویدادهای خاص در وبلاگ یا وبسایت خود ایجاد کنید. اگر نخواهید چنین صفحاتی در گوگل ایندکس شوند می توانید به راحتی تگ های noindex را برای آن ها مورد استفاده قرار دهید.

3- صفحات خوش آمدگویی یا تشکر از مشتریان

در بعضی اوقات ممکن است صفحاتی بسازید که در آن به افرادی که عضو سایت شده اند خوش آمدگویی کنید. برخی وبسایت های فروشگاهی نیز صفحاتی را برای تشکر از مشتریانی که خرید کرده اند را توسعه می دهند. در واقع، این صفحات هدف دیگری به جز تشکر کردن از کاربران ندارند و هیچ ارزشی برای آن ها ایجاد نخواهند کرد. علاوه بر این، صفحاتی که مربوط به تکمیل سفارش یا خرید هستند نیز جزو این دسته بندی قرار دارند و باید از تگ noindex برای آن ها استفاده کرد.

4- صفحات آرشیو نویسنده

اگر وبلاگ شما تنها یک نویسنده دارد، صفحه آرشیو مربوط به مطالب نوشته شده توسط او با صفحه اصلی وبلاگ یکسان خواهد بود. این موضوع از چشم الگوریتم های گوگل مثل پاندا دور نخواهد ماند و آن را به عنوان یک محتوای تکراری (Duplicate) به شمار می آورد. در این حالت بهتر است که اصلاً صفحه نویسنده نسازید اما اگر همچنان دوست دارید صفحه آرشیو نویسنده در وبلاگ شما موجود باشد، بهتر است با استفاده از تگ noindex از فهرست شدن آن جلوگیری کنید.

5- صفحات لاگین به سایت

صفحه ورود به وبسایت برای سایت های بزرگ مانند فیسبوک یا لینکدین باید در موتورهای جستجو ایندس شوند. اما صفحه ورود یک وبلاگ معمولی تنها کاری که می کند این است که امنیت ورود مدیران آن را ارتقا می دهد. در واقع شما باید از خود بپرسید آیا لازم است  افراد دیگری به جز کارمندان شرکت وارد وبسایت شوند یا خیر؟ اگر جواب بله است که صفحه ورود باید ایندکس شود و در صورتی که جواب منفی باشد، حتما باید از تگ noindex برای این صفحات استفاده کنید. به خاطر داشته باشید که اگر از قالب ورد پرس در وبسایت خود استفاده می کنید، صفحه ورود به وبسایت به صورت اتوماتیک توسط ورد پرس نوایندکس خواهد شد.

چطور از تگ noindex استفاده کنیم؟

اگر بخواهیم کمی تخصصی تر درباره تگ های نو ایندکس صحبت کنیم، تگ نو ایندکس به موتورهای جستجو پیام می دهد که خزنده های آن ها می توانند صفحات وبسایت را بخزند اما مجاز به نمایش محتوای آن درون نتایج جستجو یا همان SERP نیستند. برای استفاده از noindex tag باید ابتدا اطمینان حاصل کنید که صفحه مورد نظر در فایل robots.txt مسدود (Disallowed) نشده باشد. اگر این کار را کرده باشید، خزنده های موتورهای جستجوگر نمی توانند تگ noindex را ببینند و صفحه همچنان در نتایج به کاربران نمایش داده خواهد شد.

برای کارگزاری تگ noindex در صفحه مورد نظر باید تگ زیر را عیناً به بخش <head/> اضافه کنید:

فایل robots.txt یک پرونده متنی است که نقشه سایت و دستورات مربوط به خزنده های گوگل را در خود جای داده است. در حقیقت وقاتی اسپایدرهای گوگل به یک وبسایت برخورد می کنند ابتدا این فایل را مورد بررسی قرار داده و مبتنی بر قوانین آن به ایندکس کردن محتوای صفحات می پردازند.

شما با قرار دادن تگ noindex در پرونده robots.txt به خزنده های گوگل در مورد ایندکس شدن یا نشدن صفحات اطلاع رسانی می کنید. در حقیقت، شما علاوه بر ایندکس نکردن کل صفحه می توانید یک عکس یا بخشی از آن را نوایندکس کنید. برای این کار فقط باید دستور no index را در این فایل بنویسید و سپس آن را در گوگل کنسول نیز ثبت کنید. برای مثال، در زیر یک نمونه از تگ noindex را مشاهده خواهید کرد:

البته باید به یاد داشته باشید که گوگل در آپدیت های جدید خود اعلام کرده است که خزنده ها برای ایندکس کردن یا نکردن صفحات خیلی به فایل robots.txt توجه نمی کنند. در حقیقت، ممکن است ایندکس نشدن صفحه ای را در این فایل به  گوگل اطلاع رسانی کنید اما خزنده های آن همچنان URL صفحه را در نتایج جستجو فهرست کنند.

به خاطر داشته باشید که فایل robots را با x-robots اشتباه نگیرید. اگر تگ noindex در فایل x-robots نوشته شود، کل سایت از صفحات نتایج جستجو خارج خواهد شد و به این ترتیب ضرر بسیار زیادی را متحمل خواهید شد.

در ادامه یکی دیگر از روش های استفاده از تگ noindex را قدم به قدم اجرا خواهیم کرد:

در مرحله اول باید یکی از تگ های زیر را کپی کنید.

• تگ «noindex»

• تگ «nofollow»

• برای هر دو تگ «noindex» و «nofollow»

پس از کپی کردن تگ های مربوطه باید آن ها را به بخش HTML تگ <head> صفحه مورد نظر اضافه کنید. بخش head وبسایت را می توانید از طریق زیر پیدا کنید:

• ابتدا یک ویرایشگر متن باز کرده و فهرست کدهای اصلی وبسایت خود که اغلب در مسیر «public_html» موجود هستند را پیدا کنید.
• سپس پرونده HTML اصلی وبسایت که عموماً به صورت default.html یا index.html است را باز کرده و تگ <head/> را پیدا کنید. تگ های noindex را می توان بین دو تگ <head> و <head/> جای گذاری کرد. مراقب باشید که تگ noindex را در تگ <body> قرار ندهید چون این موضوع ممکن است مشکلات عمده ای را برای خزنده های گوگل ایجاد کند.

علاوه بر این، شما می توانید تگ های noindex را در ابزارهای سئو مانند ahrefs یا SEMrush پیدا کرده و تغییرات مد نظر را بر روی آن ها انجام دهید. فراموش نکنید که هدف اولیه استفاده از تگ های noindex مسدود کردن صفحات داخلی از قبیل صفحه «درباره ما» است و صفحاتی که به نوعی برای مخاطب ارزش ایجاد می کنند را نباید نوایندکس کنید.

تفاوت تگ noindex و disallow

تگ دیگری به نام disallow وجود دارد که تقریباً مشابه با تگ noindex عمل می کند، با این تفاوت که استفاده از این تگ در یک صفحه به این معنی است که خزنده های گوگل به طور کلی درون آن نمی خزند و هیچ اطلاعاتی از محتوای درون آن را نیز پردازش نخواهند کرد. در طرف دیگر، تگ نوایدنکس قرار دارد که اجازه خریدن و بررسی محتوای صفحات را به خزنده های گوگل می دهد اما از ایدنکس شدن آن ها جلوگیری می کند.

رابطه تگ noindex و سئو

متخصصان سئو به دلایل مختلف ترجیح می دهند برخی از صفحات وبسایت را نوایندکس کنند. در بیشتر اوقات محتوای تکراری یا ضعیف صفحات از دلایل اصلی نو ایندکس کردن آن ها به شمار می رود که در ادامه به صورت خلاصه هر یک را توضیح خواهیم داد.

• محتوای ضعیف:

برخی از صفحات هیچ کلمه کلیدی خاصی ندارند و اصولاً بار مثبتی به وبسایت اضافه نمی کنند. برای مثال، صفحات خوش آمد گویی فقط برای برقراری ارتباط با کاربران و خوشحال کردن آن ها طراحی شده است و تاثیری در بهبود رتبه وبسایت در صفحات جستجو نخواهد داشت. در حقیقت، ایندکس شدن چنین صفحاتی به تدریج باعث افت عملکرد و جایگاه کلی وبسایت خواهد شد.

• محتوای Duplicate

محتوای تکراری یا همان Duplicate Content یکی از بدترین باگ های وبسایت در سئو به شمار می رود. در واقع، اگر بیش از یک نسخه از یک صفحه ایندکس شود، خطای محتوای تکراری توسط خزنده های گوگل به ثبت خواهد رسید. در نتیجه این صفحه و صفحات دیگر وبسایت به تدریج دچار افت شدید جایگاه خواهند شد.

کلام آخر

صفحات وبسایت از طریق خزنده های گوگل برای نمایش در صفحات نتایج موتورهای جستجوگر نظیر گوگل و بینگ فهرست می شوند.  خزنده های گوگل ربات های هوشمندی هستند که به درون صفحات یک وبسایت خزیده و محتوای آن را مورد بررسی قرار می دهند و از این طریق آن ها را برای نمایش به کاربران ایندکس می کنند.

با این حال برخی از صفحات وبسایت بنا به دلایل مختلف نظیر محتوای ضعیف یا تکراری نباید در صفحات جستجو به کاربران نمایش داده شوند. چنین صفحاتی باعث کاهش رتبه و ضعیف شدن عملکرد کلی یک وبسایت خواهند شد. بنابراین، مدیران و متخصصان سئو با اضافه کردن تگ noindex به خزنده های گوگل می گویند که این صفحات را در صفحات جستجو ایندکس نکنند. به عبارت دیگر، گوگل محتوای درون آن ها را بررسی کرده اما آن را به کاربران نمایش نخواهد داد. تا به امروز بیشتر محتوای منتشر شده در وبسایت داناپ درباره بهبود رتبه و ایندکس شدن صفحات وبسایت در صفحه اول موتورهای جستجوگر بوده است اما شناسایی و حذف صفحات بی ارزش وبسایت از صفحات جستجو نیز به صورت غیر مستقیم بر سئو و رتبه وبسایت تاثیر خواهد گذاشت.

یکی از روش های آسان برای این کار استفاده از تگ noindex محسوب می شود که به راحتی می توان از آن استفاده کرد.  با این حال، به خاطر داشته باشید که طبق گفته شرکت گوگل، ساز و کار خزنده ها عموماً قابل پیش بینی نیست و ممکن است که بدون توجه به تگ های noindex صفحات را برای قرارگیری در نتایج جستجو ایندکس کنند.