آموزش بهینه سازی فایل Robots.txt وردپرس برای بهبود سئو

آیا تا به حال پیش آمده که نخواهید ربات‌های موتورهای جستجو یک فایل خاص از سایت شما را ایندکس (کراول) نکنند؟ انجام این کار به سادگی از طریق فایل Robots.txt وردپرس ممکن است.

Robots.txt یک فایل متنی ساده است که به موتورهای جستجو می‌گوید کجای سایت شما را کراول کنند و کجا را کراول نکنند. بنابراین این فایل نقش مهمی را در سئو داخلی سایت شما بازی می کند. بخش خوب ماجرا این است که برای استفاده از فایل Robots.txt و بهینه‌سازی آن، نیاز به دانش فنی زیادی ندارید.

ایجاد این فایل چند ثانیه بیشتر طول نمی‌کشد اما با کوچکترین اشتباه ممکن است خرابکاری کنید. کافی است یک عبارت را در این فایل اشتباه وارد کنید تا موتورهای جستجو اصلا به سایت شما دیگر دسترسی نداشته باشند و تمام تلاش‌هایتان برای سئو بر باد برود! بنابراین در این مطلب تا انتها همراه ما باشید تا بهینه سازی فایل Robots.txt وردپرس را به صورت جامع به شما عزیزان آموزش دهیم.

چطور فایل robots.txt را در وردپرس ایجاد کنیم؟

در اولین گام باید این فایل را در وردپرس درست کنید. ما دو روش را به شما آموزش می‌دهیم. یکی با استفاده از افزونه و دیگری به‌صورت دستی و آپلود کردن این فایل در فولدر روت سایتتان.

1) نحوه ایجاد فایل Robots.txt وردپرس با استفاده از پلاگین یواست سئو

برای بهینه‌سازی سایت وردپرسی خود می‌توانید از افزونه‌های سئو استفاده کنید که اکثر آن‌ها تنظیماتی برای ایجاد فایل robots.txt دارند. ما نحوه انجام این کار را با افزونه یواست سئو توضیح خواهیم داد. مراحل آن به شرح زیر هستند.

1. افزونه یواست را نصب کنید.

اگر پلاگین یواست را بر روی سایت خود ندارید ابتدا باید آن را نصب و فعال کنید. برای اینکار از پیشخوان وردپرس و منو سمت راست به بخش افزونه‌ها بروید و روی گزینه افزودن کلیک کنید. اسم پلاگین Yoast SEO را مطابق تصویر زیر جستجو کرده و آن را نصب کنید.

 2. فایل robots.txt را درست کنید.

پس از فعال کردن این افزونه طبق تصویر زیر از منو سمت راست پیشخوان وردپرس گزینه سئو و سپس گزینه ابزارها را انتخاب کنید.

حالا بر روی ویرایشگر فایل (File Editor) کلیک کنید.

چون بار اول است که می‌خواهید فایل Robots.txt وردپرس را بسازید، روی گزینه ایجاد پرونده robots.txt کلیک کنید.

پس از آن فایل مورد نظر با محتوای پیش‌فرض خود ساخته خواهد شد:

افزونه یواست به‌صورت پیش‌فرض مقادیر زیر را به این فایل robots.txt اضافه خواهد کرد:

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

شما بعدا می‌توانید آن‌ها را تغییر دهید. پس از انجام هر تغییر روی گزینه “ذخیره تنظیمات به robots.txt کلیک کنید تا تغییرات مورد نظر اعمال شوند.

حالا در مرورگر خود آدرس زیر را جستجو کنید. اگر چیزی شبیه به تصویر زیر را دیدید، فایل Robots.txt وردپرس شما با موفقیت ایجاد شده است. (شما با اضافه کردن عبارت robots.txt/ به انتهای هر سایت دلخواهی می توانید فایل robots.txt آن را مشاهده کنید.)

Yoursite.com/robots.txt

نکته : ما همچنین پیشنهاد می‌کنیم URL سایت ‌مپ خود را به این فایل اضافه کنید. به‌عنوان مثال اگر URL سایت ‌مپ سایت شما https://yourdomain.com/sitemap.xml است، عبارت Sitemap: https://yourdomain.com/sitemap.xml را به فایل robots.txt سایت خود اضافه کنید تا فایل شما به شکل زیر درآید:

2) نحوه ایجاد فایل robots.txt به‌صورت دستی

در این روش هم می توانید مستقیما فایل را در کنترل پنل هاست خود ایجاد کنید و هم از طریق اتصال FTP آن را به سایت خود منتقل کنید. برای انتقال به روش FTP باید فایل مورد نظر را روی کامپیوترتان درست کرده و سپس آن را در پوشه روت وب‌سایت وردپرسی خود آپلود کنید. برای این کار باید با استفاده از یک کلاینت FTP مانند فایل زیلا به سرور سایت خود وصل شوید.

انتقال فایل robots.txt از طریق کنترل پنل هاست

اگر از طریق کنترل پنل هاست خود قصد ایجاد این فایل را دارید ابتدا وارد پوشه public_html شوید و گزینه File+ را انتخاب کنید.

حالا در بخش نام فایل robots.txt را بنویسید و بر روی Create New File کلیک کنید تا فایل در روت هاست شما ایجاد شود:

مجددا تاکید می‌کنیم فایل Robots.txt وردپرس باید در پوشه روت سایت شما یعنی فولدر public_html ایجاد شود. پس ساخت فایل می توانید آن را مشاهده کنید. حالا بر روی آن راست کلیک کنید و گزینه Edit را انتخاب کنید.

اطلاعاتی که در بالاتر داده شد را درون آن کپی و سپس ذخیره (Save) کنید.

انتقال فایل robots.txt با اتصال FTP

اگر این فایل را از طریق FTP می خواهید در روت سایت خود قرار دهید باید ابتدا آن را با یک ویرایشگر متن مثل نوت پد ایجاد کنید و سپس آن را به سایت خود انتقال دهید. بنابراین بر روی کامپیوتر خود یک فایل متنی با نام robots.txt بسازید و اطلاعات زیر را درون آن کپی کنید.

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

حالا در کلاینت FTP خود روی گزینه File Upload کلیک کرده و فایل را در پوشه روت سایتتان آپلود کنید.

حالا برای بررسی اینکه فایل robots.txt به درستی در سایت شما قرار گرفته است به روشی که قبل تر گفته شد عمل کنید.

آموزش جامع بهینه سازی فایل Robots.txt وردپرس برای بهبود سئو

حالا شاید بپرسید چه چیزهایی را باید در این فایل قرار دهیم؟ و آیا یک قالب از پیش تعریف شده برای آن وجود دارد که هر سایتی بتواند از آن استفاده کند؟

محتوای هر سایت و هدف از طراحی آن با دیگری فرق دارد و نباید از سایت‌های دیگر تقلید کرد. مشکلات سایت آقای ایکس با سایت خانم ایگرد متفاوت است. با این‌حال فایل robots.txt زیر برای اکثر سایت‌ها مناسب است:

همچنین زمان تغییر محتویات این فایل باید با بعضی گزینه‌ها آشنا باشید. به‌عنوان مثال:

User Agents

این عبارت به نام ربات یک موتور جستجو اشاره می‌کند که قوانین داخل فایل باید برای آن اجرا شوند.

Disallow

این عبارت یک صفحه یا دایرکتوری را مشخص می‌کند که توسط User Agent (موتور جستجو) نباید کراول شود. به‎ عنوان مثال اگر نمی خواهید ربات یاهو (به اسم Slurp) سایت شما را ایندکس کند، باید فایل Robots.txt وردپرس سایتتان به شکل زیر باشد:

تصویر زیر برای موتورهای جستجوی مختلف و نام ربات‌های آن‌ها است:

در ادامه چندین مثال را برای بهینه‌سازی این فایل به شما آموزش می‌دهیم.

چطور دسترسی به یک دایرکتوری را مسدود کنید؟

استفاده از عبارت زیر در فایل Robots.txt وردپرس دسترسی ربات‌های خزنده را به تمام محتویات دایرکتوری wp-admin خواهد گرفت.

چطور دسترسی به یک صفحه یا فایل را مسدود کنید؟

با استفاده از دستورهای تصویر زیر دسترسی تمام ربات‌ها را به صفحه لاگین وردپرس سایت خود و همچنین یک تصویر خاص می‌گیرید.

در این مثال می‌توانید عبارت # را ببینید که برای گذاشتن یک کامنت است. بنابراین متن پس از آن لحاظ نخواهد شد.

همچنین باید حواستان باشد قوانین داخل این فایل به کوچک یا بزرگ بودن اسامی حساس هستند. به عنوان مثال در نمونه بالا نام تصویر را باید درست به همان شکل وارد کنید و نوشتن اسم تصویر مورد نظر به‌شکل Myphoto.jpg، شما را از هدفتان دور می‌کند.

چطور برای ربات‌های مختلف قوانین مختلف ایجاد کنید؟

حواستان باشد در فایل Robots.txt وردپرس قوانین از بالا به پایین اجرا می‌شوند و شروع همه چیز با User-agent است که مشخص می‌کند این قوانین برای کدام ربات هستند. اجازه دهید مثال زیر را بررسی کنیم:

در این فایل شما از تمام ربات‌ها می‌خواهید صفحه لاگین وردپرس را کراول نکنند. سپس ربات گوگل را از کراول تمام بخش‌های سایت خود منع می‌کنید.

چطور در یک دایرکتوری مسدود شده، اجازه دسترسی به یک فایل را دهید؟

در چنین شرایطی می‌توانید از فرمان Allow استفاده کنید. تصویر زیر را ببینید:

با استفاده از متن بالا شما دسترسی تمام ربات‌ها به دایرکتوری wp-admin را مسدود کردید اما آن‌ها اجازه دسترسی به فایل widgets.php داخل این دایرکتوری را دارند.

سخن نهایی

زمانی که برای رسیدگی به سئوی سایت خود توجه زیادی به تحقیق در مورد کلمات کلیدی، بهینه‌سازی محتوا، ساخت بک لینک یا مسائل دیگر می‌کنید، فایل Robots.txt وردپرس را نیز نباید از قلم بیاندازید. چون ممکن است اهمیت آن در ابتدای فعالیت سایت شما زیاد نباشد ولی شاید با افزایش تعداد صفحات سایتتان بخواهید بعضی چیزها را از دید موتورهای جستجو دور نگه دارید. ما در این مطلب نحوه بهینه سازی فایل robots.txt و نکات مهم دیگر مربوط به آن را آموزش دادیم که می‌توانید براساس نیاز خود از آن استفاده کنید.