فایل Robots.txt چیست و چه کاربردی در سئوی سایت دارد؟

چکیده این مطلب : انتشار : ۱۳۹۷/۱۲/۱۸ ۰ نظر ۶۳۱ بازدید

در مورد Robots.txt چه می دونین؟ می دونین که فایل robots.txt در چه مواردی کاربرد داره؟ با مدیروب همراه باشین تا در این مقاله به معرفی و بررسی این بحث مهم که فایل Robots.txt چیه و چه نقشی در بحث بهینه سازی سایتا در موتورهای جستجو داره می پردازیم.

سئو

همونطور که هممون میدونیم، رباتای موتورهای جستجو پررنگ ترین نقش ممکن واسه معرفی کامل یه سایت به موتورهای جستجو رو اجرا می کنن. گوگل به عنوان بزرگترین منبع و گسترده ترین شبکه در این مورد، رباتای اختصاصی و عمومی زیادی گسترش داده. وب مسترهای موفق همیشه کارکرد و تغییرات این رباتا رو دنبال کرده و برابر با استانداردهای اونا جلو رفتن می کنن.

اما این رباتا به چه صورت به سایتای جورواجور دسترسی پیدا می کنن؟ چیجوری میشه دسترسی این رباتا به محتوا یا صفحات خاصی از سایتمون رو محدود کنیم یا به اونا دسترسی کامل بدیم؟ واسه این مورد، تکنیکی ساده و در عین حال فوق العاده مهم و حیاتی هست. این فوت وفن، به کار گیری یه فایل متنی موسوم به Robots.txt است که با کمک اون و درج دستورات تحت وب میشه کارای مختلفی از جمله ایجاد دسترسی یا محدودسازی ربات موتورهای جستجو رو انجام داد.

اهمیت و بهینه سازی این فایل می تونه نقش بسیار مفیدی در پیشرفت سایت اینترنتی شما داشته باشه و درست برعکس، بی توجهی و بی دقتی در کار با اون، ممکنه خیلی راحت رتبه سایت شما رو چندین برابر بدتر کنه. ما در این مقاله می خوایم تا شما رو با وجود فایلای Robots.txt آشنا کرده و اهمیت بسیار زیاد اونا واسه کسب موفقیت بهتر در پروسهای سئو به شما بازگو کنیم.

بیشتر بدونین: موتورهای جستجو چیجوری کار می کنن؟

فایل Robots.txt چیه؟

یه Robots.txt درواقع یه فایل متنی ساده س! که در راه اصلی فضای سایت شما یا روت دایرکتوری (Root Directory) قرار میگیره. واقعا وظیفه این فایل معرفی بخشای قابل دسترسی و بخشای محدود شده واسه دسترسی رباتا یا با تعریفی دقیق تر، خزندگان سطح وب (Web Crawlers) که از طرف موتورهای جستجو به خاطر بررسی و ثبت اطلاعات سایتا ایجاد شدن هستش.

با درج دستوراتی خاص در این فایل، شما می تونین به رباتای موتورهای جستجو بگید که کدوم صفحات، کدوم فایلا و کدوم بخشای سایت شما رو دیده و اونا رو ایندکس کنن و کدوم صفحات رو ندیده بگیرن. یعنی، اولین چیزی که رباتای موتورهای جستجو با اون برخورد می کنن، همین فایل Robots.txt است. به محض رویارویی با این فایل، خزندگان سطح وب شروع به بررسی محتوا و لیست داخل این فایل کرده تا بخشای قابل دسترسی رو پیدا کنن.

همونطور که گفته شد، این فایل باید در روت اصلی هاست شما قرار بگیره. در این حالت نشانی دسترسی به این فایل به صورت زیر میشه :

www.YourWebsite.com/robots.txt

اگه سایت شما فایل robots.txt رو نداشته باشه چه اتفاقی میفته؟

اگه این فایل در هاست سایت شما آپلود نشده باشه، خزندگان و رباتای موتورهای جستجو امکان دسترسی به تموم صفحات عمومی رو دارن و می تونن تا تموم محتوای سایت شما رو ایندکس کنن.

اگه فایل robots.txt به درستی جفت و جور و آپلود نشه چی می شه؟

نتیجه این مورد بستگی به نوع مشکل داره. اگه فایل نامبرده با فرمت استاندارد و درست ایجاد نشده باشه و یا اطلاعات و دستورات داخل اون قادر به شناسایی نباشن، رباتای موتورهای جستجو بازم به دسترسی به اطلاعات سایت شما ادامه داده و می تونن اونا رو ایندکس کنن. یعنی، رباتا فقط وقتی تغییر رفتار میدن که دستور دقیق و منطبق با اون رفتار رو از راه متون داخل این فایل دریافت کرده باشن. وگرنه اونا به رفتار طبیعی خود یعنی بررسی و ایندکس کردن تموم بخشای سایت ادامه میدن.

بعضی از مهم ترین دلایل به کار گیری robots.txt

۱٫ با کمک این فایل میشه دسترسی موتورهای جستجو رو مدیریت کرد

محدود کردن دسترسی خزندگان موتورهای جستجو به صفحات، فایلا و محتوای انتخابی سایتا عادی ترین دلیل به کار گیری فایل robots.txt است.

اگه واسه شما این سؤال پیش اومده که به چه دلیل باید بعضی از صفحات یا فایلا رو ایندکس نکنیم، در جواب باید گفت که در خیلی از موارد، ایندکس شدن و معرفی شدن یه صفحه یا فایل از یه سایت در موتورهای جستجو می تونه یافته های نامناسبی به همراه داشته باشه.

مثلا شاید یه وب مستر قصد انتشار مطلبی خاص رو داشته باشه که مخاطبین اون مطلب هم آدمایی خاص و منتخب هستن. این مطلب ممکنه از دید بعضی شرایطی، بعضی از قوانین موتورهای جستجو رو نقض کنه و یا شامل محتوایی باشه که امکان معرفی اون به صورت عمومی وجود نداشته باشه. در این صورت میشه با کمک فایل Robots.txt دسترسی موتورهای جستجو به این صفحات یا فایلا رو محدود کرد.

از مهمترین مثالا در این مورد، سایتای اشتراک فایل غیرقانونی از جمله سایتای تورنت هستن. خیلی از این سایتا اجازه دسترسی به محتوای داخلیشان رو به رباتای موتورهای جستجو نمی دن و به جای اون جستجوگر داخلی خودشون رو به کاربران پیشنهاد می کنن. چون اگه محتوای این سایتا به وسیله رباتا شناسایی شن، این سایتا به خاطر ارائه محتوای غیرقانونی نه فقط رتبه و جایگاه خود رو در موتورهای جستجو از دست میدن، بلکه مسائل مربوط به حقوق کپی رایت و مسائلی مثل اینم گریبان گیرشون می شه.

۲٫ نبود به کار گیری فایل robots.txt می تونه به افت کارکرد بهینه سایت دامن بزنه

وب سایتای فعال مخصوصا وب سایتای پربازدید و بزرگ، روزانه هزاران بار به وسیله رباتای جورواجور از سمت موتورهای جستجو مورد بازدید و بررسی قرار می گیرن. هر ربات یا به اصطلاح خزنده (Crawler) طی یه روند دومرحله ای (بررسی و بعد ایندکس) مبادرت به جمع آوری اطلاعات از سایتا می کنه. این روند شامل بررسی تموم بخشای سایت شما هستش. حالا فرض کنین به صورت روزانه صدها یا هزاران ربات شروع به بررسی و جمع آوری اطلاعات از سایت شما می کنن و در این صورت، کارکرد بهینه سایت شما و سرعت بارگذاری اطلاعات اون واسه مرورگرها تحت تاثیر قرار می گیره.

روشنه که رفت و اومد این حجم از رباتا می تونه تا حد زیادی بازدهی کلی سایت رو با شرایط نامناسبی همراه کنه. البته با اینکه این موضوع واسه سایتایی که بازدید کمتری دارن بسیار کمتر به چشم میاد اما واسه سایتای پربازدید که به خودی خود باید روزانه ترافیک بازدید از سمت هزاران کاربر رو هندل کنن، اضافه شدن ترافیک زیاد این رباتا هم ممکنه دردسرساز باشه.

در این مواقع بیشتر وب مسترها خیلی راحت و با به کار گیری robots.txt دسترسی رباتای موتورهای جستجو رو به بخشای جور واجور و مشخص شده ای که اهمیت چندانی واسه سئو و کسب رتبه در موتورهای جستجو ندارن رو محدود می کنن. در این حالت نه فقط سرور سایت با ترافیک سبک تری فعالیت می کنه، بلکه مراحل بررسی و جمع آوری اطلاعات و بعد ایندکس کردن اونا به وسیله رباتا هم به مقدار بسیار زیادی سریع تر می شه.

۳٫ به کار گیری فایل robots.txt می تونه در مدیریت لینکا کاربردی باشه

از دیگر امتیازات به کار گیری robots.txt امکان مدیریت لینکا و نشانی صفحات (URL) است. در بحث سئو مسئله ای با عنوان مخفی سازی نشانی صفحات یا URL Cloacking هست. این بحث درواقع یه جور فوت وفن سئو واسه مخفی کردن نشانی صفحات از دید کاربران و یا موتورهای جستجوئه. با کمک robots.txt میشه این مدل لینکا رو مدیریت کرده و نشانی اونا رو مخفی کرد.

بیشترین کاربرد این مورد در به کار گیری لینکای مربوط به بحث “سیستم همکاری در فروش” یا “Affiliate Marketing” هستش. در این حالت، شما می تونین لینکای ایجاد شده در سیستم Affiliate که با عنوان Affiliate Links شناخته می شن رو مدیریت کرده و نشانی اونا رو مخفی کنین تا کاربران انگار مجبور به کلیک روی اونا شن.

توجه کنین که این فوت وفن فقط باید به وسیله افراد حرفه ای انجام شه. چراکه URL Cloacking یکی از فوت وفنای سئوی کلاه سیاه س و اگه به درستی اونو اجرا نکنین، متهم به نقض قوانین موتورهای جستجو شده و شامل جریمه های گوگل میشین.

بیشتر بدونین: آشنایی با خطاهای گوگل وبمستر تولز و راهنمای رفع اونا

فایل robots.txt چیجوری کار می کنه؟

فایل robots.txt یه فایل متنی با ساختاری ساده س!. چگونگی کارکرد این فایل با کمک دستورات پیش فرض و ترکیب کلمات کلیدی از پیش تعیین شده. از جمله مهم ترین و عادی ترین این دستورات مواردی مثل User-agent ، Disallow ، Allow ، Crawl-delay و Sitemap هستن که در ادامه به صورت جداگونه هر کدوم از این موارد رو با جزئیات اونا توضیح می دیم.

User-agent: این دستور واسه مشخص کردن رباتا و خرندگانیه که امکان دسترسی به بخشای سایت رو داشته باشن یا خیر. با این دستورالعمل میشه به تموم رباتا دسترسی داد و یا با اضافه کردن نام رباتی خاص، فقط به اون ربات دسترسیای جور واجور رو داد یا محدود کرد.

مثال: یه ربات وارد سایت شما شده و قصد بررسی و جمع آوری اطلاعات از یه صفحه خاص مثلا www.example.com/test.html رو داره. این ربات قبل اینکه این صفحه رو مورد بررسی بذاره، اول فایل robots.txt رو چک می کنه. مثلا محتویات داخل این فایل به صورت زیره:

User-agent: *

User-agent: * به این معنیه که تموم بخشای این سایت قابل دسترس واسه تموم رباتا و خزندگان موتورهای جستجوئه. اما اگه قصد این رو دارین که اطلاعات خود رو فقط واسه یه ربات خاص مشخص کنین باید نام دقیق اون ربات رو به جای ستاره جایگذاری کنین.

به مثالی که می خوام بزنم دقت کنین. در این مثال فقط ربات گوگل حق دسترسی به صفحات سایت رو داره :

User-agent: Googlebot

Disallow و Allow: با کمک این دستورالعمل میشه به User-agent یا همون رباتای تعیین شده مشخص کرد که کدوم بخشای سایت رو بررسی و ایندکس کنن یا نکنن. همونطور که مشخصه، کد Allow به معنی ایجاد دسترسی و کد Disallow به معنی محدودسازی دسترسی رباتا استفاده می شن.

مثال: اگه فقط دستور “Disallow: /” رو در فایل robots.txt درج کرده باشین، با این کار به رباتا اعلام می کنین که اونا نباید هیچ صفحه ای از این سایت رو بازدید، بررسی یا ایندکس کنن. هم اینکه اگه می خواین به همه اونا دسترسی کامل داده باشین باید از دستور  “Allow: /” استفاده کنین.

شما می تونین فایلا، مسیرها، نشانیا و صفحات مشخص شده سایت خود رو به عنوان موارد انتخابی مشخص کنین تا فقط این بخشا قابل دسترسی باشن یا برعکس. به نمونه ساده زیر دقت کنین:

Disallow: /wp-admin/

Allow: /contact/

طبق مثال بالا، راه ورودی به پنل مدیریتی وردپرس واسه دسترسی رباتا محدود شده اما صفحه Contact یا همون صفحه رابطه با ما قابل دسترسه. به همین روش میشه خیلی راحت و سریع این نوع دسترسیا رو مدیریت کرد.

نمونه هایی عادی از این دستورالعملا :

Crawl-delay: شما قادر هستین تا با درج دستورالعمل Crawl-delay یا اندازه تأخیر، رباتای موتورهای جستجو رو مجبور کنین تا واسه بررسی و ایندکس کردن صفحات شما به نوبت، به مقدار زمان مشخص شده به وسیله شما صبر کنن. البته می تونیم بگیم که این دستورالعمل روی بعضی از رباتا از جمله مهمترین اونا ربات گوگل یا Googlebot قابل استفاده نیس. واسه اینکه این توانایی رو در ربات گوگل هم فعال کنین، می تونین از ) اندازه زمان مربوط به این مورد رو واسه ربات گوگل از بخش تنظیمات سایت (Site Settings) تغییر بدین.

هدف از این کار کاهش تعداد درخواستای پشت سر هم رباتا به سرور سایت شما هستش. اینجور اقدامی به آسون کردن پروسهای ایندکس شدن کمک زیادی می کنه. واسه به کار گیری این دستور می تونین در فایل متنی robots.txt متن زیر رو بذارین :

crawl-delay: 10

با قرار دادن این کد در robots.txt شما درواقع به رباتای موتورهای جستجویی مثل Yahoo و Bing اعلام می کنین که بعد از هر یک ایندکس، ۱۰ ثانیه صبر کرده و دوبارهً صفحه دیگری رو ایندکس کنن. این کد واسه موتور جستجوی Yandex با کمی فرق عمل می کنه. با درج این دستور در robots.txt موتور جستجوی Yandex هر ۱۰ ثانیه یه بار به کل صفحات سایت دسترسی پیدا می کنه. با تغییر عدد ۱۰ به دیگر اعداد، می تونین مدت زمان مربوطه رو کم یا زیاد کنین.

نکته: توجه کنین که به کار گیری دستورالعمل crawl-delay ممکنه در همه حالات نتیجه مناسب به همراه نداشته باشه. مثلا اگه شما اندازه تأخیر رباتا رو روی ده ثانیه بذارین، موتورهای جستجو به صورت روزانه می تونن فقط نزدیک به ۸۶۰۰ صفحه از سایت شما رو بررسی و ایندکس کنن. با اینکه این مقدار واسه سایتای نه خیلی بزرگ مقدار کمی نیس، اما واسه سایتایی که صفحات زیاد و محتوای زیادی دارن اقدام مناسبی نیست. پس قبل از به کار گیری این مورد به این مسئله دقت کافی رو داشته باشین.

Sitemap: با تعیین دستور مربوط به نقشه سایت در robots.txt می تونین به موتورهای جستجو حالی کنین که فایل XML نقشه سایت شما رو از چه راهی پیدا کرده و به اون دسترسی داشته باشن. با اینکه واسه ثبت کردن نقشه سایت در موتورهای جستجو وسایل انحصاری خاصی هست، ولی این راه هم یکی از راه های ساده و کم دردسر واسه این مسئله س. البته تحت هر شرایطی، به کار گیری وسایل وب مستری موتورهای جستجو مثل Google Webmaster Tools اولویت خیلی بیشتری داره. اما اگه تصمیم به انتخاب راه ساده تر دارین، کافیه کد دستوری زیر رو در فایل robots.txt اضافه کنین :

Sitemap: https://example.com/sitemap.xml

همونطور که پیداست، باید مثل نمونه بالا، نشانی دقیق نقشه سایت خود رو به صورت درست در این لاین وارد کنین.

نکته بسیار مهم: محتوای فایل robots.txt به بزرگی یا کوچیکی حروف حساسه. مثلا اگه شما کد Disallow: /File.php رو در متن بذارین فقط اگه فایلی با عنوان File.php در اون راه وجود داشته باشه محدودیت روی اون اعمال می شه؛ اما اگه فایل مورد نظر شما با نام file.php ذخیره شده باشه، هیچ محدودیتی روی اون قرار نمی گیره. هم اینکه می تونیم بگیم که نام خود فایل robots.txt هم به بزرگی و کوچیکی حروف حساسه. این فایل حتماً باید با حروف کوچیک و دقیقاً به صورت robots.txt ذخیره شه.

چیجوری یه فایل robots.txt بسازیم؟

قبل از ساخت این فایل، اول مطمئن شید که قبل از اینطور فایلی در سرور سایت شما ایجاد نشده باشه. واسه اینکه از این مورد خبردار شین، کافیه نشانی سایت خود رو وارد کرده و در انتهای اون /robots.txt رو تایپ کرده و اینتر بزنین.

یعنی به این صورت: www.Modireweb.com/robots.txt

اگه در صورت باز کردن این صفحه با ارور ۴۰۴ مواجه شید یعنی اینجور فایلی ساخته نشده. اما اگه بعد از وارد شدن به این صفحه با کدهای User-agent و … مواجه شدید، یعنی سایت شما این فایل رو داره. در این حالت باید از راه FTP و یا کنترل پنل هاست سایت خود، به قسمت مدیریت فایل رفته و در روت اصلی هاست فایل robots.txt رو پیدا کنین. بعد باید اونو به وسیله یه ویرایشگر متنی آنلاین اجرا کرده و اونو ویرایش کنین. هم اینکه می تونین این فایل رو دانلود کرده و روی کامپیوتر خود ویرایش کنین و در آخر فایل ذخیره شده رو با فایل قبلی جانشین کنین.

هم اینکه اگه این فایل در هاست سایت شما پیدا نشد، خیلی راحت یه فایل متنی txt از راه Notepad ویندوز بسازین و اونو با نام robots (با حروف کوچیک) ذخیره کنین. بعد دستورات لازم خود رو درون اون قرار داده و فایل رو ذخیره سازی کنین. در آخر، فایل آماده شده رو از همون روشای گفته شده (از راه FTP یا فایل منیجر کنترل پنل هاست) در روت اصلی سایت آپلود کنین.

چیجوری فایل robots.txt خودمون رو تست کرده و از کارکرد درست اون مطمئن شیم؟

در حالت عادی و با باز کردن نشانی فایل robots.txt و بررسی دستی دستورات داخل اون می تونین از صحت درست بودن دستورات مطمئن شید. اما راه حرفه ای تر به کار گیری وسیله تست فایل robots.txt کنسول جستجوی گوگله. راهنمایی بیشتر:

  • واسه این منظور اول وارد سایت Google Search Console شید
  • روی بخش کلیک کنین
  • گزینه Test رو انتخاب کنین

اگه مشکلی در فایل وجود نداشته باشه، دکمه قرمزرنگ Test به دکمه سبزرنگ Allowed تغییر پیدا می کنه. اما اگه ایرادی در فایل دیده شه، لاین (دستور) مشکل دار هایلایت شده و مشخص می شه.

مشکلی

هم اینکه با کمک این وسیله گوگل میشه از تواناییای دیگری هم بهره مند شد. مثلاً می تونین از بخش URL Tester نشانی صفحات سایت خود رو بررسی کرده تا فهمیده باشین کدوم یکی از اونا واسه رباتا بسته شده هستن.

هم اینکه این وسیله یه ویرایشگر آنلاین هم هستش که می تونین محتویات اونو با استانداردهای پیشنهادی تغییر بدین. اما یادتون نره که به خاطر اعمال این تغییرات در سایت خود، باید محتوای ویرایش شده جدید رو با محتوای متنی قبلی موجود در robots.txt حال حاضر در هاست خود جانشین کنین.


آموزش پیدا کردن robots.txt Tester در Google Search Console


مشکل نداشتن کدهای دستوری در robots.txt و تأیید مجوز (Allowed)


مشکل داشتن کدهای دستوری در robots.txt و نبود تأیید مجوز (Disallowed)


گوگل واسه این موضوع تصمیمات ساده ای فکر کرده س. کافیه بعد از اعمال تغییرات و ویرایش متن فایل robots.txt با کمک این وسیله، روند نامبرده رو با تأیید کردن (کلیک روی دکمه Submit) ادامه بدین تا به بخش بعدی هدایت شید. در بخش بعد که شامل ۳ بخشه، شما می تونین فایل robots.txt ویرایش شده جدید رو دانلود کنین. بعد باید فایل جدید رو با فایل قبلی در هاست خود جانشین کنین. بعد از این کار دوبارهً به این صفحه برگشته و گزینه Submit پایانی رو بزنین تا به گوگل اطلاع بدین که فایل مورد نظر بروزرسانی شده.

شرایط Robots.txt در وردپرس به چه صورته؟

تموم مواردی که در بالا گفته شد، واسه سیستم مدیریت محتوای WordPress هم صدق می کنه. اما چند نکته درباره وردپرس در این مورد هست که دونستن اونا خالی از لطف نیس.

نکته اول:

در گذشته پیشنهاد میشد که صفحه پنل مدیریتی وردپرس یا همون wp-admin رو از راه فایل robots.txt واسه دسترسی رباتا مسدودسازی کنیم. اما بعد از بروزرسانی وردپرس در سال ۲۰۱۲ این مسئله دیگه اهمیتی نداشت. چون که وردپرس در سیستم جدید خود قابلیتی پیش فرض به تگ هدر فایل robots.txt اضافه کرده بود که در اون تگ noindex و دستور مسدودسازی دسترسی (disallow) گذاشته شده بود. پس الان بدون نیاز به مورد خاصی، صفحه مدیریتی پنل سایت شما به صورت خودکار از لیست ایندکسای موتورهای جستجو حذف می شه.

نکته دوم:

سیستم مدیریت محتوای WordPress به صورت پیش فرض یه فایل robots.txt داره که از این فایل با نام فایل مجازی robots.txt یا Virtual robots.txt یاد می شه. این به این معنیه که شما نمی تونین به صورت مستقیم این فایل رو پیدا کرده و اونو ویرایش کنین. تنها راهی که بشه این فایل رو دید باز کردن نشانی مستقیم اون در مرورگرها (http://www.example.com/robots.txt) است.

دستورالعملای پیش فرض موجود در فایل robots.txt مجازی در وردپرس شامل موارد زیره :

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

در این حالت رباتا به صفحه admin-ajax.php دسترسی دارن. اگه می خواین بدون دستکاری خاصی این حالت رو هم غیرفعال کنین، باید به تنظیمات وردپرس در صفحه wp-admin رفته و گزینه Search Engine Visibility رو فعال کنین تا دسترسی همه رباتا به سایت شما بسته شه.

چیجوری باید فایل robots.txt در وردپرس رو ویرایش کرد؟

طبق چیزی که گفته شد (محال بودن ویرایش مستقیم فایل robots.txt در وردپرس) تنها راهی که بشه فایل robots.txt رو ویرایش کرد ساختن یه فایل جدید از اون و آپلود کردن اون در روت اصلی هاست سرور سایته. درواقع وقتی یه فایل جدید با این عنوان ساخته شه، وردپرس به صورت خودکار فایل مجازی robots.txt رو غیرفعال می کنه.

چند تا نکته مهم فایل robots.txt در مورد سئو

همونطور که به کار گیری دستورات robots.txt در خیلی از مواقع پیشنهاد می شه و واسه کمپین سئوی سایت شما اثر مناسبی هم داره، زیاده روی و یا اشتباه کردن در اونم می تونه نتیجه عکس داشته باشه. به همین منظور نکات زیر رو به طور دقیق مطالعه کرده و با در نظر گرفتن این موارد یه فایل robots.txt مناسب و منطبق با استانداردهای سئو جفت و جور کنین :

  • قبل از هرچیز فایل robots.txt خود رو بررسی و تست کنین تا مطمئن شید بخش مهمی از سایت شما از راه اون بسته نشده باشه.
  • فایلا و پوشهای مهم CSS و JS رو بسته نکنین. یادتون نره که رباتای گوگل درست از نگاه یه کاربر یه سایت رو بررسی و ایندکس می کنن. در نتیجه اگه بعضی از فایلای CSS و JS و دیگه فایلای مشابه رو بلاک کنین، ممکنه سایت شما به صورت مناسب بارگذاری نشه و این مسئله هم می تونه باعث ایجاد خطا شده و در ایندکس شدن دیگه صفحات سایت شما اثر منفی بزاره.
  • اگه از WordPress استفاده می کنین، احتیاجی به مسدودسازی مسیرهایی مثل wp-admin و پوشهای wp-include نیس. وردپرس به صورت خودکار این کار رو از راه تگای متا انجام میده.
  • تلاش کنین دستورات خاص زیادی واسه رباتای خاص تعیین نکنین. پیشنهاد می شه اگه دستور خاصی دارین اونو با کمک کد User-agent: * روی همه رباتا اعمال کنین.
  • اگه دوست دارین که بعضی از صفحات سایت شما در موتورهای جستجو ایندکس نشن، پیشنهاد می کنیم از متاتگای هدر هر صفحه استفاده کنین. البته در حالی که تعداد این صفحات کم باشه یا این روند واسه شما سخت نباشه.

نتیجه گیری

بحث robots.txt چیزی نیس که بخواین وقت زیادی روی اون بذارین و یا به صورت دائمی اونو مورد آزمون و خطا بذارین. اگه نیاز به بهره مند شدن از این توانایی دارین، بهترین کار به کار گیری وسیله آنلاین Google Search Console است. به کمک این وسیله خیلی راحت تر می تونین فایل robots.txt خود رو مدیریت، ویرایش، اشکال زدایی و بروزرسانی کنین.

هم اینکه پیشنهاد می شه تا حد امکان از بروزرسانی پشت هم این فایل دوری کنین. بهترین کار اینه که درست بعد از ساخت سایت، یه فایل کامل و پایانی از robots.txt جفت و جور کنین. بروزرسانیای پشت سر هم این فایل با اینکه در روند فعالیت سایت شما به ظاهر اثر زیادی نمی ذاره، اما می تونه منتهی به پیچیده شدن روند دسترسی خزندگان و رباتا به سایت شما شه.

پیشنهاد: واسه رسیدن به بزرگترین دیتابیس آنلاین از رباتای موجود در موتورهای جستجو، می تونین روی این لینک کلیک کنین.

مشاهده نسخه pdf مقاله: فایل Robots.txt چیه و چه کاربردی در سئوی سایت داره؟