انتشار: 1401/07/16 - بروزرسانی: 1403/03/26 توسط: : سید جلال حسینی

فایل robot txt سایت چیست، چه کاربردی دارد؟

اگر نمیدانید فایل robot txt چیست و میخواهید پاسخ این سوال را بدانید به شما پیشنهاد میکنیم تا انتهای این مطلب با رایانه کمک همراه باشید، آشنایی با این فایل متنی برای بهبود رتبه ی سایت بسیار مهم است. پس اگر این فایل متنی را نمیشناسید مطالعه ی این مقاله را از دست ندهید.

شما میتوانید برای مشاهده ی ویدیوهای آموزشی جذاب کامپیوتری و گوشیهای هوشمند به صفحه آپارات رایانه کمک مراجعه نمایید.

آنچه مطالعه میکنید:

✅Robots txt چیست؟

✅فایل txt چیست؟

✅robots.txt چگونه کار میکند؟

✅مهمترین ربات های گوگل

✅صفحاتی که باید از دسترس موتورهای جستجو خارج کنیم؟

✅آموزش ساخت فایل robots txt در وردپرس

✅ثبت فایل robots txt در گوگل وبمستر

✅دستورات فایل robots.txt

✅دستور User-agent

✅دستورات Allow و Disallow

✅سایت مپ یا نقشه سایت

✅سوالات متداول

✅سخن پایانی:

Robots txt چیست؟

قطعا برای شما هم پیش آمده است که بخواهید مطالبی از وب سایتتان در نتایج جستجوی گوگل نشان داده نشود یا بالعکس صفحاتی از سایت با وجود رعایت تمامی نکات سئو ایندکس نشده و در نتایج نمایش داده نمیشود، اینجاست که آشنایی و شناخت فایل robot txt میتواند به شما در رفع این مشکل کمک کند.

در حقیقت Robots.txt یک فایل متنی است که وبمستران و صاحبان سایت میتوانند با ایجاد آن، رباتهای مختلف موتورهای جستجو را در هنگام پایش و بررسی وب سایت مورد نظر راهنمایی نمایند. به زبان ساده تر بعد از ایجاد و ساخت سایت، شما باید به رباتهای موتورهای جستجو که مهمترین آنها گوگل است اعلام کنید که در چه صفحاتی از سایت شما کرال یا خزش کنند بدین جهت است که فایل robots.txt سایت باید ساخته شود.

همانطور که میدانید باتها (bots) در واقع نرم افزارهایی طراحی شده به جهت انجام فعالیتهایی خاص در سایتها میباشند. در واقع تنها کاربران نیستند که به صفحات مختلف سایت شما سر می زنند رباتهای گوناگون با اهداف مختلف نیز بصورت خودکار صفحات سایت شما را مورد کاوش و بررسی قرار داده و بر طبق داده های به دست آمده سایتهای متعدد را رتبه بندی میکنند.

✴️✴️ تماس با پشتیبان رایانه کمک برای مشاوره تخصصی سئو داخلی و خارجی سایت: ☎️از طریق تلفن ثابت 9099071540 و 📱 از طریق موبایل 0217129

فایل txt چیست؟

شاید برای شما هم این سوال پیش آمده باشد که Txt چیست ؟ همانطور که اشاره کردیم robots یک فایل متنی با پسوند txt میباشد. تکست فایل یا فایل متنی یک سند متنی است که تنها شامل متن ساده میباشد. این فایل در هر برنامه ی ویرایشگر متن دیگری قابلیت ویرایش و خواندن دارد. در واقع این فایل متنی ساده میتواند متون را بدون هیچ قالب بندی تنها به صورت محتوای متنی نگهداری کند.

Robots.txt فایلی متنی و ساده بوده که بر روی سرور سایت قرار میگیرد تا بتواند نحوه ی دسترسی رباتهای مختلف به صفحات سایت را کنترل نماید، در واقع این فایل متنی مشخص میکند که کدام رباتها و خزنده ها در چه صفحاتی از سایت خزیده و در چه صفحاتی خزیده نشوند.

همانطور که اشاره شد این فایل در دایرکتوری سایت قرار میگیرد، به عبارت دیگر چنانچه وبسایتی با آدرس website.com دارید فایل مربوطه باید در website.com/robots.txt قرار بگیرد.

robots.txt چگونه کار میکند؟

همانطور که پیشتر اشاره کردیم خزنده ها یا کراولرها (crawler) برنامه هایی هستند که در وبسایتهای مختلف میخزند. در واقع کراولرها قبل از خزیدن در یک وبسایت ابتدا به دنبال فایل robots.txt در دایرکتوری وبسایت هستند، چنانچه هیچ فایلی وجود نداشته باشد آزادانه در وبسایت میچرخند اما با پیدا کردن یک فایل robots.txt بدنبال دستورالعلهای آن گشته و بر طبق آن خزیدن و کاوش در وب سایت را ادامه میدهند.

توجه داشته باشید در صورتیکه رباتهای موتور جستجوی گوگل که محبوبترین موتور جستجو در بین کاربران است قادر به کاوش و خزیدن در صفحات سایت نباشند صفحه یا صفحات مورد نظر ایندکس نشده و در نتایج گوگل نمایش داده نخواهند شد. در حقیقت از آنجاییکه مهمترین موتور جستجو گوگل است منظورمان از ربات نیز رباتهای گوگل است.

مهمترین ربات های گوگل

گوگل دارای تعداد زیادی ربات یا خزنده است که از مهمترین آنها میتوان به موارد ذیل اشاره کرد:

Googlebot Image : ربات کاوش و بررسی تصاویر

Googlebot Video : ربات کاوش و بررسی ویدیوها

Googlebot News : ربات ایندکس سایتهای خبری

Ads Bot: ربات کاوش و بررسی صفحات با هدف نمایش تبلیغات

Googlebot : ربات کاوش و ایندکس صفحات وبسایت

صفحاتی که باید از دسترس موتورهای جستجو خارج کنیم؟

شما میتوانید با کمک فایل robots.txt صفحاتی را از دسترس خزنده ها و موتور جستجو خارج کنید از جمله مهمترین صفحاتی که نیازی به ایندکس شدن آنها نیست میتوان به موارد ذیل اشاره کرد:

پنل سایت
صفحات ادمین سایت
صفحات عقد قراردادها
صفحات مربوط به گفتگوهای آنلاین
صفحات مربوطه به حساب کاربری کاربران سایت
صفحات دارای محتوای تکراری (duplicate content)
فیلترهای مختلف برای سایتهای فروشگاهی (فیلتر رنگ، قیمت، برند و...)
فایلهای قالب سایت که نیازی نیست توسط موتور جستجو ایندکس شوند.
وجود تگ یا برچسبهایی که سبب ایجاد محتوای تکراری در سایت هستند.

آموزش ساخت فایل robots txt در وردپرس

بعد از اینکه پاسخ این سوال را پیدا کرده اید که فایل robot txt چیست لازم است برای سایت وردپرس خود طبق مراحل ذیل این فایل متنی را ایجاد نمایید:

در قدم اول به صفحه اصلی هاست خود در سی پنل یا دایرکت ادمین وارد شوید.
اکنون لازم است بر روی File Manager کلیک کرده تا با وارد شدن به فایل منیجر بتوانید فایلهای مختلف را کنترل کنید.

بعد از وارد شدن به File Manager لازم است به بخش public_html بروید.
توجه داشته باشید چنانچه وردپرس در دامنه اصلی نصب است مسیر public_html هدف ماست اما در صورتیکه وردپرس را در پوشه ای جداگانه نصب کرده اید باید به پوشه ی مربوطه وارد شوید.
حال لازم است با استفاده از برنامه ی ویرایشگر متن همانند notepad یک فایل با نام robots.txt ایجاد کنید.
با انتخاب گزینه ی آپلود در فایل منیجر هاست فایل متنی ساخته شده را به مسیر اضافه نمایید.
همچنین میتوانید از طریق منوی FILE در پنجره ی نمایش داده شده در فیلد مربوطه بهNew File Name عبارتrobots.txt را درج کرده و در آخر دکمه ی Create New File را جهت ساخت فایل انتخاب کنید.

میتوانید از سایت ساخت فایل txt برای ساخت آنلاین فایل Robots txt استفاده نمایید، یکی از سایتهای محبوب در این زمینه سایت https://easysoft.ir/services/robotstxt است که میتوانید از خدمات آن بهره ببرید.

ثبت فایل robots txt در گوگل وبمستر

ما پیشتر در مقاله ای تحت عنوان "آموزش نحوه ورود به سرچ کنسول گوگل" در خصوص وارد شدن و ثبت سایت در وبمستر به شما آموزش داده ایم، بهتر است در قدم اول با کمک مقاله ی مربوطه قدم به قدم جهت ثبت سایت پیش رفته و بعد از آن مراحل ذیل را طی کنید.

از طریق پنل وبمستر وارد بخش Crawl شوید.
حال گزینه یrobots.txt Tester را انتخاب کنید.
در فیلد نمایش داده شده در پایین تصویر عبارت robots.txt را وارد نمایید.
اکنون بر روی دکمه ی TEST کلیک کنید.

حال میتوانید پیغام Allowed را با رنگ سبز مشاهده نمایید.
حال محتویات فایل robots.txt را وارد ویرایشگر مربوطه کرده و دکمه ی Submit را انتخاب کنید.
در پنجره ی نمایش داده شده بر روی دکمه ی Submit آخرین گزینه کلیک نمایید.

دستورات فایل robots.txt
لازم است بدانید در هر فایل robots.txt از سه دستور اصلی ذیل استفاده می شود:

دستور User-agent
باید در ابتدای فایل robots.txt و قبل نوشتن هر دستور User-agent را درج کنید. در واقع این دستور نشان دهنده ی این است که شما کدام یک از ربات ها را هدف قرار داده اید. معمولا از این دستور به دو شکل ذیل استفاده می شد:
User-agent: *: درج کاراکتر ستاره (*) بعد از عبارت User-agent به معنای این است که شما میخواهید به تمامی رباتهای خزنده یک دستور یکسان دهید.
User-agent: Googlebot: در صورتیکه میخواهید به یک ربات خاص گوگل دستور خاصی صادر کنید لازم است نام ربات مربوطه را نیز درج کنید.

دستورات Allow و Disallow

دستور Allow به معنای این است که رباتها به چه فایلها و فولدرهایی از وبسایت میتوانند دسترسی داشته باشند و دستور Disallow بدان معناست که رباتها به چه فایلهایی نباید دسترسی داشته و به بیان دیگر کدام یک از آدرسها باید از دید رباتها پنهان باشند.

توجه داشته باشید برای استفاده از دستورات فوق بعد از وارد کردن کاراکتر دو نقطه نیازی نیست تمامی URL را درج نمایید بلکه باید تنها صفحه یا صفحاتی که قصد اعمال دستور به آنها را دارید وارد کنید. بعنوان مثال برای جلوگیری از مشاهده ی صفحه ی photos در وبسایت خود با آدرس website.com/photos باید از دستور ذیل استفاده نمایید:

:User-agent
Disallow: /photos

سایت مپ یا نقشه سایت

ثبت این دستور اختیاری است اما در حقیقت یکی از ساده ترین روشهای ثبت نقشه سایت در گوگل میباشد. برای اینکار لازم است کد دستوری ذیل را در فایل robots.txt اضافه نمایید:

Sitemap: https://website.com/sitemap.xml

سوالات متداول

در ادامه به سوالاتی که کاربران از کارشناسان رایانه کمک در زمینه ی این فایل متنی پرسیده اند پاسخ داده ایم.

فایل robot.txt چه اهمیتی در سئو سایت دارد؟

robot.txt فایلی متنی است که دارای دستوراتی برای رباتهای موتورهای جستجو میباشد. با اعمال دستورات صحیح در این فایل میتوانید فرآیند خزیده شدن رباتها در سایت را بهینه کرده و رتبه ی خود را بهبود ببخشید.

نوشتن فایل robots.txt به چه صورتی صحیح است؟

توجه داشته باشید که فایل robots.txt نسبت به حروف کوچک و بزرگ حساس بوده و به همین دلیل لازم است فایل را بصورت robots.txt تایپ نمایید. درج نام فایل به شکلهای robots.TXT، Robots.txt و... اشتباه است.

ویرایش فایل robots.txtبه چه طرقی امکانپذیر است؟

میتوانید با کمک افزونه ی Yoast SEO و از طریق پیشخوان وردپرس از مسیر سئو> ابزارها> ویرایشگر فایل robots.txt را ایجاد یا ویرایش کنید. علاوه بر این افزونه ی All In One SEO از دیگر روشهایی است که میتوانید به جهت ویرایش فایل robots.txt از آن استفاده نمایید.

سخن پایانی:

ما در این مقاله سعی کردیم به معرفی فایل robot txt، کاربردها و نحوه ی ساخت این فایل بپردازیم، امیدواریم مطالب ارائه شده برای شما مفید بوده باشد. چنانچه بعد از مطالعه ی این مطلب با مشکل یا سوالی مواجه شده اید میتوانید مشکل را از طریق شماره های 9099071540 یا 0217129 با کارشناسان رایانه کمک در میان گذاشته و از آنها مشاوره تلفنی و اینترنتی دریافت نمایید.

مشاهده همه مطالب