هر سایت یک فایل متنی کوچک دارد که شاید هیچ‌وقت آن را ندیده باشید، اما می‌تواند روی حضور کل سایت در گوگل اثر بگذارد. Robots.txt فایلی است که به ربات‌های موتورهای جست‌وجو می‌گوید به کدام بخش‌های سایت سر بزنند و به کدام نه. در این مقاله توضیح می‌دهیم Robots.txt چیست، چه دستورهایی دارد، چه کارهایی از آن برمی‌آید و چه کارهایی نه.
Robots.txt چیست؟
Robots.txt یک فایل متنی ساده در ریشه‌ی سایت است؛ مثلاً در آدرس example.com/robots.txt. ربات‌های معتبر، از جمله ربات گوگل، پیش از خزش سایت این فایل را می‌خوانند و از دستورهایش پیروی می‌کنند. این فایل بر اساس پروتکلی قدیمی ساخته شده که در سال ۲۰۲۲ به‌عنوان یک استاندارد رسمی اینترنتی ثبت شد.
بیشتر سیستم‌های مدیریت محتوا به‌طور پیش‌فرض یک فایل robots.txt ساده می‌سازند. وردپرس هم اگر فایلی روی سرور نباشد، یک نسخه‌ی مجازی تولید می‌کند. افزونه‌های سئو معمولاً امکان ویرایش آن را از داخل پنل مدیریت می‌دهند، پس برای تغییرش لزوماً به دسترسی سرور نیاز ندارید.
دستورهای اصلی Robots.txt
- User-agent: مشخص می‌کند دستورها برای کدام ربات است. علامت ستاره یعنی همه‌ی ربات‌ها.
- Disallow: مسیری که ربات نباید خزش کند.
- Allow: استثنایی در دل یک مسیر بسته‌شده.
- Sitemap: آدرس نقشه‌ی سایت.
یک نمونه‌ی رایج برای سایت وردپرسی را در ادامه می‌بینید.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Sitemap: https://example.com/sitemap.xmlاین فایل پنل مدیریت و نتایج جست‌وجوی داخلی را از خزش خارج می‌کند، اما فایلی را که برای عملکرد درست سایت لازم است باز می‌گذارد. در انتها هم آدرس نقشه‌ی سایت را اعلام می‌کند. این نمونه فقط یک نقطه‌ی شروع است و هر سایت باید آن را با ساختار خودش تطبیق بدهد.
Robots.txt چه کاربردی دارد؟
- جلوگیری از خزش بخش‌هایی که ارزش جست‌وجو ندارند، مثل پنل مدیریت، سبد خرید یا نتایج جست‌وجوی داخلی.
- کم کردن فشار ربات‌ها روی سرور در سایت‌های بزرگ.
- جلوگیری از خزش آدرس‌های بی‌پایانی که فیلترها و پارامترها می‌سازند.
- معرفی آدرس نقشه‌ی سایت به موتورهای جست‌وجو.
Robots.txt چه کاری انجام نمی‌دهد؟
۱. جلوی ایندکس شدن را نمی‌گیرد
Robots.txt فقط جلوی خزش را می‌گیرد. اگر سایت‌های دیگر به صفحه‌ای که بسته‌اید لینک بدهند، گوگل ممکن است آدرس آن را بدون محتوا ایندکس کند. برای حذف یک صفحه از نتایج از تگ noindex استفاده کنید و آن صفحه را در robots.txt نبندید. گوگل باید صفحه را بخواند تا تگ noindex را ببیند.
۲. ابزار امنیتی نیست
این فایل عمومی است و هر کسی می‌تواند آن را ببیند. ربات‌های مخرب هم از آن پیروی نمی‌کنند. پس مسیرهای حساس را با نوشتن در robots.txt پنهان نکنید. برای محافظت از آن‌ها از رمز عبور و محدودیت دسترسی استفاده کنید.
اشتباهات رایج در Robots.txt
- جا ماندن دستور «Disallow: /» از دوران ساخت سایت، که جلوی خزش کل سایت را می‌گیرد.
- بستن فایل‌های CSS و جاوااسکریپت، که مانع دیدن درست صفحه توسط گوگل می‌شود.
- بستن صفحه‌هایی که می‌خواهید از نتایج حذف شوند، به جای استفاده از noindex.
- بی‌توجهی به حروف بزرگ و کوچک؛ مسیرها در این فایل به بزرگی و کوچکی حروف حساس‌اند.
- قرار دادن فایل در پوشه‌ای غیر از ریشه‌ی سایت. هر زیردامنه هم به فایل جداگانه‌ی خودش نیاز دارد.
Robots.txt را چطور بررسی کنیم؟
آدرس example.com/robots.txt را در مرورگر باز کنید و محتوایش را بخوانید. در سرچ کنسول هم گزارش robots.txt در بخش Settings نشان می‌دهد گوگل آخرین بار کی فایل را دریافت کرده و آیا خطایی داشته است یا نه. پیش از هر تغییر در این فایل، نسخه‌ی قبلی را نگه دارید. بعد از تغییر هم دسترسی صفحه‌های مهم را با ابزار URL Inspection تست کنید.
چند نکته‌ی کاربردی دیگر
- گوگل از علامت * برای هر رشته و علامت $ برای انتهای آدرس پشتیبانی می‌کند. مثلاً با این علامت‌ها می‌توانید آدرس‌های دارای یک پارامتر فیلتر را ببندید.
- دستور Crawl-delay را گوگل نادیده می‌گیرد؛ اگر سرور زیر فشار است، راه‌حل را در بهینه‌سازی سرور جست‌وجو کنید.
- برای نسخه‌ی آزمایشی سایت، به‌جای robots.txt از رمز عبور استفاده کنید تا هیچ‌کس، حتی ربات‌ها، به آن دسترسی نداشته باشند.
- اگر سایت فایل robots.txt ندارد، ربات‌ها فرض می‌کنند همه‌ی بخش‌ها باز است؛ برای بیشتر سایت‌های کوچک این مشکلی ندارد.
Robots.txt کوچک‌ترین فایل سایت است، اما یک خط اشتباه در آن می‌تواند بزرگ‌ترین خسارت را بزند.
جمع‌بندی
Robots.txt فایلی ساده برای مدیریت خزش ربات‌هاست. با آن می‌توانید بخش‌های بی‌ارزش را از مسیر ربات‌ها خارج کنید و آدرس نقشه‌ی سایت را اعلام کنید. اما این فایل نه جلوی ایندکس را می‌گیرد و نه ابزار امنیتی است. آن را ساده نگه دارید، پیش از هر تغییر دقیق بررسی کنید و بعد از تغییر نتیجه را در سرچ کنسول دنبال کنید. اگر می‌خواهید تیم هیما تنظیمات فنی سایتتان را بررسی کند، صفحه‌ی تعرفه‌ها را ببینید یا با ما تماس بگیرید.
