فایلهای Robots.txt به برنامههای جستجو میگویند که به کدام صفحات وب دسترسی یا اجتناب کنند. یاد بگیرید که چگونه کار می کند، چگونه به درستی یک فایل robots.txt ایجاد کنید و از موارد غیر منتظره اجتناب کنید.
منبع: https://seranking.com/blog/guide-robots-txt/
