یک فایل robots.txt استاندارد چگونه خواهد بود؟

راستش خیلی از وب سایت های محبوب فایل robots.txt ساده ای دارند. به این کد پایین دقت کنید :

کد بالا میگه تمامی ربات ها به محتوای صفحه اول و لینک های نقشه سایت دسترسی داشته باشند

اینم یه نمونه دیگه: