راستش خیلی از وب سایت های محبوب فایل robots.txt ساده ای دارند. به این کد پایین دقت کنید :
|
1
2
3
4
5
|
User–agent: *
Disallow:
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml
|
کد بالا میگه تمامی ربات ها به محتوای صفحه اول و لینک های نقشه سایت دسترسی داشته باشند
اینم یه نمونه دیگه:
|
1
2
3
4
5
6
7
8
9
10
11
|
User–Agent: *
Allow: /?display=wide
Allow: /wp–content/uploads/
Disallow: /wp–content/plugins/
Disallow: /readme.html
Disallow: /refer/
Sitemap: http://www.sample.com/post-sitemap.xml
Sitemap: http://www.sample.com/page-sitemap.xml
Sitemap: http://www.sample.com/deals-sitemap.xml
Sitemap: http://www.sample.com/hosting-sitemap.xml
|
