وب مستر
نحوه استفاده از فایل robots.txt
Warning: Undefined array key 0 in /home/pardisit/public_html/mag/wp-content/plugins/automatic-seo-links/automatic-seo-links.php on line 1194
فرمت این فایل در واقع خیلی ساده هستش. در خط اول عبارت user agent رو داریم.در اینجا نام رباتی را که میخواهید با آن ارتباط داشته باشید را وارد کنید. مثلا: Googlebot , Bingbot و…. همچنین با وارد کردن * اجازه برقرار ارتباط با همه موتورهای جستجو را می دهیم.
در مراحل بعدی با استفاده از Allow و Disallow قسمت هایی که موتور جستجو دسترسی داشته باشد یا نداشته باشد را مشخص می کنید.
این یک نمونه کد فایل robots.txt است:
|
1
2
3
4
|
User–Agent: *
Allow: /wp–content/uploads/
Disallow: /wp–content/plugins/
Disallow: /readme.html
|
