robots.txt для блогу
В минулій статті на цю тему Я розказав, що собою являє robots.txt. В цій статті Я розкажу як оптмізувати даний файл для блогу.
Ось robots.txt який рекомендований розробниками WordPress:
User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: /feed Disallow: /comments Disallow: /category/*/* Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /*?* Disallow: /*? Allow: /wp-content/uploads # Google Image User-agent: Googlebot-Image Disallow: Allow: /* # Google AdSense User-agent: Mediapartners-Google* Disallow: Allow: /* # Internet Archiver Wayback Machine User-agent: ia_archiver Disallow: / # digg mirror User-agent: duggmirror Disallow: / Sitemap: http://www.yourdomain.com/sitemap.xml
Для Яндекса може бути корисно ще таке
User-agent: Yandex Crawl-delay: 5
Можна деколи додати ще
Disallow: /tag
Я початківец в цьому ділі, дякую за прояснення ! Використав і для свого блогу.
P.S. хороший дизайн !
Звичайно, що хороший)) Будуть питання по WordPress – звертайся.
Напиши в асю, є пропозиція.
А звідки я її дізнаюсь?!
Тримай – 587669865
Так, дякую. Теж корисна річ. Треба мені буде і у своєму блозі звстосувати.