В этой статье я расскажу вам как же все таки создать робот. тхт

Как же создать робот. тхт спросите вы, да очень просто!

Создаем в блокноте файл и называем его робот, в последствий робот. тхт.

И вписываем  в него нижеизложенные теги.

Давайте рассмотрим основные теги робота. Тхт

Disallow: запрещает индексацию страницы или каталога.
Allow: разрешает  индексацию страницы или каталога.

Итак функция робот. тхт – это запрет или разрешение на индексацию страницы или каталога.

Но если вам скажем нужно запретить не весь каталог, а лишь некоторые страницы из него,

То поступаем следующим образом.

В робот. тхт прописываем:

Disallow: /load/адрес странички

Есть один нюанс, на который нельзя не обращать внимания!

Строки разрешающие индексацию должны быть выше строк запрещающих индексацию.

ПРИМЕР:

Allow: /load/адрес страницы
Allow: /load/адрес страницы
Allow: /load/адрес страницы
Disallow: /load/

У нас будут индексироваться только страницы под тегом Allow

Следующий тег, тег User-agent X, где X- имя бота, эсли не понимаете о чем идет речь, то просто вставте в текст вашего робота тег User-agent: *

Этой информаций вам будет достаточно, чтобы составить качественный робот. тхт

еще статьй по оптимизации