X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Robotx.txt помогите составить :)
lbarmen
lbarmen
Topic Starter сообщение 8.8.2009, 17:53; Ответить: lbarmen
Сообщение #1


Бывалый
****

Группа: User
Сообщений: 343
Регистрация: 12.12.2008
Поблагодарили: 65 раз
Репутация:   5  


Есть сайт(в основе новости) и форум. - Двиг сайта DLE + dle форум
Собственно, можете помочь составить или дайте нормальную тему, с нормальным описанием как сделать.

З.Ы. рылся в поиске, но нашел кучу хлама...

Сообщение отредактировал lbarmen - 8.8.2009, 17:59
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
MaraFet
MaraFet
сообщение 8.8.2009, 17:57; Ответить: MaraFet
Сообщение #2


Завсегдатай
*****

Группа: Active User
Сообщений: 986
Регистрация: 16.7.2009
Из: Белый свет
Поблагодарили: 190 раз
Репутация:   45  


User-agent: *
Disallow:

Sitemap: http://сайт.нет/карта

Сообщение отредактировал MaraFet - 8.8.2009, 17:57


--------------------
Продвиженто - сервис создания семантического ядра (волшекластеры, ТЗ "Мечта копирайтера...)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Nunkomm
Nunkomm
сообщение 8.8.2009, 17:57; Ответить: Nunkomm
Сообщение #3


Мизантропичный доктор
******

Группа: Active User
Сообщений: 1911
Регистрация: 11.4.2009
Из: Обратной стороны монитора
Поблагодарили: 993 раза
Репутация:   113  


Какой движок?


--------------------
Версия 2.0.101. Ещё злее, ещё мизантропичнее.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
lbarmen
lbarmen
Topic Starter сообщение 8.8.2009, 17:58; Ответить: lbarmen
Сообщение #4


Бывалый
****

Группа: User
Сообщений: 343
Регистрация: 12.12.2008
Поблагодарили: 65 раз
Репутация:   5  


(MaraFet @ 8.8.2009, 17:57) *
User-agent: *
Disallow:

Sitemap: http://сайт.нет


И всё?=)

Я вот тут посмотрел дле сайты и на многих вот такой вот робот тхт:
User-Agent: *
Disallow: /backup/
Disallow: /templates/
Disallow: /engine/
Disallow: /languages/
Disallow: /uploads/
Disallow: /images/
Host: www.сайт.ру

User-agent: Yandex
Allow: /
Sitemap: http://сайт.ру/sitemap.xml

User-agent: StackRambler
Allow: /
Crawl-delay: 7


Или всё что выше не нужно?

Двиг DLE и форум DLE

Сообщение отредактировал lbarmen - 8.8.2009, 18:00
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
lasmaster
lasmaster
сообщение 8.8.2009, 18:00; Ответить: lasmaster
Сообщение #5


Бывалый
****

Группа: User
Сообщений: 265
Регистрация: 11.12.2008
Из: Иркутская область
Поблагодарили: 49 раз
Репутация:   5  


(lbarmen @ 8.8.2009, 21:53) *
Есть сайт(в основе новости) и форум.
Собственно, можете помочь составить или дайте нормальную тему, с нормальным описанием как сделать.

З.Ы. рылся в поиске, но нашел кучу хлама...


Ну вот мой например:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Host: www.bestseomaster.ru

* - значит, что инструкции идут для всех ПС без исключения
в Disallow вписываете те страницы или разделы, которые НЕ должны индексироваться
Host здесь прописываете ваш домен, как он будет с WWW или без них.


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
MaraFet
MaraFet
сообщение 8.8.2009, 18:06; Ответить: MaraFet
Сообщение #6


Завсегдатай
*****

Группа: Active User
Сообщений: 986
Регистрация: 16.7.2009
Из: Белый свет
Поблагодарили: 190 раз
Репутация:   45  


Вот самый правильный вариантsmile.gif: http://www.microsoft.com/robots.txt


--------------------
Продвиженто - сервис создания семантического ядра (волшекластеры, ТЗ "Мечта копирайтера...)


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
lbarmen
lbarmen
Topic Starter сообщение 8.8.2009, 18:09; Ответить: lbarmen
Сообщение #7


Бывалый
****

Группа: User
Сообщений: 343
Регистрация: 12.12.2008
Поблагодарили: 65 раз
Репутация:   5  


(MaraFet @ 8.8.2009, 18:06) *
Вот самый правильный вариантsmile.gif: http://www.microsoft.com/robots.txt



Мощно f_4866c2c501a2c.gif


А что означает это:
Allow: /
Crawl-delay: 7
?

Сообщение отредактировал lbarmen - 8.8.2009, 18:13
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
MaraFet
MaraFet
сообщение 8.8.2009, 18:22; Ответить: MaraFet
Сообщение #8


Завсегдатай
*****

Группа: Active User
Сообщений: 986
Регистрация: 16.7.2009
Из: Белый свет
Поблагодарили: 190 раз
Репутация:   45  


lbarmen,
Сканирование с запаздыванием


--------------------
Продвиженто - сервис создания семантического ядра (волшекластеры, ТЗ "Мечта копирайтера...)


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Nunkomm
Nunkomm
сообщение 8.8.2009, 18:30; Ответить: Nunkomm
Сообщение #9


Мизантропичный доктор
******

Группа: Active User
Сообщений: 1911
Регистрация: 11.4.2009
Из: Обратной стороны монитора
Поблагодарили: 993 раза
Репутация:   113  


Если:
(lbarmen @ 8.8.2009, 16:58) *
Двиг DLE и форум DLE

то:
http://talk.maulnet.ru/topic28441s0.html?p...mp;#entry336193


--------------------
Версия 2.0.101. Ещё злее, ещё мизантропичнее.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
seo2z
seo2z
сообщение 8.8.2009, 18:33; Ответить: seo2z
Сообщение #10


Поисковая оптимизация
******

Группа: Active User
Сообщений: 2373
Регистрация: 9.12.2008
Из: Санкт-Петербург
Поблагодарили: 1253 раза
Репутация:   173  


обычно директива "host" прописывается к агенту Яндекса...
то есть так:

User-Agent: Yandex
Disallow:
Host: www.сайт.ру

User-Agent: *
Disallow:
Sitemap: http://сайт.ру/sitemap.xml


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Помогите выбрать программу
Помогите выбрать программу
11 impak 1341 11.12.2017, 13:11
автор: Mikki
Открытая тема (нет новых ответов) Помогите найти плагин на WP
Отзывы с профилей соц сетей
1 SEOMR 440 30.11.2017, 7:18
автор: Nell
Открытая тема (нет новых ответов) Помогите найти проблему
Долгий ответ сервера
6 maxim1249 692 29.11.2017, 17:27
автор: genjnat
Открытая тема (нет новых ответов) Помогите оценить новотник. Плиз
1 Alex-777 524 29.11.2017, 7:18
автор: grumdas
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47488 28.11.2017, 1:05
автор: Akira


 



RSS Текстовая версия Сейчас: 15.12.2017, 12:35
Дизайн