X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Как правильно написать файл "robots.txt"?
Werewolf_hb
Werewolf_hb
Topic Starter сообщение 26.6.2008, 3:23; Ответить: Werewolf_hb
Сообщение #1


Мне нужно разрешить всем роботам индексировать весь сайт. Я бы удалил файл "robots.txt"? но слышал, что некоторые поисковики не будут индексировать сайт вообще, если не найдут в корне сайта такого файла или если он будет пустым. Является ли текст

User-Agent: *
Allow:

разрешением для всех роботов индексировать весь сайт? Или лучше написать

User-Agent: *
Disallow: /какая-нибудь пустая папка/

?
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
stream
stream
сообщение 26.6.2008, 17:17; Ответить: stream
Сообщение #2


И без этого файла все поисковики замечательно индексируют


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Webmaster_hb
Webmaster_hb
сообщение 26.6.2008, 22:31; Ответить: Webmaster_hb
Сообщение #3


Werewolf,
пропишите такой
User-agent: *
Disallow:
Host: www.html.by

заменив www.html.by на основное имя домена вашего сайта
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Werewolf_hb
Werewolf_hb
Topic Starter сообщение 26.6.2008, 23:44; Ответить: Werewolf_hb
Сообщение #4


Но ведь "Host" для зеркал. Или его также можно писать, чтобы робот НАЧИНАЛ индексацию с главной станицы? Я правильно понял?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Webmaster_hb
Webmaster_hb
сообщение 27.6.2008, 0:47; Ответить: Webmaster_hb
Сообщение #5


Werewolf, указав host вы просто скажете поисковой машине какой домен у вас основной из зеркал (в зеркала входят и домены с www и без www)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Werewolf_hb
Werewolf_hb
Topic Starter сообщение 27.6.2008, 1:19; Ответить: Werewolf_hb
Сообщение #6


А можно написать

Host: http://html.by/
Host: http://HTML.by/
Host: html.by или
Host: HTML.by ?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Webmaster_hb
Webmaster_hb
сообщение 27.6.2008, 10:11; Ответить: Webmaster_hb
Сообщение #7


Werewolf, маленькими буквами без http://
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Werewolf_hb
Werewolf_hb
Topic Starter сообщение 27.6.2008, 14:36; Ответить: Werewolf_hb
Сообщение #8


Webmaster, спасибо огромное!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
jeka1985
jeka1985
сообщение 1.4.2010, 0:49; Ответить: jeka1985
Сообщение #9


как правильно мне прописать в robots.txt
основной домен http://antoxin.com/blog/ нада чтобы ядекс склеил на antoxin.com как мне прописать всё что бы так было:nea:

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Хостинг "Hostland" - качественный хостинг по разумным ценам и со своей Панелью Управления
0 artmeteor 32 Сегодня, 22:46
автор: artmeteor
Открытая тема (нет новых ответов) ⭐⭐⭐ Google Voice | Gmail - OLD аккаунты "SMS и звонки" ⭐⭐⭐
15 Chekon 4410 Сегодня, 12:00
автор: Chekon
Открытая тема (нет новых ответов) ✅ sms.chekons.com - ⭐ Сервис для получения SMS на реальные номера USA "Non-VoIP, безлим SMS, API" ⭐
Сервис для получения SMS на реальные номера USA
13 Chekon 4058 Сегодня, 11:48
автор: Chekon
Открытая тема (нет новых ответов) Арбитражники, как ведете учет расходов и доходов?
11 Boymaster 1772 Вчера, 23:35
автор: Boymaster
Горячая тема (нет новых ответов) Как вывести деньги в Украине с заблокированного Юмани ?
29 freeax 4791 Вчера, 1:19
автор: sergio11


 



RSS Текстовая версия Сейчас: 18.4.2024, 22:57
Дизайн