X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Запретить индексацию сайта
Bra1n
Bra1n
Topic Starter сообщение 6.8.2008, 9:41; Ответить: Bra1n
Сообщение #1


Мозговой штурм
******

Группа: Active User
Сообщений: 1089
Регистрация: 24.5.2008
Из: Челябинской обл
Поблагодарили: 214 раз
Репутация:   42  


Кто знает что прописать в rotots.txt чтоб запретить индексацию от всех поисковиков, но чтоб страницы не выпадали из индекса в дальнейшем?

Нашёл код который запрещает полную индексацию всеми поисковиками весь сайт

User-agent: *
Disallow: /

Меня смущает то, не выпадут ли страницы со временем?

Сообщение отредактировал Bra1n - 6.8.2008, 9:53


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
KeYZeD
KeYZeD
сообщение 6.8.2008, 10:04; Ответить: KeYZeD
Сообщение #2


Участник
***

Группа: User
Сообщений: 225
Регистрация: 9.6.2008
Из: Астана
Поблагодарили: 54 раза
Репутация:   18  


я в оптимизации не мозг, но страницы должны еще в поиске покрутиться и выпасть, особенно если конкуренции полно :-)

может в роботс прописывать, чтобы не индексировал новые странички? то есть надо прописывать каждый раз при создании новой странички.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Bra1n
Bra1n
Topic Starter сообщение 6.8.2008, 10:19; Ответить: Bra1n
Сообщение #3


Мозговой штурм
******

Группа: Active User
Сообщений: 1089
Регистрация: 24.5.2008
Из: Челябинской обл
Поблагодарили: 214 раз
Репутация:   42  


Проблема с запрещением индексации у меня возникла потому, потому что на моем сайте более 50 тысяч страниц, проиндексировано 11 тысяч, роботы постоянно лазают на него в итоге идёт мощная пропускная способность ( около гиг скачивается в неделю с этих роботов ) а учитывая что на хостинге пропускная способность в месяц всего 1250 мегабайт, то мне нужно как то выкрутится с этой ситуации, иначе сайт блокируется =) хостинг менять неохота, т.к таких сайтов у меня куча. вообщем посмотрим исключаться ли страницы при запрещении полной индексации.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
KeYZeD
KeYZeD
сообщение 6.8.2008, 10:24; Ответить: KeYZeD
Сообщение #4


Участник
***

Группа: User
Сообщений: 225
Регистрация: 9.6.2008
Из: Астана
Поблагодарили: 54 раза
Репутация:   18  


страницы исключаются не сразу, они еще 2-3 мес. точно будут висеть в индексе.

в гугле - в панели вебмастера можно настроить частоту сканирования сайта
подробнее тут _http://homelessinkubinka.blogspot.com/2008_04_01_archive.html

еще в sitemap.xml можно прописать что страница обновляется не часто... и не надо заходить на эту страницу каждый день.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
flashripper
flashripper
сообщение 6.8.2008, 10:27; Ответить: flashripper
Сообщение #5


www.flashripper.net
*****

Группа: Active User
Сообщений: 544
Регистрация: 24.12.2007
Поблагодарили: 32 раза
Репутация:   10  


Незнаю полезно или нет, но все же:

Мета тег Robots

Данный тег нужно помещать между тегов <head> и </head>.
Данный тег в выглядит так:

<meta name=”Robots” content=”тут условие”>

С его помощью можно управлять индексацией конкретной страницы. Инструкции индексации и следования по ссылкам прописываются в поле content.

Существует несколько инструкций для мета тега Robots:

1. <noindex> - не индексировать
2. <index> -индексировать
3. <nofollow>- по ссылкам не следовать
4. <follow>- по ссылкам следовать
5. <all> - индексировать и следовать по ссылкам
6. <none> - не индексировать и не следовать по ссылкам

Возможно применение двух инструкций из noindex, nofollow, index, follow одновременно, например, данный тег:

<meta name=”robots” content=”index, nofollow”>

разрешает индексацию и запрещает следовать по ссылкам. Инструкции none и all должны использоваться отдельно от других инструкций, и хотя тег вида

<meta name=”robots” content=”none, nofollow”>

является синтаксически верным, смысла он не имеет, к тому же можно допустить ошибку, применив две взаимоисключающие инструкции, например all и nofollow.

Имеет ли смысл применять тег robots? В некоторых случаях его использование оправданно. Однако следует учитывать тот факт, что, например, использование nofollow запрещает переход по ВСЕМ ссылкам, т.е. страница становится тупиковой. В этом случае для “лишних” ссылок лучше использовать атрибут nofollow в коде самих ссылок.

Напомним, что тег robots, как и другие мета теги, не является обязательным для использования, и, например, размещения в коде страницы вот такого тега

<meta name=”robots” content=”all”>

является абсурдом.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
centurion
centurion
сообщение 6.8.2008, 10:28; Ответить: centurion
Сообщение #6


Топовый постер
*******


Группа: Active User
Сообщений: 2831
Регистрация: 10.12.2007
Из: aceweb
Поблагодарили: 1349 раз
Репутация:   308  


Бот yahoo настырный и любит так перегружать. В то же время он и не нужен вообще.
yahoo запретите.
Яндекс и Google оставьте.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Slik_45
Slik_45
сообщение 6.8.2008, 10:28; Ответить: Slik_45
Сообщение #7


Частый гость
**

Группа: User
Сообщений: 90
Регистрация: 25.6.2008
Поблагодарили: 9 раз
Репутация:   0  


Странный какой то хостинг, может стоит задуматься о смене тарифа ?

Я при такой загрузке канала плачу 40у.е. в месяц и доволен smile.gif
Эскизы прикрепленных изображений
Прикрепленное изображение
 
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
vitaleg
vitaleg
сообщение 26.8.2008, 17:07; Ответить: vitaleg
Сообщение #8


Участник
***

Группа: User
Сообщений: 115
Регистрация: 22.8.2008
Поблагодарили: 5 раз
Репутация:   0  


не добавляй сайт в яндекс и все )


--------------------
Хостинг провайдер UnixHost – нас выбирают лучшие!
www.unixhost.com.ua
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Bartz2
Bartz2
сообщение 15.3.2009, 19:54; Ответить: Bartz2
Сообщение #9


Бывалый
****

Группа: User
Сообщений: 323
Регистрация: 11.8.2008
Поблагодарили: 20 раз
Репутация:   3  


(Slik_45 @ 6.8.2008, 10:28) *
Странный какой то хостинг, может стоит задуматься о смене тарифа ?

Я при такой загрузке канала плачу 40у.е. в месяц и доволен smile.gif



какая панелька может дать такой график?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Slik_45
Slik_45
сообщение 15.3.2009, 21:16; Ответить: Slik_45
Сообщение #10


Частый гость
**

Группа: User
Сообщений: 90
Регистрация: 25.6.2008
Поблагодарили: 9 раз
Репутация:   0  


(Bartz2 @ 15.3.2009, 17:54) *
какая панелька может дать такой график?

Это не панелька, это скрипт мониторинга загрузки сервера, снимает статистику по snmpd.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Чем сжимать картинки для сайта без потери качества
1st-finstep.ru - Заработок в сети и методы продвижения сайта
13 komarik_vlad 1345 Вчера, 12:29
автор: monson
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыНе повлияет ли на позиции сайта?
Если убрать контент
12 maxg5 1317 14.12.2017, 21:11
автор: alexandrrr
Горячая тема (нет новых ответов) Качественный копирайт и наполнение Вашего сайта
Подходи, торопись, покупай живо...
307 DroBit 86329 14.12.2017, 19:03
автор: Fox
Открытая тема (нет новых ответов) Тренд сайта по сравнению с аналогами, новый параметр в Яндекс Вебмастере
7 0alex1 1494 14.12.2017, 14:03
автор: coremission
Горячая тема (нет новых ответов) Регистрация Вашего сайта (профиля,DLE сайты,подписи на форумах,постинг Тиц 10> , ПР 1>)
278 kaartes 102778 14.12.2017, 10:55
автор: kukla


 



RSS Текстовая версия Сейчас: 16.12.2017, 7:45
Дизайн