X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

> Запретить индексацию сайта
Bra1n
Bra1n
Topic Starter сообщение 6.8.2008, 9:41; Ответить: Bra1n
Сообщение #1


Кто знает что прописать в rotots.txt чтоб запретить индексацию от всех поисковиков, но чтоб страницы не выпадали из индекса в дальнейшем?

Нашёл код который запрещает полную индексацию всеми поисковиками весь сайт

User-agent: *
Disallow: /

Меня смущает то, не выпадут ли страницы со временем?

Сообщение отредактировал Bra1n - 6.8.2008, 9:53
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >  
Открыть тему
Ответов (1 - 9)
KeYZeD
KeYZeD
сообщение 6.8.2008, 10:04; Ответить: KeYZeD
Сообщение #2


я в оптимизации не мозг, но страницы должны еще в поиске покрутиться и выпасть, особенно если конкуренции полно :-)

может в роботс прописывать, чтобы не индексировал новые странички? то есть надо прописывать каждый раз при создании новой странички.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Bra1n
Bra1n
Topic Starter сообщение 6.8.2008, 10:19; Ответить: Bra1n
Сообщение #3


Проблема с запрещением индексации у меня возникла потому, потому что на моем сайте более 50 тысяч страниц, проиндексировано 11 тысяч, роботы постоянно лазают на него в итоге идёт мощная пропускная способность ( около гиг скачивается в неделю с этих роботов ) а учитывая что на хостинге пропускная способность в месяц всего 1250 мегабайт, то мне нужно как то выкрутится с этой ситуации, иначе сайт блокируется =) хостинг менять неохота, т.к таких сайтов у меня куча. вообщем посмотрим исключаться ли страницы при запрещении полной индексации.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
KeYZeD
KeYZeD
сообщение 6.8.2008, 10:24; Ответить: KeYZeD
Сообщение #4


страницы исключаются не сразу, они еще 2-3 мес. точно будут висеть в индексе.

в гугле - в панели вебмастера можно настроить частоту сканирования сайта
подробнее тут _http://homelessinkubinka.blogspot.com/2008_04_01_archive.html

еще в sitemap.xml можно прописать что страница обновляется не часто... и не надо заходить на эту страницу каждый день.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
flashripper
flashripper
сообщение 6.8.2008, 10:27; Ответить: flashripper
Сообщение #5


Незнаю полезно или нет, но все же:

Мета тег Robots

Данный тег нужно помещать между тегов <head> и </head>.
Данный тег в выглядит так:

<meta name=”Robots” content=”тут условие”>

С его помощью можно управлять индексацией конкретной страницы. Инструкции индексации и следования по ссылкам прописываются в поле content.

Существует несколько инструкций для мета тега Robots:

1. <noindex> - не индексировать
2. <index> -индексировать
3. <nofollow>- по ссылкам не следовать
4. <follow>- по ссылкам следовать
5. <all> - индексировать и следовать по ссылкам
6. <none> - не индексировать и не следовать по ссылкам

Возможно применение двух инструкций из noindex, nofollow, index, follow одновременно, например, данный тег:

<meta name=”robots” content=”index, nofollow”>

разрешает индексацию и запрещает следовать по ссылкам. Инструкции none и all должны использоваться отдельно от других инструкций, и хотя тег вида

<meta name=”robots” content=”none, nofollow”>

является синтаксически верным, смысла он не имеет, к тому же можно допустить ошибку, применив две взаимоисключающие инструкции, например all и nofollow.

Имеет ли смысл применять тег robots? В некоторых случаях его использование оправданно. Однако следует учитывать тот факт, что, например, использование nofollow запрещает переход по ВСЕМ ссылкам, т.е. страница становится тупиковой. В этом случае для “лишних” ссылок лучше использовать атрибут nofollow в коде самих ссылок.

Напомним, что тег robots, как и другие мета теги, не является обязательным для использования, и, например, размещения в коде страницы вот такого тега

<meta name=”robots” content=”all”>

является абсурдом.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
centurion
centurion
сообщение 6.8.2008, 10:28; Ответить: centurion
Сообщение #6


Бот yahoo настырный и любит так перегружать. В то же время он и не нужен вообще.
yahoo запретите.
Яндекс и Google оставьте.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Slik_45
Slik_45
сообщение 6.8.2008, 10:28; Ответить: Slik_45
Сообщение #7


Странный какой то хостинг, может стоит задуматься о смене тарифа ?

Я при такой загрузке канала плачу 40у.е. в месяц и доволен smile.gif
Эскизы прикрепленных изображений
Прикрепленное изображение
 
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
vitaleg
vitaleg
сообщение 26.8.2008, 17:07; Ответить: vitaleg
Сообщение #8


не добавляй сайт в яндекс и все )


--------------------
Хостинг провайдер UnixHost – нас выбирают лучшие!
www.unixhost.com.ua
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Bartz2
Bartz2
сообщение 15.3.2009, 19:54; Ответить: Bartz2
Сообщение #9


(Slik_45 @ 6.8.2008, 10:28) *
Странный какой то хостинг, может стоит задуматься о смене тарифа ?

Я при такой загрузке канала плачу 40у.е. в месяц и доволен smile.gif



какая панелька может дать такой график?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Slik_45
Slik_45
сообщение 15.3.2009, 21:16; Ответить: Slik_45
Сообщение #10


(Bartz2 @ 15.3.2009, 17:54) *
какая панелька может дать такой график?

Это не панелька, это скрипт мониторинга загрузки сервера, снимает статистику по snmpd.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыБыстрая индексация страниц сайта и обратных ссылок - 2Index
38 2Index 6642 18.4.2024, 12:56
автор: 2Index
Открытая тема (нет новых ответов) Какой % отказов нормален для сайта?
11 Aloof 2822 16.4.2024, 12:48
автор: diviner99
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыSiteAnalyzer - бесплатная программа для аудита и анализа сайта
77 Chaser 74224 9.4.2024, 11:36
автор: Chaser
Открытая тема (нет новых ответов) Нужен кодер, чтобы пофиксить ошибку Wordpress после переноса сайта
0 Alex-777 868 7.4.2024, 18:05
автор: Alex-777
Горячая тема (нет новых ответов) Продвижение молодого сайта
30 maxmer 6579 26.3.2024, 21:49
автор: c4p1t4l15t


 



RSS Текстовая версия Сейчас: 20.4.2024, 7:20
Дизайн