X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Помогите написать правильно сформулированый Robots.txt, те кто знает о нём всё
Staurus
Staurus
Topic Starter сообщение 12.6.2009, 19:37; Ответить: Staurus
Сообщение #1


Big Brother
******


Группа: Active User
Сообщений: 2179
Регистрация: 12.6.2009
Из: Симферополь
Поблагодарили: 2368 раз
Репутация:   260  


Здравстуйте! Так как я новичок, и у меня есть только один вопрос.
Впринципе я знаю как писать robots, но чувствую что зделаю ошибки в нём, а это будет катострофически для сайта моего.
Задачка такая:
Запретить гугл и яше, да и всем остальным - индексировать вот это:

для всех
/user/

для гугла
/manual.php
/message.php
/script.js?id=
/secret/5-sekrety-vkontakte.html

для яши
/engine/opensearch.php
/engine/download.php?id=1
/engine/go.php?url=

выдают ошибки по этим ссылкам.
Файл robots.txt - у меня чист! и я хочу сделать только одно изменение, раз и навсегда, и если кто то знает, может что то оставить из ссылок - движок DLE 8.0
Спасибо за помощь!


--------------------


Поблагодарили: (2)
2
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
GreyGhost
GreyGhost
сообщение 12.6.2009, 19:41; Ответить: GreyGhost
Сообщение #2


Завсегдатай
*****


Группа: Active User
Сообщений: 661
Регистрация: 17.3.2009
Поблагодарили: 112 раз
Репутация:   5  


_http://robotstxt.org.ru/
больше Вам ни кто не нужен
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
darkRoma
darkRoma
сообщение 12.6.2009, 19:43; Ответить: darkRoma
Сообщение #3


Серебряный принц
******

Группа: Active User
Сообщений: 2045
Регистрация: 23.7.2008
Из: Днепропетровск
Поблагодарили: 809 раз
Репутация:   74  


Думаю, что стоит папку engine вообще закрыть от индексирования.

User-agent: *
Disallow: /user/


User-agent: Yandex
Disallow: /engine

User-agent: Googlebot
Disallow: /manual.php
Disallow: /message.php
Disallow: /script.js
Disallow: /secret/5-sekrety-vkontakte.html


Сообщение отредактировал darkRoma - 12.6.2009, 19:53


--------------------


Поблагодарили: (2)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
GreyGhost
GreyGhost
сообщение 12.6.2009, 19:51; Ответить: GreyGhost
Сообщение #4


Завсегдатай
*****


Группа: Active User
Сообщений: 661
Регистрация: 17.3.2009
Поблагодарили: 112 раз
Репутация:   5  


(darkRoma @ 12.6.2009, 19:43) *

User-agent: *
Disallow: /backlinks
Disallow: /backlinks/ << это лишнее


Disallow: /script.js << это думаю тоже не поможет

, если гугл взялся за js, так и будет рассматривать действие скрипта, а не место вызова

Сообщение отредактировал GreyGhost - 12.6.2009, 19:54
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
darkRoma
darkRoma
сообщение 12.6.2009, 19:54; Ответить: darkRoma
Сообщение #5


Серебряный принц
******

Группа: Active User
Сообщений: 2045
Регистрация: 23.7.2008
Из: Днепропетровск
Поблагодарили: 809 раз
Репутация:   74  


Конечно, прошу прощения =) В моём посту исправленный вариант.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Staurus
Staurus
Topic Starter сообщение 12.6.2009, 19:58; Ответить: Staurus
Сообщение #6


Big Brother
******


Группа: Active User
Сообщений: 2179
Регистрация: 12.6.2009
Из: Симферополь
Поблагодарили: 2368 раз
Репутация:   260  


Спасибо большое DarkRoma, а именно про DLE движок есть еще что-то, а то сайту еще месяца нет, может роботы что то еще нароют, то что им не нужно???


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
darkRoma
darkRoma
сообщение 12.6.2009, 19:59; Ответить: darkRoma
Сообщение #7


Серебряный принц
******

Группа: Active User
Сообщений: 2045
Регистрация: 23.7.2008
Из: Днепропетровск
Поблагодарили: 809 раз
Репутация:   74  


(Staurus @ 12.6.2009, 17:58) *
Спасибо большое DarkRoma, а именно про DLE движок есть еще что-то, а то сайту еще месяца нет, может роботы что то еще нароют, то что им не нужно???


Думаю, /admin им не нужен. А так-же /templates и /backup.


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
GreyGhost
GreyGhost
сообщение 12.6.2009, 20:02; Ответить: GreyGhost
Сообщение #8


Завсегдатай
*****


Группа: Active User
Сообщений: 661
Регистрация: 17.3.2009
Поблагодарили: 112 раз
Репутация:   5  


(Staurus @ 12.6.2009, 19:58) *
а именно про DLE движок есть еще что-то, а то сайту еще месяца нет, может роботы что то еще нароют, то что им не нужно???

ну что сказать, ну что сказать, устроенны так люди,
желают ... ничего не делать/знать и бабки получать
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Staurus
Staurus
Topic Starter сообщение 12.6.2009, 20:05; Ответить: Staurus
Сообщение #9


Big Brother
******


Группа: Active User
Сообщений: 2179
Регистрация: 12.6.2009
Из: Симферополь
Поблагодарили: 2368 раз
Репутация:   260  


(GreyGhost @ 12.6.2009, 19:02) *
ну что сказать, ну что сказать, устроенны так люди,
желают ... ничего не делать/знать и бабки получать


"Ничего не деланьем" посещалка 1800, так вот решил robots все таки сделать smile.gif

(darkRoma @ 12.6.2009, 18:59) *
Думаю, /admin им не нужен. А так-же /templates и /backup.



Спасибо огромное! наверное скоро прогон у тебя закажу!


--------------------


Поблагодарили: (2)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
GreyGhost
GreyGhost
сообщение 12.6.2009, 20:21; Ответить: GreyGhost
Сообщение #10


Завсегдатай
*****


Группа: Active User
Сообщений: 661
Регистрация: 17.3.2009
Поблагодарили: 112 раз
Репутация:   5  


(Staurus @ 12.6.2009, 20:05) *
"Ничего не деланьем" посещалка 1800, так вот решил robots все таки сделать smile.gif

а это имеет какое то отношение к Вам, как вебмастеру?
мое предложение Вы не оценили, дело Ваше, в следующий раз darkRoma не будет, как поступите?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) как правильно написать альт и тайтл для изображений
0 galaker 335 Вчера, 22:50
автор: galaker
Открытая тема (нет новых ответов) Как правильно сделать категории на сайте?
Хелппп!!!
5 norino 649 11.12.2017, 16:28
автор: One_on_One
Открытая тема (нет новых ответов) Помогите выбрать программу
Помогите выбрать программу
11 impak 1334 11.12.2017, 13:11
автор: Mikki
Открытая тема (нет новых ответов) Помогите найти плагин на WP
Отзывы с профилей соц сетей
1 SEOMR 438 30.11.2017, 7:18
автор: Nell
Открытая тема (нет новых ответов) Помогите найти проблему
Долгий ответ сервера
6 maxim1249 688 29.11.2017, 17:27
автор: genjnat


 



RSS Текстовая версия Сейчас: 14.12.2017, 12:29
Дизайн