X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Нужно грамотно составить robots.txt
kosa1
kosa1
Topic Starter сообщение 20.2.2012, 19:56; Ответить: kosa1
Сообщение #1


Сайт -
http://опросники.рф

Там есть роботс, но составлен не очень, не закрыты ссылки - забыл пароль.... Нужно составить грамотно.
Цена и кинте ссылки на услуги, отзывы ваши...


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kvins
kvins
сообщение 21.2.2012, 8:59; Ответить: kvins
Сообщение #2


(kosa1 @ 20.2.2012, 18:56) *
Сайт -
http://опросники.рф

Там есть роботс, но составлен не очень, не закрыты ссылки - забыл пароль.... Нужно составить грамотно.
Цена и кинте ссылки на услуги, отзывы ваши...



1 чо значит забыл пароль причем тут robots.txt ??

2 что за кривой путь до карты сайта

Sitemap: xn--h1aafkeagik.xn--p1ai/index.php?option=com_xmap&sitemap=1&view=xml

яндекс вообще пишет что он не коректен, нельзя было закинуть его в корневую папку,и не в html формате.

3 для чего закрывали такие ссылки если они не существует ?

Disallow: /*?flypage=
Disallow: /*cart
Disallow: /?ui=desktop
Disallow: /index.php?

Сообщение отредактировал kvins - 21.2.2012, 9:00


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Silverspam
Silverspam
сообщение 21.2.2012, 9:10; Ответить: Silverspam
Сообщение #3


(kvins @ 21.2.2012, 10:59) *
1 чо значит забыл пароль причем тут robots.txt ??


Очевидно, что страницы вида component/user/remind.html и /component/user/reset.html

(kvins @ 21.2.2012, 10:59) *
3 для чего закрывали такие ссылки если они не существует ?


Видимо ТС стандартный джумловский robots откопал где-то...


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Joker84
Joker84
сообщение 21.2.2012, 11:02; Ответить: Joker84
Сообщение #4


ВОТ СТАНДАРТНЫЙ ОТ Joomla
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/


в большинстве случаев его достаточно
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kosa1
kosa1
Topic Starter сообщение 21.2.2012, 12:24; Ответить: kosa1
Сообщение #5


(kvins @ 21.2.2012, 8:59) *
xn--h1aafkeagik.xn--p1ai/index.php?option=com_xmap&sitemap=1&view=xml

Насчет забыл пароль - Я имел ввиду, что у меня в индексе такие ссылки как:
http://опросники.рф/component/user/remind.html  http://опросники.рф/component/user/reset.html
( страница восстановления пароля, логина...) - которые по идеи должны быть закрыты..
Писал не я роботс. Там еще к чему то написано вроде исключение страниц из виртуал маркет (магазина) - хотя у меня он даже не стоит...
Насчет карты - у меня вроде открывается карта..
Также еще яша пишет на ошибки 3х страниц - 404 (ресурс не найден) - просмотрел весь сайт, вроде нигде не указывал эти ссылки..
Одним словом кто может помоч разобраться?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kvins
kvins
сообщение 21.2.2012, 13:27; Ответить: kvins
Сообщение #6


вот смотри что яша считает насчет твоей карты сайта

http://webmaster.yandex.ua/robots.xml#results

укажи путь к роботс и загрузи , потом увидишь ошибку

давай за 50р сделаю.

если я не ошибаюсь придется тебе вручную из поиска удалять эти страницы

ps не вижу чтоб ты закрывал страницы с востановлением логина , я к примеру полный путь указываю на своих сайтах

и еще зачем отдельно для яндекса делать ?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kosa1
kosa1
Topic Starter сообщение 21.2.2012, 16:02; Ответить: kosa1
Сообщение #7


Для яши - вообще то многие делают, это считается как оптимизация...
Если поможете разобраться с картой, убрать ссылки с ошибками (3) - насторите корректный роботс - с исключением не нужных страниц.. То давайте за 50 р


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
tjetker
tjetker
сообщение 21.2.2012, 17:38; Ответить: tjetker
Сообщение #8


Для тебя думаю подойдёт вон тот бесплатный сервис от CB9TOIIIA,
Sitemap Writer Pro - Создание карты сайта нескольких типов.
Вот этот тариф, спроси, он должен тебе помочь
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kosa1
kosa1
Topic Starter сообщение 23.2.2012, 11:35; Ответить: kosa1
Сообщение #9


Обновил роботс, но все равно не могу понять почему индексируется у меня такие ссылки как - забыл пароль - забыл логин -
http://xn--h1aafkeagik.xn--p1ai/component/user/remind.html

Сейчас вот роботс -
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: xn--h1aafkeagik.xn--p1ai
Sitemap: http://xn--h1aafkeagik.xn--p1ai/index.php?option=com_xmap&sitemap=1&view=xml


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Svenson
Svenson
сообщение 23.2.2012, 11:49; Ответить: Svenson
Сообщение #10


Ситуация с индексацией страниц Яндексом закрытых в роботс наблюдается и на моих сайтах, при чем не первый год. Вот пример сайта http://kinoschka.ru в индексе-78919 в поиске-8053
Пришлось все закрывать в meta и ноиндексом... прошло полгода и результата ноль.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Как составить уравнение, чтобы назначить цену для товара?
2 rownong27 760 21.3.2024, 12:53
автор: Lumex
Открытая тема (нет новых ответов) Нужно разносить телеграм каналы по разным аккаунтам?
9 Mixatraider 1891 20.3.2024, 18:34
автор: Rebex
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыСколько времени нужно для раскачки нового сайта?
29 metvekot 8001 8.3.2024, 15:41
автор: malamut
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыСемантическое чудо-ядро. Недорого и быстро, грамотно и качественно!
477 MaraFet 307590 4.3.2024, 13:54
автор: MaraFet
Открытая тема (нет новых ответов) Нужно ли закрывать ненужные страницы тегом noindex, follow?
8 noviktamw 2907 2.3.2024, 12:53
автор: toplinks


 



RSS Текстовая версия Сейчас: 20.4.2024, 5:05
Дизайн