X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Нужно грамотно составить robots.txt
kosa1
kosa1
Topic Starter сообщение 20.2.2012, 19:56; Ответить: kosa1
Сообщение #1


Участник
***

Группа: User
Сообщений: 217
Регистрация: 24.9.2010
Поблагодарили: 14 раз
Репутация:   2  


Сайт -
http://опросники.рф

Там есть роботс, но составлен не очень, не закрыты ссылки - забыл пароль.... Нужно составить грамотно.
Цена и кинте ссылки на услуги, отзывы ваши...


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kvins
kvins
сообщение 21.2.2012, 8:59; Ответить: kvins
Сообщение #2


Завсегдатай
*****


Группа: Active User
Сообщений: 750
Регистрация: 7.9.2011
Из: москва
Поблагодарили: 89 раз
Репутация:   7  


(kosa1 @ 20.2.2012, 18:56) *
Сайт -
http://опросники.рф

Там есть роботс, но составлен не очень, не закрыты ссылки - забыл пароль.... Нужно составить грамотно.
Цена и кинте ссылки на услуги, отзывы ваши...



1 чо значит забыл пароль причем тут robots.txt ??

2 что за кривой путь до карты сайта

Sitemap: xn--h1aafkeagik.xn--p1ai/index.php?option=com_xmap&sitemap=1&view=xml

яндекс вообще пишет что он не коректен, нельзя было закинуть его в корневую папку,и не в html формате.

3 для чего закрывали такие ссылки если они не существует ?

Disallow: /*?flypage=
Disallow: /*cart
Disallow: /?ui=desktop
Disallow: /index.php?

Сообщение отредактировал kvins - 21.2.2012, 9:00


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Silverspam
Silverspam
сообщение 21.2.2012, 9:10; Ответить: Silverspam
Сообщение #3


Злобный SEO Злодей
*******

Группа: Super Moderator
Сообщений: 7440
Регистрация: 14.11.2009
Из: C Урала
Поблагодарили: 7641 раз
Репутация:   484  


(kvins @ 21.2.2012, 10:59) *
1 чо значит забыл пароль причем тут robots.txt ??


Очевидно, что страницы вида component/user/remind.html и /component/user/reset.html

(kvins @ 21.2.2012, 10:59) *
3 для чего закрывали такие ссылки если они не существует ?


Видимо ТС стандартный джумловский robots откопал где-то...


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Joker84
Joker84
сообщение 21.2.2012, 11:02; Ответить: Joker84
Сообщение #4


Частый гость
**

Группа: User
Сообщений: 79
Регистрация: 6.5.2010
Поблагодарили: 4 раза
Репутация:   -2  


ВОТ СТАНДАРТНЫЙ ОТ Joomla
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/


в большинстве случаев его достаточно
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kosa1
kosa1
Topic Starter сообщение 21.2.2012, 12:24; Ответить: kosa1
Сообщение #5


Участник
***

Группа: User
Сообщений: 217
Регистрация: 24.9.2010
Поблагодарили: 14 раз
Репутация:   2  


(kvins @ 21.2.2012, 8:59) *
xn--h1aafkeagik.xn--p1ai/index.php?option=com_xmap&sitemap=1&view=xml

Насчет забыл пароль - Я имел ввиду, что у меня в индексе такие ссылки как:
http://опросники.рф/component/user/remind.html  http://опросники.рф/component/user/reset.html
( страница восстановления пароля, логина...) - которые по идеи должны быть закрыты..
Писал не я роботс. Там еще к чему то написано вроде исключение страниц из виртуал маркет (магазина) - хотя у меня он даже не стоит...
Насчет карты - у меня вроде открывается карта..
Также еще яша пишет на ошибки 3х страниц - 404 (ресурс не найден) - просмотрел весь сайт, вроде нигде не указывал эти ссылки..
Одним словом кто может помоч разобраться?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kvins
kvins
сообщение 21.2.2012, 13:27; Ответить: kvins
Сообщение #6


Завсегдатай
*****


Группа: Active User
Сообщений: 750
Регистрация: 7.9.2011
Из: москва
Поблагодарили: 89 раз
Репутация:   7  


вот смотри что яша считает насчет твоей карты сайта

http://webmaster.yandex.ua/robots.xml#results

укажи путь к роботс и загрузи , потом увидишь ошибку

давай за 50р сделаю.

если я не ошибаюсь придется тебе вручную из поиска удалять эти страницы

ps не вижу чтоб ты закрывал страницы с востановлением логина , я к примеру полный путь указываю на своих сайтах

и еще зачем отдельно для яндекса делать ?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kosa1
kosa1
Topic Starter сообщение 21.2.2012, 16:02; Ответить: kosa1
Сообщение #7


Участник
***

Группа: User
Сообщений: 217
Регистрация: 24.9.2010
Поблагодарили: 14 раз
Репутация:   2  


Для яши - вообще то многие делают, это считается как оптимизация...
Если поможете разобраться с картой, убрать ссылки с ошибками (3) - насторите корректный роботс - с исключением не нужных страниц.. То давайте за 50 р


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
tjetker
tjetker
сообщение 21.2.2012, 17:38; Ответить: tjetker
Сообщение #8


Новичок
*

Группа: Banned
Сообщений: 28
Регистрация: 23.8.2011
Поблагодарили: 8 раз
Репутация:   0  


Для тебя думаю подойдёт вон тот бесплатный сервис от CB9TOIIIA,
Sitemap Writer Pro - Создание карты сайта нескольких типов.
Вот этот тариф, спроси, он должен тебе помочь
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kosa1
kosa1
Topic Starter сообщение 23.2.2012, 11:35; Ответить: kosa1
Сообщение #9


Участник
***

Группа: User
Сообщений: 217
Регистрация: 24.9.2010
Поблагодарили: 14 раз
Репутация:   2  


Обновил роботс, но все равно не могу понять почему индексируется у меня такие ссылки как - забыл пароль - забыл логин -
http://xn--h1aafkeagik.xn--p1ai/component/user/remind.html

Сейчас вот роботс -
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: xn--h1aafkeagik.xn--p1ai
Sitemap: http://xn--h1aafkeagik.xn--p1ai/index.php?option=com_xmap&sitemap=1&view=xml


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Svenson
Svenson
сообщение 23.2.2012, 11:49; Ответить: Svenson
Сообщение #10


Новичок
*

Группа: User
Сообщений: 16
Регистрация: 20.2.2012
Поблагодарили: 7 раз
Репутация:   -1  


Ситуация с индексацией страниц Яндексом закрытых в роботс наблюдается и на моих сайтах, при чем не первый год. Вот пример сайта http://kinoschka.ru в индексе-78919 в поиске-8053
Пришлось все закрывать в meta и ноиндексом... прошло полгода и результата ноль.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Нужно походить по сайту и описать свой кейс
задание для всех желающих, не нужны спец.навыки
18 lynxx 1694 Сегодня, 14:17
автор: Smspva
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыСемантическое чудо-ядро. Недорого и быстро, грамотно и качественно!
303 MaraFet 97793 Вчера, 12:00
автор: MaraFet
Открытая тема (нет новых ответов) Нужно перенести действующий интернет-магазин на CMS
Возможные CMS: PrestaShop, Битрикс, Magento, OpenCart
2 4aa19 309 8.12.2017, 17:59
автор: 4aa19
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47476 28.11.2017, 1:05
автор: Akira
Открытая тема (нет новых ответов) Нужно сделать чудесную картинку с айфоном v2.
1 FishBone 592 21.11.2017, 16:50
автор: creespella


 



RSS Текстовая версия Сейчас: 14.12.2017, 19:35
Дизайн