И снова robot.txt на DLE - SEO форум MaulTalk.com

И снова robot.txt на DLE

Опции

Zidein

Topic Starter сообщение

21.2.2012, 0:16; Ответить: Zidein

Сообщение #11

Участник

Группа: User
Сообщений: 220
Регистрация: 7.2.2012
Из: Новосибирск
Поблагодарили: 45 раз
Репутация:

11

Зашел как то в панель вебмастера в гугле. он пишет: "Некоторые важные страницы блокируются в файле robots.txt. "

и соответственно вот мой робот.ТхТ

User-agent: *
Allow: /
Disallow: /*page/
Disallow: /*newposts
Disallow: /*print
Disallow: /*userinfo
Disallow: /*new_post
Disallow: /*watched
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lastnews
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=rules
Disallow: /*do=stats
Disallow: /*do=tags
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*action=mobile*
Disallow: /backup/*
Disallow: /engine/*
Disallow: /favorites/*
Disallow: /templates/*
Disallow: /newposts/*
Disallow: /language/*
Disallow: /catalog/*
Disallow: /tags/*
Disallow: /user/*
Disallow: /2011/*
Disallow: /2012/*
Disallow: /rss.php
Disallow: /rules.html
Disallow: /statistics.html
Sitemap: http://thespring.ru/sitemap.xml
User-agent: Yandex
Allow: /
Disallow: /*page/
Disallow: /*newposts
Disallow: /*print
Disallow: /*userinfo
Disallow: /*new_post
Disallow: /*watched
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lastnews
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=rules
Disallow: /*do=stats
Disallow: /*do=tags
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*action=mobile*
Disallow: /backup/*
Disallow: /engine/*
Disallow: /favorites/*
Disallow: /templates/*
Disallow: /newposts/*
Disallow: /language/*
Disallow: /catalog/*
Disallow: /tags/*
Disallow: /user/*
Disallow: /2011/*
Disallow: /2012/*
Disallow: /rss.php
Disallow: /rules.html
Disallow: /statistics.html
Sitemap: http://thespring.ru/sitemap.xml

что лишнее, что не так?

0

Ответить с цитированием данного сообщения

Zidein Topic Starter ZideinTopic Starter 25.2.2012, 11:40; Сообщений: 220 Поблагодарили: 45 раз Репутация: 11 Просмотр профиля	Topic Starter 25.2.2012, 11:40; Ответить: Zidein Сообщение #12
Участник Группа: User Сообщений: 220 Регистрация: 7.2.2012 Из: Новосибирск Поблагодарили: 45 раз Репутация: 11	ZritexТо есть роботс будет так выглядеть? User-agent: * Disallow: /print Disallow: /engine/go.php Disallow: /user/ Disallow: /newposts/ Disallow: /statistics.html Disallow: /subaction=userinfo Disallow: /subaction=newposts Disallow: /do=lastcomments Disallow: /do=feedback Disallow: /do=register Disallow: /do=lostpassword Disallow: /do=addnews Disallow: /do=stats Disallow: /do=pm Disallow: /do=search Sitemap: http://thespring.ru/sitemap.xml Host: http://thespring.ru/ User-agent: Yandex Disallow: /print Disallow: /pages/ Disallow: /tags/ Disallow: /engine/go.php Disallow: /user/ Disallow: /newposts/ Disallow: /statistics.html Disallow: /subaction=userinfo Disallow: /subaction=newposts Disallow: /do=lastcomments Disallow: /do=feedback Disallow: /do=register Disallow: /do=lostpassword Disallow: /do=addnews Disallow: /do=stats Disallow: /do=pm Disallow: /do=search Sitemap: http://thespring.ru/sitemap.xml Host: http://thespring.ru/ Сообщение отредактировал Zidein - 25.2.2012, 11:40

Neamailer Neamailer 25.2.2012, 13:40; Сообщений: 182 Поблагодарили: 26 раз Репутация: -7 Просмотр профиля	25.2.2012, 13:40; Ответить: Neamailer Сообщение #13
Участник Группа: User Сообщений: 182 Регистрация: 28.7.2011 Из: Владивосток Поблагодарили: 26 раз Репутация: -7	Что вы дергаетесь со своими robots.txt. Все вы правильно составляете, однако это вам не прибавит ни посетителей, ни ума, ни веса вашим сайтам.

Zidein Topic Starter ZideinTopic Starter 25.2.2012, 13:42; Сообщений: 220 Поблагодарили: 45 раз Репутация: 11 Просмотр профиля	Topic Starter 25.2.2012, 13:42; Ответить: Zidein Сообщение #14
Участник Группа: User Сообщений: 220 Регистрация: 7.2.2012 Из: Новосибирск Поблагодарили: 45 раз Репутация: 11	Neamailer А мне и не нужно, все что вы там перечислили, мне своего хватает. Мне дубли убрать надо и вывести сайт из под АГС-а

rom_4 rom_4 25.2.2012, 13:50; Сообщений: 1816 Поблагодарили: 762 раза Репутация: 92 Просмотр профиля	25.2.2012, 13:50; Ответить: rom_4 Сообщение #15
трафа много не бывает Группа: Active User Сообщений: 1816 Регистрация: 9.7.2010 Из: Россия Поблагодарили: 762 раза Репутация: 92	Zidein, у вас в оригинальном роботсе также отсутствуют отступы и все идет так? если да, то это неправильно. и сайтмап и хост местами поменяйте. И сайтмап пропишите 1 раз, в конце роботса, отступив 1 строку. по дле не работал никогда, но буквально сегодня ночью разбирал роботс под джумлу. Но какая разница, есть некоторые общие для всех двигов нюансы. и еще ябы юзер-агент яндекс первым прописал. -------------------- Установлю и активирую Piotnet Addons For Elementor (PAFE)

Neamailer Neamailer 25.2.2012, 13:54; Сообщений: 182 Поблагодарили: 26 раз Репутация: -7 Просмотр профиля	25.2.2012, 13:54; Ответить: Neamailer Сообщение #16
Участник Группа: User Сообщений: 182 Регистрация: 28.7.2011 Из: Владивосток Поблагодарили: 26 раз Репутация: -7	(Zidein @ 25.2.2012, 20:42) Neamailer А мне и не нужно, все что вы там перечислили, мне своего хватает. Мне дубли убрать надо и вывести сайт из под АГС-а А почему вы уверены, что АГС у вас из-за дублей, может быть из-за основного контента. Он у вас не гавно?

Zidein Topic Starter ZideinTopic Starter 25.2.2012, 14:24; Сообщений: 220 Поблагодарили: 45 раз Репутация: 11 Просмотр профиля	Topic Starter 25.2.2012, 14:24; Ответить: Zidein Сообщение #17
Участник Группа: User Сообщений: 220 Регистрация: 7.2.2012 Из: Новосибирск Поблагодарили: 45 раз Репутация: 11	Neamailer И что же вы такой агрессивный, в детстве обижали, что ли?? Да, из за дублей, контект не при чем, и он не "гавно"

Neamailer Neamailer 25.2.2012, 14:34; Сообщений: 182 Поблагодарили: 26 раз Репутация: -7 Просмотр профиля	25.2.2012, 14:34; Ответить: Neamailer Сообщение #18
Участник Группа: User Сообщений: 182 Регистрация: 28.7.2011 Из: Владивосток Поблагодарили: 26 раз Репутация: -7	(Zidein @ 25.2.2012, 21:24) Neamailer И что же вы такой агрессивный, в детстве обижали, что ли?? Да, из за дублей, контект не при чем, и он не "гавно" Мое ИМХО: дубли при АГС не при чем. Второе: даже если встать на вашу точку зрения: замучитесь нежелательные страницы выбивать из индекса Яшки. Пример из собственного опыта: сайта уже давно не существует (в течение года), однако все его странице в индексе. Хню о своем детстве пропускаю, пока. Но могу и вздуть. Сообщение отредактировал Neamailer - 25.2.2012, 14:37

Zidein Topic Starter ZideinTopic Starter 25.2.2012, 14:55; Сообщений: 220 Поблагодарили: 45 раз Репутация: 11 Просмотр профиля	Topic Starter 25.2.2012, 14:55; Ответить: Zidein Сообщение #19
Участник Группа: User Сообщений: 220 Регистрация: 7.2.2012 Из: Новосибирск Поблагодарили: 45 раз Репутация: 11	Но Платона, при этом жалуются на дубли.

Neamailer Neamailer 25.2.2012, 15:56; Сообщений: 182 Поблагодарили: 26 раз Репутация: -7 Просмотр профиля	25.2.2012, 15:56; Ответить: Neamailer Сообщение #20
Участник Группа: User Сообщений: 182 Регистрация: 28.7.2011 Из: Владивосток Поблагодарили: 26 раз Репутация: -7	(Zidein @ 25.2.2012, 21:55) Но Платона, при этом жалуются на дубли. Так у вас дублированный контент не на тех страницах, которые вы пытаетесь закрыть в robots, а на совершенно других. Например: на странице http://thespring.ru/page/2/ имеется статейка "Работы от Tom Hoops" и в тоже время на странице http://thespring.ru/photography/246-raboty-ot-tom-hoops.html эта статейка повторяется слово в слово. Вот они дубли, за которые вас наказывает Яндекс. И таких дублей у вас очень много. Хотя сайт ваш мне понравился, есть что почитать. Но у Яндекса своя логика: надо же у неплохого сайта только одна морда в индексе. Попробуйте текст на страницах категорий (анонсы) закрыть в noindex. Или сделать анонсы короткими, буквально 3-4 слова, а не вся статья Сообщение отредактировал Neamailer - 25.2.2012, 16:04 Поблагодарили: (1) Zidein

Zidein Topic Starter ZideinTopic Starter 25.2.2012, 16:27; Сообщений: 220 Поблагодарили: 45 раз Репутация: 11 Просмотр профиля	Topic Starter 25.2.2012, 16:27; Ответить: Zidein Сообщение #21
Участник Группа: User Сообщений: 220 Регистрация: 7.2.2012 Из: Новосибирск Поблагодарили: 45 раз Репутация: 11	вот я и хотел закрыть разделы page, через роботс, таким вариантом - Disallow: /page/. Но если, это не правильно, то думаю придется закрыть короткую новость в ноуиндекс. P.S. В общем решил, для эксперимента, короткую новость (только текст, заголовок остался кликабельным) в noindex загнать, хуже думаю, не будет. Подождем, посмотрим, что будет. Neamailer* Кстати, благодарю за совет. Сообщение отредактировал Zidein - 25.2.2012, 16:11

« Предыдущая тема · Поисковая оптимизация (SEO) · Следующая тема »

1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)

Пользователей: 0

Похожие темы

Тема	Ответов	Автор	Просмотров	Последний ответ
DLE xProtect	2	xoopw	5985	15.1.2024, 21:06 автор: Diana_Wesley
Обновить сайт на CMS DLE	1	Sawich	1667	2.9.2023, 10:10 автор: WoWeb
Изготовление красивых сайтов на DLE под ключ \| Доступные цены от 2000 руб.	1	Admiral_ukr	1600	20.11.2022, 10:08 автор: Webmaster24
Ищу спеца по DLE вылечить сайт	4	Reactive	2642	22.10.2022, 9:01 автор: Fozik77
требуется перенос с Dle на wordpres нужен человек для переноса движка	5	Юрий82	1947	30.7.2022, 18:02 автор: Klerik84