X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Странная причина не индексации Яндексом
jansen
jansen
Topic Starter сообщение 6.3.2011, 14:04; Ответить: jansen
Сообщение #1


Топовый постер
*******


Группа: Banned
Сообщений: 3627
Регистрация: 4.5.2008
Из: Украина - Кировоград
Поблагодарили: 3703 раза
Репутация:   311  


Уже более года не индексируется Яндексом мой хотя и заброшенный блог «Мобильный арсенал». Другие аналогичные блоги сидят в индексе и ничего, а это вроде заколдованный круг.
Я писал письмо Платону и, как всегда получил стандартную отписку. Прошло много времени. я вспомнил про этот блог снова и решил выяснить причину.
Файл robots.txt в корне блога отсутствовал, запрета на индексацию поисковиками нет. Но! Я решил проверить наличие файла через веб-мастер Яндекса и был очень удивлён. Яндекс на проверке файла загрузил файл, который я не видел в корне блога вообще:
User-Agent: *
Disallow: /

Я сходу по ФТП зашёл на хост, файла там нет. Я захожу уже прямо в панель управления хостингом и снова файл не обнаруживаю.
Тогда я решил пойти на хитрость. Сформировал файл robots.txt для WordPress и решил его по ФТП кинуть на хост в корень блога. Так и сделал:
User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /?tag
Disallow: /tag
Disallow: /archive
Disallow: /author
Disallow: /category
Disallow: /page
Disallow: */page/
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /?s=
Disallow: /*?m=
Host: mobiarsenal.com

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /?tag
Disallow: /tag
Disallow: /archive
Disallow: /author
Disallow: /category
Disallow: /page
Disallow: */page/
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /?s=
Disallow: /*?m=
Allow: /wp-content/uploads/


Снова проверил файл через панель веб-мастера Яндекса. Теперь загружается именно этот файл.
Теперь вопрос: может ли каким-то образом попасть файл robots.txt в корень блога на хосте без моего ведома?

Сообщение отредактировал jansen - 6.3.2011, 14:11


--------------------
Аккаунт забанен по мотивам этого топика - http://www.maultalk.com/topic182073.html
1
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kerya82
kerya82
сообщение 11.3.2011, 1:20; Ответить: kerya82
Сообщение #2


Новичок
*

Группа: Viewer
Сообщений: 7
Регистрация: 30.6.2010
Поблагодарили: 5 раз
Репутация:   0  


По идее нет, но я сталкивался с почти подобным, только неомню сейчас что за хостинг был.
Там ни через ФТП ни через шел нельзя было увидеть файл .htacces
А в вашем случае надо было попробовать через шел доступ посмотреть. К примеру при помощи PUTTY или аналогичной программы

Сообщение отредактировал kerya82 - 11.3.2011, 1:22


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
naskolumbia
naskolumbia
сообщение 11.3.2011, 1:43; Ответить: naskolumbia
Сообщение #3


Бывалый
****

Группа: User
Сообщений: 444
Регистрация: 31.8.2010
Из: Ачинск
Поблагодарили: 105 раз
Репутация:   11  


У меня как то на домене висел партнерский магазин. Так вот. Через роботс я запретил индексацию этого магазина, чтобы домен почем зря не попал под АГС, так как партнерские магазины от Всемайки почти все уходят под АГС.
Большое было у меня удивление когда весь сайт был проиндексирован Яндексом и Гуглом. Файл роботс присутствовал и запрет на индексацию там стоял.
P.S. Сайт сейчас всетаки под АГС facepalm.gif


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
jansen
jansen
Topic Starter сообщение 19.3.2011, 19:39; Ответить: jansen
Сообщение #4


Топовый постер
*******


Группа: Banned
Сообщений: 3627
Регистрация: 4.5.2008
Из: Украина - Кировоград
Поблагодарили: 3703 раза
Репутация:   311  


(kerya82 @ 10.3.2011, 23:20) *
По идее нет, но я сталкивался с почти подобным, только неомню сейчас что за хостинг был.
Там ни через ФТП ни через шел нельзя было увидеть файл .htacces
А в вашем случае надо было попробовать через шел доступ посмотреть. К примеру при помощи PUTTY или аналогичной программы

Я тоже иногда не вижу точно так же файл .htacces. Но речь не в нём и не о нём..
Я разместил несколько статей на жирных проектах и ссылки тоже. Но воз и ныне там — блог не индексируется Яндексом вообще. Писал на веб-мастере в саппорт и получил стандартную отписку, типа ждите и всё будет в шоколаде.
Господа, очень прошу совета, я просто в недоумении... Что делать?


--------------------
Аккаунт забанен по мотивам этого топика - http://www.maultalk.com/topic182073.html
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
alexvolkov
alexvolkov
сообщение 19.3.2011, 19:51; Ответить: alexvolkov
Сообщение #5


Участник
***

Группа: User
Сообщений: 169
Регистрация: 20.6.2010
Из: интернет
Поблагодарили: 74 раза
Репутация:   14  


Если Вы не видите файл типа .htaccess, то вполне возможно он скрыт от просмотра. Нужно чтобы Ftp клиент показывал список файлов командой LIST -la , если пользуетесь far, то в настройках Ftp должна быть включена опция "расширенный список".

Аналогично с robots.txt. Его мог создать хостер, который по хитрому борется с нагрузкой на своем сервере


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
blackhead
blackhead
сообщение 19.3.2011, 19:52; Ответить: blackhead
Сообщение #6


Бывалый
****

Группа: User
Сообщений: 350
Регистрация: 22.9.2008
Из: Армавир
Поблагодарили: 91 раз
Репутация:   31  


Последнее время покупаю несколько ссылок с часто обновляемых сайтов с тиц от 1000 и главная через несколько часов в индексе.
На счет письма в саппорт, обычно на 2ое-3е письмо адекватно отвечают


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
alexvolkov
alexvolkov
сообщение 19.3.2011, 19:58; Ответить: alexvolkov
Сообщение #7


Участник
***

Группа: User
Сообщений: 169
Регистрация: 20.6.2010
Из: интернет
Поблагодарили: 74 раза
Репутация:   14  


Но дело не в robots.txt. Если добавить внутреннюю страницу через addurl webmaster.yandex.ru, то выдается "Указанный URL запрещен к индексации." Это бан. Если бы была проблема в robots.txt, то сообщение было бы "Указанный URL запрещен к индексации инструкциями в файле robots.txt"


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
blackhead
blackhead
сообщение 19.3.2011, 20:06; Ответить: blackhead
Сообщение #8


Бывалый
****

Группа: User
Сообщений: 350
Регистрация: 22.9.2008
Из: Армавир
Поблагодарили: 91 раз
Репутация:   31  


У меня когда сайты банились, то при вводе домена в аддурилку тоже выдавалось "Указанный URL запрещен к индексации", а здесь почему-то "Адрес успешно добавлен"?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
alexvolkov
alexvolkov
сообщение 19.3.2011, 20:16; Ответить: alexvolkov
Сообщение #9


Участник
***

Группа: User
Сообщений: 169
Регистрация: 20.6.2010
Из: интернет
Поблагодарили: 74 раза
Репутация:   14  


В моем сообщении главным словом было "внутреннюю"


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
blackhead
blackhead
сообщение 19.3.2011, 20:20; Ответить: blackhead
Сообщение #10


Бывалый
****

Группа: User
Сообщений: 350
Регистрация: 22.9.2008
Из: Армавир
Поблагодарили: 91 раз
Репутация:   31  


Прекрасно видел что про внутреннюю wink.gif Вы прочитали только половину моего сообщения?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Проблема индексации в Google
12 Saitcena 2959 22.11.2017, 17:34
автор: metvekot
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыПрогон по твиттеру, постинг в 1500 аккунтов, ускорение индексации и переиндексация сайтов, сателлитов, дорвеев и ссылок с прогонов
...
24 Krol7 6050 14.3.2017, 18:12
автор: Clause
Открытая тема (нет новых ответов) Indexation - Сервис индексации ссылок
15 TemXBY 2272 28.1.2016, 17:10
автор: TemXBY
Открытая тема (нет новых ответов) Размещение статей + ускорение индексации + повышение веса ссылок | Качественно и Доступно | Дешевле не бывает!
21 kalineo 9183 24.4.2015, 11:38
автор: kalineo
Горячая тема (нет новых ответов) Вечные ссылки с старых трастовых ресурсов, гарантия индексации!
СМИ, IT, стройка, грузоперевозки, кондиционеры, недвижимость, туризм
74 wturm 17047 23.4.2014, 0:25
автор: wturm


 



RSS Текстовая версия Сейчас: 17.12.2017, 7:00
Дизайн