Странная причина не индексации Яндексом

Странная причина не индексации Яндексом

Опции

jansen

Topic Starter

6.3.2011, 14:04; Ответить: jansen

Сообщение #1

Топовый постер

Группа: Banned
Сообщений: 3627
Регистрация: 4.5.2008
Из: Украина - Кировоград
Поблагодарили: 3707 раз
Репутация:

311

Уже более года не индексируется Яндексом мой хотя и заброшенный блог «Мобильный арсенал». Другие аналогичные блоги сидят в индексе и ничего, а это вроде заколдованный круг.
Я писал письмо Платону и, как всегда получил стандартную отписку. Прошло много времени. я вспомнил про этот блог снова и решил выяснить причину.
Файл robots.txt в корне блога отсутствовал, запрета на индексацию поисковиками нет. Но! Я решил проверить наличие файла через веб-мастер Яндекса и был очень удивлён. Яндекс на проверке файла загрузил файл, который я не видел в корне блога вообще:

User-Agent: *
Disallow: /

Я сходу по ФТП зашёл на хост, файла там нет. Я захожу уже прямо в панель управления хостингом и снова файл не обнаруживаю.
Тогда я решил пойти на хитрость. Сформировал файл robots.txt для WordPress и решил его по ФТП кинуть на хост в корень блога. Так и сделал:

User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /?tag
Disallow: /tag
Disallow: /archive
Disallow: /author
Disallow: /category
Disallow: /page
Disallow: */page/
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /?s=
Disallow: /*?m=
Host: mobiarsenal.com

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /?tag
Disallow: /tag
Disallow: /archive
Disallow: /author
Disallow: /category
Disallow: /page
Disallow: */page/
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /?s=
Disallow: /*?m=
Allow: /wp-content/uploads/

Снова проверил файл через панель веб-мастера Яндекса. Теперь загружается именно этот файл.
Теперь вопрос: может ли каким-то образом попасть файл robots.txt в корень блога на хосте без моего ведома?

Сообщение отредактировал jansen - 6.3.2011, 14:11

--------------------

Аккаунт забанен по мотивам этого топика - http://www.maultalk.com/topic182073.html

1

Ответить с цитированием данного сообщения

kerya82 kerya82 11.3.2011, 1:20; Сообщений: 7 Поблагодарили: 5 раз Репутация: 0 Просмотр профиля	11.3.2011, 1:20; Ответить: kerya82 Сообщение #2
Новичок Группа: Viewer Сообщений: 7 Регистрация: 30.6.2010 Поблагодарили: 5 раз Репутация: 0	По идее нет, но я сталкивался с почти подобным, только неомню сейчас что за хостинг был. Там ни через ФТП ни через шел нельзя было увидеть файл .htacces А в вашем случае надо было попробовать через шел доступ посмотреть. К примеру при помощи PUTTY или аналогичной программы Сообщение отредактировал kerya82 - 11.3.2011, 1:22 Поблагодарили: (1) jansen

naskolumbia naskolumbia 11.3.2011, 1:43; Сообщений: 444 Поблагодарили: 105 раз Репутация: 11 Просмотр профиля	11.3.2011, 1:43; Ответить: naskolumbia Сообщение #3
Бывалый Группа: User Сообщений: 444 Регистрация: 31.8.2010 Из: Ачинск Поблагодарили: 105 раз Репутация: 11	У меня как то на домене висел партнерский магазин. Так вот. Через роботс я запретил индексацию этого магазина, чтобы домен почем зря не попал под АГС, так как партнерские магазины от Всемайки почти все уходят под АГС. Большое было у меня удивление когда весь сайт был проиндексирован Яндексом и Гуглом. Файл роботс присутствовал и запрет на индексацию там стоял. P.S. Сайт сейчас всетаки под АГС -------------------- Мой бложек

jansen Topic Starter jansenTopic Starter 19.3.2011, 19:39; Сообщений: 3627 Поблагодарили: 3707 раз Репутация: 311 Просмотр профиля	Topic Starter 19.3.2011, 19:39; Ответить: jansen Сообщение #4
Топовый постер Группа: Banned Сообщений: 3627 Регистрация: 4.5.2008 Из: Украина - Кировоград Поблагодарили: 3707 раз Репутация: 311	(kerya82 @ 10.3.2011, 23:20) По идее нет, но я сталкивался с почти подобным, только неомню сейчас что за хостинг был. Там ни через ФТП ни через шел нельзя было увидеть файл .htacces А в вашем случае надо было попробовать через шел доступ посмотреть. К примеру при помощи PUTTY или аналогичной программы Я тоже иногда не вижу точно так же файл .htacces. Но речь не в нём и не о нём.. Я разместил несколько статей на жирных проектах и ссылки тоже. Но воз и ныне там — блог не индексируется Яндексом вообще. Писал на веб-мастере в саппорт и получил стандартную отписку, типа ждите и всё будет в шоколаде. Господа, очень прошу совета, я просто в недоумении... Что делать? -------------------- Аккаунт забанен по мотивам этого топика - http://www.maultalk.com/topic182073.html

alexvolkov alexvolkov 19.3.2011, 19:51; Сообщений: 169 Поблагодарили: 74 раза Репутация: 14 Просмотр профиля	19.3.2011, 19:51; Ответить: alexvolkov Сообщение #5
Участник Группа: User Сообщений: 169 Регистрация: 20.6.2010 Из: интернет Поблагодарили: 74 раза Репутация: 14	Если Вы не видите файл типа .htaccess, то вполне возможно он скрыт от просмотра. Нужно чтобы Ftp клиент показывал список файлов командой LIST -la , если пользуетесь far, то в настройках Ftp должна быть включена опция "расширенный список". Аналогично с robots.txt. Его мог создать хостер, который по хитрому борется с нагрузкой на своем сервере -------------------- Все Seo сервисы Поблагодарили: (1) jansen

blackhead blackhead 19.3.2011, 19:52; Сообщений: 396 Поблагодарили: 98 раз Репутация: 31 Просмотр профиля	19.3.2011, 19:52; Ответить: blackhead Сообщение #6
Бывалый Группа: User Сообщений: 396 Регистрация: 22.9.2008 Из: Армавир Поблагодарили: 98 раз Репутация: 31	Последнее время покупаю несколько ссылок с часто обновляемых сайтов с тиц от 1000 и главная через несколько часов в индексе. На счет письма в саппорт, обычно на 2ое-3е письмо адекватно отвечают Поблагодарили: (1) jansen

alexvolkov alexvolkov 19.3.2011, 19:58; Сообщений: 169 Поблагодарили: 74 раза Репутация: 14 Просмотр профиля	19.3.2011, 19:58; Ответить: alexvolkov Сообщение #7
Участник Группа: User Сообщений: 169 Регистрация: 20.6.2010 Из: интернет Поблагодарили: 74 раза Репутация: 14	Но дело не в robots.txt. Если добавить внутреннюю страницу через addurl webmaster.yandex.ru, то выдается "Указанный URL запрещен к индексации." Это бан. Если бы была проблема в robots.txt, то сообщение было бы "Указанный URL запрещен к индексации инструкциями в файле robots.txt" -------------------- Все Seo сервисы Поблагодарили: (1) jansen

blackhead blackhead 19.3.2011, 20:06; Сообщений: 396 Поблагодарили: 98 раз Репутация: 31 Просмотр профиля	19.3.2011, 20:06; Ответить: blackhead Сообщение #8
Бывалый Группа: User Сообщений: 396 Регистрация: 22.9.2008 Из: Армавир Поблагодарили: 98 раз Репутация: 31	У меня когда сайты банились, то при вводе домена в аддурилку тоже выдавалось "Указанный URL запрещен к индексации", а здесь почему-то "Адрес успешно добавлен"?

alexvolkov alexvolkov 19.3.2011, 20:16; Сообщений: 169 Поблагодарили: 74 раза Репутация: 14 Просмотр профиля	19.3.2011, 20:16; Ответить: alexvolkov Сообщение #9
Участник Группа: User Сообщений: 169 Регистрация: 20.6.2010 Из: интернет Поблагодарили: 74 раза Репутация: 14	В моем сообщении главным словом было "внутреннюю" -------------------- Все Seo сервисы

blackhead blackhead 19.3.2011, 20:20; Сообщений: 396 Поблагодарили: 98 раз Репутация: 31 Просмотр профиля	19.3.2011, 20:20; Ответить: blackhead Сообщение #10
Бывалый Группа: User Сообщений: 396 Регистрация: 22.9.2008 Из: Армавир Поблагодарили: 98 раз Репутация: 31	Прекрасно видел что про внутреннюю Вы прочитали только половину моего сообщения?

« Предыдущая тема · Яндекс · Следующая тема »

2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)

Пользователей: 0

Похожие темы

Тема	Ответов	Автор	Просмотров	Последний ответ
По какому принципу работают ускорители индексации сайта?	5	Lifelove	1626	29.1.2024, 9:50 автор: Skyworker
Сервис индексации- ферма голодных гуглоботов сожрет ваши ссылки Удобный сервис индексации ссылок в телеграм боте	12	FastIndex	2486	5.1.2024, 16:36 автор: malamut
Услуга по индексации страниц в Google	9	FUTP	3725	12.4.2023, 21:31 автор: Magicclickpartners
Ускорение индексации	3	wep	6707	24.9.2021, 19:04 автор: Wachowski
Недорогой прогон по открытым для индексации профилям (Быстро и качественно)	38	Xzeurus	7682	19.4.2020, 19:10 автор: langer