Помощник
 |
|
|
|
|
Сообщение сайта
|
 Гугл игнорирует файл robots.txt, Как бороться? |
shurche
|
Сообщение
#1
|
||
 Участник  Группа: User Сообщений: 204 Регистрация: 12.5.2011 Из: Украина, Запорожье Поблагодарили: 11 раз Репутация:  0 
 |
|
||
 |
|
||
|
Fallup
|
 15.1.2012, 1:20;
Ответить: Fallup
Сообщение
#2
|
 Добрый пёс 
 Группа: Active User Сообщений: 2372 Регистрация: 15.12.2009 Из: мамы Поблагодарили: 1066 раз Репутация: 119
|
Проверь кодировку файла robots
-------------------- |
|
|
|
|
shurche
|
Сообщение
#3
|
|
Участник Группа: User Сообщений: 204 Регистрация: 12.5.2011 Из: Украина, Запорожье Поблагодарили: 11 раз Репутация: 0
|
(Fallup @ 15.1.2012, 0:20)  Проверь кодировку файла robots Обычный txt файл. Яндекс то все понимает. Или сам txt файл нужно сохранить в UTF8 и перезалить на хостинг? (По ходу по умолчанию в ANSI он создается)? |
|
|
|
|
anchous
|
15.1.2012, 1:27;
Ответить: anchous
Сообщение
#4
|
 Йеребатан Абырвалг Группа: Super Moderator Сообщений: 8734 Регистрация: 12.4.2011 Из: СССР Поблагодарили: 5016 раз Репутация: 448
|
угу.. есть такая тема на сайте с 5к страниц по гуглю и 1400 в основной выдаче..
более того изначально их было 3200, когда понял что он наиндексил много того чего не надо было, прописал в роботсе что не надо индексить пейджи и прочее, после чего гугль сказал "так точно" и увеличил сопли еще на 1300 страниц. причем запустил 5 новых проектов- на 3х все нормально, на 2х при том же роботе тоже сопли.. для WP пользую связку: Robots Meta Google XML Sitemaps после установки и настройки, гугль месяца полтора ковыряется в носу- в моем случае рандомно нагонял страниц от 500 до 5к, после чего все устаканилось на 1500.. но траф пошел дето со второй недели после внесения изменений. Сообщение отредактировал anchous - 15.1.2012, 1:30 -------------------- |
|
|
|
|
hybrid
|
15.1.2012, 1:35;
Ответить: hybrid
Сообщение
#5
|
 Завсегдатай Группа: Active User Сообщений: 649 Регистрация: 29.6.2010 Поблагодарили: 128 раз Репутация: 23
|
Если robots.txt не и meta не помогает, то можно еще в инструментах для веб-мастеров попробовать через Параметры URL закрыть или удалить вручную через доступ сканера.
|
|
|
|
|
shurche
|
Сообщение
#6
|
|
Участник Группа: User Сообщений: 204 Регистрация: 12.5.2011 Из: Украина, Запорожье Поблагодарили: 11 раз Репутация: 0
|
(anchous @ 15.1.2012, 0:27) для WP пользую связку: Robots Meta Google XML Sitemaps Прикол в том, что Robots Meta и Google XML Sitemaps настроены, и при расширенной выдаче (или как это там называется?) Бар показывает, что страница не проиндексирована, но при этом она в соплях. Может я чето не доганяю, но почему тогда индексация показывается баром 600/9% (хотя реально на сайте 160 страниц) (hybrid @ 15.1.2012, 0:35) Если robots.txt не и meta не помогает, то можно еще в инструментах для веб-мастеров попробовать через Параметры URL закрыть или удалить вручную через доступ сканера. Я уже запарился удалять  Больше всего меня напрягает то, что на блоге, на котором вообще не настроен robots.txt (User-agent: *Disallow: ) идеальные показатели. Сообщение отредактировал shurche - 15.1.2012, 1:43 |
|
|
|
Andrjuwka007
|
17.1.2012, 2:18;
Ответить: Andrjuwka007
Сообщение
#7
|
|
Участник Группа: User Сообщений: 107 Регистрация: 10.9.2011 Поблагодарили: 10 раз Репутация: 3
|
Прошу не в тему, но хотелось бы знать где именно в гугл
 можно посмотреть колличество проиндексированных страниц и где удалять их можно?
|
|
|
|
|
Scotty
|
17.1.2012, 2:24;
Ответить: Scotty
Сообщение
#8
|
 Старожил Группа: Active User Сообщений: 1343 Регистрация: 17.4.2008 Из: Украина Поблагодарили: 352 раза Репутация: 86
|
Неоднократно встречался с подобной выходкой.
Гугл впереди всех) Даже сейчас есть форум с 100к индекса Я и около 600к индекса Г. Полезных и открытых в роботс страниц около 80к. -------------------- |
|
|
|
|
shurche
|
Сообщение
#9
|
|
Участник Группа: User Сообщений: 204 Регистрация: 12.5.2011 Из: Украина, Запорожье Поблагодарили: 11 раз Репутация: 0
|
(Andrjuwka007 @ 17.1.2012, 1:18) Прошу не в тему, но хотелось бы знать где именно в гугл можно посмотреть колличество проиндексированных страниц и где удалять их можно?Смотрите выше, люди же уже написали: через Параметры URL закрыть или удалить вручную через доступ сканера А проверить через RDS Bar или любой сервис. |
|
|
|
|
Nonsys
|
24.1.2012, 4:38;
Ответить: Nonsys
Сообщение
#10
|
|
 Завсегдатай Группа: Active User Сообщений: 565 Регистрация: 18.1.2012 Из: Украина Поблагодарили: 287 раз Репутация: 96
|
Иногда гугл просто игнорирует, и ничего не поделаешь
|
|
|
|
|
|
|
|
Похожие темы
| Тема | Ответов | Автор | Просмотров | Последний ответ | |
|---|---|---|---|---|---|
 |
Agent Accounts Google, TikTok, Bing, Facebook, VK, Yandex.Direct with balances(Агентские аккаунты Гугл,Фейсбук,ВКонтакте,Директ) Не платите НДС 20% + Постоплата (Возврат до 50% бюджета) |
0 | ipnesterov | 2282 | 21.4.2020, 15:54 автор: ipnesterov |
|
Ищу волшебника Гугл-таблиц | 2 | Bel_Ami | 2051 | 6.12.2019, 19:36 автор: REGNET |
 |
Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ |
138 | Akira | 79046 | 12.8.2019, 21:28 автор: neonix |
|
Куплю гугл отзывы на карте google Желательно люди с Украины и хотя бы базовым уровнем |
2 | jorjo22 | 3163 | 13.7.2019, 23:23 автор: aleks19 |
|
Куплю места для размещения TXT+URL Строительная тематика. | 7 | regem | 7641 | 28.3.2019, 18:31 автор: regem |
|
Текстовая версия | Сейчас: 19.4.2024, 23:27 |
