X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Отсутствие доступа к файлу robots.txt
-Hacker-
-Hacker-
Topic Starter сообщение 19.8.2012, 8:39; Ответить: -Hacker-
Сообщение #1


Участник
***

Группа: User
Сообщений: 184
Регистрация: 30.1.2010
Из: Новосибирск
Поблагодарили: 27 раз
Репутация:   2  


Помогите пожалуйста. Даже не знаю что делать. Яндекс спокойно нашел robots.txt, а Google что то мутит.
Роботу Googlebot не удалось просканировать ваш сайт из-за отсутствия доступа к файлу robots.txt.


Сообщение отредактировал -Hacker- - 19.8.2012, 8:40


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
impuls1ve
impuls1ve
сообщение 20.8.2012, 14:13; Ответить: impuls1ve
Сообщение #2


Бывалый
****

Группа: User
Сообщений: 332
Регистрация: 22.1.2012
Поблагодарили: 73 раза
Репутация:   12  


-Hacker-, на сайт можно взглянуть? robots.txt нормально составлен?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
MegaMixHost
MegaMixHost
сообщение 20.8.2012, 15:10; Ответить: MegaMixHost
Сообщение #3


Новичок
*

Группа: User
Сообщений: 15
Регистрация: 5.8.2012
Поблагодарили: 2 раза
Репутация:   1  


Может сайт не был доступен во время обращения робота? Как давно длится данная проблема?
Домен, кстати, не кириллический?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
-Hacker-
-Hacker-
Topic Starter сообщение 20.8.2012, 19:20; Ответить: -Hacker-
Сообщение #4


Участник
***

Группа: User
Сообщений: 184
Регистрация: 30.1.2010
Из: Новосибирск
Поблагодарили: 27 раз
Репутация:   2  


На сайт сейчас смотреть не желательно. Вот файл robots.txt
User-agent: Yandex
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Host: www.site.ru

User-agent: *
Disallow: /backup/
Disallow: /user/
Disallow: /engine/
Disallow: /language/
Disallow: /upgrade/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html

Sitemap: http://www.site.ru/sitemap.xml

Проблема длится уже 4 дня. Сегодня перенес сайт на другой хостинг, посмотрим, может что изменится.

Сообщение отредактировал -Hacker- - 20.8.2012, 19:21


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
rjksdfhe
rjksdfhe
сообщение 20.8.2012, 19:48; Ответить: rjksdfhe
Сообщение #5


Straight arms
*******

Группа: Active User
Сообщений: 2760
Регистрация: 21.4.2009
Из: Мытищи, МО, РФ
Поблагодарили: 1111 раз
Репутация:   163  


-Hacker-, теперь нужен `.htaccess`. Там может быть запрет.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
-Hacker-
-Hacker-
Topic Starter сообщение 20.8.2012, 21:24; Ответить: -Hacker-
Сообщение #6


Участник
***

Группа: User
Сообщений: 184
Регистрация: 30.1.2010
Из: Новосибирск
Поблагодарили: 27 раз
Репутация:   2  


Держите:
DirectoryIndex index.php

RewriteEngine On

# Редиректы
Options +FollowSymlinks
RewriteEngine On
RewriteCond %{http_host} ^site.ru [NC]
RewriteRule ^(.*)$ http://www.site.ru/$1 [R=301,NC]

RewriteRule ^page/(.*)$ index.php?cstart=$1 [L]

# Сам пост
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page,([0-9]+),([0-9]+),(.*).html(/?)+$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&cstart=$5&news_name=$6 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page,([0-9]+),(.*).html(/?)+$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&news_name=$5 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/print:page,([0-9]+),(.*).html(/?)+$ engine/print.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&news_name=$5 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/(.*).html(/?)+$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_name=$4 [L]

RewriteRule ^([^.]+)/page,([0-9]+),([0-9]+),([0-9]+)-(.*).html(/?)+$ index.php?newsid=$4&news_page=$2&cstart=$3&seourl=$5&seocat=$1 [L]
RewriteRule ^([^.]+)/page,([0-9]+),([0-9]+)-(.*).html(/?)+$ index.php?newsid=$3&news_page=$2&seourl=$4&seocat=$1 [L]
RewriteRule ^([^.]+)/print:page,([0-9]+),([0-9]+)-(.*).html(/?)+$ engine/print.php?news_page=$2&newsid=$3&seourl=$4&seocat=$1 [L]
RewriteRule ^([^.]+)/([0-9]+)-(.*).html(/?)+$ index.php?newsid=$2&seourl=$3&seocat=$1 [L]

RewriteRule ^page,([0-9]+),([0-9]+),([0-9]+)-(.*).html(/?)+$ index.php?newsid=$3&news_page=$1&cstart=$2&seourl=$4 [L]
RewriteRule ^page,([0-9]+),([0-9]+)-(.*).html(/?)+$ index.php?newsid=$2&news_page=$1&seourl=$3 [L]
RewriteRule ^print:page,([0-9]+),([0-9]+)-(.*).html(/?)+$ engine/print.php?news_page=$1&newsid=$2&seourl=$3 [L]
RewriteRule ^([0-9]+)-(.*).html(/?)+$ index.php?newsid=$1&seourl=$2 [L]

# За день
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})(/?)+$ index.php?year=$1&month=$2&day=$3 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page/([0-9]+)(/?)+$ index.php?year=$1&month=$2&day=$3&cstart=$4 [L]
# За весь месяц
RewriteRule ^([0-9]{4})/([0-9]{2})(/?)+$ index.php?year=$1&month=$2 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/page/([0-9]+)(/?)+$ index.php?year=$1&month=$2&cstart=$3 [L]
# Вывод за весь год
RewriteRule ^([0-9]{4})(/?)+$ index.php?year=$1 [L]
RewriteRule ^([0-9]{4})/page/([0-9]+)(/?)+$ index.php?year=$1&cstart=$2 [L]
# вывод отдельному тегу
RewriteRule ^tags/([^/]*)(/?)+$ index.php?do=tags&tag=$1 [L]
RewriteRule ^tags/([^/]*)/page/([0-9]+)(/?)+$ index.php?do=tags&tag=$1&cstart=$2 [L]
# поиск по доп полям
RewriteRule ^xfsearch/([^/]*)(/?)+$ index.php?do=xfsearch&xf=$1 [L]
RewriteRule ^xfsearch/([^/]*)/page/([0-9]+)(/?)+$ index.php?do=xfsearch&xf=$1&cstart=$2 [L]
# вывод для отдельного юзера
RewriteRule ^user/([^/]*)/rss.xml$ engine/rss.php?subaction=allnews&user=$1 [L]
RewriteRule ^user/([^/]*)(/?)+$ index.php?subaction=userinfo&user=$1 [L]
RewriteRule ^user/([^/]*)/page/([0-9]+)(/?)+$ index.php?subaction=userinfo&user=$1&cstart=$2 [L]
RewriteRule ^user/([^/]*)/news(/?)+$ index.php?subaction=allnews&user=$1 [L]
RewriteRule ^user/([^/]*)/news/page/([0-9]+)(/?)+$ index.php?subaction=allnews&user=$1&cstart=$2 [L]
RewriteRule ^user/([^/]*)/news/rss.xml(/?)+$ engine/rss.php?subaction=allnews&user=$1 [L]
# вывод всех последних новостей
RewriteRule ^lastnews/(/?)+$ index.php?do=lastnews [L]
RewriteRule ^lastnews/page/([0-9]+)(/?)+$ index.php?do=lastnews&cstart=$1 [L]
# вывод в виде каталога
RewriteRule ^catalog/([^/]*)/rss.xml$ engine/rss.php?catalog=$1 [L]
RewriteRule ^catalog/([^/]*)(/?)+$ index.php?catalog=$1 [L]
RewriteRule ^catalog/([^/]*)/page/([0-9]+)(/?)+$ index.php?catalog=$1&cstart=$2 [L]
# вывод непрочитанных статей
RewriteRule ^newposts(/?)+$ index.php?subaction=newposts [L]
RewriteRule ^newposts/page/([0-9]+)(/?)+$ index.php?subaction=newposts&cstart=$1 [L]
# вывод избранных статей
RewriteRule ^favorites(/?)+$ index.php?do=favorites [L]
RewriteRule ^favorites/page/([0-9]+)(/?)+$ index.php?do=favorites&cstart=$1 [L]

RewriteRule ^rules.html$ index.php?do=rules [L]
RewriteRule ^statistics.html$ index.php?do=stats [L]
RewriteRule ^addnews.html$ index.php?do=addnews [L]
RewriteRule ^rss.xml$ engine/rss.php [L]
RewriteRule ^sitemap.xml$ uploads/sitemap.xml [L]

RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^([^.]+)/page/([0-9]+)(/?)+$ index.php?do=cat&category=$1&cstart=$2 [L]
RewriteRule ^([^.]+)/?$ index.php?do=cat&category=$1 [L]

RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule ^([^.]+)/rss.xml$ engine/rss.php?do=cat&category=$1 [L]
RewriteRule ^page,([0-9]+),([^/]+).html$ index.php?do=static&page=$2&news_page=$1 [L]
RewriteRule ^print:([^/]+).html$ engine/print.php?do=static&page=$1 [L]

RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule ^([^/]+).html$ index.php?do=static&page=$1 [L]


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Rfox
Rfox
сообщение 23.8.2012, 11:39; Ответить: Rfox
Сообщение #7


Новичок
*

Группа: User
Сообщений: 16
Регистрация: 4.8.2012
Поблагодарили: 0 раз
Репутация:   -2  


Какой-то у вас httacces не правильный..
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
-Hacker-
-Hacker-
Topic Starter сообщение 23.8.2012, 23:11; Ответить: -Hacker-
Сообщение #8


Участник
***

Группа: User
Сообщений: 184
Регистрация: 30.1.2010
Из: Новосибирск
Поблагодарили: 27 раз
Репутация:   2  


Что конкретно не так?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Lexium
Lexium
сообщение 24.8.2012, 9:17; Ответить: Lexium
Сообщение #9


Участник
***

Группа: User
Сообщений: 222
Регистрация: 11.1.2012
Из: Санкт-Петербург
Поблагодарили: 48 раз
Репутация:   4  


Возможно хостер или CMS заблочили IP гуглобота. Такое случается иногда.


--------------------
Лексиум (url.: Lexium.RU) - блоггер мобильный, обыкновенный.
МачоВеб - моя карманная веб-студия.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
sitemania
sitemania
сообщение 27.8.2012, 13:01; Ответить: sitemania
Сообщение #10


Участник
***

Группа: User
Сообщений: 117
Регистрация: 20.8.2012
Из: Moscow
Поблагодарили: 6 раз
Репутация:   -5  


свяжитесь с хостером, попросите проверить доступность, верно. Может они что-нибудь изменили и забыли предупредить smile.gif


--------------------
Создание сайтов в Москве - доступно, надежно, оперативно. Продвижение сайта с оплатой за результат.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47491 28.11.2017, 1:05
автор: Akira
Открытая тема (нет новых ответов) Nofollow ссылки из robots.txt, как это работает?
Как-то запретить к индексации без rel="nofollow" из robots.txt
7 coremission 511 17.11.2017, 17:17
автор: coremission
Открытая тема (нет новых ответов) Яндекс метрика теперь доступа для гаджетов
4 jack 1012 14.10.2017, 2:11
автор: WellWeb
Открытая тема (нет новых ответов) Чем можно проверить сайт на ограничение доступа
Узнать какие провайдеры ограничили доступ к сайту
4 PostBrigada 561 12.10.2017, 17:39
автор: PostBrigada
Открытая тема (нет новых ответов) В файле robots.txt сайта задана противоречивая директива Host
5 RMak 1191 26.9.2017, 13:16
автор: kstnews


 



RSS Текстовая версия Сейчас: 15.12.2017, 18:20
Дизайн