X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Ошибка в robots.txt, есть или нет?
centurion
centurion
Topic Starter сообщение 18.12.2008, 11:57; Ответить: centurion
Сообщение #1


Топовый постер
*******


Группа: Active User
Сообщений: 2831
Регистрация: 10.12.2007
Из: aceweb
Поблагодарили: 1349 раз
Репутация:   308  


Вот сайт один есть. Удаленные страницы хочу запретить в файле роботс.
В панели вебмастера такая пропись не катит. ругается, пишет - синтаксическая ошибка.
В упор смотрю, но не вижу.

Что не так?
Вот что в роботсе прописано.
User-agent: *
Disallow: /feed
Disallow: /wp-includes/wlwmanifest.xml
Disallow: /xmlrpc.php?rsd
Disallow: /Admiral-Markets-For...-valyut-valyutniy-treyding.html
Disallow: /AEI-PRAYM-TASS---Novosti---DJ-FOREX.html    
Disallow: /Broker-Foreks--Fore...-Capital-treyding-na-forex.html
Disallow: /CHelyabinsk-novosti...-ekonomika-politika-vibori.html
Disallow: /CHto-takoe-foreks.html    
Disallow: /Dealing24---torgovl...OREKS-aktsii-i-indeksi-CFD.html
Disallow: /Dilingoviy-tsentr-PRO-FOREXcom.html
Disallow: /Doveritelnoe-upravlenie-na-Forex.html
Disallow: /Finansovaya-kompani...rex-obuchenie-Foreks-FOREX.html
Disallow: /Finansovie-rinki-Fo...yuchersi-Internet-treyding.html
Disallow: /FinMarket--Foreks--...dunarodniy-valyutniy-rinok.html
Disallow: /Fondoviy-rinok-Akts...bligatsii-Aktsii-Kotirovki.html
Disallow: /Foreks---Forex--Tor...sistema-EleMent-50-do-5den.html
Disallow: /Foreks--Forex---Alp...tniy-rinok-forex-kotirovki.html
Disallow: /Foreks--Forex---bir...-TSB-RF-dollar-evro-grivna.html
Disallow: /Foreks--Forex-Dilin...B-Brokbiznesbank-Torgovlya.html
Disallow: /Foreks-informatsiya-o-Foreks.html
Disallow: /Foreks-klub-Forex-c...otnichok-Skachat-besplatno.html
Disallow: /FOREKS-LTD--FOREX-L...reyding-na-valyutnom-rinke.html
Disallow: /Foreks-obuchenie-fo...s-vse-dlya-raboti-na-FOREX.html
Disallow: /Foreks-Poisk-i-vibor-brokera-Spisok-brokerov.html
Disallow: /Foreks-Psihologiya-...hat-svoe-delo-Nachalo-dela.html
Disallow: /Foreks-valyutniy-rinok---Vikipediya.html
Disallow: /Foreks-Vzglyad-iznutri.html
Disallow: /ForeksForex---X-Tra...roker-na-tovarnom-fondovom.html
Disallow: /FOREX---AKB-Absolyut-Bank.html
Disallow: /Forex---Mezhdunarod...---Inforex-Consulting-Corp.html
Disallow: /Forex---Mezhdunarodniy-valyutniy-rinok.html
Disallow: /Forex---SHkola-Valy...enie-Foreks---Rinok-foreks.html
Disallow: /FOREX---Torgovlya-n...ke-foreks-Obzori-analitika.html
Disallow: /Forex--Foreks--LarsonHolz.html
Disallow: /Forex--Foreks-dlya-...rche-50-instrumentov-forex.html
Disallow: /Forex--Foreks-na-PF...-forex-foreks-na-valyutnom.html
Disallow: /Forex--Foreks-Ochno...orth-West-Financial-Broker.html
Disallow: /Forex--Foreks-s-199...yd---treyding-na-valyutnom.html
Disallow: /Forex--Foreks-Treyd...latforma-MetaTrader-4-dlya.html
Disallow: /Forex--Foreks.html
Disallow: /Forex--Internet-treyding--Internet-Finansi.html
Disallow: /Forex--Valyuta-na-r...foreks--Kotirovki--Broker-.html
Disallow: /FOREX-BEST-dilingov...s-Forex-novosti--analitika.html
Disallow: /forex-brezan-chelya...-obuchenie---vse-uslugi-na.html
Disallow: /Forex-Consulting---...--Strategiya--Doveritelnoe.html
Disallow: /Forex-FINLOT-broker...oreks-zoloto-neft-optsioni.html
Disallow: /FOREX-FOREKS-Fx--Fibo-Forex.html
Disallow: /Forex-Foreks-Novost...orex-i-analitika--Prognozi.html
Disallow: /Forex-foreks-Obuche...ie-Otkritie-schetov-online.html
Disallow: /forex-foreks-ot-DTS-FX-PROFITRU.html
Disallow: /Forex-Foreks-v-Resp...arus-ForexLine---uslugi-na.html
Disallow: /Forex-Foreks.html
Disallow: /Forex-gt-Kotirovki-gt-SmartMoney.html
Disallow: /Forex-Invest-Vvedenie.html
Disallow: /Forex-Master---znaniya-nachinayutsya-zdes.html
Disallow: /Forex-na-MabicoRu-f...-foreks-novosti-mmvb-i-rts.html
Disallow: /FOREX-Nizhniy-Novgo...ex-v-NNovgorode-forex-club.html
Disallow: /Forex-RDC--Foreks-R...-Foreks-Obuchenie-Internet.html
Disallow: /Forex-rinok-Foreks-...he-i-obuchenie-Forex-obzor.html
Disallow: /Forex-Service--Novosti.html
Disallow: /Forex-sistema.html
Disallow: /Forex-Tester-Foreks...onalniy-Trenazher-Treydera.html
Disallow: /FOREXBIZUACOMUA---F...otat-na-Forex-Rinok-foreks.html
Disallow: /ForexForeks-Investi...ks-doveritelnoe-upravlenie.html
Disallow: /Forexite-Bezopasniy...---formula-uspeha-na-rinke.html
Disallow: /Forexru--tsentralni...o-analiticheskiy-portal-po.html
Disallow: /FOREXTIMESRU-Forex-...zori-vedushchih-analitikov.html
Disallow: /Forum-treyderov-na-...ov-i-cfd-internet-treyding.html
Disallow: /FX-Invest---Forex--...-tsentr-Treyding-torgovlya.html
Disallow: /FXInformerru--Forex...s--Analitika--Kursi-valyut.html
Disallow: /httpforexgutaru.html
Disallow: /Ibbrokerru--Vihod-n...ie-rinki-mira-rinok-FOREKS.html
Disallow: /index.html
Disallow: /Internet-treyding---obuchenie-J-Forex.html
Disallow: /Investirovanie-v-PI...inansami---konsaltingovaya.html
Disallow: /Katalog-rassilok-Maillistru-Forex.html
Disallow: /MarketTalkRu---Soob...shchenie-o-forekse-birzhah.html
Disallow: /Masterforex-v-forex...erforeks-Bill-Vilyams-Bill.html
Disallow: /mastername.html
Disallow: /Mir-Foreks--copy--p...sionniy-proekt-ne-vstavaya.html
Disallow: /Novosti-DJ-Forex.html
Disallow: /Obuchenie-Foreks-Ka...o-vibrat-brokera-na-Foreks.html
Disallow: /Profitunity.html
Disallow: /Rabota-na-foreks-Di...Foreks-dlya-professionalov.html
Disallow: /Realniy-Foreks---oc...azhe-dlya-detey-Easy-Forex.html
Disallow: /Reuters-iScreen-nov...rovki-torgi-birzhi-FOREX--.html
Disallow: /RINOK-FOREKS-FOREX-...I-BROKERSKOE-OBSLUZHIVANIE.html
Disallow: /Rinok-Foreks-Forex.html
Disallow: /Rinok-Forex--Foreks...rus---obuchenie---otkritie.html
Disallow: /Rinok-FOREX-Foreks-...kiy-rinok-Dlya-togo-chtobi.html
Disallow: /Super-Forex--torgov...-obuchenie-torgam-na-rinke.html
Disallow: /Teletreyd-TeleTRADE...dar---Foreks-FOREX---STOCK.html
Disallow: /Torgovie-signali-FO...eritelnoe-upravlenie-FOREX.html
Disallow: /torgovlya-na-forex-...alyut-analitika-i-prognozi.html
Disallow: /TrendDetector---dov...-upravlenie-na-rinke-FOREX.html
Disallow: /Uchebnik-Forex---Forex.html
Disallow: /ViacRU--finansovaya...yutniy-rinok-Forex--Foreks.html
Disallow: /Vigodno-vlozhit-den...-upravlenie-aktivami-rinok.html
Disallow: /ZHurnal-CHuzhie-dengi.html
Disallow: /ZHurnal-Forex-Magaz...biblioteka-popechitelskogo.html
Disallow: /Admiral-Markets-For...-valyut-valyutniy-treyding.html
Disallow: /Broker-Foreks--Fore...-Capital-treyding-na-forex.html
Disallow: /CHelyabinsk-novosti...-ekonomika-politika-vibori.html
Disallow: /Dealing24---torgovl...OREKS-aktsii-i-indeksi-CFD.html
Disallow: /Finansovaya-kompani...rex-obuchenie-Foreks-FOREX.html
Disallow: /Finansovie-rinki-Fo...yuchersi-Internet-treyding.html
Disallow: /FinMarket--Foreks--...dunarodniy-valyutniy-rinok.html
Disallow: /Fondoviy-rinok-Akts...bligatsii-Aktsii-Kotirovki.html
Disallow: /Foreks---Forex--Tor...sistema-EleMent-50-do-5den.html
Disallow: /Foreks--Forex---Alp...tniy-rinok-forex-kotirovki.html
Disallow: /Foreks--Forex---bir...-TSB-RF-dollar-evro-grivna.html
Disallow: /Foreks--Forex-Dilin...B-Brokbiznesbank-Torgovlya.html
Disallow: /Foreks-klub-Forex-c...otnichok-Skachat-besplatno.html
Disallow: /FOREKS-LTD--FOREX-L...reyding-na-valyutnom-rinke.html
Disallow: /Foreks-obuchenie-fo...s-vse-dlya-raboti-na-FOREX.html
Disallow: /Foreks-Psihologiya-...hat-svoe-delo-Nachalo-dela.html
Disallow: /ForeksForex---X-Tra...roker-na-tovarnom-fondovom.html
Disallow: /Forex---Mezhdunarod...---Inforex-Consulting-Corp.html
Disallow: /Forex---SHkola-Valy...enie-Foreks---Rinok-foreks.html
Disallow: /FOREX---Torgovlya-n...ke-foreks-Obzori-analitika.html
Disallow: /Forex--Foreks-dlya-...rche-50-instrumentov-forex.html
Disallow: /Forex--Foreks-na-PF...-forex-foreks-na-valyutnom.html
Disallow: /Forex--Foreks-Ochno...orth-West-Financial-Broker.html
Disallow: /Forex--Foreks-s-199...yd---treyding-na-valyutnom.html
Disallow: /Forex--Foreks-Treyd...latforma-MetaTrader-4-dlya.html
Disallow: /Forex--Valyuta-na-r...foreks--Kotirovki--Broker-.html
Disallow: /FOREX-BEST-dilingov...s-Forex-novosti--analitika.html
Disallow: /forex-brezan-chelya...-obuchenie---vse-uslugi-na.html
Disallow: /Forex-Consulting---...--Strategiya--Doveritelnoe.html
Disallow: /Forex-FINLOT-broker...oreks-zoloto-neft-optsioni.html
Disallow: /Forex-Foreks-Novost...orex-i-analitika--Prognozi.html
Disallow: /Forex-foreks-Obuche...ie-Otkritie-schetov-online.html
Disallow: /Forex-Foreks-v-Resp...arus-ForexLine---uslugi-na.html
Disallow: /Forex-na-MabicoRu-f...-foreks-novosti-mmvb-i-rts.html
Disallow: /FOREX-Nizhniy-Novgo...ex-v-NNovgorode-forex-club.html
Disallow: /Forex-RDC--Foreks-R...-Foreks-Obuchenie-Internet.html
Disallow: /Forex-rinok-Foreks-...he-i-obuchenie-Forex-obzor.html
Disallow: /Forex-Tester-Foreks...onalniy-Trenazher-Treydera.html
Disallow: /FOREXBIZUACOMUA---F...otat-na-Forex-Rinok-foreks.html
Disallow: /ForexForeks-Investi...ks-doveritelnoe-upravlenie.html
Disallow: /Forexite-Bezopasniy...---formula-uspeha-na-rinke.html
Disallow: /Forexru--tsentralni...o-analiticheskiy-portal-po.html
Disallow: /FOREXTIMESRU-Forex-...zori-vedushchih-analitikov.html
Disallow: /Forum-treyderov-na-...ov-i-cfd-internet-treyding.html
Disallow: /FX-Invest---Forex--...-tsentr-Treyding-torgovlya.html
Disallow: /FXInformerru--Forex...s--Analitika--Kursi-valyut.html
Disallow: /Ibbrokerru--Vihod-n...ie-rinki-mira-rinok-FOREKS.html
Disallow: /Investirovanie-v-PI...inansami---konsaltingovaya.html
Disallow: /MarketTalkRu---Soob...shchenie-o-forekse-birzhah.html
Disallow: /Masterforex-v-forex...erforeks-Bill-Vilyams-Bill.html
Disallow: /Mir-Foreks--copy--p...sionniy-proekt-ne-vstavaya.html
Disallow: /Obuchenie-Foreks-Ka...o-vibrat-brokera-na-Foreks.html
Disallow: /Rabota-na-foreks-Di...Foreks-dlya-professionalov.html
Disallow: /Realniy-Foreks---oc...azhe-dlya-detey-Easy-Forex.html
Disallow: /Reuters-iScreen-nov...rovki-torgi-birzhi-FOREX--.html
Disallow: /RINOK-FOREKS-FOREX-...I-BROKERSKOE-OBSLUZHIVANIE.html
Disallow: /Rinok-Forex--Foreks...rus---obuchenie---otkritie.html
Disallow: /Rinok-FOREX-Foreks-...kiy-rinok-Dlya-togo-chtobi.html
Disallow: /Super-Forex--torgov...-obuchenie-torgam-na-rinke.html
Disallow: /Teletreyd-TeleTRADE...dar---Foreks-FOREX---STOCK.html
Disallow: /Torgovie-signali-FO...eritelnoe-upravlenie-FOREX.html
Disallow: /torgovlya-na-forex-...alyut-analitika-i-prognozi.html
Disallow: /TrendDetector---dov...-upravlenie-na-rinke-FOREX.html
Disallow: /ViacRU--finansovaya...yutniy-rinok-Forex--Foreks.html
Disallow: /Vigodno-vlozhit-den...-upravlenie-aktivami-rinok.html
Disallow: /ZHurnal-Forex-Magaz...biblioteka-popechitelskogo.html
Host: forex-n.ru


Может из-за этого:
Disallow: /index.html


Раньше индексный файл index.html был и я его запретил. Сейчас index.php

Сообщение отредактировал centurion - 18.12.2008, 11:59
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
dengol
dengol
сообщение 18.12.2008, 12:16; Ответить: dengol
Сообщение #2


Бывалый
****

Группа: User
Сообщений: 401
Регистрация: 18.3.2008
Из: Москва
Поблагодарили: 88 раз
Репутация:   23  


Мне кажется в этом проблема:
Disallow: /xmlrpc.php?rsd
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
centurion
centurion
Topic Starter сообщение 18.12.2008, 12:19; Ответить: centurion
Сообщение #3


Топовый постер
*******


Группа: Active User
Сообщений: 2831
Регистрация: 10.12.2007
Из: aceweb
Поблагодарили: 1349 раз
Репутация:   308  


Результаты проверки URL
URL Pезультат
/Fondoviy-rinok-Akts...bligatsii-Aktsii-Kotirovki.html синтаксическая ошибка


И индексный убрал и xmlrpc.php?rsd

Что за angry.gif
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
dengol
dengol
сообщение 18.12.2008, 12:22; Ответить: dengol
Сообщение #4


Бывалый
****

Группа: User
Сообщений: 401
Регистрация: 18.3.2008
Из: Москва
Поблагодарили: 88 раз
Репутация:   23  


Попробу еще здесь слэшем закрыть:

Disallow: /feed/
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
centurion
centurion
Topic Starter сообщение 18.12.2008, 12:34; Ответить: centurion
Сообщение #5


Топовый постер
*******


Группа: Active User
Сообщений: 2831
Регистрация: 10.12.2007
Из: aceweb
Поблагодарили: 1349 раз
Репутация:   308  


Не помогло.
Да ну к черту, новый домен зарегю и направлю на сайт.
Этот в топку.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
dengol
dengol
сообщение 18.12.2008, 12:37; Ответить: dengol
Сообщение #6


Бывалый
****

Группа: User
Сообщений: 401
Регистрация: 18.3.2008
Из: Москва
Поблагодарили: 88 раз
Репутация:   23  


Полезный ресурс в тему:
http://robotstxt.org.ru/RobotstxtErrors#h83-5
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
voron
voron
сообщение 18.12.2008, 12:40; Ответить: voron
Сообщение #7


Участник
***

Группа: User
Сообщений: 179
Регистрация: 26.9.2008
Поблагодарили: 84 раза
Репутация:   7  


(centurion @ 18.12.2008, 10:57) *
Удаленные страницы хочу запретить в файле роботс.

а для чего запрещать удаленные страницы? huh.gif



_http://webmaster.yandex.ru/delurl.xml
- не вариант?

Сообщение отредактировал voron - 18.12.2008, 12:58
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
centurion
centurion
Topic Starter сообщение 18.12.2008, 12:57; Ответить: centurion
Сообщение #8


Топовый постер
*******


Группа: Active User
Сообщений: 2831
Регистрация: 10.12.2007
Из: aceweb
Поблагодарили: 1349 раз
Репутация:   308  


(voron @ 18.12.2008, 11:40) *
а для чего запрещать удаленные страницы? huh.gif


Чтобы 404 ошибки не было.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
wlad2
wlad2
сообщение 19.12.2008, 2:41; Ответить: wlad2
Сообщение #9


Участник
***

Группа: User
Сообщений: 128
Регистрация: 9.10.2008
Поблагодарили: 10 раз
Репутация:   -18  


Чтобы 404 ошибки не было.

зря страдаеш, яша сам удолит страници из индекса если они там есть, и ту чуш из роботса убери..
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
centurion
centurion
Topic Starter сообщение 19.12.2008, 3:07; Ответить: centurion
Сообщение #10


Топовый постер
*******


Группа: Active User
Сообщений: 2831
Регистрация: 10.12.2007
Из: aceweb
Поблагодарили: 1349 раз
Репутация:   308  


(wlad2 @ 19.12.2008, 1:41) *
и ту чуш из роботса убери..


Я, не страдаешь smile.gif

Это не чушь.
Если не в теме, то не надо писать ерунду.
И не надо мне тыкать. Мы с вами знакомы?

Сообщение отредактировал centurion - 19.12.2008, 3:09
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыОшибка при создании шаблона страницы ВП
Нет картинок
5 semarg 715 9.12.2017, 15:36
автор: Nell
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47528 28.11.2017, 1:05
автор: Akira
Открытая тема (нет новых ответов) Nofollow ссылки из robots.txt, как это работает?
Как-то запретить к индексации без rel="nofollow" из robots.txt
7 coremission 514 17.11.2017, 17:17
автор: coremission
Открытая тема (нет новых ответов) Ошибка карты сайта Sitemap. Помогите исправить, пожалуйста
8 July82 2962 22.10.2017, 10:00
автор: komarik_vlad
Открытая тема (нет новых ответов) Нужен совет! Ошибка 500
10 angli4anka 1423 16.10.2017, 19:25
автор: MetalMessiah


 



RSS Текстовая версия Сейчас: 18.12.2017, 5:50
Дизайн