X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> robots.txt под Яндекс
FABIO
FABIO
Topic Starter сообщение 22.7.2010, 19:09; Ответить: FABIO
Сообщение #1


Завсегдатай
*****

Группа: Active User
Сообщений: 683
Регистрация: 10.4.2008
Из: Москвы
Поблагодарили: 101 раз
Репутация:   18  


Всем привет!

Напишите как должен выглядень полноценных файл robots.txt (без пречуд) /классика/
Задача: скрыть от индексации страницы без контента, а всё остальное в индекс


Такого достаточно?

User-agent: *
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Sitemap: http://www xxxxxxx ru/sitemap.xml
Host: www xxxxxx ru

Заранее спасибо!

Сообщение отредактировал FABIO - 22.7.2010, 19:12


--------------------
1
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Maxim-Afig
Maxim-Afig
сообщение 22.7.2010, 19:16; Ответить: Maxim-Afig
Сообщение #2


Завсегдатай
*****

Группа: Active User
Сообщений: 599
Регистрация: 19.3.2009
Из: localhost
Поблагодарили: 217 раз
Репутация:   38  


Вот мой стандартный для DLE
User-agent: Yandex
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Belos
Belos
сообщение 22.7.2010, 19:16; Ответить: Belos
Сообщение #3


Старожил
******

Группа: Active User
Сообщений: 2478
Регистрация: 11.11.2008
Из: Украина
Поблагодарили: 702 раза
Репутация:   96  


User-agent: yandex
Disallow: /*print
Disallow: /*userinfo
Disallow: /2009/
Disallow: /2010/
Disallow: /index.php?subaction=userinfo
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /backup/
Disallow: /engine/
Disallow: /engine/dude/
Disallow: /engine/dude
Disallow: /user/
Disallow: /favorites/
Disallow: /tags/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /rules.html
Host: aсайт
Sitemap: http://сайт/sitemap.xml


а вообще на форуме уже не одна тема была...
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
FABIO
FABIO
Topic Starter сообщение 22.7.2010, 19:20; Ответить: FABIO
Сообщение #4


Завсегдатай
*****

Группа: Active User
Сообщений: 683
Регистрация: 10.4.2008
Из: Москвы
Поблагодарили: 101 раз
Репутация:   18  


(Belos @ 22.7.2010, 19:16) *
а вообще на форуме уже не одна тема была...


Тогда можно сюда покидать ссылочки


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
webpavilion
webpavilion
сообщение 22.7.2010, 20:36; Ответить: webpavilion
Сообщение #5


сеошник на пенсии
*******

Группа: Active User
Сообщений: 2726
Регистрация: 28.4.2009
Из: МО
Поблагодарили: 1659 раз
Репутация:   171  


(FABIO @ 22.7.2010, 19:20) *
Тогда можно сюда покидать ссылочки

а сам ручками поискать, некогда?


--------------------
Не ведитесь, cамопис это почти всегда плохо!

Делаю сайты на Drupal 7.x
(очень дорого)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
FABIO
FABIO
Topic Starter сообщение 22.7.2010, 20:39; Ответить: FABIO
Сообщение #6


Завсегдатай
*****

Группа: Active User
Сообщений: 683
Регистрация: 10.4.2008
Из: Москвы
Поблагодарили: 101 раз
Репутация:   18  


(webpavilion @ 22.7.2010, 20:36) *
а сам ручками поискать, некогда?


Может что эксперт посоветует?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Jaroslove
Jaroslove
сообщение 23.7.2010, 2:40; Ответить: Jaroslove
Сообщение #7


Частый гость
**

Группа: User
Сообщений: 95
Регистрация: 5.7.2010
Из: Россия
Поблагодарили: 42 раза
Репутация:   8  


Я так понимаю конкретно для DLE интересует robots.txt ? Тогда во втором-третьем постах всё правильно написано, но важно, что там все запреты для Яндекса прописаны.
Вот здесь посмотри по теме http://www.maultalk.com/topic57346.html


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Ganj
Ganj
сообщение 24.7.2010, 5:05; Ответить: Ganj
Сообщение #8


Участник
***

Группа: User
Сообщений: 240
Регистрация: 13.4.2009
Из: Минск
Поблагодарили: 74 раза
Репутация:   21  


Мой стандартный для dle:

User-agent: *
Disallow: /autobackup.php
Disallow: /user/
Disallow: /favorites/
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /newposts/
Disallow: /*print
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Host: ******.**
Sitemap: http://******.**/sitemap.xml

User-agent: Yandex
Disallow: /autobackup.php
Disallow: /user/
Disallow: /favorites/
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /newposts/
Disallow: /*print
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Host: ******.**


На счёт admin.php любого другого названия файла(если переименовываете), то его не прописываю в роботс из безопасности, зачем лишний раз палить админку?..


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Stop-TussiN
Stop-TussiN
сообщение 24.7.2010, 9:42; Ответить: Stop-TussiN
Сообщение #9


Саповод 80 lvl
******

Группа: Active User
Сообщений: 1256
Регистрация: 10.3.2009
Из: Набережные Челны
Поблагодарили: 944 раза
Репутация:   88  


Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/

Зачем это закрывать? Роботы не ходят по вашим фтп папкам)) И никогда не узнают о существовании этих папок, если вы или кто то другой не укажете. Некоторые еще умудряются туда добавлять папку от админки. Это вообще лол.

Сообщение отредактировал Stop-TussiN - 24.7.2010, 9:42
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
PREDATORik
PREDATORik
сообщение 24.7.2010, 12:59; Ответить: PREDATORik
Сообщение #10


Новичок
*

Группа: User
Сообщений: 48
Регистрация: 24.7.2010
Поблагодарили: 0 раз
Репутация:   -3  


а как вообще запретить индексацию от яндекса?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Автоматизация и заработок на Яндекс Дзен
Получаем траф на автомате и монетизируем контекстом
15 master_jeday 4160 Сегодня, 17:26
автор: kirch
Открытая тема (нет новых ответов) 5 крауд-ссылок с трастового ресурса Яндекс.Знатоки за 500руб
4 yulbee 819 Сегодня, 16:56
автор: yulbee
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыАккаунты Яндекс Директ без НДС [актуально]
Директ без НДС, экономия 18% при каждом пополнении РК
5 Diwate 1485 Вчера, 22:00
автор: Diwate
Горячая тема (нет новых ответов) EssayTraffic - партнерка в essay edu нише под бурж - до 85% с продажи
40 EssayTraffic 7214 18.5.2018, 18:48
автор: EssayTraffic
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыEdu-Cash.com - ПП под бурж студенческий траф, до 75% за первые заказы, до 35% за ребиллы, до 10% реферальных!
33 EduCash 9445 18.5.2018, 17:37
автор: EduCash


 



RSS Текстовая версия Сейчас: 20.5.2018, 20:33
Дизайн