X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> robots.txt под Яндекс
FABIO
FABIO
Topic Starter сообщение 22.7.2010, 19:09; Ответить: FABIO
Сообщение #1


Завсегдатай
*****

Группа: Active User
Сообщений: 683
Регистрация: 10.4.2008
Из: Москвы
Поблагодарили: 101 раз
Репутация:   18  


Всем привет!

Напишите как должен выглядень полноценных файл robots.txt (без пречуд) /классика/
Задача: скрыть от индексации страницы без контента, а всё остальное в индекс


Такого достаточно?

User-agent: *
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Sitemap: http://www xxxxxxx ru/sitemap.xml
Host: www xxxxxx ru

Заранее спасибо!

Сообщение отредактировал FABIO - 22.7.2010, 19:12


--------------------
1
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Maxim-Afig
Maxim-Afig
сообщение 22.7.2010, 19:16; Ответить: Maxim-Afig
Сообщение #2


Завсегдатай
*****

Группа: Active User
Сообщений: 599
Регистрация: 19.3.2009
Из: localhost
Поблагодарили: 217 раз
Репутация:   38  


Вот мой стандартный для DLE
User-agent: Yandex
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Belos
Belos
сообщение 22.7.2010, 19:16; Ответить: Belos
Сообщение #3


Старожил
******

Группа: Active User
Сообщений: 2468
Регистрация: 11.11.2008
Из: Украина
Поблагодарили: 695 раз
Репутация:   96  


User-agent: yandex
Disallow: /*print
Disallow: /*userinfo
Disallow: /2009/
Disallow: /2010/
Disallow: /index.php?subaction=userinfo
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /backup/
Disallow: /engine/
Disallow: /engine/dude/
Disallow: /engine/dude
Disallow: /user/
Disallow: /favorites/
Disallow: /tags/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /rules.html
Host: aсайт
Sitemap: http://сайт/sitemap.xml


а вообще на форуме уже не одна тема была...
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
FABIO
FABIO
Topic Starter сообщение 22.7.2010, 19:20; Ответить: FABIO
Сообщение #4


Завсегдатай
*****

Группа: Active User
Сообщений: 683
Регистрация: 10.4.2008
Из: Москвы
Поблагодарили: 101 раз
Репутация:   18  


(Belos @ 22.7.2010, 19:16) *
а вообще на форуме уже не одна тема была...


Тогда можно сюда покидать ссылочки


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
webpavilion
webpavilion
сообщение 22.7.2010, 20:36; Ответить: webpavilion
Сообщение #5


сеошник на пенсии
*******

Группа: Active User
Сообщений: 2726
Регистрация: 28.4.2009
Из: МО
Поблагодарили: 1659 раз
Репутация:   171  


(FABIO @ 22.7.2010, 19:20) *
Тогда можно сюда покидать ссылочки

а сам ручками поискать, некогда?


--------------------
Не ведитесь, cамопис это почти всегда плохо!

Делаю сайты на Drupal 7.x
(очень дорого)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
FABIO
FABIO
Topic Starter сообщение 22.7.2010, 20:39; Ответить: FABIO
Сообщение #6


Завсегдатай
*****

Группа: Active User
Сообщений: 683
Регистрация: 10.4.2008
Из: Москвы
Поблагодарили: 101 раз
Репутация:   18  


(webpavilion @ 22.7.2010, 20:36) *
а сам ручками поискать, некогда?


Может что эксперт посоветует?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Jaroslove
Jaroslove
сообщение 23.7.2010, 2:40; Ответить: Jaroslove
Сообщение #7


Частый гость
**

Группа: User
Сообщений: 95
Регистрация: 5.7.2010
Из: Россия
Поблагодарили: 42 раза
Репутация:   8  


Я так понимаю конкретно для DLE интересует robots.txt ? Тогда во втором-третьем постах всё правильно написано, но важно, что там все запреты для Яндекса прописаны.
Вот здесь посмотри по теме http://www.maultalk.com/topic57346.html


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Ganj
Ganj
сообщение 24.7.2010, 5:05; Ответить: Ganj
Сообщение #8


Участник
***

Группа: User
Сообщений: 240
Регистрация: 13.4.2009
Из: Минск
Поблагодарили: 74 раза
Репутация:   21  


Мой стандартный для dle:

User-agent: *
Disallow: /autobackup.php
Disallow: /user/
Disallow: /favorites/
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /newposts/
Disallow: /*print
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Host: ******.**
Sitemap: http://******.**/sitemap.xml

User-agent: Yandex
Disallow: /autobackup.php
Disallow: /user/
Disallow: /favorites/
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /newposts/
Disallow: /*print
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Host: ******.**


На счёт admin.php любого другого названия файла(если переименовываете), то его не прописываю в роботс из безопасности, зачем лишний раз палить админку?..


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Stop-TussiN
Stop-TussiN
сообщение 24.7.2010, 9:42; Ответить: Stop-TussiN
Сообщение #9


Саповод 80 lvl
******

Группа: Active User
Сообщений: 1256
Регистрация: 10.3.2009
Из: Набережные Челны
Поблагодарили: 944 раза
Репутация:   88  


Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/

Зачем это закрывать? Роботы не ходят по вашим фтп папкам)) И никогда не узнают о существовании этих папок, если вы или кто то другой не укажете. Некоторые еще умудряются туда добавлять папку от админки. Это вообще лол.

Сообщение отредактировал Stop-TussiN - 24.7.2010, 9:42
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
PREDATORik
PREDATORik
сообщение 24.7.2010, 12:59; Ответить: PREDATORik
Сообщение #10


Новичок
*

Группа: User
Сообщений: 48
Регистрация: 24.7.2010
Поблагодарили: 0 раз
Репутация:   -3  


а как вообще запретить индексацию от яндекса?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыEssayPro.Money партнерка под студенческий траф 50%+20% комиссии
61 Mur4ikovsky 12068 Вчера, 21:00
автор: EssayPro
Открытая тема (нет новых ответов) Мобильный «Яндекс.Диск» стал безлимитным
9 MissContent 1213 Вчера, 20:28
автор: galikfor
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыEdu-Money - партнерка под студентческий траф: 55% за новый заказ, 20% ребилл (сразу).
94 EduMoney 17385 Вчера, 19:58
автор: Eles_Klezon
Открытая тема (нет новых ответов) Тренд сайта по сравнению с аналогами, новый параметр в Яндекс Вебмастере
7 0alex1 1477 Вчера, 14:03
автор: coremission
Открытая тема (нет новых ответов) Ad4date.com - CPA-сеть под adult/dating трафик
4 moneytommylee 1326 13.12.2017, 17:45
автор: moneytommylee


 



RSS Текстовая версия Сейчас: 15.12.2017, 3:30
Дизайн