X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> robots.txt под Яндекс
FABIO
FABIO
Topic Starter сообщение 22.7.2010, 19:09; Ответить: FABIO
Сообщение #1


Всем привет!

Напишите как должен выглядень полноценных файл robots.txt (без пречуд) /классика/
Задача: скрыть от индексации страницы без контента, а всё остальное в индекс


Такого достаточно?

User-agent: *
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Sitemap: http://www xxxxxxx ru/sitemap.xml
Host: www xxxxxx ru

Заранее спасибо!

Сообщение отредактировал FABIO - 22.7.2010, 19:12


--------------------
1
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Maxim-Afig
Maxim-Afig
сообщение 22.7.2010, 19:16; Ответить: Maxim-Afig
Сообщение #2


Вот мой стандартный для DLE
User-agent: Yandex
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Belos
Belos
сообщение 22.7.2010, 19:16; Ответить: Belos
Сообщение #3


User-agent: yandex
Disallow: /*print
Disallow: /*userinfo
Disallow: /2009/
Disallow: /2010/
Disallow: /index.php?subaction=userinfo
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /backup/
Disallow: /engine/
Disallow: /engine/dude/
Disallow: /engine/dude
Disallow: /user/
Disallow: /favorites/
Disallow: /tags/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /rules.html
Host: aсайт
Sitemap: http://сайт/sitemap.xml


а вообще на форуме уже не одна тема была...
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
FABIO
FABIO
Topic Starter сообщение 22.7.2010, 19:20; Ответить: FABIO
Сообщение #4


(Belos @ 22.7.2010, 19:16) *
а вообще на форуме уже не одна тема была...


Тогда можно сюда покидать ссылочки


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
webpavilion
webpavilion
сообщение 22.7.2010, 20:36; Ответить: webpavilion
Сообщение #5


(FABIO @ 22.7.2010, 19:20) *
Тогда можно сюда покидать ссылочки

а сам ручками поискать, некогда?


--------------------
Не ведитесь, cамопис это почти всегда плохо!

Делаю сайты на Drupal 7.x
(очень дорого)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
FABIO
FABIO
Topic Starter сообщение 22.7.2010, 20:39; Ответить: FABIO
Сообщение #6


(webpavilion @ 22.7.2010, 20:36) *
а сам ручками поискать, некогда?


Может что эксперт посоветует?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Jaroslove
Jaroslove
сообщение 23.7.2010, 2:40; Ответить: Jaroslove
Сообщение #7


Я так понимаю конкретно для DLE интересует robots.txt ? Тогда во втором-третьем постах всё правильно написано, но важно, что там все запреты для Яндекса прописаны.
Вот здесь посмотри по теме http://www.maultalk.com/topic57346.html


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Ganj
Ganj
сообщение 24.7.2010, 5:05; Ответить: Ganj
Сообщение #8


Мой стандартный для dle:

User-agent: *
Disallow: /autobackup.php
Disallow: /user/
Disallow: /favorites/
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /newposts/
Disallow: /*print
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Host: ******.**
Sitemap: http://******.**/sitemap.xml

User-agent: Yandex
Disallow: /autobackup.php
Disallow: /user/
Disallow: /favorites/
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /newposts/
Disallow: /*print
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Host: ******.**


На счёт admin.php любого другого названия файла(если переименовываете), то его не прописываю в роботс из безопасности, зачем лишний раз палить админку?..


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Stop-TussiN
Stop-TussiN
сообщение 24.7.2010, 9:42; Ответить: Stop-TussiN
Сообщение #9


Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/

Зачем это закрывать? Роботы не ходят по вашим фтп папкам)) И никогда не узнают о существовании этих папок, если вы или кто то другой не укажете. Некоторые еще умудряются туда добавлять папку от админки. Это вообще лол.

Сообщение отредактировал Stop-TussiN - 24.7.2010, 9:42
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
PREDATORik
PREDATORik
сообщение 24.7.2010, 12:59; Ответить: PREDATORik
Сообщение #10


а как вообще запретить индексацию от яндекса?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Давайте блокировать ботов в robots.txt
50 Cott 4589 15.5.2021, 21:40
автор: DUbiev
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыКупоны и аккаунты Google Adwords и купоны Яндекс.Директа
Продаются, покупаются, дарятся и меняются только в этой теме.
958 bum 333169 15.5.2021, 10:38
автор: temych_kbr
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыМануал по заработку в Яндекс Дзене «6 простых шагов — и 100 000 рублей в кармане»
В рамках Новогодних мероприятий 2017-2018
2061 Zoya83 537170 15.5.2021, 1:17
автор: Filadelso
Открытая тема (нет новых ответов) Основные метрики Яндекс Proxima вызвавшие падение трафика в марте
статья на devvver.ru, автор Евгений Молдовану
9 devvver 269 14.5.2021, 19:39
автор: Ostromir
Открытая тема (нет новых ответов) Яндекс.Вебмастер покажет информацию о дублирующихся title и description
11 PostBrigada 1482 14.5.2021, 0:18
автор: NikosTM


 



RSS Текстовая версия Сейчас: 17.5.2021, 5:04
Дизайн