X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> robots.txt под Яндекс
FABIO
FABIO
Topic Starter сообщение 22.7.2010, 19:09; Ответить: FABIO
Сообщение #1


Всем привет!

Напишите как должен выглядень полноценных файл robots.txt (без пречуд) /классика/
Задача: скрыть от индексации страницы без контента, а всё остальное в индекс


Такого достаточно?

User-agent: *
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Sitemap: http://www xxxxxxx ru/sitemap.xml
Host: www xxxxxx ru

Заранее спасибо!

Сообщение отредактировал FABIO - 22.7.2010, 19:12


--------------------
1
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Maxim-Afig
Maxim-Afig
сообщение 22.7.2010, 19:16; Ответить: Maxim-Afig
Сообщение #2


Вот мой стандартный для DLE
User-agent: Yandex
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Belos
Belos
сообщение 22.7.2010, 19:16; Ответить: Belos
Сообщение #3


User-agent: yandex
Disallow: /*print
Disallow: /*userinfo
Disallow: /2009/
Disallow: /2010/
Disallow: /index.php?subaction=userinfo
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /backup/
Disallow: /engine/
Disallow: /engine/dude/
Disallow: /engine/dude
Disallow: /user/
Disallow: /favorites/
Disallow: /tags/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /rules.html
Host: aсайт
Sitemap: http://сайт/sitemap.xml


а вообще на форуме уже не одна тема была...
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
FABIO
FABIO
Topic Starter сообщение 22.7.2010, 19:20; Ответить: FABIO
Сообщение #4


(Belos @ 22.7.2010, 19:16) *
а вообще на форуме уже не одна тема была...


Тогда можно сюда покидать ссылочки


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
webpavilion
webpavilion
сообщение 22.7.2010, 20:36; Ответить: webpavilion
Сообщение #5


(FABIO @ 22.7.2010, 19:20) *
Тогда можно сюда покидать ссылочки

а сам ручками поискать, некогда?


--------------------
Не ведитесь, cамопис это почти всегда плохо!

Делаю сайты на Drupal 7.x
(очень дорого)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
FABIO
FABIO
Topic Starter сообщение 22.7.2010, 20:39; Ответить: FABIO
Сообщение #6


(webpavilion @ 22.7.2010, 20:36) *
а сам ручками поискать, некогда?


Может что эксперт посоветует?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Jaroslove
Jaroslove
сообщение 23.7.2010, 2:40; Ответить: Jaroslove
Сообщение #7


Я так понимаю конкретно для DLE интересует robots.txt ? Тогда во втором-третьем постах всё правильно написано, но важно, что там все запреты для Яндекса прописаны.
Вот здесь посмотри по теме http://www.maultalk.com/topic57346.html


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Ganj
Ganj
сообщение 24.7.2010, 5:05; Ответить: Ganj
Сообщение #8


Мой стандартный для dle:

User-agent: *
Disallow: /autobackup.php
Disallow: /user/
Disallow: /favorites/
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /newposts/
Disallow: /*print
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Host: ******.**
Sitemap: http://******.**/sitemap.xml

User-agent: Yandex
Disallow: /autobackup.php
Disallow: /user/
Disallow: /favorites/
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /newposts/
Disallow: /*print
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Host: ******.**


На счёт admin.php любого другого названия файла(если переименовываете), то его не прописываю в роботс из безопасности, зачем лишний раз палить админку?..


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Stop-TussiN
Stop-TussiN
сообщение 24.7.2010, 9:42; Ответить: Stop-TussiN
Сообщение #9


Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/

Зачем это закрывать? Роботы не ходят по вашим фтп папкам)) И никогда не узнают о существовании этих папок, если вы или кто то другой не укажете. Некоторые еще умудряются туда добавлять папку от админки. Это вообще лол.

Сообщение отредактировал Stop-TussiN - 24.7.2010, 9:42
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
PREDATORik
PREDATORik
сообщение 24.7.2010, 12:59; Ответить: PREDATORik
Сообщение #10


а как вообще запретить индексацию от яндекса?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Ссылки за которые не стыдно! Качественный линк билдинг сервис под Бурж от Westrank. Честный прайс.
63 DaoDog 47473 19.4.2024, 12:05
автор: Omaxis
Открытая тема (нет новых ответов) Прототипирование + дизайн + вёрстка = красивый и эффективный сайт под ключ
0 bunneh 446 16.4.2024, 18:02
автор: bunneh
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыBurzh.top|Партнерская программа под любой вид трафика (email, спам, УБТ)
2 cryptius 766 16.4.2024, 17:50
автор: cryptius
Горячая тема (нет новых ответов) Hyper.hosting - сервера под любые задачи [разрешены dmca, гэмблинг, адалт и пр.]
Лучшие сервера по доступной цене
32 Hyper_Hosting 9159 15.4.2024, 13:03
автор: Hyper_Hosting
Открытая тема (нет новых ответов) SEO Линк Билдинг под Бурж | Вечные ссылки США, Европа и Мир с Гарантией
20 Needmylink1 7011 12.4.2024, 23:32
автор: Needmylink1


 



RSS Текстовая версия Сейчас: 23.4.2024, 16:46
Дизайн