X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> robots.txt под Яндекс
FABIO
FABIO
Topic Starter сообщение 22.7.2010, 19:09; Ответить: FABIO
Сообщение #1


Всем привет!

Напишите как должен выглядень полноценных файл robots.txt (без пречуд) /классика/
Задача: скрыть от индексации страницы без контента, а всё остальное в индекс


Такого достаточно?

User-agent: *
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Sitemap: http://www xxxxxxx ru/sitemap.xml
Host: www xxxxxx ru

Заранее спасибо!

Сообщение отредактировал FABIO - 22.7.2010, 19:12


--------------------
1
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Maxim-Afig
Maxim-Afig
сообщение 22.7.2010, 19:16; Ответить: Maxim-Afig
Сообщение #2


Вот мой стандартный для DLE
User-agent: Yandex
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Belos
Belos
сообщение 22.7.2010, 19:16; Ответить: Belos
Сообщение #3


User-agent: yandex
Disallow: /*print
Disallow: /*userinfo
Disallow: /2009/
Disallow: /2010/
Disallow: /index.php?subaction=userinfo
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /backup/
Disallow: /engine/
Disallow: /engine/dude/
Disallow: /engine/dude
Disallow: /user/
Disallow: /favorites/
Disallow: /tags/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /rules.html
Host: aсайт
Sitemap: http://сайт/sitemap.xml


а вообще на форуме уже не одна тема была...
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
FABIO
FABIO
Topic Starter сообщение 22.7.2010, 19:20; Ответить: FABIO
Сообщение #4


(Belos @ 22.7.2010, 19:16) *
а вообще на форуме уже не одна тема была...


Тогда можно сюда покидать ссылочки


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
webpavilion
webpavilion
сообщение 22.7.2010, 20:36; Ответить: webpavilion
Сообщение #5


(FABIO @ 22.7.2010, 19:20) *
Тогда можно сюда покидать ссылочки

а сам ручками поискать, некогда?


--------------------
Не ведитесь, cамопис это почти всегда плохо!

Делаю сайты на Drupal 7.x
(очень дорого)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
FABIO
FABIO
Topic Starter сообщение 22.7.2010, 20:39; Ответить: FABIO
Сообщение #6


(webpavilion @ 22.7.2010, 20:36) *
а сам ручками поискать, некогда?


Может что эксперт посоветует?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Jaroslove
Jaroslove
сообщение 23.7.2010, 2:40; Ответить: Jaroslove
Сообщение #7


Я так понимаю конкретно для DLE интересует robots.txt ? Тогда во втором-третьем постах всё правильно написано, но важно, что там все запреты для Яндекса прописаны.
Вот здесь посмотри по теме http://www.maultalk.com/topic57346.html


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Ganj
Ganj
сообщение 24.7.2010, 5:05; Ответить: Ganj
Сообщение #8


Мой стандартный для dle:

User-agent: *
Disallow: /autobackup.php
Disallow: /user/
Disallow: /favorites/
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /newposts/
Disallow: /*print
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Host: ******.**
Sitemap: http://******.**/sitemap.xml

User-agent: Yandex
Disallow: /autobackup.php
Disallow: /user/
Disallow: /favorites/
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /newposts/
Disallow: /*print
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Host: ******.**


На счёт admin.php любого другого названия файла(если переименовываете), то его не прописываю в роботс из безопасности, зачем лишний раз палить админку?..


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Stop-TussiN
Stop-TussiN
сообщение 24.7.2010, 9:42; Ответить: Stop-TussiN
Сообщение #9


Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/

Зачем это закрывать? Роботы не ходят по вашим фтп папкам)) И никогда не узнают о существовании этих папок, если вы или кто то другой не укажете. Некоторые еще умудряются туда добавлять папку от админки. Это вообще лол.

Сообщение отредактировал Stop-TussiN - 24.7.2010, 9:42
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
PREDATORik
PREDATORik
сообщение 24.7.2010, 12:59; Ответить: PREDATORik
Сообщение #10


а как вообще запретить индексацию от яндекса?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Прототипирование + дизайн + вёрстка = красивый и эффективный сайт под ключ
0 bunneh 278 16.4.2024, 18:02
автор: bunneh
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыBurzh.top|Партнерская программа под любой вид трафика (email, спам, УБТ)
2 cryptius 758 16.4.2024, 17:50
автор: cryptius
Горячая тема (нет новых ответов) Hyper.hosting - сервера под любые задачи [разрешены dmca, гэмблинг, адалт и пр.]
Лучшие сервера по доступной цене
32 Hyper_Hosting 9138 15.4.2024, 13:03
автор: Hyper_Hosting
Открытая тема (нет новых ответов) SEO Линк Билдинг под Бурж | Вечные ссылки США, Европа и Мир с Гарантией
20 Needmylink1 6993 12.4.2024, 23:32
автор: Needmylink1
Открытая тема (нет новых ответов) 📌 Telegram Prime - софт для автоматизации telegram разработанный специально под задачи бизнеса
🏆 Единственный комбайн для популяризации вашей компании в теле
15 leviathan 3600 5.4.2024, 15:48
автор: leviathan


 



RSS Текстовая версия Сейчас: 18.4.2024, 13:39
Дизайн