X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

3 страниц V   1 2 3 >
Открыть тему
Тема закрыта
> Robots.txt для Phpbb3, инструкция по составлению
FladeX
FladeX
Topic Starter сообщение 9.9.2009, 18:35; Ответить: FladeX
Сообщение #1


У себя в блоге написал статью про составление правильного robots.txt для форума phpBB3. Хотелось бы донести сие до общественности. Если я что-то упустил из вида - напишите, исправлю.

В итоге у меня получился такой вот файл:
User-agent: *
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: /sitemap.php
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

User-agent: Yandex
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Host: lastforum.ru
Sitemap: /sitemap.php
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php


Сама статья на моем сайте - robots.txt для phpBB. Вопросы по теме есть? Пишите, с радостью отвечу.
2
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
centurion
centurion
сообщение 9.9.2009, 18:46; Ответить: centurion
Сообщение #2


(FladeX @ 9.9.2009, 18:35) *
Вопросы по теме есть?


Это что означает? Зачем в теме что-то запрещать?
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
FladeX
FladeX
Topic Starter сообщение 9.9.2009, 18:58; Ответить: FladeX
Сообщение #3


В статье написано smile.gif Если по пунктам:
  • ссылки на первую страницу
  • ссылка на следующие темы
  • ссылки на предыдущие темы

Если суммарно, то для избежания проблем с дублирующим контентом - когда одна и та же страница доступна по нескольким ссылкам.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
FladeX
FladeX
Topic Starter сообщение 11.9.2009, 12:27; Ответить: FladeX
Сообщение #4


После апа Яндекс выкинул все ненужные страницы из индекса, подтвердив все мои рассчеты. Подумать только, для сравнительно молодого форума таких страниц оказалось порядка 500 штук! И это при том, что в индексе сейчас только порядка 200 страниц.

Вот скрин:
Прикрепленное изображение
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
FladeX
FladeX
Topic Starter сообщение 18.10.2009, 22:41; Ответить: FladeX
Сообщение #5


Анализ подопытного форума показал, что индексация становится просто идеальной. Единственный минус заметил, что индексируются ссылки на первую страницу форумов. Для этого нужно добавить такую строчку в robots.txt:
Disallow: /viewforum.php?f=*&start=0$

После этого не беспокойтесь за индексацию smile.gif

ЗЫ. Статью в блоге обновил, можете там посмотреть полный вариант кода.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
siv1987
siv1987
сообщение 31.1.2010, 19:58; Ответить: siv1987
Сообщение #6


Странно, почему никто из СЕОшников не обратил на это внимания... smile.gif
Sitemap: /sitemap.php

В директиве Система должен быть прописан полный урл файла.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
inquis
inquis
сообщение 31.1.2010, 20:13; Ответить: inquis
Сообщение #7


В чем разница между
User-agent: *

и
User-agent: Yandex

В этих конструкциях ведь описано одно и тоже... ?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
siv1987
siv1987
сообщение 31.1.2010, 20:31; Ответить: siv1987
Сообщение #8


* - для всех ботов
yandex - только для яндекс бота

Хотя зачем продублировано отдельно для яндекса сам не знаю. Следовало тогда убрать Clean-param: из User-agent: * так как эту директиву понимает только яндекс.

Сообщение отредактировал siv1987 - 31.1.2010, 20:35


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
inquis
inquis
сообщение 31.1.2010, 20:38; Ответить: inquis
Сообщение #9


(siv1987 @ 31.1.2010, 18:31) *
Хотя зачем продублировано отдельно для яндекса сам не знаю. Следовало тогда убрать Clean-param: из User-agent: * так как эту директиву понимает только яндекс.

Ну я о том же smile.gif


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Alex_D20
Alex_D20
сообщение 31.1.2010, 20:40; Ответить: Alex_D20
Сообщение #10


(siv1987 @ 31.1.2010, 18:31) *
Хотя зачем продублировано отдельно для яндекса сам не знаю.


Робот яндекса любит когда его упоминают отдельно..
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
3 страниц V   1 2 3 >
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Партнерская программа для Эзотерики, Магии, Таро
партнерка для эзотерики
0 LiveExpert 353 Вчера, 15:13
автор: LiveExpert
Открытая тема (нет новых ответов) Партнерская программа для Эзотерики, Магии, Таро
партнерка для эзотерики
0 LiveExpert 326 Вчера, 15:13
автор: LiveExpert
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыAzinomoney.com - гемблинг-партнерка с 65%RS для каждого
Гарантированный заработок на гемблинг-трафике
65 AzinoMoney 29183 27.3.2024, 19:10
автор: AzinoMoney
Горячая тема (нет новых ответов) Делаю полностью уникальный дизайн для сайтов!
46 AlexDIZ 93484 26.3.2024, 20:03
автор: AlexDIZ
Открытая тема (нет новых ответов) Большие ставки для кликов в Я.Директ. Как удешевить?
2 rownong27 1121 26.3.2024, 14:13
автор: knezevolk


 



RSS Текстовая версия Сейчас: 29.3.2024, 3:52
Дизайн