X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

3 страниц V   1 2 3 >
Открыть тему
Тема закрыта
> Robots.txt для Phpbb3, инструкция по составлению
FladeX
FladeX
Topic Starter сообщение 9.9.2009, 18:35; Ответить: FladeX
Сообщение #1


Завсегдатай
*****

Группа: Active User
Сообщений: 868
Регистрация: 5.12.2008
Из: Саранск
Поблагодарили: 269 раз
Репутация:   45  


У себя в блоге написал статью про составление правильного robots.txt для форума phpBB3. Хотелось бы донести сие до общественности. Если я что-то упустил из вида - напишите, исправлю.

В итоге у меня получился такой вот файл:
User-agent: *
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: /sitemap.php
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

User-agent: Yandex
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Host: lastforum.ru
Sitemap: /sitemap.php
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php


Сама статья на моем сайте - robots.txt для phpBB. Вопросы по теме есть? Пишите, с радостью отвечу.
2
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
centurion
centurion
сообщение 9.9.2009, 18:46; Ответить: centurion
Сообщение #2


Топовый постер
*******


Группа: Active User
Сообщений: 2831
Регистрация: 10.12.2007
Из: aceweb
Поблагодарили: 1349 раз
Репутация:   308  


(FladeX @ 9.9.2009, 18:35) *
Вопросы по теме есть?


Это что означает? Зачем в теме что-то запрещать?
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
FladeX
FladeX
Topic Starter сообщение 9.9.2009, 18:58; Ответить: FladeX
Сообщение #3


Завсегдатай
*****

Группа: Active User
Сообщений: 868
Регистрация: 5.12.2008
Из: Саранск
Поблагодарили: 269 раз
Репутация:   45  


В статье написано smile.gif Если по пунктам:
  • ссылки на первую страницу
  • ссылка на следующие темы
  • ссылки на предыдущие темы

Если суммарно, то для избежания проблем с дублирующим контентом - когда одна и та же страница доступна по нескольким ссылкам.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
FladeX
FladeX
Topic Starter сообщение 11.9.2009, 12:27; Ответить: FladeX
Сообщение #4


Завсегдатай
*****

Группа: Active User
Сообщений: 868
Регистрация: 5.12.2008
Из: Саранск
Поблагодарили: 269 раз
Репутация:   45  


После апа Яндекс выкинул все ненужные страницы из индекса, подтвердив все мои рассчеты. Подумать только, для сравнительно молодого форума таких страниц оказалось порядка 500 штук! И это при том, что в индексе сейчас только порядка 200 страниц.

Вот скрин:
Прикрепленное изображение
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
FladeX
FladeX
Topic Starter сообщение 18.10.2009, 22:41; Ответить: FladeX
Сообщение #5


Завсегдатай
*****

Группа: Active User
Сообщений: 868
Регистрация: 5.12.2008
Из: Саранск
Поблагодарили: 269 раз
Репутация:   45  


Анализ подопытного форума показал, что индексация становится просто идеальной. Единственный минус заметил, что индексируются ссылки на первую страницу форумов. Для этого нужно добавить такую строчку в robots.txt:
Disallow: /viewforum.php?f=*&start=0$

После этого не беспокойтесь за индексацию smile.gif

ЗЫ. Статью в блоге обновил, можете там посмотреть полный вариант кода.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
siv1987
siv1987
сообщение 31.1.2010, 19:58; Ответить: siv1987
Сообщение #6


Новичок
*

Группа: User
Сообщений: 11
Регистрация: 21.3.2009
Поблагодарили: 3 раза
Репутация:   1  


Странно, почему никто из СЕОшников не обратил на это внимания... smile.gif
Sitemap: /sitemap.php

В директиве Система должен быть прописан полный урл файла.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
inquis
inquis
сообщение 31.1.2010, 20:13; Ответить: inquis
Сообщение #7


Участник
***

Группа: User
Сообщений: 132
Регистрация: 14.7.2008
Поблагодарили: 25 раз
Репутация:   2  


В чем разница между
User-agent: *

и
User-agent: Yandex

В этих конструкциях ведь описано одно и тоже... ?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
siv1987
siv1987
сообщение 31.1.2010, 20:31; Ответить: siv1987
Сообщение #8


Новичок
*

Группа: User
Сообщений: 11
Регистрация: 21.3.2009
Поблагодарили: 3 раза
Репутация:   1  


* - для всех ботов
yandex - только для яндекс бота

Хотя зачем продублировано отдельно для яндекса сам не знаю. Следовало тогда убрать Clean-param: из User-agent: * так как эту директиву понимает только яндекс.

Сообщение отредактировал siv1987 - 31.1.2010, 20:35


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
inquis
inquis
сообщение 31.1.2010, 20:38; Ответить: inquis
Сообщение #9


Участник
***

Группа: User
Сообщений: 132
Регистрация: 14.7.2008
Поблагодарили: 25 раз
Репутация:   2  


(siv1987 @ 31.1.2010, 18:31) *
Хотя зачем продублировано отдельно для яндекса сам не знаю. Следовало тогда убрать Clean-param: из User-agent: * так как эту директиву понимает только яндекс.

Ну я о том же smile.gif


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Alex_D20
Alex_D20
сообщение 31.1.2010, 20:40; Ответить: Alex_D20
Сообщение #10


Завсегдатай
*****

Группа: Active User
Сообщений: 713
Регистрация: 30.6.2009
Из: Україна, Львів
Поблагодарили: 240 раз
Репутация:   21  


(siv1987 @ 31.1.2010, 18:31) *
Хотя зачем продублировано отдельно для яндекса сам не знаю.


Робот яндекса любит когда его упоминают отдельно..
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
3 страниц V   1 2 3 >
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) ВНИМАНИЕ: Тема для обсуждения работ фотоконкурса «Новогодний косплей» 18+
5 admin 856 Сегодня, 21:58
автор: dota
Открытая тема (нет новых ответов) EssayPartner.com - до 60% за первый заказ, до 35% за ребиллы, современные ленды и WL для всех
15 EssayPartner 2872 Сегодня, 20:18
автор: EssayPartner
Открытая тема (нет новых ответов) Найду для вас домены
15 MakDonald 2692 Сегодня, 18:33
автор: MakDonald
Открытая тема (нет новых ответов) SimplePay: Прием платежей на сайте для юридических и физических лиц
2 kuprum 328 Сегодня, 15:50
автор: kuprum
Открытая тема (нет новых ответов) Чем сжимать картинки для сайта без потери качества
1st-finstep.ru - Заработок в сети и методы продвижения сайта
12 komarik_vlad 1186 Сегодня, 14:47
автор: myaltai


 



RSS Текстовая версия Сейчас: 14.12.2017, 23:17
Дизайн