X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Robot.txt Много фотографий и Sitemap
Napoleon-007
Napoleon-007
Topic Starter сообщение 12.4.2017, 1:04; Ответить: Napoleon-007
Сообщение #1


Завсегдатай
*****

Группа: User
Сообщений: 598
Регистрация: 18.6.2012
Поблагодарили: 0 раз
Репутация:   20  


Здавствуйте с кем еще не поздаровался на этмо форуме!
Решил я тут переделать оба файла Robot.txt и Sitemap. Дабы написанные мною статьи быстро индексировались. Кроме того, фотографии на сайте тоже не в индексе потому, что всё свалено в одну папку и доступ поисковикам к ним закрыт. Я много почитал про эти два файла и одна инфа противоречит другой. 

Правильно я понимаю, что Карта сайта не запрещает роботу индексировать те страницы, которые в эту карту не попали? А именно так некоторые пишут. Я написал новую статью, записал её в фал Sitemap и робот пройдя по этому сайту узнает о появлении нового поста. А вот как часто робот будет сканировать мой сайт и какие конкретно файлы и страницы, указываются в robot.txt  Так ? 

Вордпресс все сваливает в одну кучу. Перемещать и прописывать файлы, долго и не знаю есть ли смысл. У меня много фотографий и я могу их все прописать в роботе, а остальные так и останутся под запретом. Но получится фотографий 200 точно. А то и больше. Для файла robot.txt это не страшно ? Перегруза не будет ? Или нужно из общей папки выковыривать нужные фотографии и искать где там прописывается путь в эту папку и только для неё открыть индексацию. Мне проще первый вариант. Какой лучше ?

Вот немного уже сделал

User-agent: *

Disallow: /wp-content/uploads Тут я закрываю папку для файлов которые начинаются с 

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*


 

User-agent: *

Allow:  wp-content/uploads/2017/04/ShapkaGlavnaya.jpg

Allow:  wp-content/uploads/2017/04/GL.jpg

Allow:  wp-content/uploads/2017/04/GL1.jpg

Allow:  wp-content/uploads/2017/04/GL2.jpg

Allow:  wp-content/uploads/2017/04/GL3.jpg

Allow   wp-content/uploads/2017/04/GL4.jpg

Allow:  wp-content/uploads/2017/04/GL5.jpg

Allow:  wp-content/uploads/2017/04/GL6.jpg

Allow:  wp-content/uploads/2017/04/GL7.jpg

Allow:  wp-content/uploads/2017/04/GL8.jpg

Allow:  wp-content/uploads/2017/04/GL9.jpg

Allow:  wp-content/uploads/2017/04/GL10.jpg

Allow:  wp-content/uploads/2017/04/GL11.jpg

Allow:  wp-content/uploads/2017/04/GL12.jpg

Allow:  wp-content/uploads/2017/04/GL13.jpg

Allow:  wp-content/uploads/2017/04/GL14.jpg

Allow:  wp-content/uploads/2017/04/GL15.jpg

Allow:  wp-content/uploads/2017/04/GL16.jpg

Allow:  wp-content/uploads/2017/04/GL17.jpg

Allow:  wp-content/uploads/2017/04/GL18.jpg

Allow:  wp-content/uploads/2017/04/GL19.jpg

Allow:  wp-content/uploads/2017/04/GL20.jpg

Allow:  wp-content/uploads/2017/04/GL21.jpg

Allow:  wp-content/uploads/2017/04/GL22.jpg

Allow:  wp-content/uploads/2017/04/GL22.jpg

Allow:  wp-content/uploads/2017/04/GL23.jpg

Allow:  wp-content/uploads/2017/04/GL24.jpg

Allow:  wp-content/uploads/2017/04/GL25.jpg

Allow:  wp-content/uploads/2017/04/GL26.jpg

Allow:  wp-content/uploads/2017/04/GL27.jpg

Allow:  wp-content/uploads/2017/04/GL28.jpg

Allow:  wp-content/uploads/2017/04/GL29.jpg

Allow:  wp-content/uploads/2017/04/GL30.jpg

Allow:  wp-content/uploads/2017/04/GL31.jpg

Allow:  wp-content/uploads/2017/04/GL32.jpg

 

 

User-agent: *

Allow:  wp-content/uploads/2017/04/ShapkaAnojina.jpg

Allow:  wp-content/uploads/2017/04/ShapkaCaricino.jpg

Allow:  wp-content/uploads/2017/04/ShapkaDetiFili.jpg

 

Gracias !



0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ShowPrint
ShowPrint
сообщение 12.4.2017, 10:17; Ответить: ShowPrint
Сообщение #2


Топовый постер
*******


Группа: Active User
Сообщений: 3412
Регистрация: 21.3.2015
Из: Москва
Поблагодарили: 3 раза
Репутация:   1000  


( @ 12.4.2017, 04:04) *
Правильно я понимаю, что Карта сайта не запрещает роботу индексировать те страницы, которые в эту карту не попали?

Правильно. Робот может индексировать всё что найдет сам по ссылкам на сайте, если это не запрещено для индексирования.

С robots.txt несколько не совсем верно и оптимально ты начал.
Первое:
( @ 12.4.2017, 04:04) *
User-agent: *

Принято указывать только один раз и все директивы для ботов прописывать сразу

Второе:
( @ 12.4.2017, 04:04) *

Вроде бы указывается в конце, после директив disallow и allow

Третье:
( @ 12.4.2017, 04:04) *
Allow:  wp-content/uploads/2017/04/GL.jpg
Allow:  wp-content/uploads/2017/04/GL1.jpg
Allow:  wp-content/uploads/2017/04/GL2.jpg
Allow:  wp-content/uploads/2017/04/GL3.jpg
и т.д.

Лучше не "раздувать" файл, это влияет на скорость загрузки, чем больше файл - тем дольше он обрабатывается. Лучше объединять правила по определенному признаку. Например, для приведенного фрагмента можно написать одну строку:

Allow: wp-content/uploads/2017/04/*

И все изображения в этой папке будут доступны для индексации

UPD: Почитай здесь - Иван много полезного написал про robots.txt и в стартпосте и в тех местах где к нему приставали с вопросами (в том числе и я :) )


Сообщение отредактировал ShowPrint - 12.4.2017, 10:25
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Napoleon-007
Napoleon-007
Topic Starter сообщение 12.4.2017, 10:44; Ответить: Napoleon-007
Сообщение #3


Завсегдатай
*****

Группа: User
Сообщений: 598
Регистрация: 18.6.2012
Поблагодарили: 0 раз
Репутация:   20  


Спасибо за помощь !
(ShowPrint @ 12.4.2017, 13:17) *
Вроде бы указывается в конце, после директив disallow и allow
 
Да, для меня это еще спорный вопрос, но скорее всего так оно и делается. Надо посмотреть как у других. Где тоя  видел для вордпресса так указывали.

(ShowPrint @ 12.4.2017, 13:17) *
Allow: wp-content/uploads/2017/04/*

Дело в том, что в папке 04 все и находится. Поэтому логичнее было бы написать  Allow: wp-content/uploads/2017/04/GL* Не дописывая окончание ?  Потом я думал звездачка запрещает, в данном случае. Вот пример из Яндекса

User-agent: Yandex
Disallow: /cgi-bin/*.aspx # запрещает '/cgi-bin/example.aspx'
# и '/cgi-bin/private/test.aspx'
Disallow: /*private # запрещает не только '/private',
# но и '/cgi-bin/private'


(ShowPrint @ 12.4.2017, 13:17) *
Лучше не "раздувать" файл, это влияет на скорость загрузки,

Я просто у Яндекса читаю что "При формировании файла robots.txt необходимо помнить, что у робота есть разумное ограничение на его размер. Если размер файла превышает 32 Кб, робот считает его полностью разрешающим, то есть рассматриваются аналогично:" А мой файл и половины не будет весить. Ну я понял, лучше не раздувать. Открыть всю папку тоже не могу. Там когда загружаешь одну фотографию, он еще 10 копий делает для разных целей )) 
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Zhil_hb
Zhil_hb
сообщение 12.4.2017, 10:47; Ответить: Zhil_hb
Сообщение #4


0
******


Группа: Banned
Сообщений: 1620
Регистрация: 9.1.2012
Поблагодарили: 0 раз
Репутация:   494  


(Napoleon-007 @ 12.4.2017, 04:04) *
Вордпресс все сваливает в одну кучу.
если грузить изображения через админку, то он прекрасно все разбивает по датам и в итоге все изображения на сайте хранятся в одном месте.
Следовательно, лучше открыть индексацию папки, где хранятся изображения. Тем более, что у вас сайт фотографа и органический поиск по фото/картинкам для вас, на мой взгляд, более чем актуальный.

Также желательно открыть (и как раз это в панели вебмастера гугл просит) css стили и ява скрипты, которые могут влиять на внешний вид индексируемых страниц.

В остальном согласен с Михаилом!

(Napoleon-007 @ 12.4.2017, 04:04) *
А вот как часто робот будет сканировать мой сайт и какие конкретно файлы и страницы, указываются в robot.txt  Так ? 

Нет,  в файле робота мы только прописываем рекомендации для поискового бота по поводу процесса индексирования. А вот частота сканирования не всегда зависит от вебмастера. Изначально этот процесс автоматизирпованный (частота сканирования на усмотрение робота), но на нее в ряде случаев можно повлиять. Как именно повлиять - есть масса способов (размещение анонсов, addURl сервис и др.). Но если честно, я например, не заворачиваюсь этим.
Иногда нет времени на более важные вещи, а такие заморочки с ускорением индексации не входит в мои личные приоритеты. 
(Napoleon-007 @ 12.4.2017, 13:44) *
Там когда загружаешь одну фотографию, он еще 10 копий делает для разных целей )) 
да, это так. но я все равно открывал полностью всю папку для индексации. 
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Napoleon-007
Napoleon-007
Topic Starter сообщение 12.4.2017, 10:53; Ответить: Napoleon-007
Сообщение #5


Завсегдатай
*****

Группа: User
Сообщений: 598
Регистрация: 18.6.2012
Поблагодарили: 0 раз
Репутация:   20  


(Evgeniy3200 @ 12.4.2017, 13:45) *
если грузить изображения через админку, то он прекрасно все разбивает по датам
 
Да, но все равно все сваливает в одну кучу и копии фотографий тоже. Те фотографии которые у меня на сайте не грузятся отдельно от их многочисленных копий.  Поэтому в любом случае он будет индексировать и привьюшки, и какие то ужатые копии оригинала и т.д Или не так ? Я просто не хочу весь этот мусор в поиск вгонять. Думаю не хорошо это.
Вот сейчас посмотрел. 26 копий получается с одной фотографии ))
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ShowPrint
ShowPrint
сообщение 12.4.2017, 11:03; Ответить: ShowPrint
Сообщение #6


Топовый постер
*******


Группа: Active User
Сообщений: 3412
Регистрация: 21.3.2015
Из: Москва
Поблагодарили: 3 раза
Репутация:   1000  


(Napoleon-007 @ 12.4.2017, 13:44) *
Потом я думал звездачка запрещает
"Звёздочка" - это маска, означающая произвольный набор символов. Запрещает или разрешает - зависит от директивы: в правиле disallow - запрещает, в allow - разрешает. В примере Яндекса - disallow, поэтому создается маска для запрета.

(Napoleon-007 @ 12.4.2017, 13:44) *
логичнее было бы написать  Allow: wp-content/uploads/2017/04/GL*
Вполне возможно - ты можешь создать маску именно для тех файлов, которые считаешь нужным. Смысл в том, что это лучше и оптимальнее чем перечисление всех файлов.

(Evgeniy3200 @ 12.4.2017, 13:47) *
Также желательно открыть (и как раз это в панели вебмастера гугл просит) css стили и ява скрипты, которые могут влиять на внешний вид индексируемых страниц.
+100500 Я бы сказал "обязательно" - в противном случае ГВМ будет "ругаться"

(Napoleon-007 @ 12.4.2017, 13:44) *
При формировании файла robots.txt необходимо помнить, что у робота есть разумное ограничение на его размер
Это о предельном размере, а по факту действует правило "чем меньше - тем лучше", но при этом необходимо закрыть всё, что необходимо.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Napoleon-007
Napoleon-007
Topic Starter сообщение 12.4.2017, 11:11; Ответить: Napoleon-007
Сообщение #7


Завсегдатай
*****

Группа: User
Сообщений: 598
Регистрация: 18.6.2012
Поблагодарили: 0 раз
Репутация:   20  


ShowPrint,Evgeniy3200, Всё. дошло !)) Спасибо, как то с первого раза сложно иногда въехать.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Zhil_hb
Zhil_hb
сообщение 12.4.2017, 11:39; Ответить: Zhil_hb
Сообщение #8


0
******


Группа: Banned
Сообщений: 1620
Регистрация: 9.1.2012
Поблагодарили: 0 раз
Репутация:   494  


Napoleon-007, поэтому есть и форум, где вам с радостью помогут (если это в силах помогающих). Тут точно никто никогда не откажется помочь, если знаеткак/может 
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Napoleon-007
Napoleon-007
Topic Starter сообщение 12.4.2017, 11:42; Ответить: Napoleon-007
Сообщение #9


Завсегдатай
*****

Группа: User
Сообщений: 598
Регистрация: 18.6.2012
Поблагодарили: 0 раз
Репутация:   20  


(Evgeniy3200 @ 12.4.2017, 14:39) *
поэтому есть и форум,
 
Поэтому я именно на этом форуме и остановился. А было их много у меня когда я начинал ))
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Napoleon-007
Napoleon-007
Topic Starter сообщение 16.4.2017, 21:01; Ответить: Napoleon-007
Сообщение #10


Завсегдатай
*****

Группа: User
Сообщений: 598
Регистрация: 18.6.2012
Поблагодарили: 0 раз
Репутация:   20  


(Evgeniy3200 @ 12.4.2017, 13:47) *
если грузить изображения через админку, то он прекрасно все разбивает по датам и в итоге все изображения на сайте хранятся в одном месте.

А почему при этом ссылка на саму фотографию не редактируется. Т.е прописать все теги можно к фотографии, а именно этот пункт неактивен ? Хотя ссылка на фотографию видна. Это как то через сервер нужно открывать права доступа или это особенности самого сайта ? 
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
3 чел. читают эту тему (гостей: 3, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) А не слишком ли много мы даём поисковикам?
22 Master_SEO 1823 26.9.2020, 16:00
автор: EvgenJ
Открытая тема (нет новых ответов) Не достаточно качественная страница Robots.txt
1 SergiuS85 256 19.9.2020, 21:34
автор: BLIK
Открытая тема (нет новых ответов) Продам ссылки с жирных ENG сайтов ( много трафика )
6 Barnabas 1050 5.9.2020, 8:55
автор: Barnabas
Открытая тема (нет новых ответов) Требуется копирайт, много и постоянно. Хостинг тематика.
7 wep 1063 16.6.2020, 20:39
автор: mark2013
Открытая тема (нет новых ответов) Куплю много статей по работе, зарплате, труду
Нужны сотни статей. Лучше пачками.
3 Dani 794 2.5.2020, 2:51
автор: NikaRo


 



RSS Текстовая версия Сейчас: 29.10.2020, 8:06
Дизайн