X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

3 страниц V   1 2 3 >
Открыть тему
Тема закрыта
> Googlebot теперь работает на базе последней версии Chromium
VinogradOFF
VinogradOFF
Topic Starter сообщение 8.5.2019, 23:51; Ответить: VinogradOFF
Сообщение #1


Топовый постер
*******


Группа: Active User
Сообщений: 3370
Регистрация: 7.8.2018
Из: Казань
Поблагодарили: 470 раз
Репутация:   37  


Google запускает новую версию Googlebot. Веб-краулер теперь всегда будет работать на базе последней версии Chromium (браузер с открытым исходным кодом, на базе которого создан Chrome).

Сейчас Googlebot использует Chromium версии 74 вместо устаревшей 41-й. Обновленный краулер поддерживает более 1000 новых функций, благодаря чему Google сможет обрабатывать больше контента сайтов. Это значит, что их владельцам, скорее всего, не придется создавать специальные решения и использовать функции вроде «транспайлинга» (transpiling) или полифиллы.

Однако стоит отметить, что Googlebot по-прежнему может видеть не все.

источник
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Chaser
Chaser
сообщение 5.7.2019, 10:21; Ответить: Chaser
Сообщение #2


Бывалый
****

Группа: User
Сообщений: 276
Регистрация: 26.3.2009
Поблагодарили: 106 раз
Репутация:   20  


Небольшое наблюдение по новому принципу сканирования страниц сайта Гуглботом и как это может повлиять на статистику просмотров https://site-analyzer.ru/articles/googlebot...page-rendering/


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
OS_ZP_UA
OS_ZP_UA
сообщение 5.7.2019, 11:38; Ответить: OS_ZP_UA
Сообщение #3


Завсегдатай
*****

Группа: Active User
Сообщений: 777
Регистрация: 22.9.2011
Из: Украина, Запорожье
Поблагодарили: 313 раз
Репутация:   25  


Цитата(Chaser @ 5.7.2019, 8:21) *
Небольшое наблюдение по новому принципу сканирования страниц сайта Гуглботом и как это может повлиять на статистику просмотров https://site-analyzer.ru/articles/googlebot...page-rendering/

Ну так у вас сервер не настроен. Он при повторной загрузке отдает страницу с кодом 200 ОК, а должен 304 Not Modified. Настройте сервер, и не будет у вас никаких неправильных влияний на статистику...
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Кадиков
Кадиков
сообщение 7.7.2019, 18:19; Ответить: Кадиков
Сообщение #4


Новичок
*

Группа: User
Сообщений: 16
Регистрация: 1.7.2019
Поблагодарили: 1 раз
Репутация:   0  


Цитата(VinogradOFF @ 8.5.2019, 23:51) *
Chromium версии 74 вместо устаревшей 41-й.

Не прошло и 100 лет как они это сделали. Теперь ждем какие баги принесло это обновление
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Ruby
Ruby
сообщение 7.7.2019, 19:47; Ответить: Ruby
Сообщение #5


Бывалый
****

Группа: User
Сообщений: 326
Регистрация: 12.8.2018
Из: Сибирь
Поблагодарили: 41 раз
Репутация:   1  


Цитата(OS_ZP_UA @ 5.7.2019, 11:38) *
Он при повторной загрузке отдает страницу с кодом 200 ОК, а должен 304 Not Modified.


А что это дает для бота?
Почему именно такой ответ сделать нужно?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
OS_ZP_UA
OS_ZP_UA
сообщение 7.7.2019, 23:52; Ответить: OS_ZP_UA
Сообщение #6


Завсегдатай
*****

Группа: Active User
Сообщений: 777
Регистрация: 22.9.2011
Из: Украина, Запорожье
Поблагодарили: 313 раз
Репутация:   25  


Относительно бота. Бот видит, что страница не изменялась, не загружает ее повторно, и не анализирует ее повторно, это очень существенно краулинговый бюджет экономит, и ускоряет индексацию нового и изменяющегося контента, за счет того что бот не занят лишним сканированием и пересканированием того что не изменилось.
И да, это не значит что бот посетит страницу один раз, и после этого всегда будет получать на ней 304, и больше никогда не обойдет по новой. Бот, также как и браузер, хранит историю определенное время, и через две недели, или месяц, при повторном обходе страниц, он не будет ее помнить, и запросит ее как новую.
Ну и...304 ответ это ведь не только для ботов...для пользователей это скорость, а скорость это ПФ. Для сервера это процессорное время и трафик.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
VinogradOFF
VinogradOFF
Topic Starter сообщение 8.7.2019, 20:26; Ответить: VinogradOFF
Сообщение #7


Топовый постер
*******


Группа: Active User
Сообщений: 3370
Регистрация: 7.8.2018
Из: Казань
Поблагодарили: 470 раз
Репутация:   37  


Цитата(OS_ZP_UA @ 7.7.2019, 23:52) *
Ну и...304 ответ это ведь не только для ботов...для пользователей это скорость, а скорость это ПФ. Для сервера это процессорное время и трафик.


Бот яндекса аналогично предпочитает 304 ответы?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
OS_ZP_UA
OS_ZP_UA
сообщение 8.7.2019, 23:54; Ответить: OS_ZP_UA
Сообщение #8


Завсегдатай
*****

Группа: Active User
Сообщений: 777
Регистрация: 22.9.2011
Из: Украина, Запорожье
Поблагодарили: 313 раз
Репутация:   25  


Цитата(VinogradOFF @ 8.7.2019, 18:26) *
Бот яндекса аналогично предпочитает 304 ответы?

Должен также предпочитать.
По моим наблюдениям, у бота Яндекса есть одно отличие, он хранит историю посещений за намного более короткий промежуток времени, и соответственно эффект от 304 ответа для Яндекса будет намного меньше. Если посмотреть на логи сервера, у меня бот Яндекса получает страницу с ответом 304 раз в 10 реже чем бот Гугла.


Поблагодарили: (2)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Osipec
Osipec
сообщение 10.7.2019, 2:28; Ответить: Osipec
Сообщение #9


Бывалый
****

Группа: User
Сообщений: 397
Регистрация: 17.8.2018
Поблагодарили: 41 раз
Репутация:   3  


Цитата(OS_ZP_UA @ 5.7.2019, 11:38) *
Ну так у вас сервер не настроен. Он при повторной загрузке отдает страницу с кодом 200 ОК, а должен 304 Not Modified. Настройте сервер, и не будет у вас никаких неправильных влияний на статистику...


а подскажите годную статью по настройке ответа такого
как и где это сделать?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
OS_ZP_UA
OS_ZP_UA
сообщение 10.7.2019, 10:44; Ответить: OS_ZP_UA
Сообщение #10


Завсегдатай
*****

Группа: Active User
Сообщений: 777
Регистрация: 22.9.2011
Из: Украина, Запорожье
Поблагодарили: 313 раз
Репутация:   25  


Цитата(Osipec @ 10.7.2019, 0:28) *
а подскажите годную статью по настройке ответа такого
как и где это сделать?

А так слабо https://www.google.com/search?client=firefo...%B5%D1%80%D0%B0
там первая же статья вполне нормально объясняет http://site-on.net/optimization/7-last-modified
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
3 страниц V   1 2 3 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыПрогоны по трастовым сайтам (в базе нет форумов) от Антоныч88
Ответственное исполнение, полный отчет, приятная цена.
425 Антоныч88 335731 21.1.2020, 0:55
автор: boltuk
Открытая тема (нет новых ответов) Microsoft выпустила браузер Edge на базе Chromium
2 seostock 199 17.1.2020, 17:02
автор: Ruby
Открытая тема (нет новых ответов) Верстка + Разработка веб-приложений на базе: Yii Framework 2, Laravel, MySQL
Верстка,правка косяков/багов + другая работа. Доступные цены.
16 Fortunatus 8597 17.1.2020, 14:12
автор: Fortunatus
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыЯндекс работает над новым рекламным форматом
19 MissContent 2939 24.12.2019, 9:03
автор: wanessa
Открытая тема (нет новых ответов) Facebook работает над собственной операционной системой
4 VinogradOFF 283 23.12.2019, 18:07
автор: VinogradOFF


 



RSS Текстовая версия Сейчас: 26.1.2020, 22:17
Дизайн