Руками, программиста найми... Вы о чем ребята? Для большинства популярных CMS уже есть куча плагинов\модулей которые самостоятельно это делают, и выгружают.

Если кучи вложенностей нет, и ссылок различных на уникальные материалы которые нигде больше не отображаются, то хватит вообще и статической по основным страницам, разделам. Такую карту можно сделать на любом сервисе коих тысячи.

Сообщение отредактировал santis - 17.7.2015, 17:15

santis, популярных CMS... сайт самописный у меня

По карте сайта да, либо сделать так (установить плагин, прописать отдельно разработчикам), что бы она генерировалась самостоятельно. Или использовать какой либо строний сервис. Я использовал этот: https://htmlweb.ru/analiz/sitemap.php

WeBpIaR, Недавно выложил в паблик https://pypi.python.org/pypi/sitemap-generator/
Написан на python. https://github.com/Haikson/sitemap-generator/ - как пользоваться.
Если есть хоть какой то навык общения с python, то легко можно настроить и запустить. Скоро добавлю туда возможность создавать карты разных форматов, а пока полноценно генерит sitemap.xml
Не проверено в работе с сайтами с больше чем 50000 страниц. Вирт. хостинги не прокатят.

Не вижу особых сложностей. Вся задача — текстовый файл с расширением xml в кодировке UTF-8.
Две начальных строки и финальную берём из любого чужого сайтмэпа (либо генерим свой с помощью чего-нибудь типа Sitemap Writer Pro). Смотрим содержимое — это по два тега на каждую страницу: loc (урл) и lastmod (когда последний раз модифицирована) в контейнере url. Есть ещё третий, списком из трёх всё у Яндекса и ограничивается (у Гугля есть ещё и расширенные спецификации, под картинки, к примеру, а вот Яндекс эти спецификации не понимает, так что нефиг выпендриваться, тем более, что Гугль на картинки без текста чихать и кашлять хотел даже при наличии сайтмапа вне зависимости от степени уникальности).

Индексировать всё подряд нет смысла: только то, что часто обновляется или добавляется (у меня это, к примеру, объявления). Остальное ПС найдут сами. Остального, как правило, не так уж много. На крайняк можно добавить самую важную статику — в начале или в конце сайтмапа. Напоследок залочить генерацию сайтмэпа на открытый всем ветрам урл (даже если чужой спайдер эту ссылку потрогает, то сайтмэп лишний раз обновится, от этого никто никогда не умирал), и закинуть данный урл в крон (планировщик). Страдающие приступами паранойи изредка добавляют в этот урл хеш-код фамилии своего прадедушки, чтобы не. В общем, работы — от силы на пару часов, если не торопиться. Главное — правильно выбрать принцип перебора страниц и составить его для генерации сайтмапа.

mmkulikov, какой CROn ? Зачем создавать лишнюю нагрузку каждые n - минут?
Сайт самописный, следовательно лучше всего обновлять файл sitemap.xml во время публикации новой страницы (поста)
У автора наверняка есть админская панель управления, через которую он добавляет новый материал,
так просто по кнопке сохранить\опубликовать сделать добавление строк в файл sitemap..
В этом нет ничего сложного, если PHP ищи материал на тему Чтение\Запись в файл

Еще один вариант если нет навыков в программировании и нет желания обращаться к программистам, сервис
http://www.mysitemapgenerator.com
Только после генерации, открой карту текстовым редактором, посмотри нет ли там лишнего мусора,
а новые страницы в дальнейшем можешь добавлять туда ручками)))

В обновлении sitemap при публикации есть свои минусы.
1. Если сайт состоит не из одного модуля ( допустим "блог"), а из нескольких, то нужно для каждого модуля писать свой "генератор", учитывающий роутинг ( опять же если он есть, а он должен быть ). А потом уже собирать их в кучу.
2. Каждый раз при создании нового материала после выполнения п. 1 идет процесс перезаписи файла. Если у сайта огромное количество страниц и большая частота обновлений, то представьте нагрузку.
3. А если информация заливается пачками? Например импортируется. Соответственно нужно учитывать и этот момент.
4. Меняется у сайта структура ( бывает и такое ). Добавляются новые правила построения ссылок. Форумы.

Если все эти пункты отсутствуют, то можно за 3 минуты написать такой функционал.

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.