фу посидел..похимичил, получилось создать только туда попали новые материалы а старые нет, они наверно тогда из индекса выпадут?

сайтемап нужен только для тех старниц, которые не доступны не по одной html ссылки
например если ссылка на страницу генерируется с помощью JS то поисковик её не увидит, но если она выводится с помощью php или прям в html вписана, то сайтмап на такую страницу можно не делать, он и так прекрасно проиндексируется.

яндекс почему-то рекомендует делать несмотря на наличие ссылок

рекомендует, и гугл рекомендует, но, я специально следил, 5к страниц было добавлено 5к нет.
и страницы индексировались в разнобой.
так что это не фига не влияет толком. Более того, написано что можно в сайтмап указать скорость изменения контента и прочее... но робот всё равно посчитает сам наилучшую скорость) так что что парится? вон
для сайта нет сайтмапа, на второй день после написания статьи уже сайт появился в поиске
http://www.google.ru/search?aq=f&sourc...A%D0%B8+MongoDB
так что всё это бесполезно

а что скажите на счет robots.txt??

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.