Кроме размера шингла в ETXT рекомендуется выставлять
- Минимальный интервал между смежными запросами (я выставляю 20 сек.)
- Таймаут закачки каждой страницы (200сек)
- Максимальное количество одновременно скачиваемых страниц. (5)
Попробуйте поиграть со значениями этих параметров и Вы увидите как изменяется уникальность одного и того же текста. Они влияют на жесткость проверки. Пробуйте.
Что касаемо меня ни один клиент еще за 2 года не жаловался на неуникальность текстов. Все в индексе по сей день у них.