Во-первых не robot.txt, а robots.txt
название исправил, дабы не заблуждаться дальше...

Почитать можно на Wikipedia, там и ссылки есть, где подробнее можно почитать

От меня,

Посетители от этого вам не прибавятся, а создаётся он для управлением индексации поисковиками, но не все его соблюдают...

sev, если не знаете как правильно делать его, сделайте хоть просто пустой файл (только с правильнымназванием ). В таком случае ваш сайт будет полностью индексироваться

Это для оптимизации к посиковикам? Файл набит контекстными словами...типа, которые соответствуют тематике сайта?

Нет, это правила для поисковиков, какие папки они в праве индексировать, какие нет, есть ещё некоторые возможности... Почитать об этом можно в статьях про robots.txt, ссылки дал выше

А где этот robots.txt брать? Или самому вручную писать... немного не понятно

MEGApixel, создаём файл текстовый документ .txt, называем его robots А дальше писать самому...

А какие именно инструкции надо писать? Или дайте ссылку на статью, где это можно прочитать

В википеди многое можно найти
ru.wikipedia.org/wiki/Robots.txt

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.