| A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | R | S | T | U | V | W | X | Y |
| А | Б | В | Г | Д | К | Л | М | О | П | Р | С | Т | Ф | Х | Ц | Ч | Ш | Э | Ю | Я |
|
Robots.txt
- текстовый файл ограничения доступа к содержимому поисковым роботам на http сервере.
Файл robots.txt находится в корневой директории сайта. Для ограничения доступа поисковых роботов изпользуются специальные инструкции, которые могут разрешать или запрещать индексацию тех или иных разделов или страниц сайта для роботов различных поисковых систем. С помощью robots.txt можно задать зеркало домена или настроить временной интервал между индексированием содержимого сайта и т.п.. Что почитать по теме? См. также: htaccess |
