Для чего нужен robots.txt
Среда, 11.05.2016, 01:08 | RSS
Приветствую Вас Гость
 

Бизнес портал Biz

Меню сайта
Категории раздела
Полезный софт [4]
бесплатные программы
Seo продвижение [7]
+HTML, CSS
Прочее [11]
компьютерная тематика
Здоровье [3]
Что-то оплатить? [7]
Оплата онлайн #
Познавательное видео. [1]
Видео на тему бизнеса.
Англ. версия [2]
Meist gelesen
=== Котировки ===
Котировки от Forex4You
Статистика
Яндекс.Метрика
Онлайн всего: 1
Гостей: 1
Пользователей: 0
Форма входа
-->
Главная » Файлы » Seo продвижение

Для чего нужен robots.txt

Что такое robots.txt и для чего он нужен сайту? Без robots.txt сейчас не обходится практически ни один сайт(ну кроме статических сайтов-написанных чисто на HTML-XMTL).
А вот для чего нужен robots.txt сейчас вы узнаете и поймете его необходимость. Как человек без почек, так и сайт без robots.txt

К примеру: у нас есть масса страниц, допустим это социальная сеть. И вдруг введя в поисковике чью-либо фамилию, имя, Мы получаем конфиденциальные данные переписки этого человека(а это уже нарушение закона).

К примеру: захламление сайта ненужной проиндексированной поисковой системой(Google, Yandex) информацией, допустим это страницы параметры поиска, или статистики, или и того и другого(2000 страниц). В результате чего, возникает неоправданная нагрузка на сайт + плохая индексация важных страниц.

Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте...

Вообщем: robots.txt нужен для правильной индексации сайта(запрета информации в глобальной сети для массового пользования).
В основном применяют для запрета на индексацию указанных директорий, реже самих страниц.
Его присутствие в корне сайта помогает быстрей проиндексироваться сайту.

Надеюсь эта информация была Вам полезной.
Категория: Seo продвижение | Добавил: Next
Просмотров: 856 | Рейтинг: 5.0/2
Всего комментариев: 0
Добавлять комментарии могут только зарегистрированные пользователи.
[ Регистрация | Вход ]
Объявления
Голосование
Есть ли у Вас знакомые в сфере бизнеса?
Всего ответов: 60