Первый говорит поисковым роботам, что не индексировать. Второй — список всех страниц, которые индексировать нужно.
Частая ошибка: закрыть сайт от индексации на время разработки и забыть открыть после запуска. Проверяйте это в день сдачи.
Файлы robots.txt и sitemap.xml
Первый говорит поисковым роботам, что не индексировать. Второй — список всех страниц, которые индексировать нужно.
Другие термины
<a> в HTML: назначение и пример
HTML-элемент a. Создаёт гиперссылку.
<abbr> в HTML: назначение и пример
HTML-элемент abbr. Обозначает сокращение.
<acronym> в HTML: назначение и пример
HTML-элемент acronym. Исторически обозначал акроним.
<address> в HTML: назначение и пример
HTML-элемент address. Содержит контактную информацию автора или владельца ближайшей статьи либо документа.
<area> в HTML: назначение и пример
HTML-элемент area. Описывает кликабельную область карты изображения.
<article> в HTML: назначение и пример
HTML-элемент article. Выделяет самостоятельный материал: публикацию, новость или другую часть, которую можно рассматривать отдельно от остальной страницы.
<aside> в HTML: назначение и пример
HTML-элемент aside. Выделяет материал, косвенно связанный с основным содержимым: примечание, справку или блок дополнительных ссылок.
<audio> в HTML: назначение и пример
HTML-элемент audio. Встраивает звук.