Перейти к содержимому
← VantyRexVANTYREX SYSTEMS

Глоссарий / SEO, GEO и AEO

robots.txt

robots.txt — простой текстовый файл в корне сайта, говорящий краулерам, какие пути им можно и нельзя запрашивать. Это договорённость, основанная на вежливости, а не защита: воспитанные боты его чтут, злоумышленники игнорируют, поэтому он никогда не должен быть тем, что прячет чувствительные URL. При правильном использовании он направляет бюджет обхода на страницы, достойных индексации.

Строите что-то, где это нужно? Поговорите с инженером: Форма связи

VantyRex Systems © 2026

VantyRex Systems · www.vantyrex.com/ru/learn/glossary/what-is-robots-txt/

ENHEARRU