Глоссарий / SEO, GEO и AEO
robots.txt
robots.txt — простой текстовый файл в корне сайта, говорящий краулерам, какие пути им можно и нельзя запрашивать. Это договорённость, основанная на вежливости, а не защита: воспитанные боты его чтут, злоумышленники игнорируют, поэтому он никогда не должен быть тем, что прячет чувствительные URL. При правильном использовании он направляет бюджет обхода на страницы, достойных индексации.
Строите что-то, где это нужно? Поговорите с инженером: Форма связи