robots.txt란?

robots.txt는 검색엔진 크롤러(구글봇, 네이버봇 등)에게 어떤 페이지를 수집해도 되는지 알려주는 설정 파일입니다.

• 검색엔진 크롤링 허용 및 차단 설정
• 관리자 페이지 차단 가능
• sitemap.xml 위치 안내 가능
• SEO 최적화 기본 설정
• 구글·네이버 웹마스터도구 등록 시 활용

일반적으로 robots.txt 파일은 사이트 최상위 경로에 업로드합니다.
예시: https://example.com/robots.txt