robot.txt는 웹사이트 루트 디렉토리에 위치한 텍스트 파일로, 검색엔진 크롤러에게 사이트 내 어떤 페이지를 크롤링해도 되고 어떤 페이지는 크롤링하지 말아야 하는지 알려주는 역할을 합니다. 이를 통해 웹사이트 관리자는 […]