구글 서치콘솔을 확인하다 보면 ‘robots.txt에 의해 차단됨’이라는 메시지를 접하는 경우가 있습니다. 이는 사이트의 일부 페이지가 검색 엔진에 의해 크롤링되지 못하고 있다는 뜻으로, 웹사이트의 노출에 직접적인 영향을 줄 수 있습니다. 이 포스팅에서는 해당 메시지가 발생하는 주요 원인과 해결 방법을 단계별로 안내해드리겠습니다. robots.txt란 무엇인가요? 📌 크롤링을 제어하는 파일 robots.txt는 검색 엔진 로봇이 웹사이트를 탐색할 때 어떤 경로는 … 구글 서치콘솔 robots.txt에 의해 차단 원인과 해결 방법 계속 읽기