검색엔진 크롤링 기반을 위한 SEO 기초 파일 추가

SEO 기초 셋업 작업. robots.txt와 sitemap.xml 두 파일을 추가해서 Google 인덱싱 기반을 잡았다.

왜 지금이었나

서비스가 어느 정도 형태를 갖추고 나면 자연스럽게 "검색엔진에서 잘 잡히냐"는 질문이 나온다. 팀 내에서도 그 이야기가 나오기 시작했고, 가장 먼저 챙겨야 할 기초 작업이 바로 이 두 파일이었다.

robots.txt와 sitemap.xml은 코드 한 줄 없이 텍스트 파일 두 개지만, 크롤러 입장에서는 이 둘이 없으면 사이트 구조를 파악하는 데 불필요한 비용이 든다. 반대로 이 두 파일이 제대로 세팅돼 있으면 크롤러가 "어디를 봐야 하고, 어디는 보지 않아도 되는지"를 명확하게 알 수 있다. 개발자 입장에서 가장 낮은 비용으로 검색 가시성을 높이는 방법이라 우선순위를 높게 뒀다.

파일별 역할과 신경 쓴 부분

robots.txt 에서 신경 쓴 건 Disallow 범위였다. 관리자 페이지나 내부 API 경로처럼 외부에 노출될 필요 없는 경로는 확실히 막아뒀다. 반대로 과도하게 막으면 정작 인덱싱돼야 할 페이지까지 차단되는 실수가 생긴다. 흔한 실수 중 하나가 / 전체를 Disallow 해놓고 왜 검색에 안 뜨냐고 하는 경우다. 이번엔 팀원들과 같이 체크리스트 형태로 경로를 하나씩 검토하면서 설정했다.

User-agent: *
Disallow: /admin/
Disallow: /api/
Allow: /

Sitemap: https://example.com/sitemap.xml

robots.txt 마지막 줄에 Sitemap 경로를 명시하는 것도 놓치기 쉬운 포인트다. Google Search Console에서 수동으로 sitemap을 제출할 수도 있지만, 파일 자체에 경로를 박아두면 크롤러가 알아서 발견할 수 있다.

sitemap.xml 쪽은 정적 페이지 URL을 수작업으로 열거하는 방식으로 먼저 시작했다. 동적으로 생성되는 페이지가 늘어나면 나중에 빌드 타임 혹은 런타임에 자동 생성하는 방식으로 바꿔야 하겠지만, 지금 단계에서는 관리 가능한 범위였고 복잡도를 올리는 것보다 빠르게 배포하는 게 맞다고 판단했다.

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://example.com/</loc>
    <lastmod>2026-05-15</lastmod>
    <priority>1.0</priority>
  </url>
  <url>
    <loc>https://example.com/about</loc>
    <lastmod>2026-05-15</lastmod>
    <priority>0.8</priority>
  </url>
</urlset>

<priority> 값은 Google이 실제로 얼마나 반영하는지 불투명한 면이 있다는 걸 알고 있지만, 크롤러에게 힌트를 주는 차원에서 홈과 핵심 페이지는 높게, 서브 페이지는 낮게 설정했다.

회고

이런 작업이 개발 관점에서는 되게 단순해 보인다. 텍스트 파일 두 개니까. 그런데 팀에서 SEO를 제대로 챙기기 시작하는 첫 단계라는 점에서 의미가 있었다. 나중에 Google Search Console에서 인덱싱 커버리지를 보거나 크롤 오류를 추적할 때 이 파일들이 기준점이 된다.

• robots.txt 문법 오류는 크롤러가 파일 전체를 무시할 수도 있으니 Google의 robots.txt 테스터 꼭 돌려볼 것
• sitemap URL이 실제로 접근 가능한지 (200 응답) 배포 후 확인 필수
• 페이지 수가 많아질수록 sitemap index 파일로 분리하는 구조도 고려해야 함
• lastmod는 실제 콘텐츠 변경일과 맞춰야 의미가 있음 — 임의로 오늘 날짜 박는 건 별 도움 안 됨

기초를 제대로 깔아야 그 위에 구조화 데이터든, 페이지 속도 최적화든 쌓을 수 있다. 이번 커밋은 그 첫 번째 벽돌이었음.

다음

🛒 이 글과 어울리는 추천 상품

• 기계식키보드 쿠팡에서 보기 →
• 외장SSD 쿠팡에서 보기 →
• 모니터암 쿠팡에서 보기 →

*위 링크는 쿠팡파트너스 활동의 일환이며, 일정액의 수수료를 제공받을 수 있습니다.