ZITTME DISCUSSION

검색과 AI 노출 개선, 어떤 것부터 하면 좋을까요

사이트맵, 구조화 데이터, 언어별 주소, AI 크롤러 정책을 준비하려 합니다. 순서와 기본값을 함께 정하고 싶습니다.

• 사이트맵이 없습니다. 새 글을 검색엔진이 발견할 때까지 기다려야 합니다.
• 상품이나 글 정보를 기계가 읽을 형태로 내주지 않습니다. 쇼핑 검색에 가격이나 별점이 함께 뜨지 않습니다.
• 언어별 주소가 없습니다. 같은 주소가 방문자에 따라 다른 언어로 보이는데, 검색엔진은 언어를 바꿔가며 보지 않습니다. 그래서 12개 언어를 지원해도 검색에는 기준 언어 하나만 잡힙니다.
• AI에게 사이트를 알려주는 파일이 없습니다. 요즘은 검색창보다 AI에게 먼저 묻는 분이 늘었습니다.

1. 사이트맵

"이런 페이지들이 있습니다"라는 목록을 검색엔진에 건넵니다. 비공개 게시판이나 권한이 걸린 글은 빠지고, 게시판 단위로 넣고 뺄 수 있게 합니다.

켜면 사이트를 읽으러 오는 요청이 늘어나 공유 호스팅에는 부담이 될 수 있습니다. 기본은 꺼두고 필요하신 분이 켜는 방식으로 하려 합니다.

2. 구조화 데이터

페이지 안에 "이건 상품이고 가격은 얼마, 별점은 몇 점"이라는 내용을 기계가 읽을 형태로 함께 담습니다. 검색 결과에 가격과 별점이 같이 뜨느냐가 여기서 갈립니다. 쇼핑몰 상품부터 하고 게시글, 예약 순으로 넓힐 생각입니다.

3. 언어별 주소

기준 언어는 지금 주소를 그대로 쓰고, 나머지 언어에만 앞에 언어 코드가 붙습니다.

기준 언어가 한국어인 사이트
/board/123 → 한국어, /en/board/123 → 영어

기준 언어가 영어인 사이트
/board/123 → 영어, /ko/board/123 → 한국어

접두사는 언어 종류가 아니라 기준 언어인지 아닌지로만 갈립니다. 영어권 서비스라면 기준 언어를 영어로 두면 되고, 주소마다 /en이 붙는 일은 없습니다.

켜는 순간 주소 체계가 바뀌므로 기본은 꺼둡니다.

4. AI 크롤러를 종류별로 조절

AI가 사이트를 읽는 이유는 세 가지입니다.

• 학습용 - 모델을 훈련하는 데 쓴다
• 답변용 - 질문에 답하려고 그때 읽는다
• 검색용 - AI 검색 결과에 넣으려고 읽는다

지금은 셋을 한꺼번에 막거나 여는 수밖에 없습니다. 그런데 답변용과 검색용까지 막으면 AI가 답할 때 우리 사이트를 인용하지 않습니다. 노출될 기회를 스스로 닫는 셈이라, 나눠서 켜고 끌 수 있게 하려 합니다.

다만 robots.txt는 크롤러가 알아서 지켜주는 약속이라, 완전히 막아준다고 말씀드리기는 어렵습니다.

가장 걱정되실 부분일 것 같아 미리 적습니다.

• 구조화 데이터는 페이지 상단에 정보 한 덩어리가 더 붙을 뿐이라 스킨은 고칠 필요가 없습니다.
• 본문 규약(글을 어떤 태그로 감쌀지 등)은 권고입니다. 지키지 않아도 지금대로 동작하고, 검색에서 조금 덜 유리할 뿐입니다. 코어가 강제할 수 있는 영역도 아닙니다.
• 사이트맵, 언어별 주소, robots.txt 편집은 모두 기본 꺼짐입니다. 켜지 않으면 달라지는 것이 없습니다.
• robots.txt는 원래 있던 파일입니다. 편집 기능을 켤 때 직접 고쳐 쓰시던 내용을 먼저 읽어 들이고 시작합니다.

아직 확정된 것은 없습니다. 의견을 듣고 정하려고 합니다. 댓글로 편하게 남겨주세요.