정의
청킹(Chunking)은(는) 긴 문서를 검색·인용에 쓰기 좋은 단위로 쪼개는 작업입니다. AI 검색은 문서 전체가 아니라 이 조각 단위로 관련성을 판단하고 답변에 가져갑니다.
더 설명하면
조각은 보통 제목 구조와 문단 경계를 따라 나뉩니다. 소제목 없이 긴 문단이 이어지는 글은 깔끔하게 쪼개지지 않아 불리합니다.
하나의 조각이 그 자체로 말이 되어야 합니다. "위에서 설명한 방법"처럼 앞을 가리키는 표현이 많으면 조각만 떼어 놨을 때 뜻이 통하지 않습니다.
실무에서 문제가 되는 순간
소제목 없이 긴 문단이 이어지는 보도자료형 글이 AI 답변에 잘 안 나오는 이유입니다. 같은 내용을 소제목으로 나누고 문단을 짧게 끊기만 해도 인용 가능성이 달라집니다.
자주 하는 오해
- 문단을 짧게 쪼개면 내용이 빈약해 보인다고 걱정하는 경우가 있습니다. 밀도만 유지되면 짧은 문단이 읽기에도 낫습니다.