정의
정보 이득(Information gain)은(는) 이미 검색 결과에 있는 문서들에 없는 새로운 내용을 얼마나 담고 있는지를 뜻합니다. 같은 내용을 더 길게 쓴 문서보다, 남들이 안 쓴 것이 하나라도 있는 문서가 선택됩니다.
더 설명하면
상위 문서를 요약해 합치는 방식으로는 이득이 0입니다. 직접 측정한 수치, 실제 사례, 실패 기록, 1차 자료 확인 결과가 이득을 만듭니다.
AI 검색에서는 이 성질이 더 중요해집니다. 어디에나 있는 설명은 모델이 이미 알고 있어 출처를 붙일 이유가 없고, 우리만 가진 사실에는 출처가 필요하기 때문입니다.
실무에서 문제가 되는 순간
상위 10개를 읽고 정리해 더 길게 쓰는 방식이 한동안 통했지만 지금은 잘 안 됩니다. 이미 있는 내용을 다시 쓴 문서는 검색엔진에도 AI 에도 추가할 이유가 없습니다. 직접 측정한 수치 하나, 실제로 겪은 실패 하나가 분량 두 배보다 낫습니다.
자주 하는 오해
- 분량이 길면 깊이가 있다고 보는 오해가 흔합니다. 밀도가 낮은 긴 글은 발췌할 덩어리를 만들지 못합니다.