문서의 유사중복을 판별하기에 문서를 통째로 비교하는 것은 효율성도 낮고 효과적이지 못하기 때문에,

보통 문서에서 의미 있는 시그너처(Signature)들을 추출한 후, 각 문서들의 시그너처를 비교하여 문서 중복 여부를 판별한다.

두 문서가 서로 공유하는 문서 시그너처가 많을 수록 유사도가 높다고 할 수 있는데,

두 문서 사이의 유사도가 지정된 유사도 임계값 이상일 경우 중복으로 판별된다.

이 문제에서 유사도를 판별하는 식은 다음과 같다.

sim(A,B) = |A∩B|/|A∪B|

여기서 ∩는 교집합, ∪는 합집합을 의미하며,

A, B는 각각 다른 두 문서에서 추출된 시그너처들의 집합이며,

문서간 유사도는 시그너처 집합 A, B의 합집합의 원소 개수에 대한 교집합의 원소 개수의 비율로 계산한다.

Near Duplicate Detection timer 1s memory 128MB

Near Duplicate Detection 1s 128MB