Using Sort, Scrolling Large Query Results

https://sundaland.tistory.com/417

 

[ ▶ Using Sort ]

Spring Data JPA에서 정렬(Sort)은 PageRequest를 제공하거나 직접 Sort 객체를 사용하여 수행할 수 있다. 이때, 사용되는 정렬 속성은 도메인 모델에 맞아야 하며, 쿼리 내에서 사용되는 속성이나 별칭과 일치해야 한다. JPQL에서는 이를 상태 필드 경로 표현(state field path expression)이라고 정의한다.

 

[ ▷ Sort 사용 ]

Sort 객체는 쿼리에 전달되어 결과를 정렬하는 데 사용된다. Sort를 사용하여 정렬할 때는 도메인 모델에서 사용되는 속성명을 기반으로 정렬 기준을 설정해야 한다. 잘못된 경로 표현을 사용하면 예외가 발생다.

다음은 정렬과 JPQL 쿼리를 사용하는 예시다.

public interface UserRepository extends JpaRepository<User, Long> {

    @Query("select u from User u where u.lastname like ?1%")
    List<User> findByAndSort(String lastname, Sort sort);

    @Query("select u.id, LENGTH(u.firstname) as fn_len from User u where u.lastname like ?1%")
    List<Object[]> findByAsArrayAndSort(String lastname, Sort sort);
}

 

[ ▷ 정렬 문제 ]

▼ findByAndSort 메서드를 호출하여 정렬하는 예제

repo.findByAndSort("lannister", Sort.by("firstname"));               // (1)
repo.findByAndSort("stark", Sort.by("LENGTH(firstname)"));          // (2)
repo.findByAndSort("targaryen", JpaSort.unsafe("LENGTH(firstname)")); // (3)
repo.findByAsArrayAndSort("bolton", Sort.by("fn_len"));             // (4)

• (1): 도메인 모델의 속성인 firstname을 사용한 유효한 정렬이다.
• (2): 함수 호출인 LENGTH(firstname)을 사용했으므로 예외가 발생한다. 이는 JPQL에서 허용되지 않는 정렬이다.
• (3): JpaSort.unsafe를 사용하여 명시적으로 안전하지 않은 정렬을 지정했다. 이 경우 함수 호출을 포함한 정렬이 허용된다.
• (4): 쿼리에서 정의된 별칭 fn_len을 사용하여 유효한 정렬이다. 이 쿼리는 LENGTH(u.firstname)의 결과를 fn_len으로 alias하고 이를 통해 정렬한다.

 

[ ▷ JpaSort와 안전하지 않은 정렬 ]

기본적으로 Spring Data JPA는 함수 호출을 포함한 정렬 인스턴스를 거부한다. 그러나 JpaSort.unsafe를 사용하면 이러한 잠재적으로 안전하지 않은 정렬을 추가할 수 있다. 이는 쿼리 문자열에 정렬 조건이 추가되기 때문에 가능하다.

 

정렬을 사용할 때는 도메인 모델의 속성 또는 쿼리에서 정의된 별칭을 기반으로 하는 것이 중요하다. JpaSort.unsafe를 사용하면 보다 유연한 정렬이 가능하지만, 이 경우 SQL 인젝션과 같은 보안 문제에 유의해야 한다. 이를 통해 Spring Data JPA의 강력한 쿼리 작성 능력을 더욱 확장할 수 있다.

 

[ ▶ Scrolling Large Query Results ]

대규모 데이터 세트를 다룰 때, 스크롤링(Scrolling)은 모든 결과를 메모리에 로드하지 않고 효율적으로 처리하는 데 도움을 줄 수 있다. 아래에서는 대규모 쿼리 결과를 소비하기 위한 여러 가지 옵션에 대해 자세히 설명한다.

 

[ ▷ 스크롤링 방식 ]

데이터베이스에서 대량의 결과를 처리할 때 사용할 수 있는 스크롤링 방법은 다음과 같다.

 

 

[ ▷ Paging (페이지네이션) ]

페이지네이션은 이미 익숙한 방법으로, Pageable 및 PageRequest를 사용하여 결과를 페이지 단위로 나누어 조회한다. 이는 총 결과 수를 계산하고, 사용자가 요청한 특정 페이지에 해당하는 데이터만을 가져오는 방식이다.

 

[ ▷ Offset-based Scrolling (오프셋 기반 스크롤링) ]

• 오프셋 기반 스크롤링은 페이지네이션의 경량화된 버전이다. 이 방식은 전체 결과 수를 요구하지 않으며, 사용자가 특정 위치에서부터 데이터를 가져오는 방식이다.
• 예를 들어, 첫 번째 100개의 결과를 가져온 후, 다음 100개를 가져오고 싶을 때 사용할 수 있다. 그러나 이 방법은 데이터가 추가되거나 삭제될 경우, 결과가 불안정해질 수 있다.

 

[ ▷ Keyset-based Scrolling (키셋 기반 스크롤링) ]

• 키셋 기반 스크롤링은 오프셋 기반 스크롤링의 단점을 피하는 방법이다. 데이터베이스 인덱스를 활용하여 더 효율적으로 결과를 검색한다.
• 이 방식은 페이지가 변경될 때 결과가 안정적이며, 특히 고유한 키가 있는 데이터에 대해 성능을 극대화할 수 있다.

 

[ ▷ 사용 가능한 API ]

스크롤링을 구현하는 데 사용할 수 있는 다양한 API가 있다.

• Scroll API: 쿼리 메서드, Query-by-Example, Querydsl과 함께 사용할 수 있다. 이를 통해 대량의 데이터를 단계적으로 처리할 수 있다.

 

[ ▷ 제한 사항 ]

문자열 기반 쿼리 메서드를 사용한 스크롤링은 현재 지원되지 않으며, 저장된 @Procedure 쿼리 메서드를 사용하는 경우에도 스크롤링이 지원되지 않는다. 이는 성능과 안정성을 보장하기 위한 제한 사항이다.

 

 

대규모 데이터 세트를 처리할 때 스크롤링을 통해 메모리 사용을 최적화할 수 있으며, 다양한 방법과 API를 활용하여 요구 사항에 맞는 최적의 접근 방식을 선택할 수 있다. 각 스크롤링 방식의 특징과 한계를 이해하고 적절하게 활용하는 것이 중요하다.