Spring Data MongoDB Array field $elemMatch(MongoRepository Custom)

📎 MongoRepository Custom 및 $elemMatch 사용하기

최근 사이드 프로젝트를 진행하면서 MongoDB를 처음으로 사용해보고 있습니다.

간단한 로직은 Query Method나 @Query 어노테이션으로 간단한 쿼리를 작성해서 문제를 해결하였으나, MongoDB의 경우 문법에 익숙치 않다보니 직접 Repository를 커스텀으로 생성해서 관리하는게 보다 편리할 듯 하여 커스텀 레포지토리를 만드는 방법에 대해 소개하고자 합니다.

 

추가적으로 약간 삽질을했던 Query 및 Criteria, $elemMatch를 통해 MongoDB에서 Array field를 검색하는 방법에 대해서도 추가적으로 살펴보겠습니다.

 

물론 QueryDSL을 적용하면 좀 더 편하게 작성이 가능할 것 같으나, 추후 변경하도록 하고 이번에는 Custom Repository만 생성해보겠습니다.

(포스팅에 틀린 내용이 존재할 수 있으니 피드백 주시면 감사하겠습니다. 😃)

 

 

 

📌  분석

현재 프로젝트에서 사용중인 Bookmark Entity의 필드는 다음과 같습니다.

(아무래도 NoSQL의 특성 상 하나의 테이블 및 하나의 쿼리로 여러가지들을 해결하려다 하다보니 Big Table이 된 듯 한 느낌입니다..😂)

reimnd는 Array 형식으로 내부에 userId, remindTime, fcmToken, remindCheck, remindStatus 필드가 존재합니다.

 

위 필드에서 remind의 경우 기존에는 Bookmark와 1:1 매핑이었지만, 추가 기능을 구현하면서 Bookmark와 Remind의 연관관계가 1:N이 되었고, 이로 인해 다음과 같은 고민이 생겼습니다.

• Embedding vs Referencing

전자의 경우 하나의 테이블에서 모든 것을 관리하는 반면, 후자의 경우 일반적으로 RDBMS에서 사용하는 여러 테이블간 JOIN을 사용하는 방식이라고 생각하시면 됩니다.

 

저는 Embedding를 선택하여 Remind의 경우 Array로 관리하고자 했는데요, 아래에서 설명드리겠지만 가장 큰 이유는 단일 쿼리로 모든 관련된 정보를 얻을 수 있어 성능상에 이점이 존재한다고 생각을 했습니다.

 

MongoDB Document에서 위와 같은 문제에 대해 해결안을 설명하고 있는데요, 정리하면 다음과 같습니다.

 

Embedding

Advantages

1. 단일 쿼리로 모든 관련된 정보들을 얻을 수 있습니다.
2. 어플리케이션 코드에 joins이나 $lookup과 같은 코드 구현을 피할 수 있습니다.
3. 단일 원자성의 작업으로 관련 정보들을 업데이트 할 수 있습니다.
4. 멀티 작업으로 인한 트랜잭션이 필요하다면, transaction operator를 사용해야 합니다.

Limitations

1. 만약 많은 필드가 연관성이 없다면, documents가 커질수록 오버헤드가 더 발생합니다.
2. MongoDB에는 16MB의 Document Size 제한이 존재합니다. 따라서, 단일 documen에 너무 많은 데이터를 저장할 경우 잠재적으로 이러한 제한에 도달할 수 있습니다.

 

Referencing

Advantages

1. 데이터를 나누기에 보다 작은 documents를 유지할 수 있습니다.
2. 위에서 언급한 16MB Documnet Size 제한에 도달할 가능성이 낮습니다.
3. 자주 접근하지 않는 정보는 쿼리에 필요하지 않습니다.
4. 데이터 중복이 감소합니다.

Limitations

1. 관련 documents의 데이터를 얻기 위해 최소 두 번의 쿼리 혹은 $lookup이 필요합니다.

저는 I/O Call을 줄이고자 Embedding을 사용했고, 결국 정답은 없는 트레이드 오프이기에 상황에 맞는 선택을 하면 될 듯 합니다.

혹시 비슷한 상황이시라면 위에 링크로 첨부해놓았던 MongoDB Document에 자세히 설명이 나와있으니 참고하시면 됩니다!

 

 

 

📌  문제

현재 Documents에 저장되어 있는 데이터 형식은 아래와 같습니다.

위에서 remindList Array 내에서 userId(+remindCheck & remindStatus)의 조건에 따라 해당 원소만 가져와야 했는데요, 

기존의 Query Method나 @Query의 방식으로는 리스트에서 userId가 포함하는 모든 원소를 가져오는 문제가 있었습니다.

 

예를들어 Array내에 userId = 26인 쿼리를 조회하면 0번째 원소인 빨간색 네모박스만 필요하지만, 실제 결과는 파란색 네모박스인 전체가 나오는 문제가 있었는데요, 사용한 코드는 다음과 같습니다.

    @Query(value = "{\$and: [{remindList: {\$elemMatch: {userId: ?0}}}, {remindList: {\$elemMatch: {remindCheck: false}}}, {remindList: {\$elemMatch: {remindCheck: false}}} ]}")
    fun findAllBookmarkByUserIds(userId: Long): List<Bookmark>

쿼리에.. 워낙 많은 괄호들이 사용하다보니 개인적으로는 너무 복잡하고 가독성이 떨어지기에 MongoRepository를 Custom해서 구현해주었습니다.

(원하는 결과값이 안나온건 아무래두 쿼리에 문제가 있는 듯 한데 자세히는 모르겠네요.. 😭)

 

 

 

📌  구조

구조는 매우 단순한데요 기존에 MongoRepository를 상속받아서 사용중인 BookmarkRepository 인터페이스가 존재하고, 추가적으로 Custom하고자 하는 인터페이스(MongoTemplateRepository)를 생성하고 이를 구현하는 클래스(BookmarkRepositoryImpl)을 생성한 뒤 기존의 BookmarkRepository 인터페이스에서 MongoTemplateRepository 인터페이스를 상속하면 됩니다.

(참고로 구현 클래스는 반드시 Impl으로 끝나야 한다고 합니다..;)

 

 

구현 코드

interface MongoTemplateRepository {

    fun findAllRemindByUserId(userId: Long): List<Bookmark>
}


import com.yapp.web2.domain.bookmark.entity.Bookmark
import org.springframework.data.mongodb.core.MongoTemplate
import org.springframework.data.mongodb.core.query.Criteria
import org.springframework.data.mongodb.core.query.Query

class BookmarkRepositoryImpl(
    private val mongoTemplate: MongoTemplate
) : MongoTemplateRepository {

    // userId 기준으로 리마인드 발송되었으며 미확인인 북마크 리스트 조회
    override fun findAllRemindByUserId(userId: Long): List<Bookmark> {
        val query: Query = Query()

        query.addCriteria(
            Criteria.where("remindList").elemMatch(
                Criteria.where("userId").`is`(userId)
                    .and("remindCheck").`is`(false)
                    .and("remindStatus").`is`(true)
            )
        )

        query.fields().include("userId")
        query.fields().include("folderId")
        query.fields().include("link")
        query.fields().include("title")
        query.fields().include("remindList.$")

        return mongoTemplate.find(query, Bookmark::class.java)
    }

}


interface BookmarkRepository : MongoRepository<Bookmark, String>, MongoTemplateRepository {
...
}

 

코드는 위와 같습니다. 구현체인 BookmarkRepositoryImpl 클래스에는 MongoTemplate을 주입받도록 필드를 추가합니다.

(비슷한 개념으로 MongoOperations이 있습니다. MongoTemplate는 클래스, MongoOperations는 인터페이스이며 MongoTemplate이 MongoOperations을 구현하고 있습니다. MongoTemplate - MongoOperations )

 

그 후 Query 및 Criteria를 통해 조건을 작성하는데요, elemMatch는 Array에서 조건을 만족하는 요소를 찾고자 할 때 사용할 수 있습니다.

($elemMatch의 경우 조건에 일치하는 데이터가 여러 개 일경우 하나의 데이터만 리턴하기 때문에 조건에 만족하는 모든 요소들을 찾으려면 Aggregation Operations 을 사용해서 작업을 해야 하는 듯 한데 해보지는 않아서 자세히는 모르겠습니다 ^^; - 참고 링크

저의 경우 userId가 중복될 일이 없기 때문에 데이터가 복수 개가 나올 수 없기에 $elemMatch를 사용하였습니다. 😭)

 

query().fields().include() 같은 경우는 find 결과값을 @Document가 설정된 Entity에 매핑될 때 매핑시킬 필드를 포함할 때 사용할 수 있는데요, 필요한 값에 대해서 설정해주지 않으면 null이 들어오니 설정을 해주어야 합니다.

userId, folderId, link 필드는 Bookmark Entity에서 생성자로 필요한 값이라 설정을 해주었고, title은 사용될 값이어서 설정을 해주었습니다.

 

만약 생성자가 여러개라면 @PersistenceConstructor 어노테이션을 통해 Entity로 매핑될 때 선택할 생성자를 직접 선택할 수도 있습니다.

• @PersistenceConstructor: Marks a given constructor - even a package protected one - to use when instantiating the object from the database. Constructor arguments are mapped by name to the key values in the retrieved Document.

 

 

📌  결과

위 구현 코드를 테스트해보면 실행되는 쿼리 및 결과는 다음과 같습니다.

find using query: { "remindList" : { "$elemMatch" : { "userId" : 26, "remindCheck" : false, "remindStatus" : true}}} fields: Document{{remindList.$=1, link=1, title=1, userId=1, folderId=1}}

포스트맨을 통해 테스트를 해보면 userId, remindCheck, remindStatus 조건에 일치하는 Array의 원소만 출력되는 것을 확인할 수 있습니다.

 

다른 코드에서도 원하는 결과가 안나오는 쿼리가 있는데, 언능 수정하러 가야겠습니다. 🐜

 

 

 

📌  참고문서

• https://www.mongodb.com/developer/products/mongodb/mongodb-schema-design-best-practices/
• https://docs.spring.io/spring-data/mongodb/docs/current/reference/html/
• https://stackoverflow.com/questions/68128476/getting-a-list-object-in-a-object-with-spring-and-mongotemplate
• https://stackoverflow.com/questions/47518923/mongodb-and-operator-with-nested-objects-in-arrays-not-working-as-expected
• https://stackoverflow.com/questions/58064707/mongotemplate-return-userid-null-within-springboot-project
• https://ckddn9496.tistory.com/102
• https://www.mongodb.com/docs/manual/reference/operator/query/elemMatch/