[MongoDB] 쿼리 개발과 튜닝(1)

 

 

기본 CRUD 쿼리

프로그램 언어로 MongoDB 쿼리를 작성하는 것은 쿼리 빌더와 같은 래퍼 클래스의 도움을 받으면 되기 때문에 그다지 어렵지 않으나, BSON 쿼리를 직접 손으로 입력해야 하는 경우에는 괄호 쌍을 맞추어야 한다.

 

BSON 쿼리는 기존 RDBMS 의 SQL 과 문법과 오퍼레이터만 다를 뿐 실제 대부분의 기능을 제공하고 잇다.

RDBMS SQL	MongoDB BSON
INSERT	db.collection.insert()
Batch DML	db.collection.bulkWrite()
UPDATE REPLCAE (INSERT ON DUPLICATE KEY UPDATE)	db.collection.update() db.collection.update( { }, { $set : { } }, { upsert : true } )
DELETE	db.collection.remove()
SELECT	db.collection.find()
SELECT GROUP BY	db.collection.aggregate() MapReduce

 

쿼리 작성

INSERT

InsertOne, InsertMany 의 함수도 지원하나 기본인 Insert 에 대해 알아본다.

 

일반적으로 두 개의 명령 인자를 사용하는데, 첫 번째 인자는 저장하고자 하는 도큐먼트이다.

두 번째 인자는 INSERT 를 처리할 때 사용할 여러 가지 옵션을 명시할 수 있는데 writeConcern 과 ordered 로 필수옵션이 아니기 때문에 생략이 가능하다.

옵션	설명
writeConcern	INSERT 명령이 어떤 조건에서 완료 응답을 반환할지를 결정
ordered	첫 번째 인자가 도큐먼트의 배열일 때 INSERT 명령을 배치로 처리하는데, ordered 값이 true 인 경우 도큐먼트를 순서대로 저장하기 위해 단일 쓰레드로 하나씩 INSERT 를 실행

 

* ordered 가 false 라면 실제 컬렉션에 도큐먼트가 저장되는 순서가 사용자가 명시한 순서와 다르게 저장되므로 중간에 INSERT 에 실패했을 때 재처리를 어렵게 하거나 불필요한 작업을 해야할 수 있다.

* ordered 가 false 라면 에러가 발생한 경우 그냥 무시하고 나머지 도큐먼트를 모두 INSERT 한다. 만약 배열의 하나라도 INSERT 에 실패했을 때 즉시 작업을 취소해야 한다면 ordered 를 true 로 하는게 좋다.

* 마이너한 실패는 무시하고 최대한 빨리 저장하고 싶다면 ordered 를 false 로 하여 INSERT 시 여러 쓰레드를 사용하는 것이 좋다.

 

INSERT 도큐먼트의 ObjectId 조회

많은 RDBMS 서버가 AUTO INCREMENT 또는 시퀀스와 같이 자동으로 아이디 값이 증가되는 기능을 제공한다. 값의 포맷은 조금 다르지만 MongoDB 도 12바이트로 구성된 ObjectId 라는 AUTO INCREMENT 아이디 값을 제공하고 있다.

 

물론 샤딩 환경을 고려해야 하므로 유일한 값을 구성하는 자체가 기존 RDBMS 와 조금 다르지만 기본적인 용도는 동일하게 사용할 수 있다.

 

방법은 미리 _id 필드에 ObjectId 를 생성해서 할당하는 방식으로 INSERT 될 _id 필드의 값을 미리 확인할 수 있다.

이렇게 조회 시 실제 Mongo 서버가 할당한 값이 아니라 MongoDB 드라이버에서 할당한 값이지만, 이 값을 MongoDB 서버가 값 자체를 변경하는 것은 아니기 때문에 아무런 차이가 없다.

그리고 ObjectId 는 어느 서버에서 생성하든지 유일성이 보장되는 구조라서 굳이 단일 서버에서 발급해야 하는 제약 사항이 없다.

 

UPDATE

updateOne, updateMany, replaceOne 의 함수도 있으나 UPDATE 에 대해 알아본다.

INSERT 와 달리 3개의 인자를 사용하는데 세 번째 인자는 선택 옵션으로 '업데이트 대상 도큐먼트 검색 조건' 과 '업데이트 내용' 만 사용할 수도 있다.

 

첫 번째 인자에는 변경할 도큐먼트를 검색하는 조건을 사용한다.

두 번째 인자는 변경할 내용을 기술하는데 set 옵션이 없으면 기존 도큐먼트를 통째로덮어써 버리기 때문에 주의해야 한다. 이 외 다양한 오퍼레이터를 사용할 수 있다.

오퍼레이터	설명
$inc	필드의 값을 주어진 값만큼 증가시켜서 저장
$mul	필드의 값을 주어진 값만큼 배수로 저장
$rename	필드의 이름을 변경 _id 를 입력하여 특정 도큐먼트의 필드명만 변경할수도 있으며 전체 도큐먼트 변경도 할수 있는데 이는 서비스에 상당한 영향을 미치므로 주의해야 함
$setOnInsert	set 과 동일한 방식으로 사용하지만 upsert 옵션이 true 인 UPDATE 명령이 업데이트 해야 할 도큐먼트를 찾지 못해서 INSERT 를 실행해야 할 때에만 적용
$set	도큐먼트 필드 값을 변경
$unset	도큐먼트의 필드를 삭제
$currentDate	필드의 값을 현재 시각으로 변경

 

세 번째 인자는 UPDATE 를 처리할 때 적용할 여러가지 옵션을 설정한다.

옵션	설명
upsert	upsert 옵션을 false 로 설정하면 UPDATE 명령이 조건에 맞는 도큐먼트를 찾지 못하더라도 어떤 변경을 가하지 않으나 true 인 경우 새로운 도큐먼트를 INSERT 함
multi	기본적으로 단일 도큐먼트의 업데이트만 수행하여 검색 조건에 일치하는 도큐먼트가 2개 이상이더라도 그 중 하나만 변경 true 로 설정하면 조건에 일치하는 모든 도큐먼트를 변경
writeConcern	UPDATE 명령이 어떤 조건에서 '완료' 응답을 반환할지를 결정
collation	UPDATE 명령이 변경할 대상 도큐먼트를 검색하 때 사용할 문자 셋과 콜레이션을 명시

 

배열 필드 업데이트

MongoDB 는 배열필드에 대한 많은 오퍼레이션을 제공한다.

따라서 배열 필드의 데이터를 변경하기 위해 도큐먼트의 클라이언트로 가져온 다음 가공해서 다시 변경하는 형태로 업데이트 하지 않고도 특정 위치의 배열 엘리먼트를 수정할 수 있다.

 

새로운 엘리먼트를 추가하고자 하는 경우 $push 명령을 이용해 추가할 수 있다.

뿐만 아니라 배열 엘리먼트 중 특정 필드값인 엘리먼트만 새로운 값으로 대체할 수 있다.

 

그러나 배열 타입의 값을 가지는 필드에서는 유일성이 보장되지 않는다.

이렇게 하나의 도큐먼트 내에서 배열 필드의 유일성을 보장해야 하는 경우에는 배열을 다시 새로운 서브 도큐먼트로 처리하면 데이터를 변경할 때 유일성을 보장받을 수 있다.

 

REMOVE

컬렉션의 도큐먼트를 삭제하는 방법으로는 deleteOne, deleteMany 도 있지만 기본명령어인 remove 에 대해 알아본다.

 

REMOVE 명령은 2개의 도큐먼트 인자를 필요로 한다.

첫 번째 인자는 삭제할 필드의 검색조건이며, 두 번째 인자는 선택 옵션을 사용할 수 있다.

옵션	설명
justOne	REMOVE 명령은 여러 도큐먼트가 삭제 만약 justOne 옵션을 명시하지 않으면 조건에 맞는 모든 도큐먼트를 삭제하나, true 로 설정하면 조건에 일치하는 첫 번째 도큐먼트만 삭제
writeConcern	REMOVE 명령이 어떤 조건에서 완료 응답을 반환할지 결정
collation	REMOVE 명령이 삭제할 대상 도큐먼트를 검색할 때 사용할 문자 셋과 콜레이션

 

격리된 UPDATE 와 REMOVE

쓰기 오퍼레이션은 도큐먼트 단위의 원자성만 제공한다.

하나의 쓰기 오퍼레이션으로 여러 도큐먼트를 변경하거나 삭제하더라도 내부적으로 하나의 트랜잭션으로 하나의 도큐먼트만 처리하는 방식으로 작동한다.

 

그래서 여러 도큐먼트를 변경하면 오퍼레이션이 완료되기도 전에 먼저 변경된 데이터들은 다른 커넥션에서 즉시 조회할수 있다.

 

만약 하나의 명령이 완료되기 전까지 다른 커넥션에서 변경 내용을 확인하지 못하게 하려면 격리된 UPDATE 또는 REMOVE 명령을 사용해야 한다. 이 명령 모두 업데이트 대상 도큐먼트를 검색하는 조건과 함께 $isolated : 1 옵셩르 사용하면 된다.

 

이 옵션을 사용하면 변경 작업이 완료될때까지 다른 커넥션이 변경중인 데이터를 볼 수는 없지만, 업데이트 명령의 트랜잭션을 보장하지는 않는다. 이 말은 작업 도중 에러가 발생하면 이미 처리된 도큐먼트에 대해서는 롤백을 보장하지 않는다는 뜻이다.

 

BulkWrite

데이터 변경 명령을 모아서 한 번에 실행할 수 있는 명령으로 반드시 하나의 컬렉션에 대해서만 데이터를 변경할 수 있다.

명령의 결과는 명령 단위로 정리해서 적용된 건수를 보여준다.

처리결과의 insertedIds 서브 도큐먼트에는 INSERT 된 도큐먼트들의 프라이머리 키 (_id ) 값을 반환한다.

upsertedIds 서브 도큐먼트에는 UPDATE 명령의 upsert 플래그가 true 일 때 INSERT 된 도큐먼트들의 프라이머리 키 값을 반환한다.

 

BulkWrite 명령도 다른 CRUD 명령과 같이 ordered 옵션을 사용할 수 있다. 이 때 ordered 옵션이 true 이면 BulkWrite 명령에 주어진 각 하위 명령이 순차적으로 실행되며, 중간에 실패 돜큐먼트가 발생하면 지금까지 변경된 도큐먼트는 그대로 유지하고 남은 작업은 모두 멈춘다.

ordered 옵션을 false 로 설정하면 여러 쓰레드로 나누어 병렬로 처리하며, 중간에 에러가 발생해도 나머지 작업을 멈추지 않고 처리한다.

 

만약 라우터를 사용해야 하는 클러스터 환경이면 ordered 옵션으로 인한 성능 차이는 더 크게 난다.

또한 WriteConcer 옵션도 같이 설정할 수 있다.

 

FIND

Find 는 데이터를 조회하는 명령으로, MongoDB 에서 사용하는 명령 중 가장 다양한 조건이나 옵션을 사용할 수 있는 명령이다.

 

FIND 명령은 2개의 인자를 사용하는데, 첫 번째 인자는 도큐먼트를 검색할 때 사용할 조건을 명시하며, 두 번째 인자에는 클라이언트로 반환할 필드를 명시한다. 이 두 인자는 모두 선택 옵션이므로 아무 인자 없이 명령을 사용할 수도 있다.

 

FIND 명령이 아무 조건이 주어지지 않으면 컬렉션을 풀 스캔한 결과를 반환한다.

만약 컬렉션의 모든 도큐먼트를 가져오지만 도큐먼트의 지정된 필드들만 가져오고자 한 다면, 검색 조건은 빈 도큐먼트로 설정하고, 두 번째 인자에 원하는 필드만 선택하면 된다.

 

FIND 명령에서 사용하는 두 번째 인자는 쿼리가 반환할 필드의 목록을 선택하는데, 이를 프로젝션(Projection) 이라고 한다.

MongoDB 의 프로젝션에서 가져오고자 하는 필드는 1로 표시하며 그렇지 않은 필드는 0 으로 표시한다.

그런데 프로젝션에서 0 과 1을 같이 사용할 수는 없다.

일부 필드에 대해 프로젝션 옵션을 명시하면 나머지 명시되지 않은 필드는 그 반대로 자동으로 설정돼서 프로젝션할 필드가 결정된다.

 

다만 _id 필드에 대해서는 이 제한이 예외로 적용된다.

 

FIND 연자

검색 조건에 사용할 수 있는 오퍼레이터를 MongoDB 매뉴얼에서는 크게 7가지 정도로 나눠서 구분한다.

하지만 굳이 검색조건을 사용하면서 사용하는 오퍼레이터가 어떤 그룹의 오퍼레이터인지 식별할 필요는 없다.

오퍼레이터는 비교 / 논리 결합 / 필드 메타 / 평가 / 공간 / 배열 / 비트 로 나뉜다.

 

MongoDB 의 검색 조건은 모두 JSON 포맷으로 사용해야 하므로 RDBMS 와 같은 비교 연산자 그대로를 사용할 수는 없고, 이를 모두 $ 로 시작하는 오퍼레이터로 새로 만들고 JSON 문법에서 사용하도록 하고 있다.

 

비교 오퍼레이터

연산자	설명
$eq	=
$gt	>
$gte	>=
$lt	<
$lte	<=
$ne	<> 또는 !=
$in	IN
$nin	NOT IN

 

논리 결합 오퍼레이터

연산자	설명
$or	OR 예) db.collection.find( { $or : [ { name : "mozi" } , { blog : "tistory" } ] } )
$and	AND
$not	부정 연산
$nor	배열로 주어진 모든 표현식에 일치하지 않는지 비교

 

필드 메타 오퍼레이터

연산자	설명
$exists	필드를 가졌는지
$type	필드의 데이터 타입을 비교

 

평가 오퍼레이터

연산자	설명
$mod	%
$regex	정규 표현식
$text	전문 검색 비교
$where	표현식에 일치하는 도큐먼트만 필터링해서 반환 where 절에 주어진 조건은 인덱스를 사용하지 못함 - 성능느림

 

배열 오퍼레이터

연산자	설명
$all	배열 타입의 필드가 파라미터로 주어진 배열의 모든 엘리먼트를 가졌는지 비교
$elemMatch	모든 조건에 일치하는 엘리먼트를 하나라도 가진 도큐먼트를 검색 배열에서 자주사용되는 기능
$size	배열의 엘리먼트 개수를 비교