최근 몇몇 블로그 글을 읽다 보면 구글 빅테이블(Google BigTable)을 관계형 데이터베이스의 대체 저장소로 오해하고 있는 듯한 글들이 눈에 띈다. 이런 오해의 근원은 빅 테이블이 몇몇 구글 서비스의 저장소로 사용되었음을 "Bigtable: A Distributed Storage System for Structured Data"란 논문에서 언급하였기 때문인 것 같다. 또, 구글 빅 테이블의 오픈소스 클론 프로젝트인 HyperTable 개발자인 더그 주드(Doug Judd)가 기업용 소프트웨어 개발 커뮤니티인 인포큐과의 인터뷰에서 현재 MySQL이 차지하고 있는 웹 콘텐트 저장소로 자리매김하고 싶다란 견해를 밝혔다. 이런 측면만 보면 구글 빅테이블과 관계형 데이터베이스를 직접 비교하는 우를 범할만도 하다.

모든 데이터베이스는 레코드 단위로 데이터를 저장하는 로우 기반 데이터베이스와 필드 단위로 데이터를 저장하는 컬럼 기반 데이터베이스로 구분할 수 있다. 제목, 작성일, 본문 필드를 가진 사용자가 작성한 글을 글 단위로 저장한다면 로우 기반 데이터베이스가 되고 제목, 작성일, 본문 필드 각각을 따로 저장하면 컬럼 기반 데이터베이스가 된다. 구글 빅테이블은 컬럼 기반 데이터베이스에 해당된다. 반면에 최신 관계형 데이터베이스는 이 두가지를 혼용하여 사용한다고 한다.

저장 구조가 다르기 때문에 이 두가지 형태의 데이터베이스는 사용처에 따라 각자의 성능을 최대로 발휘된다. 데이터를 레코드 단위로 저장, 인출하는 관계형 데이터베이스는 한 레코드 전체를 읽어 사용해야 하는 경우에 한번에 읽을 수 있어 더 유리하다. 반면에 컬럼 데이터베이스는 컬럼 단위로 쓰거나 읽어야 하는 경우에 더 유리하다. 구글의 빅테이블은 웹 크롤러가 저장하고 분산 인덱서가 인출하는 웹 저장소로 시작되었기 때문에 컬럼 기반 데이터베이스 형태로 설계되었다. 이런 선택은 특정 색인필드만을 대량 고속으로 인출해야 하는 분산 웹 색인기의 사용 패턴에 기인한다.

컬럼 기반 데이터베이스는 컬럼 데이터형이 동일하기 때문에 이질 데이터형을 가진 필드를 가진 로우 기반 데이터베이스에 비해 압축 효율이 더 좋기 때문에 저장공간 효율면에서 우월하다. 특히, 컬럼 값이 띄엄띄엄 있는 대용량 데이터를 다룰 경우에 더 좋아진다. 반대로 무작위 인출 연산이 필요한 경우에는 압축해제 시간과 여러 컬럼을 인출해 합쳐야 하는 부담으로 로우 기반 데이터베이스 비해 성능이 떨어진다.

이와 같은 구조적인 차이로 인해 구글 빅테이블은 MySQL과 같이 주 저장구조로 로우 기반 데이터베이스인 관계형 데이터베이스와는 다른 목적으로 설계되어 대치물로 비교되어서는 절대 안된다. 컬럼 기반 데이터베이스가 컬럼의 합인 레코드를 모두 읽어야 하는 경우에 성능이 떨어짐에도 불구하고 저장 효율이 높고 컬럼 단위 인출 속도가 높다는 특징으로 단순한 구조의 대용량 웹 콘텐트의 저장소와 같은 특수한 경우에만 적합하기 때문이다. 한 개의 큰 테이블만을 사용자에게 제공하는 구글 베이스가 이와 같은 특수 사용예다. 논문에 언급한 구글 서비스들도 단순한 구조의 데이터만을 구글 빅테이블에 올리고 있다.

구글 서비스에서 구글 빅테이블을 웹 콘텐트 저장소로 일부 채택했다고 해서 모든 웹 서비스의 데이터 저장소로 구글 빅테이블을 사용할 수 있을 것이라고 오해하면 안된다. 잘 알려진 구글 인프라들은 대용량 검색인프라에 뿌리를 두고 설계되었기 때문에 설계 중심에는 오프라인 처리가 기본 사상이다. 비록 구글 빅테이블과 같이 온라인 처리를 지원하는 인프라라도 오프라인 대용량 처리가 기본 사상이기 때문에 온라인 처리는 특수한 경우에만 효율적이게 된다. 따라서 관계형데이터베이스가 충분히 처리 가능한 수 백만개의 데이터를 다루는 곳에서는 부적합한 경우 또는 사용할 수 없는 경우가 더 많다. 사용자 계정정보, 구매 기록과 같이 트랜잭션과 완벽한 관계성 준수가 필요한 경우는 부적합하고 문자열이 위주인 게시판 또는 정적 웹 페이지를 많이 저장하고 인출할 때 유용하다. 특히, 수억개로 누적될 수 있는 있는 웹 로그, UCC, 크롤된 텍스트를 저장하고 인출하는데 적합하다.

[1] 구글 빅테이블 논문: http://labs.google.com/papers/bigtable.html
[2] 인포큐 인터뷰: http://www.infoq.com/news/2008/04/hypertable-interview
[3] 하이퍼테이블: http://hypertable.org/
[4] 컬럼 기반 데이터베이스: http://en.wikipedia.org/wiki/Column-oriented_DBMS

@webJOY