BDP(Bigidean Data Platform)은 최신 하둡 3.3.x 기반의 다양한 에코시스템들을 통합하고 쉽게 구축할 수 있도록 패키징 되었으며, 데이터 수집, 적재, 분석, 연동작업을 유연하며 빠르게 개발할 수 있는 환경을 제공하여 고객의 비즈니스에 빅데이터 서비스를 빠르게 적용 할 수 있습니다.

기존 빅데이터 온프레미스 환경의 과도한 비용 이슈를 줄이기 위해 Container 서비스를 적용한 하이브리드 빅데이터 아키텍처를 통해 도입 비용을 최소화 하였습니다.

플랫폼의 오픈소스 빅데이터 에코 구성요소들의 커플링을 최소화하여 향후 주요 에코 소프트웨어의 버전업을 빠르게 할 수 있도록 지속적인 지원을 합니다.

풀패키징된 빅데이터 플랫폼을 합리적인 비용으로 적용하여 귀사의 비즈니스에 빅데이터 기반 분석 플랫폼을 도입하십시오.

1. 수집

   • 1. • 다양한 원천 데이터를 수집 및 가공하여 빅데이터에 적재할 수 있도록 플로우 개발을 제공합니다.

        • 추가 솔루션인 BIS(Bigidean Ingestion Solution)를 활용하면 수집 개발 생산성을 3~5배 올릴 수 있습니다.

2. 데이터웨어하우스

   • 1. • 기본적으로 HIVE 데이터웨어하우스를 제공하며, 고성능 분석을 위한 Trino SQL Engine 연동을 제공합니다.

3. 워크플로우

   • 1. • Apache Oozie 와 DolphinScheduler 를 지원합니다.

4. 분석

   • 1. • Hue, Zeppelin, Superset , JupyterLab 을 활용한 분석 환경을 지원하여 추가 비용 부담 없이 빅데이터 분석을 할 수 있습니다.

        • NoSQL(Hbase & Phoenix) 및 Trino 엔진을 통합하여 SQL 기반 고성능 데이터 분석이 가능합니다.

5. 연동

   • 1. • 외부 시스템(web, bi tool, etc) 과의 데이터 연동을 위한 기술 및 가이드를 제공합니다.

• 최신 Hadoop eco 시스템 통합 제공

  1. hadoop 3.3.1 기반 eco 시스템 통합

• 도커 컨테이너 기반 하이브리드 아키텍처 구성

  1. 비용 효율적인 빅데이터 클러스터 구축

  2. 높은 데이터 처리 및 분석 성능 유지

• Ansible playbooks 기반의 쉬운 설치

  1. One-stop 클러스터 설치

  2. Command 기반 클러스터 제어 관리

• 운영 관리 기능

  1. 데이터 권한 관리 기능 제공

  2. Command Line 및 UI 기반 관리 기능 제공

  3. 클러스터 리소스 모니터링 제공

• 빠른 빅데이터 서비스 개발

  1. 수집을 통해 빅데이터에 빠른 적재 가능

     • Apache NiFi 최신 버전 제공

     • file, csv, open-api,etc 수집을 위한 다양한 템플릿 제공

  2. 워크플로우 배치 개발 기능 제공

     • Apache Oozie 를 지원하여 기존 빅데이터 시스템에서 Oozie로 개발된 플로우를 이관하기 쉽습니다.

     • Apache DolphinScheduler 를 지원하여 보다 직관적이며 생산성 높은 플로우 개발을 지원합니다.

  3. 빅데이터 기반 분산 형태소 분석 기능 제공

     • 수집된 데이터를 쉽고, 고성능으로 형태소 분석 가능

• 분석에 활용할 수 있는 다양한 오픈소스 툴 연동

  1. zeppelin, superset

  2. 향후 지속적으로 툴 연동 지원

1. 빅데이터 분석을 위한 쿼리 & 워크플로우 에디터

   1. 빅데이터 분석을 위한 Ansi-SQL 지원

   2. workflow editor를 기반으로 빠른 배치 플로우 개발

      1. 1. 1. Hue Assistant

            2. Apache DolphinScheduler

2. 다양한 데이터 분석 엔진

   2. 1. 1. NoSQL(Hbase) 및 Trino Engine 제공

3. 형태소 분석 UDF 제공

   2. 1. 1. Hive UDF 기반 한글 형태소 분석을 통해 분산 형태소 분석을 제공하여 고성능 처리를 제공합니다.

         2. 하둡 HDFS 시스템 기반 사용자 사전을 UDF 수행 시 마다 선택하여 분석 가능

4. 빅데이터 분석 tool 연동 제공

   1. 빅데이터 분석 노트북 기능 연동 (included Zeppelin)

   2. 빅데이터 오픈소스 BI 툴 연동 (included SuperSet)

5. Command Line 기반 쉬운 관리 기능 제공

   1. 전체 서비스 기동 및 중지

   2. 서비스 별 상태 체크

6. 통합 서비스 관리 기능

   1. 전체 서비스 상태 대시보드 제공

   2. 서비스 별 제어기능 (start & stop)

   3. 오픈소스 컴포넌트 별 제공되는 UI 활용을 위한 Fast Link 제공

7. 시스템 리소스 모니터링 기능

   1. Hadoop 상태 모니터링

      1. Namenode 상태

      2. hdfs 상태

      3. yarn 상태

   2. 서버 별 시스템 리소스 상태

8. 접근제어 기능

   1. apache ranger 기반으로 hadoop hdfs , hive database & table의 접근 제어 기능 제공