Atlas Stream Processing이 정식 출시되었습니다!

개발자들이 반응형 이벤트 중심 애플리케이션을 신속하게 구축할 수 있도록 스트리밍 데이터를 처리하는 MongoDB 네이티브 방식인 Atlas Stream Processing을 정식 버전으로 출시합니다.

우리 팀은 지난 2년 동안 스트림 처리의 어려운 과제를 극복하기 위해 비전을 정의하고 MongoDB의 강점을 활용하는 제품을 구축했습니다. MongoDB 외부에서 10년 동안 스트림 처리 제품을 개발한 후 당사는 쿼리 API와 강력한 집계 프레임워크, 문서 모델, 스키마 유연성 등 MongoDB 고유의 장점과 차별화 요인을 모두 활용하여 뛰어난 개발자 경험을 창출하고 있습니다.

이는 새로운 스트림 처리 방식이며, 동 업계에서 얻은 수많은 피드백에 비추어볼 때 대부분의 개발자에게 가장 적합한 방법입니다.

새로운 기능을 살펴보겠습니다.

정식 버전에 어떤 새로운 기능이 추가되었습니까?

프로덕션 지원:
프로덕션 워크로드를 지원하여 미션 크리티컬 애플리케이션에 신뢰할 수 있고 확장 가능한 스트림 처리를 보장합니다.

Time-series 지원:
프로세서 결과를 Time-series 컬렉션으로 내보냅니다. 명시적으로 시계열 데이터를 효율적으로 저장하고 쿼리를 수행하기 위해 구축된 MongoDB Atlas 컬렉션 유형에서 추후 시계열 기록에 액세스하기 위해 데이터 사전 처리 과정을 지속적으로 진행하는 동시에 데이터를 저장합니다.

개발 및 프로덕션 계층:
공개 미리 보기 단계에서 사용할 수 있는 SP30 클러스터 계층 외에도 탐색적 사용 사례와 트래픽이 적은 스트림 처리 워크로드에 유연성과 비용 효율적인 옵션을 제공하는 SP10 계층을 도입합니다.

Kafka 지원 개선:
애플리케이션이 이벤트 데이터와 함께 추가 메타데이터를 제공할 수 있도록 Kafka 헤더 지원이 추가되었습니다. 다양한 스트림 처리 사용 사례(예: 메시지 라우팅, 조건부 처리 등)에 유용합니다.

최소 권한 액세스:
Atlas 데이터베이스 사용자는 스트림 처리 인스턴스에 액세스 권한을 부여하고 필요한 사용자만 액세스하도록 설정할 수 있습니다.

Stream Processor 알림:
고장 발생 시 알림을 생성하여 스트림 프로세서의 상태에 대한 인사이트와 가시성을 확보하세요. 지원되는 알림 방법에는 이메일, SMS, Datadog과 같은 모니터링 플랫폼이 있습니다.

Atlas Stream Processing이란?

Atlas Stream Processing은 까다로운 스트림 처리 영역에 MongoDB의 문서 모델과 쿼리 API의 강력한 성능과 유연성을 제공합니다. Atlas Stream Processing으로 개발자가 수행할 수 있는 작업은 다음과 같습니다.

복잡하고 빠르게 변화하는 데이터 구조를 손쉽게 처리

스트리밍 데이터 처리에 친숙한 MongoDB Query API 사용

MongoDB Atlas와 원활하게 통합

운영 오버헤드를 제거하는 완전 관리형 서비스

고객 하이라이트

Atlas Stream Processing에 대한 개발자의 의견을 읽어보세요.

Atlas Stream Processing의 미래는?

당사는 모든 개발 팀에 세계적 수준의 스트림 처리 환경을 제공하기 위해 MongoDB의 새로운 기능을 빠르게 도입하고 있습니다. 앞으로 몇 달 동안 공개될 내용은 아래와 다음과 같습니다.

고급 네트워킹 지원:
추가 네트워킹 기능이 요구되는 팀에 Kafka 클러스터 VPC 피어링 지원

확장된 클라우드 리전 지원:
Atlas Data Federation에서 이용 가능한 모든 클라우드 리전 지원

확장된 클라우드 공급자 지원:
Microsoft Azure 지원

확장된 데이터 소스와 싱크 지원:
추가 소스와 싱크에 대한 구체적인 내용은 아직 발표하지 않았지만, 앞으로 몇 달 내에 Kafka와 Atlas 데이터베이스 이상으로 확장할 계획이 있습니다. 필요한 소스와 싱크를 알려 주시면 계획에 반영하겠습니다.

풍부한 지표와 관찰:
스트림 프로세서의 가시성을 확장하여 모니터링과 문제 해결을 단순화하는 데 도움이 됩니다.

Terraform으로 배포 유연성 확보: Terraform을 사용하는 Atlas Stream Processing 인스턴스와 Atlas Stream 레지스트리 연결 관리를 지원합니다. 이러한 통합은 원활한 CI/CD 파이프라인을 지원하여 코드형 인프라로 운영 효율성 향상을 실현합니다. 또한, 조만간 Atlas Stream Processing과 Terraform을 시작하는 방법을 소개할 전용 블로그도 기대해 주세요.

그러므로 고속 센서 데이터를 처리하거나, 고객 데이터를 지속적으로 분석하여 개인화된 경험을 제공하거나, 예측 정비를 수행하여 수율을 높이고 비용을 절감하려는 작업을 찾으신다면 Atlas Stream Processing으로 지원할 수 있습니다. 이미 Atlas Stream Processing으로 구축되고 있는 수백 개의 개발 팀에 합류하세요. 곧 더 많은 소식이 있을 예정이니 계속 지켜봐 주시기 바라며 귀사의 발전을 기원합니다.

Source: Read More