'구글 클라우드 플랫폼'에 해당되는 글 2건

Apache Airflow를 기반으로 하는 완전 관리형 워크플로 조정 서비스입니다.

신규 고객에게는 처음 90일 동안 Composer 또는 기타 Google Cloud 제품에 사용할 수 있는 $300의 무료 크레딧이 제공됩니다.

 

 

하이브리드 및 멀티 클라우드 환경을 아우르는 파이프라인을 작성, 일정 예약, 모니터링합니다.

Apache Airflow 오픈소스 프로젝트에 빌드되며 Python으로 작동

종속되지 않고 사용이 간편합니다.

 

이점

완전 관리형 워크플로 조정

Cloud Composer만의 관리 기능과 Apache Airflow 호환성 덕분에 리소스를 프로비저닝하기보다 워크플로 작성, 예약, 모니터링에 집중할 수 있습니다.

 

Google Cloud 제품과 통합

BigQuery, Dataflow, Dataproc, Datastore, Cloud Storage, Pub/Sub, AI Platform 등의 Google Cloud 제품과 엔드 투 엔드 통합을 통해 사용자는 자유롭게 파이프라인을 완전히 조정할 수 있습니다.

 

하이브리드 및 멀티 클라우드 지원

파이프라인이 온프레미스, 여러 클라우드, Google Cloud 내부 등 어디에 위치하든 관계없이 단일 조정 도구를 통해 워크플로를 작성, 예약, 모니터링합니다.

 

 

주요 특징

하이브리드 및 멀티 클라우드

온프레미스와 퍼블릭 클라우드를 넘나드는 워크플로를 조정하여 클라우드로의 이전 과정을 간소화하거나 하이브리드 데이터 환경을 유지합니다. 여러 클라우드에 걸쳐 데이터, 처리, 서비스를 연결하는 워크플로를 만들어 통합된 데이터 환경을 제공합니다.

 

오픈소스

Cloud Composer는 Apache Airflow를 기반으로 빌드되어 사용자에게 특정 서비스에 종속되지 않을 자유와 이동성을 선사합니다. Google에서도 참여하고 있는 이 오픈소스 프로젝트는 광범위한 플랫폼과 통합되는 것은 물론 고객에게 특정 서비스에 종속되지 않을 자유를 줍니다. 지원 플랫폼의 수는 Airflow 커뮤니티의 성장에 따라 계속 늘어날 전망입니다.

 

간편한 조정

Cloud Composer 파이프라인은 Python을 사용한 DAG(Directed Acyclic Graph)로 구성되어 있어 모든 사용자가 쉽게 사용할 수 있습니다. 클릭 한 번으로 배포하여 실제 워크플로의 다양한 커넥터와 여러 그래픽 표현이 들어 있는 라이브러리에 즉시 액세스할 수 있으므로 문제 해결 과정을 간소화할 수 있습니다. DAG(Directed Acyclic Graph)의 자동 동기화 기능 덕분에 일정에 맞춰 업무를 처리할 수 있습니다.

 

 

 

 

 

'IT > Google Cloud Platform' 카테고리의 다른 글

Dataflow  (0) 2022.06.06
Pub/Sub란 무엇인가요?  (0) 2022.04.21
블로그 이미지

swhwang

,

빠르고 경제적이며 서버리스 방식인 통합 스트리밍 및 일괄 데이터 처리를 제공합니다.

신규 고객에게는 처음 90일 동안 Dataflow 또는 기타 Google Cloud 제품에 사용할 수 있는 $300의 무료 크레딧이 제공됩니다.

 

완전 관리형 데이터 처리 서비스

처리 리소스의 프로비저닝 및 관리 자동화

작업자 리소스가 수평식으로 자동 확장되어 리소스 활용률 극대화

Apache Beam SDK를 통한 OSS 커뮤니티 기반의 혁신

안정적이고 일관성 있는 단 한 번의 처리

 

이점

신속한 스트리밍 데이터 분석

Dataflow를 사용하면 데이터 지연 시간을 줄이면서 스트리밍 데이터 파이프라인을 빠르고 간편하게 개발할 수 있습니다.

 

운영 및 관리 간소화

Dataflow는 서버리스 방식으로 데이터 엔지니어링 워크로드에서 운영 오버헤드를 제거하므로 팀이 서버 클러스터를 관리하는 대신 프로그래밍에 집중할 수 있습니다.

 

총 소유 비용 절감

Dataflow는 리소스 자동 확장과 비용 최적화된 일괄 처리 기능의 결합으로 무제한에 가까운 용량을 제공하므로 시기에 따라 변동하거나 급증하는 워크로드도 과다한 지출 없이 관리할 수 있습니다.

 

주요 특징

리소스 자동 확장 및 동적 작업 재균등화

데이터 인식 리소스 자동 확장을 통해 파이프라인 지연 시간을 최소화하고 리소스 사용률을 극대화하며 데이터 레코드당 처리 비용을 줄입니다. 데이터 입력은 작업자 리소스 사용률을 균등화하기 위해 자동으로 파티션이 나누어지며 지속적으로 다시 분산되고, '핫 키'가 파이프라인 성능에 미치는 영향을 줄입니다.

일괄 처리 시 유연한 예약 및 가격 책정

심야 작업과 같이 작업 예약 시간을 유연하게 처리해야 하는 경우 유연한 리소스 예약(FlexRS)으로 일괄 처리 비용을 낮춰줍니다. 이러한 유연한 작업은 6시간 안에 실행 대상으로 검색되도록 보장되어 큐에 배치됩니다.

 

 

즉시 사용할 수 있는 실시간 AI 패턴

즉시 사용 가능한 패턴을 통해 사용 설정된 Dataflow의 실시간 AI 기능은 인간에 가까운 지능으로 방대한 이벤트에 대해 실시간 대응을 지원합니다. 고객은 예측 분석 및 이상 감지부터 실시간 맞춤설정 및 기타 고급 분석 사용 사례에 이르는 지능형 솔루션을 빌드할 수 있습니다. 

 

'IT > Google Cloud Platform' 카테고리의 다른 글

Cloud Composer  (0) 2022.06.08
Pub/Sub란 무엇인가요?  (0) 2022.04.21
블로그 이미지

swhwang

,