MySQL, PostgreSQL 관계형 데이터베이스 CloudSQL(GCP자격) DataEngineer-

CloudSQL은 Structured Data (정형화된 데이터)에 적합한 서비스입니다.Cloud.google.com(doc): https://cloud.google.com/sql/docsCloud.google.com(imagen):https://youtu.be/vMUpNoukwnM->”구글 클라우드 플랫폼 엮기” 책->”google.cloud.com” doc->”Coursera(코세라)” 핸드북+자료->블로그검색->YouTube 검색학습 진행

< Cloud SQL For SQL Server >

정의: Cloud SQL은 우리가 많이 사용하는 대표적인 관계형 데이터베이스인 MySQL과 PostgreSQL입니다. GCP에서 유지관리 해주는 완전 관리형 데이터베이스 서비스로 쉽게 설정과 유지관리 및 관리가 가능합니다. 고성능, 확장성, 편의성을 제공하기 위해 데이터베이스 관리는 GCP에 맡겨 app 개발에 집중할 수 있습니다.

장점: 보안 및 규정 준수 필요에 따라 확장 가능 단 몇 분 만에 설정

주요 특징 : 완전관리형 CloudSQL이 자동으로 데이터베이스의 안정성, 보안성, 확장성을 보장하므로 비즈니스를 중단없이 운영할 수 있습니다. CloudSQL은 백업, 복제, 암호화 패치, 용량 확장을 모두 자동화하여 세계 어디서나 99.95% 이상의 가용성을 보장합니다.

통합 모든 애플리케이션에서 CloudSQL 인스턴스로 액세스할 수 있습니다. 워크스테이션과 AppEngine, ComputeEngine, Google Kubernetes Engine으로 쉽게 연결할 수 있습니다. Big Query를 통해 CloudSQL 데이터베이스에 직접 쿼리하고 분석할 수 있습니다.

안정성 복제 및 백업을 쉽게 구성하여 데이터를 보호할 수 있습니다. 자동 장애 조치를 실행하여 가용성이 높은 데이터베이스를 구축하면 데이터가 자동으로 암호화되며 CloudSQL은 SSAE16, ISO27001, PCIDSS를 준수하고 HIPAA 규정 준수도 지원합니다.

CloudSQL을 통해 손쉽게 마이그레이션 Database Migration Service(DMS)를 통해 최소한의 다운타임으로 프로덕션 데이터베이스를 CloudSQL로 손쉽게 마이그레이션할 수 있습니다. 서버리스 제품으로 마이그레이션을 위한 리소스를 프로비저닝, 관리, 모니터링하는 수동 작업이 필요하지 않습니다. DMS는 MySQL과 PostgreSQL의 기본 복제 기능을 사용하여 마이그레이션의 품질과 신뢰도를 극대화합니다. 추가비용 없이 CloudSQL에서 기본적인 유사 마이그레이션을 실행할 수 있습니다.

<Cloud SQL – MySQL>

MySQL은 세계에서 가장 많이 쓰이는 오픈 소스 관계형 데이터베이스에서 오라클에서 관리·지원하고 있습니다. 다중 스레드, 다중 사용자 형식의 구조적 질의 응답 형식이 데이터베이스 관리 시스템입니다.

-완전 관리형 데이터베이스-20년 1월 30일 제2세대 인스턴스의 대응, MySQL5.6or5.7최대 416GB의 RAM과 10TB의 데이터 영역을 제공, 필요에 응하고 Repository사이즈가 자동적으로 증가하는 옵션을 제공합니다. ( 제1세대 지원은 20년 1월 30일 종료)-GCPConsole내에서 손쉽게 인스턴스 생성·관리 가능-미국, 유럽, 아시아에서 사용 가능한 인스턴스-CloudSQL프록시 또는 SSL/TLS프로토콜을 사용한 보안 접속 지원 비공개 IP(비공개 서비스 접속)지원-CSV형태의 파일을 가져오거나 내보낼 수-자동 장애 조치로 다양한 영역 간에서 데이터를 복제-주문형 자동 백업 및 특정 시점의 복구가 가능-StackdriverLogging및 Monitoring과 통합

일반적으로 CloudSQL인스턴스에서 제공하는 MySQL기능은 로컬에서 호스팅 하는는 MySQL과 기능은 같지만 몇가지의 차이가 있습니다.

(지원되지 않는 기능)-사용자가 정의하는 함수를 사용 불가-SUPER권한

(지원되지 않는 명령)이하의 명령은 “Error1290:TheMySQLserverisrunningwiththegoogleoptionsoitcannotexecutethisstatement”메시지와 함께 오류가 발생합니다.-LOADDATAINFILE(단, LOADDATALOCALINFILE는 서포트)-SELECT… INTO OUTFILE-SELECT … INTO DUMPFILE-INSTALL PLUGIN …-UNINSTALL PLUGIN …-CREATE FUNCTION … SONAME …-CREATE TABLE … SELSECT문-트랜잭션 내의 CREATETEMPORARYTABLE문-트랜잭션 및 비트란 자쿠)테이블을 모두 업데이트하는 트랜잭션과 명령문

(지원되지 않는 함수)-LOAD_FILE()

(미대응 클라이언트 프로그램)-LOADDATAINFILE제한되기 때문에-local옵션을 사용하지 않는 mysqlimport는 지원하지 않습니다. 원격으로 데이터 로드를 하려면 CloudSQLimport함수를 사용할 필요가 있습니다.-인스턴스 유저에게 FILE권한이 주어지지 않아-tab옵션 또는-tab옵션과 함께 사용되는 mysqldump는 지원되지 않습니다.-바이너리 데이터 있는 데이터베이스를 갖고 오는 길은-hex-blob옵션을 mysqldump와 함께 사용할 필요가 있습니다.제2세대 인스턴스의 경우 Repository엔진으로 InnoDB만을 지원됩니다.-트리거, 함수, 저장 프로시저, 표시를 CloudSQL에 넣거나 송신할 수 없습니다.

< Cloud SQL – PostgreSQL >

PostgreSQL은 확장 가능성 및 표준 준수를 강조하는 객체 관계형 데이터베이스 관리 시스템의 하나로, BSD 허가권으로 배포되며, 많은 오픈 소스 개발자 및 회사가 개발에 참여하고 있습니다. 주요 특징으로는 다른 관계형 데이터베이스 객체를 사용자가 임의로 만들 수 있는 기능을 제공하기 때문에 단순한 자료 Repository가 아닌 개발 언어처럼 무한한 기능을 구현할 수 있게 해줍니다. 또한 객체 지향 언어와 함께 테이블을 만들고 그 테이블을 상속받을 하위 테이블을 만들 수도 있습니다.

  • CloudSQL 2세대 플랫폼을 기반으로 하는 완전 관리형 PostgreSQL 9.6 데이터베이스 – 최대 416GB의 RAM 및 64개의 CPU를 갖춘 커스텀 머신 타입, 최대 10TB의 저장 용량을 사용할 수 있으며 필요에 따라 Repository 크기를 자동으로 늘릴 수 있음 – CluoudSQL 프록시 또는 SSL/TLS 프로토콜을 사용한 보안 외부 접속 지원 – 자동 장애 조치를 통해 Repository 크기를 자동으로 늘릴 수 있음
  • (지원되지 않는 기능) 특정 시점에서의 복구불가-GCP콘솔 또는 gcloud 명령줄 도구를 사용하여 CSV 형태의 파일을 가져오거나 전송할 수 없다.

<OtherDB> <CloudSpanner >

  • Horizontal Scalability(수평적 확장=Scaleout=서버 추가가 필요할 때 사용)→따라서 관계형 DB의 장점과 비관계형 DB의 수평적 확장의 두 장점을 결합한 것입니다.(추가설명)→Vertical Scalability(수직적 확장=Scase 일관성 확장=Scaleup=서버를 보다 나은 하드웨어로 바꾸거나

< Cloud Firestore (** Serverless)>

  • 매우 확장이 가능한 NoSQL DB 필요할 때 적압-데이터를 저장하고 동기화(sync)하여 쿼리를 쉽게 단순화 시킴-Livesynchronization(동기화) 및 오프라인 지원-보안 특징이 있음-ACID 트랜잭션 준수-Multi-Region Replication(복제)-Powerful Queryengine 장착-Made가 있음 전역별 적합-Multi-Multi-Mal trans Trans2 종류로 되어 있음

< Cloud Bigtable> (데이터 처리 단계에 적합한 서비스로 Apache와 통함)

  • 트랜잭션 일관성이 필요 없을 때 이용-낮은 지연(latency) 시간 내에 높은 읽기, 쓰기 처리량을 지원하며, 맵 리듀스 작업에 적합(추가 설명) 맵 리듀스: 구글에서 대용량 데이터 처리를 분산 병렬 컴퓨팅으로 처리할 목적으로 제작한 소프트웨어 프레임워크-좋은 확장성: 클러스터를 확장하고, 많은 읽기, 쓰기 처리 가능-간단한 관리: 데이터 복제 시 두 번째 크기만으로 두 번째 설치 가능) 작업 가능Downtime: 시스템을 이용할 수 없는 시간 – Use: 구조화되지 않은 데이터에 적합하지 않은 key — 시계열 데이터 – 다양한 서버 CPU, 메모리 사용량 – 마케팅 데이터 – 구매 내역 및 고객 호감도 – 재무 데이터 – 거래 내역, 주식 가격, 통화 환율 – 사물 인터넷 데이터 – 에너지 측정기, 가전 제품 사용량 보고서 – 그래프 데이터 – 사용자가 서로 연결하는 방법에 관한 정보 – Houdoop,

<Cloud Memory Store>

  • Uscase: 신속하게 실시간 데이터 처리 사례를 위한 신속한 인메모리 저장소 제공 – 간단한 캐싱 사용부터 실시간 분석까지 필요한 성능 제공 – 높은 가용성, 장애 조치(Failover), 패치, 모니터링 업무 자동화

error: Content is protected !!