楽しんで学習するITエンジニアの備忘録ブログ

~日常生活の中にも楽しみを見出したい~

【備忘録】データ分析関連のクラウドサービス一覧(AWS、Azure、GCP)【常時アップデート予定】

AWS、Azure、GCPパブリッククラウドからリリースされている、データ分析関連のサービスを備忘録としてまとめてみました。

 

データ分析関連のサービスを活用していくことで、

 

例えば、

 

日本全国に展開されているチェーン店の売り上げを、

 

リアルタイムに収集、蓄積、分析することができ、

 

新たな知見を獲得することができると思います。

 

他の例を挙げますと、

 

皆様が持っているスマートフォンからクラウドに対して、

 

数秒間隔で、GPS位置情報をアップロードすることで、

 

どのように移動したかがリアルタイムに把握することが可能です。

 

データ分析関連のサービスの要素としては、

 

スマートフォンから送信したデータを収集(=データ収集)

 

・受け取ったデータをストレージに蓄積(=データ蓄積)

 

見える化や分析がし易いようにデータ加工(=データ加工)

 

・加工、編集したデータをデータベースに格納(=データベース)

 

・どのように移動したかをグラフ化(=データ見える化)

 

GPS位置情報を利用してAIモデルを構築し、次にどのように移動するか予測(=AI分析)

 

備忘録レベルですが、AWS、Azure、GCPからリリースされている、

データ分析関連のサービスの一覧を下記に示していきます。

 

1.データ分析関連のサービス

 

タイトル AWS Azure GCP

エッジ処理

◆IoT Greengrass 

IoT Edge

Edge TPU

データ収集

◆IoT Core

◆IoT Device Management

IoT Hub

IoT Central

Event Hubs

Stream Analytics

Cloud IoT Core

Cloud Pub/Sub

データ蓄積

(生データ系)

S3

Blob Storage

Cloud Storage

データ加工

Glue

Data Factory

Cloud Dataflow

Cloud Data Fusion

データベース

(RDB)

RDS

SQL Database

Cloud SQL

データベース(NoSQL)

DynamoDB

Cosmos DB

Cloud Bigtable

Cloud Datastore

データベース

(DWH)

RedShift

Synapse Analytics

BigQuery

データ

見える化

(BI)

QuickSight

Power BI

Data Portal

Looker

ビッグデータ

解析

EMR

HDInsight

Data Proc

AI高速実行

エンジン

(開発不可)

SageMaker Neo

(クラウドインスタンス

バイス上の両方で稼働可能)

調査中

 ◆Cloud Machine Learning Engine

AIモデル

構築

Amazon SageMaker Autopilot

◆Machine Learning Studio

◆Machine Learning Service

◆Cloud Auto ML

◆BigQuery ML

AIモデル

開発環境

◆SageMaker Studio

◆SageMaker Edge Manager(管理)

Deep Learning Virtual Machine

Data Science Virtual Machine

Datalab

学習済みAI

モデル利用

(=API利用)

■Translate:

 翻訳

Polly:

 音声合成

Transcribe:

 音声をテキストに変換

Rekognition:

 画像の分析

Textract:

 画像からテキスト抽出

Comprehend:

 文章から話題や感情を抽出

Personalize:

 レコメンデーション

Forecast:

 予測

Lex:

 対話型エージェント

■Azure Cognitive Services

意思決定

・Anomaly Detector:

 問題識別

・Content Moderator:

 不適切なコンテンツ検出

・Personalizer:優れた体験

言語

・Language Understanding

 自然言語解釈機能を組込

・QnA Maker:質疑応答

・Text Analytics:感情分析

・Translator:翻訳

音声

・Speech to Text:

 音声をテキストに変換

・Text to Speech:

 テキストを音声に変換

・Speech Translation:

 音声翻訳をアプリに統合

・Speaker Recognition:

 複数の話者を識別

視覚

Computer Vision

 画像と動画のコンテンツ分析

・Custom Vision

 好ましくないコンテンツ検出

・Face:顔、表情検出

■Cloud Vision API

 AutoML Vision

  AIモデル学習自動化

 Vision API:画像分類

■Cloud Speech To Text

 自動音声認識

■Cloud Translation API翻訳

■Cloud Natural API

 ◆AutoML Natural Language

 ◆Natural Language API

 ◆Healthcare Natural

  Language AI

■Cloud Video Intelligence

 ◆AutoML

 ◆Video Intelligence API

AWSでつくる AIプログラミング入門 | 松浦健一郎, 司ゆき | 工学 | Kindleストア | Amazon

Cognitive Services - AI 開発者向け API | Microsoft Azure

AI と機械学習プロダクト  |  Google Cloud

 

2.サービスを組合せて自分のアプリを作り出す

AWSでは約190のサービスがリリースされています。

それらのサービスを組み合わせて、ひとつの大きなアプリケーションを構成することになります。そのため、どのサービスとどのサービスが連携できるかを把握していくことが重要だと思います。

  例:スマートフォンのデータをAzureに送信して蓄積する場合

   IoT Hub→Stream Analytics→Blob Storage

 

クラウドサービスに含まれていないサービスもございますので注意ください

初版: 2021年5月29日

更新:未定