【備忘録】データ分析関連のクラウドサービス一覧(AWS、Azure、GCP)【常時アップデート予定】
AWS、Azure、GCPのパブリッククラウドからリリースされている、データ分析関連のサービスを備忘録としてまとめてみました。
データ分析関連のサービスを活用していくことで、
例えば、
日本全国に展開されているチェーン店の売り上げを、
リアルタイムに収集、蓄積、分析することができ、
新たな知見を獲得することができると思います。
他の例を挙げますと、
数秒間隔で、GPS位置情報をアップロードすることで、
どのように移動したかがリアルタイムに把握することが可能です。
データ分析関連のサービスの要素としては、
・スマートフォンから送信したデータを収集(=データ収集)
・受け取ったデータをストレージに蓄積(=データ蓄積)
・見える化や分析がし易いようにデータ加工(=データ加工)
・加工、編集したデータをデータベースに格納(=データベース)
・どのように移動したかをグラフ化(=データ見える化)
・GPS位置情報を利用してAIモデルを構築し、次にどのように移動するか予測(=AI分析)
備忘録レベルですが、AWS、Azure、GCPからリリースされている、
データ分析関連のサービスの一覧を下記に示していきます。
1.データ分析関連のサービス
タイトル | AWS | Azure | GCP |
---|---|---|---|
エッジ処理 |
◆IoT Greengrass |
◆IoT Edge |
◆Edge TPU |
データ収集 |
◆IoT Core ◆IoT Device Management |
◆IoT Hub ◆IoT Central ◆Event Hubs ◆Stream Analytics |
◆Cloud IoT Core ◆Cloud Pub/Sub |
データ蓄積 (生データ系) |
◆S3 |
◆Blob Storage |
◆Cloud Storage |
データ加工 |
◆Glue |
◆Data Factory |
◆Cloud Dataflow ◆Cloud Data Fusion |
データベース (RDB) |
◆RDS |
◆SQL Database |
◆Cloud SQL |
データベース(NoSQL) |
◆DynamoDB |
◆Cosmos DB |
◆Cloud Bigtable ◆Cloud Datastore |
データベース (DWH) |
◆RedShift |
◆Synapse Analytics |
◆BigQuery |
データ (BI) |
◆QuickSight |
◆Power BI |
◆Data Portal ◆Looker |
解析 |
◆EMR |
◆HDInsight |
◆Data Proc |
AI高速実行 エンジン (開発不可) |
◆SageMaker Neo デバイス上の両方で稼働可能) |
◆調査中 |
◆Cloud Machine Learning Engine |
AIモデル 構築 |
◆Amazon SageMaker Autopilot |
◆Machine Learning Studio ◆Machine Learning Service |
◆Cloud Auto ML ◆BigQuery ML |
AIモデル 開発環境 |
◆SageMaker Studio ◆SageMaker Edge Manager(管理) |
◆Deep Learning Virtual Machine ◆Data Science Virtual Machine |
◆Datalab |
学習済みAI モデル利用 (=API利用) |
■Translate: 翻訳 ■Polly: ■Transcribe: 音声をテキストに変換 ■Rekognition: 画像の分析 ■Textract: 画像からテキスト抽出 ■Comprehend: 文章から話題や感情を抽出 ■Personalize: レコメンデーション ■Forecast: 予測 ■Lex: 対話型エージェント |
■Azure Cognitive Services ◆意思決定 ・Anomaly Detector: 問題識別 ・Content Moderator: 不適切なコンテンツ検出 ・Personalizer:優れた体験 ◆言語 ・Language Understanding 自然言語解釈機能を組込 ・QnA Maker:質疑応答 ・Text Analytics:感情分析 ・Translator:翻訳 ◆音声 ・Speech to Text: 音声をテキストに変換 ・Text to Speech: テキストを音声に変換 ・Speech Translation: 音声翻訳をアプリに統合 ・Speaker Recognition: 複数の話者を識別 ◆視覚 画像と動画のコンテンツ分析 ・Custom Vision: 好ましくないコンテンツ検出 ・Face:顔、表情検出 |
◆AutoML Vision AIモデル学習自動化 ■Cloud Speech To Text 自動音声認識 ■Cloud Translation API:翻訳 ■Cloud Natural API ◆AutoML Natural Language ◆Natural Language API ◆Healthcare Natural Language AI ■Cloud Video Intelligence ◆AutoML ◆Video Intelligence API |
AWSでつくる AIプログラミング入門 | 松浦健一郎, 司ゆき | 工学 | Kindleストア | Amazon
Cognitive Services - AI 開発者向け API | Microsoft Azure
2.サービスを組合せて自分のアプリを作り出す
AWSでは約190のサービスがリリースされています。
それらのサービスを組み合わせて、ひとつの大きなアプリケーションを構成することになります。そのため、どのサービスとどのサービスが連携できるかを把握していくことが重要だと思います。
例:スマートフォンのデータをAzureに送信して蓄積する場合
IoT Hub→Stream Analytics→Blob Storage
※クラウドサービスに含まれていないサービスもございますので注意ください
初版: 2021年5月29日
更新:未定