クラウドにおける
ビッグデータワークロード
ビッグデータワークロードを快適に処理
ビッグデータおよびその関連ワークロードは、他のコンピューティングワークロード以上に、適正なインフラプラットフォームを必要とします。通常のワークロードでは快適に動作するシステムであっても、なんらかのボトルネックが全体の性能を損なうことがあます。また、規模が拡大しても、正しく環境設定されたリソースをプロビジョニングできるか否かが、システム全体の性能に大きな影響を及ぼします。こうした理由から、ビッグデータワークロードにCloudSigmaを利用するお客様が急速に増加しているのです。.
成功のための重要ポイント：
高性能なインフラ
ビッグデータをはじめとする高性能コンピューティングのワークロードでは、最も遅いコンポーネントが全体の処理速度を決定します。こうしたボトルネックが存在すると、効率的で上手く機能するはずのデプロイメントが、一転して、最適とはほど遠いものとなってしまいます。したがって、インフラの複数局面にわたって要求される非常な高性能も含め、幅広い性能要求に対応できるクラウドプラットフォームを選択することが不可欠です。
質問事項
- どんなストレージ機能プロファイルを利用できますか？
ポイント
- ネットワーク速度、なかでもヘッドノードの通信速度は、深刻なボトルネックになりがちです。クラウド内の接続が数ギガビットの通信速度に対応していれば、現実に達成可能なスケーラビリティと全体性能を向上することができます。
当社のクラウドソリューション
- 当社のクラウドは、すべての計算ノードが全二重10GigE接続で構築されています。CloudSigmaなら、単一の標準的なクラウドサーバーから、4～5Gbps以上のストリーム配信を容易に行うことができます。当社では、HPCインスタンスを提供していませんが、その理由は、当社のすべてのサーバーがHPCと同レベルの性能を達成しているからです。
- どんなストレージ機能プロファイルを利用できますか？
- ビッグデータワークロードは、その名のとおり、大規模データセットと強力なコンピューティングの組み合わせです。ビッグデータは、コスト効率に優れたペタバイト規模のストレージオプションに加えて、非常に高速なワークロード用のアクティブストレージを必要とします。したがって、この異なるストレージへのニーズを流動的かつ容易に組み合わせることができるクラウドを選択してください。
- 当社では、すべてSSDで構成されたストレージとスケールアウト型磁気ストレージの両方を選択することができます。お客様は、必要な容量のドライブを作成し、それらを自由に組み合わせて複数のクラウドサーバーに実装することができます。当社のSSDはすべて、書込みで最大1,000IOPSを実現しており、1GBあたり0.13ドル／30日という低料金で、最大5TBまで設定可能です。また、スケールアウト型磁気ストレージは、1GBあたり0.08ドル／30日という低料金で、最大100TBまで設定可能です。当社のクラウドでは、高性能要件と大規模データストレージの管理を非常にシンプルに行うことができます。
- CPUの命令セットをクラウドサーバーに露出していますか？
- 最近のCPU性能は、多くのオペレーション処理を最適化するために、命令セットに大きく依存しています。すべてのクラウドプロバイダーが、命令セットをクラウドサーバーにまで露出しているわけではありません。命令セットを露出することができるクラウドを選択すれば、1985年レベルのCPUではなく、2015年レベルのCPU性能を活用することができます！
- CloudSigmaでは、標準的なエミュレーションモードのCPU（互換性のため）とネイティブモードのCPUのどちらを選択することもできます。ネイティブモードのCPUは、完全な命令セットをクラウドサーバーに露出することができるため、最適なパフォーマンスが得られます。
「性能とコスト効率のバランスが良いストレージと高性能なSSDストレージを選択し、それらを弾力的にオンデマンドで利用することにより、迅速でコスト効率の良いプラットフォームをデプロイすることができます。その目的は、地球観測データを活用し、地震や火山噴火から人命と財産を守ることです」European Space Agency（欧州宇宙機関） キャパシティマネージャー Julio Carreira氏
スケーラビリティと自動化
多くのお客様がバッチ処理を行いますが、その場合、リソース要求は、時間とともに大きく変化します。また、大規模な運用を行う場合には、管理を容易にするために、システムを自動化する必要があります。したがって、クラウドの選択では、インフラニーズを迅速に反映できること、完全な自動化を実現できること、そして、これらの裏付けとして、時間とともに変化する使用状況を追跡できる合理的な請求システムを採用していることが非常に重要となります。
質問事項
- サーバー、ドライブ、および接続機器といった主要リソースのプロビジョニングにかかる時間はどのくらいですか？
ポイント
- 大規模なインフラをオンデマンドでスピンアップするためには、迅速なプロビジョニングが可能な環境が不可欠です。リソースのフルフィルメントに必要なリードタイムが短いクラウドを選択してください。
当社のクラウドソリューション
- 注文後、即座にすべてのリソースを利用することができます。ネットワークとドライブ作成に要する時間は2秒～5秒程度、新規サーバーに関しては、30秒以内で実際に使用できるログイン画面が表示されます。
- APIは、バルクオペレーションに対応していますか、また、すべての機能をカバーしていますか？
- 利用するクラウドプラットフォームに関して、何をどこまで自動化できるのかを把握しておくのは重要なことです。そのためには、APIの機能カバー率を知る必要があります。同様に、数百、数千のサーバーサイズを拡大する場合には、バルクオペレーションに対応していると非常に便利です。
- 当社では、クラウドAPIに厳しいテストを実施しています。完全自動化のために100％の機能カバー率を実現しているだけではなく、迅速な規模拡大を可能にする数多くのバルクオペレーションを提供しています。例えば、新たに200のワーカーノードが必要になった場合には、正確なサーバーイメージを当社に提示するだけで、単一のAPIコールで200のワーカーノードをすべて複製および開始することができます。しかも、お客様には、逐次、進捗状況が通知されます。ぜひ、当社のAPIインテグレーションのドライバーとライブラリをご覧ください。
- バッチ処理で時間とともに変化するインフラニーズをどのような方法で請求処理するのですか？
- ビッグデータやHPCでは、様々なバッチ処理アクティビティを反映して、リソース消費量も大きく変化する傾向があります。したがって、必要なときに必要なリソースを購入できるクラウドを選択してください。
- 当社のクラウドでは、請求にユーティリティ・コンピューティング手法を取り入れています。これは、お客様の合計リソース使用量を常時リソースごとに計測していることを意味します。この仕組みの優れた点は、長期のサブスクリプションまたは短期のバースト利用、どちらの方法でもリソースを購入できることです。これにより、平常時のリソース使用量に基づいてサブスクリプションを購入し、バースト時には、いつでも使用容量を増やすことができます。予備容量の確保かオンデマンド対応かで悩む必要がなく、非常にシンプルな請求方法となっています。
「CloudSigmaのフレキシビリティは、単なるリソース購入の効率性というレベルをはるかに超えています。RackspaceからCloudSigmaへの移行を決めた当初は、導入にあたって学習曲線が存在するだろうと考えていました。というのも、CloudSigmaのアプローチは、他のほとんどのプロバイダーと異なっていたからです。しかし、実際には、CloudSigmaへの移行は非常に簡単でした。当社の希望するオペレーティングシステムとソフトウェアをクラウドにデプロイできたのも大変助かりました」Gresp 共同創業者 Amit Chaudhary氏
プラットフォームのフレキシビリティ
当社のビッグデータユーザーやHPCユーザーは、自身のコンピューティング要件を明確に理解しています。特に、大規模な運用においては、最適かつ良好なデプロイメントを実現するためには、お客様のコンピューティング要件を正確に反映できるプラットフォームが不可欠です。
質問事項
- クラウド上で、どのようなオペレーティングシステムとソフトウェアを使用することができますか？
確認すべきポイント
- クラウドによっては、ソフトウェア層で実行できるオペレーティングシステムとソフトウェアに制約がある場合があります。これは、技術的判断の戦略的コントロールをクラウドベンダーに委譲することを意味しますので、将来的に問題が起こる可能性があります。
当社のクラウドソリューション
- 当社は、オープンなプラットフォームを提供しています。お客様の便宜のために、インストール済みのシステムも多数用意していますが、あらゆるx86／x64ベースのオペレーティングシステムを変更なしでインストールまたはアップロードすることが可能です。これには、BSD、Linux、およ びWindowsベースのシステムが含まれます。当社のクラウドなら、お客様が希望するあらゆるオペレーティングシステムに対応できます。
- ワークロードへの最適化のために、CPUとハイパーバイザー設定を微調整することができますか？
- 仮想環境では、特定のワークロードに適合させるために、非常に多くの設定を調整することができます。これにより、標準の設定に比べて、最大50％ものパフォーマンス向上を図れます。カスタマイズの自由度は、高ければ高いほど良いと言えます。
- 当社のクラウドでは、NUMAトポロジー（大規模仮想マシンに最適）から仮想コア数（並列処理のために多数のスレッドを作成）、ハイパーバイザータイマー設定（Windows環境で絶大な効果）まで、すべての調整が可能です。お客様の要件に最適な環境設定を行うことで、規模の拡大に応じてマーケットで最高の価格性能比を達成することができます。
- 利用できるサーバーサイズの範囲はどのくらいですか？
- ビッグデータやHPCのワークロードでは、通常の範囲を超えるクラウドサーバーサイズが必要になることが多々あります。それは、大量のRAMや大容量のストレージを備えたサーバーであることもあれば、単に非常に大規模なノードであることもあります。
- 当社のクラウドは、リソース容量の制限が一切なく、サーバーサイズを固定化していません。お客様のニーズに最適なCPU性能とRAM容量を設定し、異なる容量の複数のストレージを組み合わせることができます。当社では、これを「完全なプロビジョニング」と呼んでいます。また、各リソースの容量も幅広い設定が可能ですので、十分なリソースを確保することが可能です。
「当社がCloudSigmaを選んだのは、要求性能が厳しいセマンティック検索ソリューションのホスティング先として、コスト効率が高く、フレキシブルで、しかも高性能なクラウドインフラを求めた結果です。CloudSigmaは、多くの異なる性能要求に完全に合致するインフラを迅速に構築できるため、ビッグデータベンチャーにとって理想的なクラウドです」Unsilo CTO Mario Juric氏
高可用性とロードバランシング（負荷分散）
デプロイメントの主要コンポーネントを適正に分離できることは、単一障害点を回避し、サービスの可用性を高めるために重要なのはもちろん、ボトルネックになり得るホットスポットを回避するために、インフラ全体にわたって負荷を分散する上でも重要です。クラウドプロバイダーの選択プロセスでは、サービスの高可用性とロードバランシングを確実に実現できるツールをユーザーに提供できるかどうかにも着目してください。
質問事項
- 主要なインフラを確実に分離するために、どんな機能を提供していますか？
ポイント
- インフラをクラウドにアウトソースすることには、数多くのメリットがある一方で、ビジビリティの喪失による単一障害点の発生リスクもあります。真にレジリエントなクラウドインフラのデプロイメントを構築するには、インフラを分離できる機能が非常に有効です。
当社のクラウドソリューション
- 当社は、分離されたシステム上でインフラを明確に分離する機能を提供しています。ドライバーやサーバーを作成または複製する時に、他のどのインフラを回避するかを指定することができます。また、当社では、共有システム上にあるインフラを明示していますので、お客様は、よりレジリエントなサービスを構築することが可能になります。
- クラウドサービスの配信に使用するシステムは、どの程度の冗長性がありますか？
- システムの品質と冗長性は、クラウドプロバイダーによって大きく異なります。クラウドプロバイダーの優劣を評価する際は、金額に見合った品質と冗長性を備えているかどうかも判断基準のひとつとなります。
- 当社のクラウド拠点は、すべて、Tier 3相当以上のデータセンターに設置されています。また、ネットワークの可用性を確保するために、複数のTier 1接続プロバイダーを組み合わせています。さらに、当社のクラウド内は、すべて、冗長スイッチで構成されています。当社のSLAが100％の可用性水準と1ミリ秒以内のネットワークレイテンシ保証を提示できるのは、こうした取り組みの結果なのです。
- ロードバランシングと自動スケーリングが提供されていますか？
- ロードバランシングが、有効なプロダクトとともにサービスとして提供されていれば、大幅な時間の節約につながります。さらに、自動スケーリングを追加することで、お客様のリアルタイムのニーズに基づいてクラスターを増加することが容易になります。
- 当社では、お客様が適正な価格で適切な選択を行えるよう、多層的なロードバランシングサービスを提供しています。これらの選択肢には、高度なロードバランシング機能と完全自動スケーリング機能が含まれます。最も基本的なサービスは、50ドル／月からご利用いただけます。