ビッグデータ基盤から、エンタープライズデータ基盤への流れ

スポンサードリンク

要求開発アライアンスの2018年10月定例会に参加しました

内容は
ビッグデータ基盤から、エンタープライズデータ基盤への流れ
~SOE(Hadoop/Spark)のSOR(基幹システム)浸透はこれからはじまる~

もともとエンタープライズ系だけどデータ集約型が主で、把握できる範囲、一定のルールにのったのみのデータ分析だった
新たな知見を求めての参加です


講演
1.エンタープライズシステムとデータ基盤

基幹システムを「SoE(Systems of Engagement)」化するには企業活動に関わる大量の関連データを蓄え、処理するエンタープライズデータ基盤の整備とそれを応用したシステムのインテリジェント化が重要課題

SoRとSoEの違い
従来の基幹システムはSoR
定型部分をコンピュータで実現したもの
インテリジェンスは求められない、外部からのフィードバックはほとんどない

今は、定型でいられなくなった
ビジネスモデルが停滞すると優位性を維持できない
SoE化するには企業活動に関わる大量のデータを蓄え処理する基盤、仕組みが必要
データレイクとつなぐ
外部からフィードバックもらえるように

2.ビッグデータ基盤から、エンタープライズデータ基盤への流れ

Hadoop/Sparkが採用されてきました。しかし、まだまだ浸透し切れていない感があります。 大量なデータを処理する仕組みのインフラから、大規模なデータを使って、どんな価値が生み出せるか?

技術の潮流 特にアーキテクチャを理解して先の流れを読む力が必要

SoEを理解しておかないとSoRに浸透した時についていけなくなる
データの量、種類、スピード 3つのV
ログデータがたくさん蓄積されてきた
クラウド・オープンソース
どう組み合わせるか
ベタバイトで1日くらい処理にかかるものをビックデータと考える
それより下のものはRDBMSで
ビックデータは陳腐化?特化型に進む?
hadoop hdfsとmapreduce


スケールアウトとデータローカリティ、投機的実行
検索エンジンのインデックス作成が終わらないと大変だから必要性が発生
ディスクが遅くボトルネック
メモリ、CPUのリソースが残る
分散させて並列に実行させて解決
キーと値をペアにして再編成
集計して結果を出力

hadoopを最初にクラウド化したのはAWS

hadoopは更新処理はできない
少量のデータ処理には向かない

バッチ処理で使うのが良い 一括処理が可能か
処理が30分を超えるようだよ短縮できる可能性あり
データサイズ、データ転送のオーバーヘッドも考慮
再帰処理は無い方がいい

もともとhadoopにはSQLは対応してなかったが、対応した

spark インメモリ主の分散処理エンジン
mapreduceからsparkへ変わってきている
モジュールも充実
OSSとの連携も多数

SoRにhadoopが浸透しなかった理由
OSSの壁、分散システムはSoRには導入しずらかった
オンプレかクラウドか検証して評価していくしか無い
本格的になるのがこれから
今まではデータがなかった

これからはIoTとAI
IoTとビックデータ
デバイスの高度化、センサーやPLCからデータを取り始めた
センサーが肝 クラウドへ
kafka 分散ストリーミングプラットフォーム
データの整備は時間がかかる
遠隔監視と故障予測が主流
収益を生む方法も考える必要あり 協業?

AI
できなかったことができるようになったのでやろう
googleの猫認識 教師なし学習 認識に成功
アルファ碁

アルゴリズムを理解してサービスを使う

できないこと
不可能な精度を求める
当たり外れの理由が明確に言えない
複雑な重みづけで計算しているから
いたずらに提案すると簡単に炎上
AIは技術的負債の高利子クレジットカード

GPUが出てきた 量子コンピュータへ?

予測は簡単にはあたらない
運用はもっと大変になるかも

データ基盤はアイディアを形にする試行錯誤が必要 学んで試そう

製造原価シミュレーションの例
予実比較

ファストデータが必須 どんどん速く
アプリケーション開発のスピードアップと自動化

分散、クラウド、マイクロサービス


まずはイメージをつかんで
アーキテクチャの流れは理解していこう
学んで試す 大事

といいつつも、試す場所やシチュエーションが思いつかないなあ
何かあったとき用に、理論武装しておこう
まずは、「こういうものが有るということだけ」でも

どういうサービスがある、よりもアルゴリズムの理解が先

そういったエッセンスをもらえる大切な集まりです
k8sも近いうちにやるみたい

西新宿で宇和島の真鯛を味わう

ANKERスピーカーを風呂で使う

関連記事

  1. Google Cloud Platformの基本…

    クラウドが当たり前になっている昨今、PMOと言えど基本をしっておいた…

  2. 伝わりやすい文章を作る工夫

    妻から「伝わる文章を書けるようになりたい」との要望あったので…

  3. 「セキュリティ&テスト設計支援セミナー」に参加

    ベリサーブ殿主催の「セキュリティ&テスト設計支援セミナー」に参加しま…

  4. 猫スピーカーがツイートする 【Google Ho…

    うちには一台、猫スピーカーがいます(猫スピーカーの作り方…

  5. トライ&エラー実施中の記事5選

    マドびっ!作者の門屋浩文です。祝カープ3連覇、、、取り乱…

  6. テスト戦略を語る夕べ第5回に参加

    初参加思いつくままメモですプロジェクトのテスト戦略から組…

  7. チーム力を向上させるプロジェクトマネジメント

    「チーム力を向上させるプロジェクトマネジメント」というテーマで自…

  8. 情シス Café in Kobe #3に参加

    前回のredmine大阪で知り合った山本さんが企画している勉強会に参…

こちらもどうぞ

Twitter

毎日更新しています

2018年10月
« 9月   11月 »
1234567
891011121314
15161718192021
22232425262728
293031  
PAGE TOP