ビッグデータ基盤から、エンタープライズデータ基盤への流れ

スポンサードリンク

要求開発アライアンスの2018年10月定例会に参加しました

内容は
ビッグデータ基盤から、エンタープライズデータ基盤への流れ
~SOE(Hadoop/Spark)のSOR(基幹システム)浸透はこれからはじまる~

もともとエンタープライズ系だけどデータ集約型が主で、把握できる範囲、一定のルールにのったのみのデータ分析だった
新たな知見を求めての参加です


講演
1.エンタープライズシステムとデータ基盤

基幹システムを「SoE(Systems of Engagement)」化するには企業活動に関わる大量の関連データを蓄え、処理するエンタープライズデータ基盤の整備とそれを応用したシステムのインテリジェント化が重要課題

SoRとSoEの違い
従来の基幹システムはSoR
定型部分をコンピュータで実現したもの
インテリジェンスは求められない、外部からのフィードバックはほとんどない

今は、定型でいられなくなった
ビジネスモデルが停滞すると優位性を維持できない
SoE化するには企業活動に関わる大量のデータを蓄え処理する基盤、仕組みが必要
データレイクとつなぐ
外部からフィードバックもらえるように

2.ビッグデータ基盤から、エンタープライズデータ基盤への流れ

Hadoop/Sparkが採用されてきました。しかし、まだまだ浸透し切れていない感があります。 大量なデータを処理する仕組みのインフラから、大規模なデータを使って、どんな価値が生み出せるか?

技術の潮流 特にアーキテクチャを理解して先の流れを読む力が必要

SoEを理解しておかないとSoRに浸透した時についていけなくなる
データの量、種類、スピード 3つのV
ログデータがたくさん蓄積されてきた
クラウド・オープンソース
どう組み合わせるか
ベタバイトで1日くらい処理にかかるものをビックデータと考える
それより下のものはRDBMSで
ビックデータは陳腐化?特化型に進む?
hadoop hdfsとmapreduce


スケールアウトとデータローカリティ、投機的実行
検索エンジンのインデックス作成が終わらないと大変だから必要性が発生
ディスクが遅くボトルネック
メモリ、CPUのリソースが残る
分散させて並列に実行させて解決
キーと値をペアにして再編成
集計して結果を出力

hadoopを最初にクラウド化したのはAWS

hadoopは更新処理はできない
少量のデータ処理には向かない

バッチ処理で使うのが良い 一括処理が可能か
処理が30分を超えるようだよ短縮できる可能性あり
データサイズ、データ転送のオーバーヘッドも考慮
再帰処理は無い方がいい

もともとhadoopにはSQLは対応してなかったが、対応した

spark インメモリ主の分散処理エンジン
mapreduceからsparkへ変わってきている
モジュールも充実
OSSとの連携も多数

SoRにhadoopが浸透しなかった理由
OSSの壁、分散システムはSoRには導入しずらかった
オンプレかクラウドか検証して評価していくしか無い
本格的になるのがこれから
今まではデータがなかった

これからはIoTとAI
IoTとビックデータ
デバイスの高度化、センサーやPLCからデータを取り始めた
センサーが肝 クラウドへ
kafka 分散ストリーミングプラットフォーム
データの整備は時間がかかる
遠隔監視と故障予測が主流
収益を生む方法も考える必要あり 協業?

AI
できなかったことができるようになったのでやろう
googleの猫認識 教師なし学習 認識に成功
アルファ碁

アルゴリズムを理解してサービスを使う

できないこと
不可能な精度を求める
当たり外れの理由が明確に言えない
複雑な重みづけで計算しているから
いたずらに提案すると簡単に炎上
AIは技術的負債の高利子クレジットカード

GPUが出てきた 量子コンピュータへ?

予測は簡単にはあたらない
運用はもっと大変になるかも

データ基盤はアイディアを形にする試行錯誤が必要 学んで試そう

製造原価シミュレーションの例
予実比較

ファストデータが必須 どんどん速く
アプリケーション開発のスピードアップと自動化

分散、クラウド、マイクロサービス


まずはイメージをつかんで
アーキテクチャの流れは理解していこう
学んで試す 大事

といいつつも、試す場所やシチュエーションが思いつかないなあ
何かあったとき用に、理論武装しておこう
まずは、「こういうものが有るということだけ」でも

どういうサービスがある、よりもアルゴリズムの理解が先

そういったエッセンスをもらえる大切な集まりです
k8sも近いうちにやるみたい

西新宿で宇和島の真鯛を味わう 麺屋翔みなと

ANKERスピーカーを風呂で使う

関連記事

  1. PMBOK第7版を読み解く プロジェクトマネジメ…

    PMBOK第7版がでる!6でも予測型、適用型の話がでていたけど…

  2. 第20回redmine.tokyoでRedmin…

    redmine.tokyoRedmineを愛する人達の勉強会…

  3. 第21回redmine.tokyoで柔軟さと記録…

    2021/11/27 第21回redmine.tokyo勉強会が開催…

  4. 【計数管理業務xIT】Account Code …

    Twitterで知り合った杉本さん管理会計の鬼一度お会いした…

  5. カイゼン・ジャーニー 体験からの物語、そして、そ…

    池袋ジュンク堂で行われた「カイゼン・ジャーニー」のイベントに参加しま…

  6. 第15回redmine.tokyo 導入における…

    第15回redmine.tokyoに参加しました…

  7. 正しいものを正しく作れているか #devlove…

    正しいものを正しく作れているかに参加しました資料はこちら…

  8. #エンジニア銭湯 を懐かしむ会を大崎で

    エンジニア銭湯コロナ以前にやってた勉強会4回実施しました…

PAGE TOP