スポンサードリンク
要求開発アライアンスの2018年10月定例会に参加しました
内容は
ビッグデータ基盤から、エンタープライズデータ基盤への流れ
～SOE（Hadoop/Spark）のSOR（基幹システム）浸透はこれからはじまる～
もともとエンタープライズ系だけどデータ集約型が主で、把握できる範囲、一定のルールにのったのみのデータ分析だった
新たな知見を求めての参加です
講演
1.エンタープライズシステムとデータ基盤
基幹システムを「SoE（Systems of Engagement）」化するには企業活動に関わる大量の関連データを蓄え、処理するエンタープライズデータ基盤の整備とそれを応用したシステムのインテリジェント化が重要課題
SoRとSoEの違い
従来の基幹システムはSoR
定型部分をコンピュータで実現したもの
インテリジェンスは求められない、外部からのフィードバックはほとんどない
今は、定型でいられなくなった
ビジネスモデルが停滞すると優位性を維持できない
SoE化するには企業活動に関わる大量のデータを蓄え処理する基盤、仕組みが必要
データレイクとつなぐ
外部からフィードバックもらえるように
2.ビッグデータ基盤から、エンタープライズデータ基盤への流れ
Hadoop/Sparkが採用されてきました。しかし、まだまだ浸透し切れていない感があります。 大量なデータを処理する仕組みのインフラから、大規模なデータを使って、どんな価値が生み出せるか？
技術の潮流 特にアーキテクチャを理解して先の流れを読む力が必要
本番！ #radajp pic.twitter.com/FxNrlLYEVQ
— 門屋浩文＠redmineエバンジェリストの会主宰 (@MadoWindahead) October 30, 2018
SoEを理解しておかないとSoRに浸透した時についていけなくなる
データの量、種類、スピード 3つのV
ログデータがたくさん蓄積されてきた
クラウド・オープンソース
どう組み合わせるか
ベタバイトで１日くらい処理にかかるものをビックデータと考える
それより下のものはRDBMSで
ビックデータは陳腐化？特化型に進む？
hadoop hdfsとmapreduce
hadoop は大量データに特化したバッチ処理システム #radajp
— 門屋浩文＠redmineエバンジェリストの会主宰 (@MadoWindahead) October 30, 2018
スケールアウトとデータローカリティ、投機的実行
検索エンジンのインデックス作成が終わらないと大変だから必要性が発生
ディスクが遅くボトルネック
メモリ、CPUのリソースが残る
分散させて並列に実行させて解決
キーと値をペアにして再編成
集計して結果を出力
NoSQLとの違い。データベースかバッチ処理かで考えるとわかりやすい。 #redajp
— ゆぅりる♪ (@yourilyouril) October 30, 2018
hadoopを最初にクラウド化したのはAWS
hadoopは更新処理はできない
少量のデータ処理には向かない
バッチ処理で使うのが良い 一括処理が可能か
処理が30分を超えるようだよ短縮できる可能性あり
データサイズ、データ転送のオーバーヘッドも考慮
再帰処理は無い方がいい
もともとhadoopにはSQLは対応してなかったが、対応した
spark インメモリ主の分散処理エンジン
mapreduceからsparkへ変わってきている
モジュールも充実
OSSとの連携も多数
利用シーン #radajp pic.twitter.com/Vgh1dCVnN1
— 門屋浩文＠redmineエバンジェリストの会主宰 (@MadoWindahead) October 30, 2018
SoRにhadoopが浸透しなかった理由
OSSの壁、分散システムはSoRには導入しずらかった
オンプレかクラウドか検証して評価していくしか無い
本格的になるのがこれから
今まではデータがなかった
これからはIoTとAI
IoTとビックデータ
デバイスの高度化、センサーやPLCからデータを取り始めた
センサーが肝 クラウドへ
kafka 分散ストリーミングプラットフォーム
データの整備は時間がかかる
遠隔監視と故障予測が主流
収益を生む方法も考える必要あり 協業？
AI
できなかったことができるようになったのでやろう
googleの猫認識 教師なし学習 認識に成功
アルファ碁
機械学習とディープラーニング ディープラーニングは機械学習の一部 #radajp pic.twitter.com/PTtVkaNT1s
— 門屋浩文＠redmineエバンジェリストの会主宰 (@MadoWindahead) October 30, 2018
アルゴリズムを理解してサービスを使う
できないこと
不可能な精度を求める
当たり外れの理由が明確に言えない
複雑な重みづけで計算しているから
いたずらに提案すると簡単に炎上
AIは技術的負債の高利子クレジットカード
GPUが出てきた 量子コンピュータへ？
予測は簡単にはあたらない
運用はもっと大変になるかも
データ基盤はアイディアを形にする試行錯誤が必要 学んで試そう
製造原価シミュレーションの例
予実比較
ファストデータが必須 どんどん速く
アプリケーション開発のスピードアップと自動化
分散、クラウド、マイクロサービス
まずはイメージをつかんで
アーキテクチャの流れは理解していこう
学んで試す 大事
といいつつも、試す場所やシチュエーションが思いつかないなあ
何かあったとき用に、理論武装しておこう
まずは、「こういうものが有るということだけ」でも
どういうサービスがある、よりもアルゴリズムの理解が先
そういったエッセンスをもらえる大切な集まりです
k8sも近いうちにやるみたい
