IT少年ひらし☆マギカ: 9月 2015

2015年9月28日月曜日

JJUG ナイトセミナーメモ

JJUG ナイトセミナー

2015年9月28日(月) 19:00～21:00
https://jjug.doorkeeper.jp/events/31448

○Javaの鉱脈スペシャル : 佐藤太一さん (@ryushi)
・ラムダ式はネストしすぎると正しい動作がしなくなる。
・GitHub tranding Repositories
　人気のソースがランキングされる。
・Javaエンジニアは例外処理が弱い。
　例外時は送るだけで処理やlogだしをしていない。
・Lobstars
　話題になっている記事がわかる。
・Japan netbank
　自分で自由にクレジット番号を有効・無効化できる。
・記事の作り方のテンプレート
　問題提起(はじめに)
　概念説明
　技術紹介
　基本的な説明
　応用的な説明
　まとめ
・一回の記事は17000～20000文字くらい。
・文章密度の上げ方。
　最初から密度の高い文章を書くのは難しい。
　足りないものに付け足すはちぐはぐになりやすい。
　たくさん書いて削ると密度が上がる。
・サンプルコード
　文章とコード1:1
　コンパクトなコード(説明したいことだけを書く。)
　できるだけ省略しない。(import文章を省略すると動かすのが難しくなる)
・イラスト
　1ページに1点以上
　概念説明のものがよい。
　絵が汚いものは編集さんが直してくれる。
・デザイン
　改ページや句読点の位置が悪いためわかりにくくなる。
　段落や「。」が多すぎることも注意。

○Netflixはじめました : 谷本心さん (@cero_t)
・動画配信サービスの中でNetflixは通信が中断しないことが強み。
・使われているOSS
　Eureka　内部DNS用
　Ribbon　Eurekaと連動して利用できるロードバランサ
　Hystrix　サーキットブレイカー(通信先が見つかなくなった(死んだ)とき)
何度もエラーを出すことを防ぐ。サービス全体が止まることを防ぐ。
　Feign
　Zuul
　Vecter
　Servo
　Govemator
　SimianArmy
・Spring Cloud Netflix
　Spring boot で上記のようなOSSをまとめて使うことができる。

2015年9月15日火曜日

＠IT DB高速化道場メモ

メモ

■日本最大級の不動産総合サイト「アットホーム」のサービスを支える情報システム
・ハードウェアのファームウェアをアップデートしたところ、IO driveが見えなくなってしまった。
・exFlrash DIMMはファームウェアが安定しない。実行可能なファームウェアが限定される。
　1つのメモリが壊れた時にすべて仮想OSを別のサーバに移動した後しかメモリ交換を行えない。
・Violimemoryはチューニングが必要ないところが導入が楽。
　ガベージコレクションのメンテナンスが面倒。一定値を超えるとIOPSやレイテンシーに影響がでる。
・ストレージ選択は運用のしやすさがポイント。ファームウェア履歴や故障率の調査をすること。
・フラッシュ製品の導入をすることで全体的にコストダウンが見込める。

■ORACLE DB のパフォーマンス最適化への現実解とは？
・近年の動向として、DBへの投資はパフォーマンスが一番多い。
　パフォーマンスのために設計やメンテナンスコストが大きい。
・ORACLE ASM / ファイルシステム / ボリュームが事前に割り当てられている。
　多くのAFAではガベージコレクションをトリガー
　本当にパフォーマンスに大きな影響が出る。また、SSDの寿命にも影響f出る。
・平均サービス時間は完全なパロメーターではない。
　最適なユーザーエクスペリエンスを保てるか。
・コンテンツベースのデータ配置
　ガベージコレクションはシステムベースではなくハードウェアベースにすることで全体的なコントロールをハードウェアが行ってくれるため安定する。
・ベンチマークは長時間実施すること。数日間のテストでも性能劣化がないことを確認できると良い。
・スナップショットをうまく使うことでメンテナンス・寿命を効率的に行うことができる。
・データベース統合はかなり難しいため、ストレージ統合をすることで実質的なデータベース統合を目指す
・STATSPACK を利用して診断。OracleDBにバンドルされている。
・リプレイス前後でDB診断するのが良い。
　前は問題点分析、後はベンチマークとして利用する。

■技術が生み出す魔法！最新ハードウェアとチューニングで激速データベース
・DB CPUのwaitが発生しているはず。DBが待ち時間になっている。
　ストレージのアクセス分析を分析することでわかる。
・ブロック長を見て、レスポンスを見ると良い。
　ブロック長を長くするとIO数が減る。
　ただし、OSの設定と整合性が合わなくなることがある。
・IO多重度を考える。
　ブロック長が長い場合は多重度を上げた方がよい。
・ストレージの性能向上
　HDDを増設してLUNのストライピング数を増やすのは従来の対応。
　SSDを導入する方が安くて早い。ただし、コントローラの性能限界に来ることが多い。
・DBの高速化にはCPUをたくさん使おう。
　使っていないDBが多い。
　CPUはクロック数はアップせずコア数が増えている。
そのため、アプリケーションもそれに合わせたものにしないといけない。
・バッチ処理中はCPU負荷100％にすること。
　SYSは25％以下にする。25%以上の場合、全体的な設定の問題。
・並列できないDB製品を採用している場合があるため注意。その場合はクロックが高い製品を採用する。
　並列できる製品を利用していても並列設定をしていないまたは誤った設定をしているケースが多い。
・メモリが潤沢の場合、インデックスがない方が早い。(準オンメモリ)
　メモリを潤沢にした方がCPUが不要になるためDBライセンスが下がるため、メモリにお金を使った方が安い。
　また、ハードウェア全体のコストで考えた場合、メモリ潤沢の場合IAよりもUNIXの方が安い。
・ブロック長
DHW：１M以上、最近は４M
OLTP：8k～16k
・ファイバーチャネルは何本もつけて並列処理できるようにする。
・サーバとストレージの間にキャッシュ装置を入れると性能劣化する場合があるので慎重に。
DBのwaitが増えて遅くなることがある。
・ロード処理をする場合は1回にまとめた方がよい。こまめにやるとキャッシュを使えず遅くなることが多い。

■データベースのIOボトルネックを解消！！～HGSTの最新NVMe SSDソリューション～
・NVMe
PCI Express Flrashの標準化団体
これによってOS、サーバとの相性を意識する必要が少なくなった。
・HGSTの性能データはガベージコレクションが発生している状態で起債している。
・HGSTはもともとエンタイープライズ向けのHDDメーカーであるため、テスト要件が非常に厳しい。
・PCI Express Flrash を利用する場合、以下に並列を向上させるかがポイント。
　1処理あたりの処理時間はこれ以上はなかなか早くならない。

■クラウド基盤で実証されたデータベースの高速化
・アプリケーションが遅くなると
　Google 0.5秒遅くなるとと20％減
　Amazon 500ミリ秒遅くなると売り上げの1％ダウン
・PCIeアプリケーションアクセラレータは
　NANDフラッシュ＋PCI express＋ソフトウェア(VSL)
　でSSDをマザーボードに直結させて早くする。
・メリット
　高パフォーマンス
　低レーテンシー
　今のカードでRAID50 相当になっているため、データ保護が高い。
・RAMディスクの技術を採用している。
・元io drive。
　Sandiskに買われた。
・2008に初めてSSDがストレージに採用された。
・SSD iodrive
UBER　10^-16～17　10^-20
1枚当たりのリードエラー発生頻度　7セクター/念　1セクター/1000年
1000枚当たりのエラー発生頻度1セクター/時間　1セクター/日
・システムが求める3つの要件
　TCO、速度ベース、容量ベース
・オンメモリで処理しているシステムはPCIeを使っても早くならない。
・IDCの性能フェス「サバフェス」
・10月下旬にMySQLベースのDBパフォーマンスの話を聞くことができる。

■データベース環境における検証結果から理解する失敗しないフラッシュ活用法
・cMLX、TLCを扱っている企業は今後も安くなる見込みがあるが、それ以外のSSDを採用している企業は安くならない。
　SASの製造をやめる企業が今後増えていくため高くなっていくことが想定される、
　SASとSSDは2018年ごろには逆転する。
・ALL Frash FASでオールフラッシュの場合7年保守が選択できる。
・ミッドレンジ(20TB以上)の場合、SSDの方が安くなる。
　ハイエンド(40TB以上)の場合、ALL Frashの方が安い。
　しかし、100TB以上だと無理。
　※目安
・FASは安定性を重視している。HGSTも安定しているがFASよりも速度が倍程度。
・データベースは圧縮で性能をアップ。
　対外のストレージベンダーの性能データは重複排除が最高の時になっている。
・ベンチマーク結果等が書いてあるブログ。
tech ontap フラッシュ
・よさげなベンチマークツール
swingbench
・ハイエンドモデルをかった方が性能対比のコストは圧倒的に安い
・オールフレッシュベンダーがフラッシュの力でエンタープライズをスタンダードにしようは無理。エンタープライズとスタンダードの差の性能をフラッシュだけでは買えない。特に圧縮したときの性能アップはフラッシュではどうにもならない。

■楽天証券を支えるデータベース基盤と処理高速化への取り組み
・証券システムは09:00～09:05が一番トランザクションが高い。
　お昼、夕方も多いが上記の半分以下。
・Oracle Exadata V2 FULL Rackを3台
　2台本番で1台開発機
　期間DB44、Physical DB4、Logical DB4で構成
・約1年で V2からX3に移行。性能は10倍にすることを求められた。
・物理メモリを1.47TB→3.072TB
　Flash Cach 13.8TB→22.4TB
・huge pagesを採用。4kB→２MB
・本番とスタンバイを別々にした。
・すべてのHDDに均等に配置されるようにデータサイズを調整した。

2015年9月12日土曜日

2015年09月の SNS のニュース

「日本のユーザーがTwitterの使い方を発明している」Twitter Japanが新オフィスで事業戦略パネルディスカッション
http://internet.watch.impress.co.jp/docs/news/20150904_719602.html

Twitterは問題を抱えている
http://it.srad.jp/story/15/09/10/0651202/
①一方通行でコミュニケーション性が低いこと
②リアルタイム性を活かした対策をすること
③マルチメディアの統合の失敗
④サードパーティ対応の悲惨さ
⑤プラットホームをだめにしたこと

ツイキャスが「opus」対応--高音質化でミュージシャン取り込む
http://japan.cnet.com/news/service/35069805/

Facebookのエンジニア、中国人観光客を勝手に社内に入れて観光させていたとして解雇される
http://it.srad.jp/story/15/09/15/0443202/

TwitterでスパムDM出回る　不審なリンク付きDMに注意
http://nlab.itmedia.co.jp/nl/articles/1509/21/news047.html

J・ドーシー氏、Twitterの正式CEOに就任か--米報道
http://japan.cnet.com/news/business/35071253/

SCEJA、PS4システムソフトウェア「3.00」を配信--Twitterにビデオクリップを投稿可能
http://japan.cnet.com/entertainment/35071246/

ツイッター、新製品で140文字の制限撤廃を検討＝ウェブメディア
http://jp.reuters.com/article/2015/09/29/twitter-characterlimit-idJPKCN0RT2ZL20150929

Facebookの投稿やコメントに自動でぼかしをかけて匿名化してTwitterなどで共有できる「ThreadShots」
http://gigazine.net/news/20150929-threadshots/

2015年09月の政府の動き

「電気通信事業におけるサイバー攻撃への適正な対処の在り方に関する研究会第二次とりまとめ」及び意見募集の結果の公表
http://www.soumu.go.jp/menu_news/s-news/01ryutsu03_02000100.html

ネットワークのIP化に対応した電気通信設備に係る技術的条件に関する情報通信審議会からの一部答申
－0AB-J IP電話の品質要件等－
http://www.soumu.go.jp/menu_news/s-news/01kiban05_02000110.html

「蓄電池設備技術基準検討部会」の開催
http://www.fdma.go.jp/neuter/topics/houdou/h27/09/270915_houdou_2.pdf

「公益事業者の電柱・管路等使用に関するガイドライン」の改正
http://www.soumu.go.jp/menu_news/s-news/01kiban02_02000158.html

「電気通信事業分野における競争状況の評価2014」の公表
http://www.soumu.go.jp/menu_news/s-news/01kiban02_02000159.html

電気通信サービスの契約数及びシェアに関する四半期データの公表（平成27年度第1四半期（6月末））
http://www.soumu.go.jp/menu_news/s-news/01kiban04_02000096.html

放送の停止事故の発生状況（平成26年度）
http://www.soumu.go.jp/menu_news/s-news/01ryutsu08_02000137.html

我が国のインターネットにおけるトラヒックの集計・試算
http://www.soumu.go.jp/menu_news/s-news/01kiban04_02000098.html

I-Challenge!の補助金交付決定
http://www.soumu.go.jp/menu_news/s-news/01tsushin03_02000144.html

分散型エネルギーインフラプロジェクト・マスタープラン策定事業に関する委託予定団体の決定
http://www.soumu.go.jp/menu_news/s-news/a01gyosei05_150929.html

2015年09月の Microsoft のニュース

Windows 10: Microsoft Passport: パスワードのない時代の幕開け
http://blogs.technet.com/b/jpsecurity/archive/2015/09/11/windows-10-microsoft-passport.aspx

「Office 2016」Windows版、米国時間9月22日にリリースへ--アップデートモデル変更も
http://japan.zdnet.com/article/35070396/

Office 2016は9月22日にリリース決定、一体何が新しくなるのかまとめ
http://gigazine.net/news/20150911-ready-for-office-2016/

Office ドキュメントと iOS 向け Outlook の統合を強化
https://community.office365.com/ja-jp/b/office_365_buzz/archive/2015/09/08/deeper-integration-between-office-documents-and-outlook-for-ios

折りたたみ式の Bluetooth 対応キーボード Microsoft Universal Foldable Keyboard など、ハードウェア 4 製品を 9 月 24 日（木）より発売
http://news.microsoft.com/ja-jp/2015/09/08/150908_hardware/

Skypeの最新iPhone／iPad／Androidアプリ、それぞれデザインを最適化
http://itpro.nikkeibp.co.jp/atcl/news/15/090402877/

マイクロソフト、従業員の作業データ分析を手がけるVoloMetrixを買収へ
http://japan.zdnet.com/article/35069936/

マイクロソフト、新しいマルウェア対策の取り組み「Sonar」を準備か
http://japan.zdnet.com/article/35069862/

マイクロソフト、OfficeのUIフレームワークを「Office UI Fabric」としてオープンソースで公開

http://www.publickey1.jp/blog/15/officeuioffice_ui_fabric.html

Windows 10はポリシー変更にも留意しておくことが重要--ノークリサーチ
http://japan.zdnet.com/article/35069836/

Microsoft、アップグレード予約していないマシンにもWindows 10のインストールファイルをダウンロードさせていたと認める
http://it.srad.jp/story/15/09/11/1945237/

Office 365 の最新機能とロードマップを学ぼう【9/20 更新】
http://blogs.technet.com/b/mpn_japan/archive/2015/09/20/office-365-updates-and-roadmap.aspx

「Windows 10」の隠し機能「GodMode」を使えるようにする方法
http://japan.zdnet.com/article/35070320/

マイクロソフト「Office 2016」、全世界で提供開始
http://jp.reuters.com/article/2015/09/22/microsoft-products-idJPKCN0RM25L20150922

「Skype」でサービス障害が発生　開発元は「修正中」
http://nlab.itmedia.co.jp/nl/articles/1509/21/news045.html

Windows 10で他社製IMEが利用できない問題、日本マイクロソフトがIMEの再インストールを案
http://internet.watch.impress.co.jp/docs/news/20150918_721987.html

MS、「Azure Active Directory」に2種類の認証サービスを追加
http://japan.zdnet.com/article/35070674/

Azure Mobile Apps - 2015 年 9 月の更新情報
http://blogs.msdn.com/b/devamm/archive/2015/10/01/10644994.aspx

米マイクロソフト、Ｘｂｏｘ合弁で中国が罰金命令　開示義務違反
http://jp.reuters.com/article/2015/09/29/microsoft-china-xbox-idJPKCN0RT0UI20150929

MS、決算報告の事業区分を変更へ--2016年会計年度から
http://japan.cnet.com/news/business/35071141/

マイクロソフト、Ubuntu Linuxベース「HDInsight」の正式リリースを発表
http://japan.zdnet.com/article/35071107/

マイクロソフト、「Azure Data Lake」の主要技術を発表--年内プレビューへ
http://japan.zdnet.com/article/35071103/

米マイクロソフト、13年ぶり社長職　スミス氏が昇格

http://www.nikkei.com/article/DGXLASFK12H07_S5A910C1000000/?dg=1

2015年09月の google のニュース

ChromeのYouTubeで広告削除ツールを無視して広告が強制表示される
http://gigazine.net/news/20150908-chrome-youtube-bypass-adblock/

ユーチューブ、広告主にアクセス数を提供へ＝報道
http://jp.reuters.com/article/2015/09/07/youtube-ad-access-idJPKCN0R705A20150907

グーグル、今日撮影した鬼怒川付近などの航空写真、「Google クライシスレスポンス」で公開
http://internet.watch.impress.co.jp/docs/news/20150911_720814.html

グーグル、モバイル決済サービス「Android Pay」を米国で提供開始--100万を超える小売店舗と提携
http://japan.cnet.com/news/service/35070380/

Googleの新ロゴは305バイト
http://it.srad.jp/story/15/09/09/067215/

YouTube、「東京ゲームショウ」に初出展
http://internet.watch.impress.co.jp/docs/news/20150909_720353.html

Google、ストリートビューの単体アプリをiOSとAndroid向けに公開
http://itpro.nikkeibp.co.jp/atcl/news/15/090402875/

Appleなどの「従業員引き抜き防止」秘密協定に対し534億円の和解金支払い命令が下される
http://gigazine.net/news/20150904-apple-google-anti-poaching/

Googleドキュメント＆スプレッドシートが教育現場でより使いやすく進化した新機能まとめ
http://gigazine.net/news/20150903-google-docs-classroom/

3500万曲聴き放題 Google Play Music 国内で開始。月額980円、ダウンロード再生、5万曲対応のクラウドも
http://japanese.engadget.com/2015/09/03/3500-google-play-music-980-5/

「YouTube有料化」説が広がる　実際は「YouTubeが有料会員サービスの導入を検討」報道なので注意
http://www.itmedia.co.jp/news/articles/1509/03/news092.html

PS4向け最新ソフトウェアVer.300発表　コミュニティ機能強化、｢YouTube Live｣にも対応
http://www.itmedia.co.jp/lifestyle/articles/1509/02/news134.html

グーグルの独禁法問題、インドで予備報告が提出
http://japan.cnet.com/news/business/35069729/

Googleマップを使った新広告システム「Google Here」計画が頓挫
http://gigazine.net/news/20150901-google-here/

ＩＴ技術者の採用急ぐ自動車各社、米グーグルとの競争意識
http://jp.reuters.com/article/2015/09/15/autoshow-frankfurt-technology-idJPKCN0RF09420150915

AppleがGoogle Playで公開したiOS移行用アプリ、Androidユーザーの評価は？
http://apple.srad.jp/story/15/09/18/2123249/

グーグル、プレスイベントを米国時間9月29日に開催--新「Nexus」スマートフォン登場か
http://japan.cnet.com/news/service/35070799/

グーグル、丸い新「Chromecast 2.0」と「Chromecast Audio」発表
http://ascii.jp/elem/000/001/057/1057307/

Googleがメールアドレスを入力すればその持ち主をターゲットに広告を表示可能な「Customer Match」を発表
http://gigazine.net/news/20150929-google-target-email/

Google、検索、YouTube、Gmail横断のターゲティング広告「Customer Match」始動　新モバイル広告ツールも
http://www.itmedia.co.jp/news/articles/1509/29/news066.html

Googleの最新スマホ「Nexus 5X」と「Nexus 6P」の販売価格・予約開始日・販売国がリークされる
http://gigazine.net/news/20150929-nexus-5x-6p-price-country/

グーグルが音声検索を改善--高速化と騒音環境での認識向上
http://japan.cnet.com/news/service/35071105/

Googleも脱着キーボード付きタブレット「Pixel C」をリリース、SurfaceやiPad Proと三つどもえに
http://gigazine.net/news/20150929-google-pixel-c/

2015年9月5日土曜日

メディア力のある人が持つ4つのこと

メディア力を高めるための学習・行動規範
他人視点で考える
説得力を高める基礎技術
説得力を高める応用技術

日経コンピュータ No.894 2015.9.3 号より

登録: 投稿 (Atom)