機械学習の備忘録 その4です
tensorflowを学習するだけならdockerがオススメです
phpのgd-jpegでout of disk spaceエラー
エラーログに下記のようなエラーがあがった
PHP Unknown error: imagejpeg(): gd-jpeg: JPEG library reports unrecoverable error: Output file write error --- out of disk space? in Unknown on line 0
out of disk space
まじで!!!
ディスク容量がないってこと
df -h
調べたら
41%しか使っていない
意味わからん
アクセスログを見たらheadリクエスト部分でエラーになっていた
HEAD https://xxxxx/Chart/graph.php?From=20170301&To=20170331 ←こいつでエラー!! GET https://xxxxx/Chart/graph.php?From=20170301&To=20170331
再現しようとしたがcurlではエラーがおきず様子見にしてほしいと要望した
curl -I https://xxxxx/Chart/graph.php?From=20170301&To=20170331
なんでHEADリクエストなんだろう・・・???
確認ってこと??
機械学習の備忘録 その3
機械学習の動画を学んだので
実際にDeep Learningをやってみた
タスクを消すのを忘れてやらかしてしまった
ユーザー様に同じメールが4通も届くという障害を起こしてしまった
ユーザー様、ご迷惑をかけて申し訳ございません。
とあるクラウド環境で
動いているサーバーをイメージ化(awsでいうとAMI)にして
横展開をすることになりました
イメージ化が無事できた
そのイメージをもとにインスタンス(サーバー)を立てました
問題なく動きました
よかった
1日置いて様子を見ようと放置しました
次の日くると
とんでもない事が起きました
ユーザーへの通知メールが4通も送られている
ああああああああああああ
もともとのイメージ化していたサーバーには
タスクスケジューラが設定されていた
そのタスクが動いてしまい・・・
4通も送ってしまいました
4通の理由は、事前にメール送信の内容を
DBに作成してから送るシステムで
送る内容が2通できてしまいました
同時アクセスでの排他制御とかかけていないので
できたメールが2回配信されてしまい
合計4通もメールを送ってしまいました
ログ集計とかどうでもいいような所は
なぜか排他制御があり、2重に取られることがありませんでした
教訓としては
・イメージ化する場合はタスクスケジューラを停止して作る
・インスタンスを立ち上げたらタスクスケジュールを見る
・メール配信機能は排他制御をつける
・インフラ担当が自分しかいないのでできるだけ上司に説明してリスクを分散する
機械学習の備忘録 その2
動画で機械学習を通勤時間にこの勉強でつらかったのは
【世界で5万人が受講】実践 Python データサイエンス | Udemy
スマフォで見るには文字が小さい事!!
ズームしてくれよ!!
ということで
耐えれずに違う動画を購入した
Pythonで機械学習:scikit-learnで学ぶ識別入門 | Udemy
文字がでかい!!
スマフォでも耐えれる!!
ということで
よかったのは
・Pythonの機械学習ライブラリscikit-learnが
前回の動画と変わらない環境でできたこと
・交差確認(cross validation)やleave-one-outとか
Azureのmachine learningでもできたが意味がわからないもの
説明があったこと
衝撃だったのは
パーセプトロンというのが識別器が
deeplearninngにつながるということだった
機械学習の基礎的なことを学ぶならこの動画がオススメかな
教訓としては
学習の動画を買う時は
スマホで確認してから買う
料理下手にはクックパッドよりクラシル!!
料理サイトはクックパッドがデフォルトみたいになっているのですが
料理が下手くそには辛いサイトです
(ある程度できる人が見るといいサイトだと思います)
材料とかみても??
手順みても??
適当とか書いてあるとイライラします(笑)
そんな私ですら作れそうな料理レシピアプリがありました
手順が約1分でまとまっています
写真ではわかりにくいのでアプリをダウンロードして確認してほしいです
あ・・・
サイトでありました
www.kurashiru.com
私の個人的な意見として
めっちゃ!!うまそうな動画サイト(アプリ)です
機械学習の備忘録 その1
技術の周回おくれのうちの会社ですら
AI,AI!!
と叫んでいてる
意識高い人(系ではない・・・)が勉強会を開いた
そのレクチャーは
MicrosoftのAZureのmachine learningのレクチャーだったが
なぜ分類できるのか?
API?
教師データ?
(その時は教師ありの2クラス問題だった)
まったく理解できなかった
理解できないので
「よくわからないです」
と
言ったところ
本をもらった
「masalibさんならこの本を渡せば簡単にできますよ」
さわってわかる機械学習 Azure Macine Learning 実践ガイド
- 作者: FIXER,大澤文孝,千賀大司,山本和貴,日本マイクロソフト
- 出版社/メーカー: 日経BP社
- 発売日: 2016/06/03
- メディア: 単行本
- この商品を含むブログ (1件) を見る
説明する気はないらしい・・・
という事で勉強することになった
自分の出身高校は偏差値が40にもない不良高校だ
どれぐらい酷いのかというと
入試問題が
「台形の面積を求める」というレベルだ
そんなわけで数学のレベルは
中学校でほぼ止まっている
そのため、機械学習の習得するにあたり
最大の壁が数式だった
例
softmax関数やシグモイド関数・・・・
意味がわからないので
本が進まない、進まない・・・
言い訳だが
毎日、仕事と家庭サービスがあるため
30分〜1時間ぐらいしかできないため
全然、進まなかった
人に教えてもらうのがいいと思い探してみて
勉強の動画を購入する事にした
なぜ購入を決定したのかは
・セールをしていて1200円で安かった
・日本人がレクチャーしてくれる
・わからない場合は、先生に質問できる
セールをしていない場合は約12000円ぐらい
よかったのは
numpy,pandasの基礎を学ぶ事ができた
あとダウンロードして再生できること
パケ死しないでいいのは助かった
何よりもそこで嬉しかったのは
jupyter notebook(昔だとanaconda)
このソフトは無料で、かつローカルのマシンにセットアップできた
(この当時はpipなどでインストールしたが今ならdockerで一発でできる)
当たり前だろ!!
と思うが
MicrosoftのAZureのmachine learning
は1つのモデル(機械学習の結果)をつくるだけでも
1000円は取られる
1時間勉強するごとに100円ぐらいかかる
注意
これはMicrosoftのAzureを昔から使っていたため
無料枠(2万円ぐらい)なんてとっくの昔に使い終わっていたため
普通の人は2万円ぐらいの枠で勉強する事ができる
お金を払って勉強したが
numpyで下記のサイトでほぼ理解できる
http://www.yoheim.net/blog.php?q=20150801
https://github.com/rougier/numpy-100
https://algorithm.joho.info/programming/python/numpy-sample-code/
あとの祭りだった
無料でかつ日本語の字幕が動画があることは
最近になってからだった
ああああ・・・
過去の自分に言いたい
「ぐぐれカス」