masalibの日記

システム開発、運用と猫の写真ブログです

phpのgd-jpegでout of disk spaceエラー

エラーログに下記のようなエラーがあがった

PHP Unknown error: imagejpeg(): gd-jpeg: JPEG library reports unrecoverable error: 
Output file write error --- out of disk space? in Unknown on line 0

out of disk space

まじで!!!
ディスク容量がないってこと

df -h

調べたら
41%しか使っていない
意味わからん

アクセスログを見たらheadリクエスト部分でエラーになっていた

HEAD https://xxxxx/Chart/graph.php?From=20170301&To=20170331 ←こいつでエラー!!
GET  https://xxxxx/Chart/graph.php?From=20170301&To=20170331

再現しようとしたがcurlではエラーがおきず様子見にしてほしいと要望した

curl -I https://xxxxx/Chart/graph.php?From=20170301&To=20170331

なんでHEADリクエストなんだろう・・・???
確認ってこと??

タスクを消すのを忘れてやらかしてしまった

ユーザー様に同じメールが4通も届くという障害を起こしてしまった
ユーザー様、ご迷惑をかけて申し訳ございません。

f:id:masalib:20170329205727p:plain


とあるクラウド環境で
動いているサーバーをイメージ化(awsでいうとAMI)にして
横展開をすることになりました
イメージ化が無事できた
そのイメージをもとにインスタンス(サーバー)を立てました
問題なく動きました

よかった
1日置いて様子を見ようと放置しました

次の日くると
とんでもない事が起きました
ユーザーへの通知メールが4通も送られている

ああああああああああああ
もともとのイメージ化していたサーバーには
タスクスケジューラが設定されていた

そのタスクが動いてしまい・・・
4通も送ってしまいました

4通の理由は、事前にメール送信の内容を
DBに作成してから送るシステムで
送る内容が2通できてしまいました
同時アクセスでの排他制御とかかけていないので
できたメールが2回配信されてしまい
合計4通もメールを送ってしまいました
ログ集計とかどうでもいいような所は
なぜか排他制御があり、2重に取られることがありませんでした

教訓としては
・イメージ化する場合はタスクスケジューラを停止して作る
インスタンスを立ち上げたらタスクスケジュールを見る
・メール配信機能は排他制御をつける
・インフラ担当が自分しかいないのでできるだけ上司に説明してリスクを分散する

機械学習の備忘録 その2

動画で機械学習を通勤時間にこの勉強でつらかったのは
【世界で5万人が受講】実践 Python データサイエンス | Udemy

スマフォで見るには文字が小さい事!!

f:id:masalib:20170328005217p:plain

ズームしてくれよ!!
ということで

耐えれずに違う動画を購入した
Pythonで機械学習:scikit-learnで学ぶ識別入門 | Udemy

f:id:masalib:20170328005140p:plain

文字がでかい!!
スマフォでも耐えれる!!

ということで

よかったのは
Python機械学習ライブラリscikit-learnが
 前回の動画と変わらない環境でできたこと

・交差確認(cross validation)やleave-one-outとか
 Azureのmachine learningでもできたが意味がわからないもの
 説明があったこと

衝撃だったのは
パーセプトロンというのが識別器が
deeplearninngにつながるということだった
機械学習の基礎的なことを学ぶならこの動画がオススメかな


教訓としては
学習の動画を買う時は
スマホで確認してから買う

料理下手にはクックパッドよりクラシル!!

料理サイトはクックパッドがデフォルトみたいになっているのですが
料理が下手くそには辛いサイトです
(ある程度できる人が見るといいサイトだと思います)

材料とかみても??
手順みても??
適当とか書いてあるとイライラします(笑)

そんな私ですら作れそうな料理レシピアプリがありました

手順が約1分でまとまっています


f:id:masalib:20170328014803p:plain
f:id:masalib:20170328014759p:plain
f:id:masalib:20170328014755p:plain
f:id:masalib:20170328014939p:plain
f:id:masalib:20170328014934p:plain
f:id:masalib:20170328014930p:plain
f:id:masalib:20170328014926p:plain
f:id:masalib:20170328014921p:plain
f:id:masalib:20170328015036p:plain


写真ではわかりにくいのでアプリをダウンロードして確認してほしいです

あ・・・
サイトでありました
www.kurashiru.com

私の個人的な意見として
めっちゃ!!うまそうな動画サイト(アプリ)です

機械学習の備忘録 その1

技術の周回おくれのうちの会社ですら

AI,AI!!
と叫んでいてる

意識高い人(系ではない・・・)が勉強会を開いた
そのレクチャーは
MicrosoftのAZureのmachine learningのレクチャーだったが

なぜ分類できるのか?
API
教師データ?

(その時は教師ありの2クラス問題だった)

まったく理解できなかった

理解できないので
「よくわからないです」

言ったところ
本をもらった
「masalibさんならこの本を渡せば簡単にできますよ」

さわってわかる機械学習 Azure Macine Learning 実践ガイド

さわってわかる機械学習 Azure Macine Learning 実践ガイド

説明する気はないらしい・・・
という事で勉強することになった


自分の出身高校は偏差値が40にもない不良高校だ
どれぐらい酷いのかというと
入試問題が
 「台形の面積を求める」というレベルだ
そんなわけで数学のレベルは
中学校でほぼ止まっている

そのため、機械学習の習得するにあたり
最大の壁が数式だった


 softmax関数やシグモイド関数・・・・

意味がわからないので
本が進まない、進まない・・・

言い訳だが
毎日、仕事と家庭サービスがあるため
30分〜1時間ぐらいしかできないため
全然、進まなかった

人に教えてもらうのがいいと思い探してみて
勉強の動画を購入する事にした

www.udemy.com

f:id:masalib:20170328004243j:plain

なぜ購入を決定したのかは
・セールをしていて1200円で安かった
・日本人がレクチャーしてくれる
・わからない場合は、先生に質問できる
セールをしていない場合は約12000円ぐらい

よかったのは
numpy,pandasの基礎を学ぶ事ができた
あとダウンロードして再生できること
パケ死しないでいいのは助かった

何よりもそこで嬉しかったのは
jupyter notebook(昔だとanaconda)
このソフトは無料で、かつローカルのマシンにセットアップできた
(この当時はpipなどでインストールしたが今ならdockerで一発でできる)

当たり前だろ!!

と思うが
MicrosoftのAZureのmachine learning
は1つのモデル(機械学習の結果)をつくるだけでも
1000円は取られる
1時間勉強するごとに100円ぐらいかかる

f:id:masalib:20170328002742j:plain

注意
これはMicrosoftのAzureを昔から使っていたため
無料枠(2万円ぐらい)なんてとっくの昔に使い終わっていたため
普通の人は2万円ぐらいの枠で勉強する事ができる


お金を払って勉強したが
numpyで下記のサイトでほぼ理解できる
http://www.yoheim.net/blog.php?q=20150801
https://github.com/rougier/numpy-100
https://algorithm.joho.info/programming/python/numpy-sample-code/

あとの祭りだった

無料でかつ日本語の字幕が動画があることは
最近になってからだった

www.coursera.org

ああああ・・・
過去の自分に言いたい
「ぐぐれカス」

今更ですが・・・・2016年に買ってよかった物

パルスイクロスです!!

パルスイクロス 薄手 イエロー

パルスイクロス 薄手 イエロー

レジェンド松下さんが紹介していた物です
年末の大掃除時に油の汚れが
取れる、取れる!!

しかも洗剤をつけなくても
取れる、取れる!!

1,000円ぐらいの商品なのですが
洗剤の事を考えると安い!!

東急ハンズとロフトで自分の家用が2枚、
プレゼント用が2枚買いました

プレゼント用は嫁のお姉さんにあげました
掃除好きだったので、非常に喜んでもらいました

レジェンド松下さんが紹介する商品は本当にほしくなるのですが
紹介されると中々買えないが、残念で仕方がない所です

今なら余裕で変えるので
油もののレンジ周りを掃除するならこの商品を買うことをオススメします