masalibの日記

システム開発、運用と猫の写真ブログです

pandas_profilingでなんちゃって分析をする

私みたいな機械学習の初心者にはデータがどんなものなのか知りたい時があります
超簡単にデータ分析する方法があったのでメモとして残します

レポート出力

import pandas as pd
import pandas_profiling

# 日経データ
df = pd.read_csv('https://raw.githubusercontent.com/zaq9/nk225_list/master/nk225_list.csv')
pandas_profiling.ProfileReport(df)

データプロファイリングレポートを表示するために必要なのはこれだけです。
レポートは必要に応じてチャートを含めてかなり詳細です。

レポート内容
* 基本事項:タイプ、固有値、欠損値 * 最小値、Q1、中央値、Q3、最大値、範囲、四分位範囲などの分位点統計 * 平均、最頻値、標準偏差、合計、絶対絶対値中央値、変動係数、尖度、歪度などの記述統計 * 最も頻繁な値 * ヒストグラム * 相関性の高い変数、Spearman、Pearson、Kendall行列の相関関係 * 欠損値の行列、カウント、ヒートマップ、および欠損値の樹状図

ざっくりデータを分析する際に非常に便利です。
EDA (探索的データ解析) の第一歩として非常に有用

HTML出力する場合は以下を追加

profile.to_file(outputfile="myoutputfile.html")

from IPython.display import HTML
HTML(filename='myoutputfile.html')

個別レポート出力の仕方を探してみたのですが・・・ JupiterNoteBookではできなかった

損害保険ジャパンのリストラは震えるぐらい怖い

f:id:masalib:20190626191920p:plain

損害保険ジャパン日本興亜が2020年度末までに、従業員数を17年度比で4000人程度減らす方針であることが24日、分かった。全体の約15%に相当する。ITを活用し、業務の効率化を進める。 余った従業員は介護などを手掛けるグループ企業に配置転換し、新卒採用も抑える。希望退職者の募集は予定していない。

https://www.jiji.com/jc/article?k=2019062401063&g=eco より引用

「余った従業員は介護などを手掛けるグループ企業に配置転換」

保険屋がいきなり介護とか絶対無理でしょ!!
しかも1~2年しか猶予がない

www.orangeitems.com

事務職の人がプログラマーをおこなうみたいにかなり辛いと思う。

「希望退職者の募集は予定していない」ということは割増退職金すら出さない
グループ内での人事異動でしかないから違法性もない
本当に考えた人は天才だと思う。
だけどこれは怖い。震えるぐらいに

markdownで差分表示

お恥ずかしいのですが、markdownで差分表示できることを知りませんでした

人様の記事をみてどうやってやっているのかな~なんて思っていましたが 以下の手順でできました

  • 設定の部分にdiffを追加する
  • 全体的にスペースを追加する
  • 加えた部分に「+」を削除した部分に「-」

ベースのソース

` ` `
import React, { Component } from 'react';
import logo from './logo.svg';
import './App.css';
` ` `

設定の部分にdiffを追加する

` ` `diff
import React, { Component } from 'react';
import logo from './logo.svg';
import './App.css';
` ` `

全体的にスペースを追加する

↓importの前にスペースを追加しています

` ` `diff
import React, { Component } from 'react';
import logo from './logo.svg';
import './App.css';
` ` `

加えた部分に「+」を削除した部分に「-」を追加する

↓importの前にスペースを追加しています

` ` `diff
import React, { Component } from 'react';
-import logo from './logo.svg';
+import './App.css';
` ` `

結果

 import React, { Component } from 'react';
-import logo from './logo.svg';
+import './App.css';

削除された部分が紫になり、追加されたところが青になります (CSSによって違うのであくまでも例です)

Prime Day(プライムデー)でd払いなら超お得

Amazon.co.jpは、年に一度のプライム会員大感謝祭「Prime Day(プライムデー)」
を7月15日から2日間限定で開催することを発表しました。

詳細はこちら

f:id:masalib:20190625181642j:plain

ドコモのスマホ決済「d払い」が20%還元キャンペーンを
実施します。期間は7月1日〜31日。還元額は最大1万円(20%なので5万)
アマゾンの支払いをd払いすればお得!!

※※注意事項※※

  • 還元を受けるには事前のエントリーが必要。d払い(街・ネット)の買い物金額に応じて、通常のポイント還元にプラスして20%が付与されます。
  • dポイントの種別は用途・期間限定で、9月30日に付与予定。付与されたポイントの有効期限は11月30日まで。

11月30日まで使わないといけないのが辛い。

Amazon SageMakerで画像分類をしてみた

前回は本当に触ってみた程度でした・・・

masalib.hatenablog.com

f:id:masalib:20190622225433j:plain

今回も触ってみたです程度でSageMaker Examplesを実行しただけです。サンプルコードを写経したでけですが本当にしらない事だらけで勉強になりました

続きを読む

Amazon SageMakerを触ってみた

f:id:masalib:20190622225433j:plain

機械学習のWEBアプリを作りたいのですが最終的なエンドポイントのところでハマってしまいました。 簡単にエンドポイントが作れるという記事を見たのでAmazon SageMakerというサービスを勉強することになりました

触ってみたというは、まだまだ理解が足りないという意味です
今回は下記の記事をほぼまるパクリです

dev.classmethod.jp

画面が少し違う程度です

続きを読む