データサイエンス
今回の記事は備忘録も兼ねて軽めの内容を記載していきます． はじめに 実行環境 問題 対策 まとめ はじめに 機械学習のモデル解釈で頻繁に用いられるのがSHAPです． 実際のデータ分析の現場で頻繁に用いられるライブラリとしては shap があります． github.c…
今回は可視化の記事についてです． Sankey Diagramとは floWeaver 実行環境 インストール floWeaverの実装方法 データ 可視化 まとめ 参考資料 Sankey Diagramとは SanKey Diagramとは各プロセス間の流量を表現する可視化パターンです．矢印の向きでプロセス…
キャリブレーションとは クラス分類におけるキャリブレーション キャリブレーションの評価指標 Reliability Diagram Expected Calibration Error(ECE) Maximum Calibration Error(MCE) キャリブレーション方法 Isotonic Regression Platt Scaling キャリブレ…
matplotlibの文字化け 対処法 japanize-matplotlib まとめ matplotlibの文字化け データ分析を行なっている方であれば当然EDA(探索的データ分析)のフェーズで自身が扱っているデータを理解することに努めると思います．このプロセスを丁寧に行うことで「扱っ…
はじめに モデル保存パターン 各パターンの解説 state_dictのモデル保存 entireのモデル保存 TorchScriptのモデル保存 べストな保存方法 まとめ はじめに TorchServeを利用してサービングを実施する際にモデルの保存方法についていくつかパターンがあり，Tor…
はじめに SHAPとは ライブラリについて インストール データセット モデル作成 LightGBM Xgboost SHAP Value Violin Plot Dependence Plot Monotonic Constraints まとめ はじめに XAI（Explainable AI）という言葉を聞いたことはありますでしょうか． 日本…
はじめに 後半部分の内容について 実践してみて 意外と苦労したポイント まとめ はじめに 本記事は過去記事のPythonデータ分析100本ノックを実践【前半】の続きの内容になっています．Pythonデータ分析100本ノックの書籍内容については前半にて言及しており…
MixConvとは 概要・イントロ 関連研究 MixConvの手法 MixConvにおけるデザイン設計 パフォーマンス MixNet まとめ MixConvとは MixConv1とはConvolutional Nueral Networkのにおいてパラメータ数を減らしつつ，高精度を実現する新しい畳み込みを提案した手法…
Pythonデータ分析100本ノックって? 書籍構成 対象者はどれくらいの層なのか? 前半部分を実践してみて まとめ Pythonデータ分析100本ノックって? Pythonデータ分析100本ノックとは秀和システムから出版されている書籍です．現場を想定したデータ分析に必要な…
はじめに dvcのインストール dvcの使い方 ファイル保存先をリモートサーバに設定 まとめ はじめに 最近ではKaggleなどでkernelをsubmitしてコンペティションに参加するなどデータ分析においてもデータの管理や試行した履歴を残すといった再現性により一層注…
回帰の評価指標はこれ 評価指標の種類 決定係数 平均絶対誤差(MAE) 平均二乗誤差(MSE) 平均二乗平方根誤差(RMSE) 平均絶対パーセント誤差(MAPE) なぜ「MAEとRMSE」なのか 整数値で均一な観測データを含む場合 外れ値の観測データを含む場合 予測値が小数点以…
はじめに 一般的なデータ分析の問題設定 問題設定の種類 適切な分類とその評価 分類 回帰 まとめ はじめに データ分析におけるモデル評価についての内容をまとめてみます． データ分析を初めて行うとモデル作成や手法に注目しがちですが，目的を達成するため…
