機械学習

【Python】 機械学習の前処理その4 テストデータを分割しロバスト性を上げる ホールドアウト法の使い方

機械学習アルゴリズムを評価する基準の一つにロバスト性(頑健性)という指標があります。ロバスト性とは、外れ値、飛び値や、運用時にテストデータと異なる傾向が出た場合にも、間違った予測をしにくい性質のことです。本記事では、データの傾向変化に対するロバスト性を向上する方法として、ホールドアウト法をご紹介したいと思います。

【Python】機械学習の前処理その3 NaNを除外 、線形・多項式補間する方法!

機械学習を行う際、データの中に「NaN」が混ざっていたり、数値データの中に「―」や「80%」の様に数値化できない値が混ざっていると学習を行うことができません。 そこで、今回はデータの中から「 NaN 」を除外する方法と、特定の条件を満たす値を除外する方法をご紹介したいと思います。

【Python】 機械学習の前処理その2 統計とNaNの確認 describe と sum

まえがき  機械学習で正しい学習結果を得るためにはデータの前処理が大切ということは過去の記事でも書いてきました。過去の記事は以下をご覧ください。 tedukapm.tech/?p=137 そして、適切な前処理を行うためには、データの状態を確認することが不可欠です。そこで今回は、データの基本統計量(合計、平均)を一度に確認できる「describe」の使い方と、合計を確認できる「sum」の使い方をご紹 […]

【Python】機械学習の前処理正規化 (Normalization) 標準化 (Standardization) 2つの違いは?

まえがき  機械学習ははただデータをAPIに投げ込めばできるというものではありません。良い結果を得るためには、データをそのまま使うのではなく、効率的に学習できるように加工する必要があります。必要な加工はデータの特性や機械学習で知りたい情報によっても異なります。ですので、適切なデータ加工を行うことはエンジニアの腕の見せ所ともいえるわけです。本日はそんなデータ加工の方法の中で、最もよく使われる規格化と […]

【scikit-learn】Pythonで機械学習!その1 ~CheatSheetとは?~

 pythonで機械学習を行うとき、必ずと言ってよいほど使用されるのが、scikit-learnというライブラリです。 scikit-learn を使いこなすために、目的にあったアルゴリズムを選ぶための基準となるCheatSheetというものが用意されています。今回はこの CheatSheet を紹介してゆきます。 まえがき scikit-learnは数多くの機械学習のアルゴリズムを簡単に実装でき […]