こんにちは、今日はPythonのpandasライブラリを使ってCSVファイルを読み込む際に、実際のデータと異なる値が読み込まれる問題について、一緒に考えていきましょう。CSVファイルはデータ分析や処理の際によく使われる形式ですが、時には思った通りにデータが読み込まれず、困ることがありますよね。特に、pd.read_csvを使っているときに、データが欠損していたり、異なる形式で読み込まれると、「どうして？」と疑問に思うこともあるかもしれません。
このブログ記事では、よくある問題とその解決方法を初心者の方にもわかりやすく説明していきます。エラーが出たときや、思った通りにデータが取り込めなかったときでも焦らずに対処できるようにしましょう！
pandasでCSVを読み込む基本
まずは、pd.read_csvの基本的な使い方を確認しましょう。pandasはPythonでデータ解析を行う際によく使われるライブラリで、CSVファイルの読み込みに便利な関数read_csvを提供しています。
以下は、pd.read_csvを使ってCSVファイルを読み込むシンプルな例です。
import pandas as pd # CSVファイルのパス csv_file = 'sample.csv' # CSVファイルを読み込む df = pd.read_csv(csv_file) # データフレームの内容を表示 print(df)
上記のコードでは、sample.csvというファイルを読み込み、その内容をデータフレーム（df）として表示しています。これが基本的な使い方ですが、時々、CSVに含まれるデータが意図せず違う形式で読み込まれたり、欠損していたりすることがあります。
問題: 異なる値を読み込んでしまうケース
では、具体的な問題に移りましょう。例えば、以下のようなCSVファイルがあるとします。
id,name,age 1,Alice,25 2,Bob,30 3,Charlie,35 4,David,N/A
このデータには、1人の年齢が欠損しています。この場合、pd.read_csvをそのまま使うとどうなるか確認してみましょう。
import pandas as pd # サンプルのCSVデータ data = """id,name,age 1,Alice,25 2,Bob,30 3,Charlie,35 4,David,N/A""" # StringIOを使って文字列からCSVを読み込む from io import StringIO csv_data = StringIO(data) # CSVデータを読み込む df = pd.read_csv(csv_data) # データフレームの内容を表示 print(df)
実行結果:
id name age 0 1 Alice 25 1 2 Bob 30 2 3 Charlie 35 3 4 David NaN
この結果からわかるように、N/Aという値は自動的にNaN（欠損値）として扱われています。pandasは、このような欠損値をデフォルトでNaNと認識しますが、これは時には望ましくない動作かもしれません。
解決策1: 欠損値の扱いをカスタマイズする
もしN/Aや他の値をそのまま読み込みたい場合は、na_valuesという引数を使って、欠損値と見なす値をカスタマイズすることができます。
# 'N/A'を欠損値と認識しないように設定 df = pd.read_csv(csv_data, na_values=[]) print(df)
実行結果:
id name age 0 1 Alice 25 1 2 Bob 30 2 3 Charlie 35 3 4 David N/A
このように、na_values=[]と指定することで、N/Aを欠損値として扱わず、そのままの値として読み込むことができました。
解決策2: 特定の値を欠損値として扱う
逆に、特定の文字列を欠損値として認識させたい場合もあります。例えば、"missing"や"-"といった文字列が欠損値を示している場合、これらを指定することができます。
# 欠損値とみなす値を指定 df = pd.read_csv(csv_data, na_values=['N/A', '-']) print(df)
実行結果は同様に、N/Aが欠損値（NaN）として扱われます。
解決策3: データ型の自動推定を避ける
pandasは、read_csvを使う際に自動的に各列のデータ型を推定します。しかし、これが原因で意図しないデータ型に変換されてしまうことがあります。特に数値列で文字列が混在している場合、pandasが誤ってすべての値を文字列として読み込んでしまうことがあります。
次の例を見てください。
id,name,score 1,Alice,90 2,Bob,85 3,Charlie,"N/A" 4,David,80
このCSVファイルには、score列に数値と文字列（"N/A"）が混在しています。このファイルをread_csvで読み込むとどうなるでしょうか？
# サンプルのCSVデータ data = """id,name,score 1,Alice,90 2,Bob,85 3,Charlie,"N/A" 4,David,80""" # StringIOを使って文字列からCSVを読み込む csv_data = StringIO(data) # CSVデータを読み込む df = pd.read_csv(csv_data) print(df) print(df.dtypes)
実行結果:
id name score 0 1 Alice 90 1 2 Bob 85 2 3 Charlie N/A 3 4 David 80 id int64 name object score object dtype: object
ここで、score列がobject型（文字列）として読み込まれています。これは、"N/A"という文字列が混在しているためです。この場合、数値データとして扱いたい場合には、明示的にデータ型を指定する必要があります。
# データ型を明示的に指定して読み込む df = pd.read_csv(csv_data, dtype={'score': 'float'}, na_values=['N/A']) print(df) print(df.dtypes)
実行結果:
id name score 0 1 Alice 90.0 1 2 Bob 85.0 2 3 Charlie NaN 3 4 David 80.0 id int64 name object score float64 dtype: object
このように、dtype引数を使って、score列をfloat型として読み込み、"N/A"を欠損値として扱うことができました。
まとめ
今回の記事では、pd.read_csvを使ってCSVファイルを読み込む際に、データが異なる形式で読み込まれる問題について解説しました。主に以下の3つのポイントを押さえていただければ、より正確にデータを読み込むことができるでしょう。
na_values引数を使って、欠損値とみなす値をカスタマイズする。- 明示的にデータ型を指定することで、意図しない型変換を防ぐ。
dtype引数を活用して、列ごとに適切なデータ型を指定する。
データ解析において、正しいデータを扱うことは非常に重要です。思い通りにデータが読み込めないときは、今回のような解決策を試してみてくださいね。これからもデータ処理の旅を一緒に楽しんでいきましょう！
