スクレイピングしたデータを効率的に解析・保存する方法 - Python転職初心者向けエンジニアリングブログ

こんにちは！みなさん、データをスクレイピングできたときのあの興奮を覚えていますか？ウェブサイトから大量のデータを取得することができた瞬間は、まるで宝物を見つけたかのような気分ですよね。でも、そのデータをどう扱うかが次のステップで、これが意外と難しいんです。今回は、スクレイピングしたデータを効率的に解析し、さらにそれを適切に保存する方法について一緒に学んでいきましょう。

初心者でも、まるで魔法のようにデータを処理して保存できる方法を、具体的なコード例を交えながら説明しますので、最後までお付き合いくださいね！

まずはスクレイピングから

最初に、データをスクレイピングするシンプルな例をおさらいしましょう。ここでは、requestsライブラリとBeautifulSoupを使ってデータを取得します。例えば、ニュースサイトから記事のタイトルを取得するケースを考えます。

import requests
from bs4 import BeautifulSoup

# ニュースサイトのURL
url = "https://example.com/news"

# ページのHTMLを取得
response = requests.get(url)

# BeautifulSoupでHTMLを解析
soup = BeautifulSoup(response.text, "html.parser")

# ニュースタイトルをすべて取得
titles = soup.find_all("h2", class_="news-title")

# 取得したニュースタイトルを表示
for title in titles:
    print(title.get_text())

上記のコードで、ニュースサイトのすべての記事タイトルを取得することができました。とてもシンプルですが、ここからが本番です。この取得したデータをどう解析し、どう保存するかが次の課題です。

データを効率的に解析する

データをスクレイピングした後、それをどう整理し、どのように役立てるかが重要です。例えば、取得したニュースタイトルに含まれる特定のキーワードをカウントすることを考えてみましょう。これには、Pythonの標準ライブラリであるcollectionsのCounterを使います。

from collections import Counter

# ニュースタイトルをリストにまとめる
titles_list = [title.get_text() for title in titles]

# タイトルの中に含まれる単語をカウント
words = " ".join(titles_list).split()
word_count = Counter(words)

# 上位5つのよく使われている単語を表示
print(word_count.most_common(5))

これで、ニュース記事のタイトルに最もよく使われている単語がわかります。このように、データを集計し、パターンを見つけることで、次のアクションに繋がる貴重な洞察を得ることができます。

データの保存方法

データを解析したら、それを効率的に保存しておくことが大事です。保存方法としては、以下の3つが代表的です：

CSVファイルに保存
JSONファイルに保存
データベースに保存

それでは、それぞれの方法を見ていきましょう。

CSVファイルに保存

CSVは、多くのアプリケーションでサポートされており、データのやり取りがしやすい形式です。まずは、取得したデータをCSV形式で保存する方法を見てみましょう。

import csv

# CSVファイルにデータを保存
with open("news_titles.csv", mode="w", newline="") as file:
    writer = csv.writer(file)
    writer.writerow(["Title"])  # ヘッダー行を書き込み
    for title in titles_list:
        writer.writerow([title])

これで、ニュースのタイトルがnews_titles.csvというファイルに保存されます。CSVファイルは、ExcelやGoogleスプレッドシートで簡単に開けるため、データの管理に非常に便利です。

JSONファイルに保存

次に、JSON形式での保存です。JSONは、特にWeb APIと連携する場合に便利で、データを階層的に保存できます。

import json

# JSONファイルにデータを保存
with open("news_titles.json", mode="w") as file:
    json.dump(titles_list, file, indent=4)

こちらはJSON形式でデータを保存する例です。indent=4の部分で、見やすいようにインデントを付けて保存しています。JSONはデータの構造を保ちながら保存できるため、より複雑なデータセットに適しています。

データベースに保存

大量のデータを扱う場合や、後からデータを検索・更新したい場合は、データベースに保存する方法が最適です。ここでは、SQLiteという軽量のデータベースを使ってデータを保存してみます。

import sqlite3

# SQLiteデータベースに接続（ファイルがなければ自動で作成されます）
conn = sqlite3.connect("news.db")
cursor = conn.cursor()

# テーブルを作成
cursor.execute('''CREATE TABLE IF NOT EXISTS news (title TEXT)''')

# ニュースタイトルをテーブルに挿入
for title in titles_list:
    cursor.execute("INSERT INTO news (title) VALUES (?)", (title,))

# コミットして接続を閉じる
conn.commit()
conn.close()

このコードでは、SQLiteデータベースにニュースタイトルを保存しています。後からデータを簡単に検索できるので、データベースを利用することで、より柔軟な操作が可能になります。

実行結果

$ python scrape_and_save.py
[('Python', 5), ('ニュース', 3), ('最新', 2), ('記事', 2), ('更新', 1)]

このように、スクレイピングして取得したニュースタイトルに最も頻繁に登場する単語を分析し、さらにそれをCSV、JSON、SQLiteのいずれかの形式で保存することができました。データの量や用途によって保存形式を選択することで、効率的なデータ管理が可能です。

まとめ

データのスクレイピングは、情報を収集するだけではなく、その後の解析と保存が重要なステップです。今回は、Pythonを使って効率的にデータを解析し、保存する方法を紹介しました。皆さんも、ぜひ自分で試してみてください！データの力を感じられるはずです。

次回は、スクレイピングデータを使ったデータビジュアライゼーションについてお話しする予定です。楽しみにしていてください！

もしこの記事が参考になったら、ぜひTwitterでフォローしていただき、最新の記事もお見逃しなく！