【Python/Scrapy】使い方(Webスクレイピング・クローリング)

PythonモジュールScrapyでWebスクレイピング・クローリングする方法をソースコード付きでまとめました。

【Scrapyとは】概要とインストール方法

「Scrapy」は、Webスクレイピング・クローリングできるPythonモジュールです。

用語 意味
クローリング Webページのリンク先へ自動でアクセスし、リンク先のWebページの情報をダウンロードします。クローリングを行うプログラムを巡回クローラーといいます。
スクレイピング ダウンロードしたWebページの情報(htmlファイルなど)をパース(解析)し、欲しい情報を抽出することです。

インストール

以下のpipコマンドでインストールできます。

$ pip install scrapy
関連記事
1 【Python】Webスクレイピング入門(BeautifulSoup4編)
2 【Python入門】使い方とサンプル集

コメント