PythonモジュールScrapyでWebスクレイピング・クローリングする方法をソースコード付きでまとめました。
【Scrapyとは】概要とインストール方法
「Scrapy」は、Webスクレイピング・クローリングできるPythonモジュールです。
| 用語 | 意味 |
|---|---|
| クローリング | Webページのリンク先へ自動でアクセスし、リンク先のWebページの情報をダウンロードします。クローリングを行うプログラムを巡回クローラーといいます。 |
| スクレイピング | ダウンロードしたWebページの情報（htmlファイルなど）をパース（解析）し、欲しい情報を抽出することです。 |
インストール
以下のpipコマンドでインストールできます。
$ pip install scrapy
| – | 関連記事 |
|---|---|
| 1 | ■【Python】Webスクレイピング入門(BeautifulSoup4編) |
| 2 | ■【Python入門】使い方とサンプル集 |
コメント