【スクレイピング】Beautiful Soupを使用したスクレイピング

スクレイピング

2019.01.222019.02.08

スクレイピング準備記事

【スクレイピング】仮想マシンの起動

【やりたいこと】仮想マシンを起動させたい！今回は、初めてのスクレイピング記事になります。スクレイピング記事の大まかな流れとしては、仮想マシンを構築→スクレイピング以上の流れで進めていきます。今回は、1記事...

【スクレイピング】仮想マシンでPythonスクリプトファイルの実行

【やりたいこと】Pythonスクリプトファイルを仮想マシンで実行させたい！前回の記事「【スクレイピング】仮想マシンの起動」の続きです。ホストOSでPythonスクリプトファイルを実行するには、そのファイルがあるフォルダに...

関連記事

【やりたいこと】便利なライブラリを使用して、スクレイピングしてみたい！

前回は、lxmlとcssselectを使用して、スクレイピングを行いました。

今回は、Beautiful Soupを使用して、スクレイピングを行います。

目次

【10分でできる】簡単！Beautiful Soupでのスクレイピング
【最後に】参考図書の紹介

【10分でできる】簡単！Beautiful Soupでのスクレイピング

※ダウンロード時間は10分の中に含まれていません。

0.概要

Beautiful Soupをインストールします。次に、サンプルコードを実行します。

1.使用したもの

・Virtual box

Oracle VM VirtualBox

・Vagrant

Vagrant by HashiCorp

Vagrant enables users to create and configure lightweight, reproducible, and portable development environments.

・Term Term

Tera Term (テラターム) プロジェクト日本語トップページ - OSDN

Tera Term は、オリジナルの Tera Term Pro 2.3 の原作者公認の後継版です。オープンソースで開発されており、UTF-8 表示に対応しています。また、SSH1 対応モジュール TTSSH を拡張し、SSH2 プロトコルをサポートしています。

・Python3.4

2.手順

※下記の記事の内容を完了しているものとして、進めていきます。

【スクレイピング】仮想マシンの起動

【やりたいこと】仮想マシンを起動させたい！今回は、初めてのスクレイピング記事になります。スクレイピング記事の大まかな流れとしては、仮想マシンを構築→スクレイピング以上の流れで進めていきます。今回は、1記事...

【スクレイピング】仮想マシンでPythonスクリプトファイルの実行

【やりたいこと】Pythonスクリプトファイルを仮想マシンで実行させたい！前回の記事「【スクレイピング】仮想マシンの起動」の続きです。ホストOSでPythonスクリプトファイルを実行するには、そのファイルがあるフォルダに...

【スクレイピング】lxmlとcssselectを使用したスクレイピング

スクレイピング準備記事【やりたいこと】便利なライブラリを使用してスクレイピングしてみたい！前回は、ライブラリを使用して、Webページを取得しました。今回は、スクレイピングを便利なライブラリを使用し...

①Beautiful Soupのインストール

pip install beautifulsoup4

上記を実行して、Beautiful Soupをインストールします。

②Pythonスクリプトファイルの実行

from bs4 import BeautifulSoup

# HTMLファイルを読み込んでBeautifulSoupオブジェクトを得る。
with open('index.html') as f:
soup = BeautifulSoup(f, 'html.parser')

# find_all()メソッドでa要素のリストを取得して、個々のa要素に対して処理を行う。
for a in soup.find_all('a'):
print(a.get('href'), a.text) # href属性とリンクのテキストを取得して表示する。
Pythonクローリング＆スクレイピング

「Pythonクローリング＆スクレイピング」のサンプルコードscrape_by_bs4.pyを使用します。

サンプルコードscrape_by_bs4.pyでは、find_all()メソッドを使用して、Webページの文字列から、指定の部分だけ抜き出しています。

python scrape_by_bs4.py

スクリプトファイルを実行します。

記事のURLとタイトルが表示されています。

3.追記

スクレイピングをするときは、用途によって、ライブラリを使い分けるのがいいかもね。

【最後に】参考図書の紹介

以下の書籍は、私がPythonスクレイピングを勉強するにあたって、使用した書籍です。

「Python逆引き大全」は、秀和システムの技術書読み放題サービス「10×Eng」で読めます。最初の2週間は無料、それ以降は、月額900円で利用できます。

「プログラミング超初心者が初心者になるためのPython入門」はkindle unlimitedで読めます。

コメント

タイトルとURLをコピーしました