【スクレイピング】仮想マシンの起動

【やりたいこと】仮想マシンを起動させたい！ 今回は、初めてのスクレイピング記事になります。 スクレイピング記事の大まかな流れとしては、 仮想マシンを構築→スクレイピング 以上の流れで進めていきます。 今回は、1記事...

hk-ryukyu.club

2019.01.14

【スクレイピング】仮想マシンでPythonスクリプトファイルの実行

【やりたいこと】Pythonスクリプトファイルを仮想マシンで実行させたい！ 前回の記事「【スクレイピング】仮想マシンの起動」の続きです。 ホストOSでPythonスクリプトファイルを実行するには、そのファイルがあるフォルダに...

hk-ryukyu.club

2019.01.15

【やりたいこと】簡単にWebページを取得してみたい！

Pythonでのスクレイピングが人気の理由の1つとして、豊富なサードパーティーライブラリの存在にあります。ライブラリを使用することで、複雑な処理も簡単にすることができます。

今回は、Requestsというライブラリを使用して、Webページを取得してみましょう。

【5分でできる】簡単！RequestsによるWebページの取得

※ダウンロード時間は5分の中に含まれていません。

0.概要

Requestsをインストールし、Webページを取得します。

1.使用したもの

・Virtual box

Oracle VM VirtualBox

www.virtualbox.org

・Vagrant

Vagrant by HashiCorp

Vagrant enables users to create and configure lightweight, reproducible, and portable development environments.

www.vagrantup.com

・Term Term

Tera Term (テラターム) プロジェクト日本語トップページ - OSDN

Tera Term は、オリジナルの Tera Term Pro 2.3 の原作者公認の後継版です。オープンソースで開発されており、UTF-8 表示に対応しています。 また、SSH1 対応モジュール TTSSH を拡張し、SSH2 プロトコルをサポートしています。

ja.osdn.net

・Python3.4

・Requests

2.手順

※下記の記事の内容を完了しているものとして、進めていきます。

【スクレイピング】仮想マシンの起動

【やりたいこと】仮想マシンを起動させたい！ 今回は、初めてのスクレイピング記事になります。 スクレイピング記事の大まかな流れとしては、 仮想マシンを構築→スクレイピング 以上の流れで進めていきます。 今回は、1記事...

hk-ryukyu.club

2019.01.14

【スクレイピング】仮想マシンでPythonスクリプトファイルの実行

【やりたいこと】Pythonスクリプトファイルを仮想マシンで実行させたい！ 前回の記事「【スクレイピング】仮想マシンの起動」の続きです。 ホストOSでPythonスクリプトファイルを実行するには、そのファイルがあるフォルダに...

hk-ryukyu.club

2019.01.15

①Requestsのインストール

pip install requests

上記を記入することで、requestsがインストールされます。

②Webページの取得

pythonと入力し、実行します。そうすることでインタラクティブシェルが起動します。

import requests

r = requests.get('取得したいWebページのURL')

「r」にWebページが代入されます。

r.text

r.textと実行することで、取得したページの文字列を表示させます。

3.追記

便利なライブラリを使いこなせ！

【最後に】参考図書の紹介

以下の書籍は、私がPythonスクレイピングを勉強するにあたって、使用した書籍です。

「Python逆引き大全」は、秀和システムの技術書読み放題サービス「10×Eng」で読めます。最初の2週間は無料、それ以降は、月額900円で利用できます。

「プログラミング超初心者が初心者になるためのPython入門」はkindle unlimitedで読めます。