プログラミング

import urllib.request
from bs4 import BeautifulSoup

url = "http://www.customslegaloffice.com/fta/feed/"
xml = urllib.request.urlopen(url)

soup = BeautifulSoup(xml, "lxml")
pubdates = soup.find_all("title")#titleのみを取り出す

for pubdate in pubdates:
print(pubdate.text)#.textは要素の内部のみを取得<title>などは取得しない

import urllib.request

url = “http://www.customslegaloffice.com/fta”

# urlopenを使う
html = urllib.request.urlopen(url)
#readの引数に文字数を指定.decode(“utf=8#))
print(html.read(500).decode(“utf-8”))

例1:yahooニュースからスクレイピング

import urllib.request
from bs4 import BeautifulSoup

url = "https://news.yahoo.co.jp"
html = urllib.request.urlopen(url)

soup = BeautifulSoup(html, 'lxml')

topics = soup.find_all("p",class_="ttl")

for topic in topics:
print(topic.text)

例:2　ビットコイン価格の取得

import urllib.request
from bs4 import BeautifulSoup
import csv
import time
from datetime import datetime

url = "https://coinmarketcap.com/currencies/bitcoin-cash/"

f = open("bitcoin.csv", "w")
writer = csv.writer(f, lineterminator="\n")

html = urllib.request.urlopen(url)
soup = BeautifulSoup(html, 'lxml')

for i in range(15):

# リスト形式で格納し、csvに書き込む
price = soup.find_all("span", class_="text-large2", id="quote_price")
value = price[0].text
writer.writerow([datetime.now(),value])

# 240秒処理を休止します
time.sleep(2)

f.close()

例:1で取得したyahooのスクレイピングの対象タグ