beautifulsoupとGoogle AJAX Search APIで富士市議のブログを探す

Drkcore

26 01 2011 life 富士 Tweet

beautifulsoupとGoogle AJAX Search APIで富士市議のブログを探す

富士市は春に選挙があるみたいですけど、ブログとかない議員って結局何を考えてて何を為したいのかよくわからんので投票する対象にならないんですよね。富士市の市議会議員のページを見てみたけどオフィシャルサイトのページにリンク張ってないしねぇ。

というわけでコード書いた。あとはブログの確認してplanetにまとめてLDRに登録しておけばいい感じ。それにしてもnews - 生まれなかった子の歳を数えてみるとか読むと、僕らは子供のためにというか未来に投資するような方向を模索しないとあかんよなと。(年金含めて)過去にばっかり投資してもしょうがないじゃんと思うんだよね。

世代間格差ってなんだ (PHP新書 678)
高橋亮平
PHP研究所 / 756円 ( 2010-06-16 )

コードと実行結果。google ajax seach apiってjsonで返ってくるからsimplejsonでloadして辞書形式にすればその後の加工が楽でいいですね。

import urllib2
import simplejson
from werkzeug.urls import url_quote_plus
from BeautifulSoup import BeautifulSoup

url = "http://www.city.fuji.shizuoka.jp/hp/page000009000/hpg000008959.htm"

soup = BeautifulSoup(urllib2.urlopen(url).read())

print '<ol>'
for i,_td in enumerate(soup.findAll('td')):
    if i%4 == 1 and _td.string != None:
        name = _td.string.replace(u'　','')
        query = url_quote_plus(name)
        r = urllib2.urlopen("http://ajax.googleapis.com/ajax/services/search/web?v=1.0&rsz=large&hl=ja&q="+query)
        p = simplejson.loads(r.read())
        print "<li>%s</li>\n<ul>" % name
        for d in p['responseData']['results']:
            print '<li><a href="%s">%s</a></li>' %(d['url'],d['titleNoFormatting'])
        print '</ul>'
print '</ol>'