半自動スクレイピングに最適なファイル形式、それがmht

reCAPTCHAみたいな画像認証が組み込まれていてロボットも弾くようになっているサイトだけど、どうしてもスクレイピングしたいから、マニュアルアクセスでページを保存してスクレイピングのプログラムにまわしたい、さらにその際に表示されている画像も一緒にとりたいというなかなか難しそうな課題に取り組んでいた。

IEで保存すると(完全とかいうオプション選ぶんだっけ?忘れた)フォルダに画像ファイルとかまとめて保存してくれるんだけどスクレイピングにまわすの不便というか、ウェブサービスにしたいからuploadしやすいファイル形式がいいなぁと調べていたらIEだとmhtという形式で保存できるということに気がついた。

調べたら相当前からあったらしい。

そして単一のファイルでMIMEなのも便利なところ。

RFC 2557 は、MHTMLは電子メール以外のプロトコル (HTTPやFTP) でも一度に転送出来ることや、完全なHTML文書のアーカイブとして保存出来ることを示唆している。

unpackの実装見てみたら、emailモジュール使ってunpackしていた。まぁそうだろうなと。

そこまでわかればスクレイパーをサクッと書いてやりたい仕事は終了した。

もう、半自動スクレイピングは怖くないw

あとmhtをそのままメールで送ったらアクセスポリシーがとか画像の表示を許可しますか?とか言われなくていいんではないかと思ったけどどうなんだろう?

菊芋のぬか漬けとわさびの花の三杯酢

菊芋は使い方がよくわからなかったので今まで買わなかったけど、ぬか漬けにしたらシャキシャキして美味しいので また買うかも。どっちかというとポタージュにしてみたいが。

1490702208

わさびの花は今の時期だけなのでお湯をさっとかけて三杯酢に。

1490702211 1490702214

最近ちょっと仕事が楽しくてあまり料理できてないが、もう少しバランスを考えながら生活したい。

三連休はなかなか充実していた

土曜日はメンチカツを作った。キャベツを山盛りフードプロセッサーにかけてボール一杯になったところで塩をふって水分を放出させると3分の一くらいの量になるのでそこにちょっと下味をつけた合挽き肉300gを投入して混ぜ混ぜするだけ。コロッケより手間がかからないので好き

1490171205

二日目は富士錦の蔵開きに行ってきた。知り合いが来ていたらしいんだけど会えず。後日知り合いのグループが写真に移っていることが判明。酒ばかりに気を取られていたというのが真相。

1490171208

三日目は色々求めて沼津の方をうろろしていたら安定の三つ割り菊

1490171214

そしてJAの直売所を覗いたら、まさかのほだ木が2コイン価格で販売中だった。物欲センサーあがりまくったけど、栽培ガイド読んだら収穫までに2年かかるって知って断念。そこまで世話は焼けん。ぬか床で一杯一杯だ。

1490171216

帰りにアラビカでコーヒー豆買おうと思ってたけど、花野子通るじゃんと、コーヒ休憩。飲んで美味しかったマラウィゲイシャを購入して帰宅

1490171219

JAでわさびの花も買ったけど、三杯酢に漬けずに放置してあるので帰ったらやる。あと菊芋もぬか漬けにしているのでそろそろ出さないと…

ラスト藤堂

先週、「あと二週間で藤堂しまっちゃいますねー」と雑談をしながらチェックしてたら、先週木曜日と明日の木曜日しかチャンスがないことが判明して、先週木曜日に凸してきた。

雫の塩

1490170912 1490170915

ちょっと濃い感じはしたけど、美味しかった。

行ければ明日も行こうかなと思ったけど、明日はサーバーにubuntuインストールしまくり大会からの実践ansible導入伝説が待ち構えているので無理だった。

というわけでラスト藤堂でした。

綾からの静岡出張

先々週くらいに転職組のメンバー(+転職組っぽい感じの方w)と綾にすき焼きを食べにいった。

すき焼きにたどり着くまでの道は険しかった。お造りにはじまり、焼き物揚げ物エトセトラエトセトラ

1490096016

すき焼きは割り下系で、最初に肉を焼くらしい。確かにこっちのほうが肉が焼けてて美味かった。

1490096019

でもすき焼き鍋のような厚手の鍋じゃないと美味しくできなさそうな気がする。

1490096022 1490096024

すき焼き鍋欲しい。

尚、岳南鉄道の終電で帰る予定だったのが、楽しすぎて遅くまで滞在していたため、中途半端な電車にのって静岡出張してしまい、次の日はおにぎりのまるしまでおにぎりを食べてから出社した。

おにぎり美味かったので良し。

次回は遅くなりそうだったら、コーヒーでも飲んで時間つぶして終電(富士止まり)で帰ろう。

それにしてもJR東海の座席が熱すぎるのはトラップだわ。

Python Testing読みなおそうっと

pygamessをopenbabelからRDKitに依存させるように書き換えてるんだけど、pyvowsのサイトにずっとアクセスできなくてnoseでいいじゃんってなってさっきpyvowsで書いてたテストを削除した。

pychembldbもunittest使ってるしpyvowsとはサヨナラだな。

そして、色々忘れていてあれなのでPython Testingを読み直すことにした。バッグが更に重くなるけど仕方ない。

ProductName Python Testing: Beginner's Guide
Daniel Arbuckle
Packt Publishing / ?円 ( 2010-01-19 )


富士宮ぐるっとお買い物ツアー

日曜は久々に富士川のほうから色々まわって買い物を満喫してきた

蒲原館で揚げ餃子ラーメン。メニューに餃子はないのに上げ餃子ラーメンは存在するという不思議。

1488839374

にんにくが強かったので、次はタンメンにするかな。

それから富士川SAの観覧車が稼働していた。一周700円でお得だけど、スイッチのゼルダで高所を満喫しているので僕には不要です。

グロースヴァルトサノでハムを買って、神戸醤油店で味噌を買って、ヨコゼキで日本酒を買って、大富士で野菜をかって魚清で魚を買うという完璧なルート。

満足

久々のgawa mishima

久しぶりのgawaです。前職の同僚と飲んできました。

1488805962

お店のポリシーで料理の写真は撮れないので。でんでんという魚とエゾシカとメインで頂きました。あとデザートは相変わらず最高でした。僕はショコラテリーヌ一押しです。でもガワを話題に出すとスイカのショートケーキを推す人が非常に多いですね、「お前もかー」って突っ込みたくなるw

別件ですが、イズシカレーが微妙だったのは自分のテクのせいらしいということを再確認してちょっと凹んだ。まぁわかってはいたのだけど。次は上手に作りたいところ。

それからなんつーか、自分の作った基幹系のうち一つは廃棄するっていうから引き継ぎしなかったのに方針が変わって未だに動かしてるってのには笑った、というかあれは廃棄できないだろうと思っていたからそうなんだろうなと。

あと、システムはやっぱり使ってくれるヒトがいて初めて生きるんだよなーと再確認。辞める時500ターゲット追いかけてたのは把握してたけど、週末聞いたら700ターゲットに増えてたw

一人で500ターゲット以上の動向を追いかけるシステムと人間が存在するっていう話を聞いたら、今の会社の企画のヒトは多少なりとも自分の存在意義に対してもやっとするんだろうか?

会社を辞めるときにはノックアウトインフラを試してみたいと思っていたけど、実際辞めてみると関わってなくても基幹システムはちゃんと動き続けて欲しいなぁと思うのと、お守りの人間が同僚なので意外と過激なことはできないもんだなぁと思った次第です。

みなさんまた飲みましょう。twitterとかでアクセスしていただければ普通につながるので気楽に連絡してください。

イズッパコーディングは苦行の一種

だって揺れるんだもん…w 目が疲れる

ProductName ラブライブ! サンシャイン!! Blu-ray 7 (特装限定版)

バンダイビジュアル / 6550円 ( 2017-03-24 )


Nintendo Switchはコントローラー付きのiPad miniって感じだった

SwitchはWii Uのように本体が別にあって液晶付きのコントローラーがついてるんだと思っていたけど、全然違って黒いドックはただのプラスチックだった。

一家に一台というより一人一台の感じのゲーム機でむしろiPadとかPS Vitaとバッティングするんではなかろうか?

娘息子と三人でSplatoon2をやるためにはあと2台Switchを買わないといけないなw