FlaskとSQLAlchemyでつくるreStructuredTextなWiki (1)

初めてのFlaskアプリ

ディレクトリを用意します。

mkdir flaski
cd flaski

以下のコードをapp.pyとして保存します。ちなみにFlaskのサイトに載っているものです。

from flask import Flask
app = Flask(__name__)

@app.route("/")
def hello():
    return "Hello World!"

if __name__ == "__main__":
    app.run()

Flaskで開発する準備が整っていれば、python app.pyと叩けば127.0.0.1:5000でウェブサーバーが起動します。

/にアクセスした場合にHello Worldという文字列を返すように設定して(4-6行目)、app.runでアプリを起動させています。

$ python app.py
 * Running on http://127.0.0.1:5000/

flaski1

テンプレートの導入

単なる文字列だと味気無いのでテンプレートエンジンを使ってもう少し複雑なHTMLを表示してみます。ディレクトリの構成を表示しておきます。

.
├── app.py
├── static
│   └── snake.jpg
└── templates
    ├── index.html
    └── layout.html

cssや画像などのファイルはstaticというディレクトリに配置します。今回はsnake.jpgを表示してみます。

FlaskのテンプレートエンジンはJinja2です。Flask内でテンプレートを扱うにはrender_template関数を用い、テンプレートはtemplatesディレクトリに配置します。

templatesディレクトリにはlayout.html,index.htmlの2つのファイルを用意します。

layout.html

<!DOCTYPE html>
<html>
  <head>
    <title>flaski</title>
  </head>
  <body>
    {% block body %}{% endblock %}
  </body>
</html>

index.html

{% extends "layout.html" %}
{% block body %}
<h1>{{title}}</h1>
<img src="{{url_for('static', filename='snake.jpg')}}" alt="snake"/>
{% endblock %}

{{}}で囲むと変数を展開することができます。今回はtitleをapp.pyのrender_templateで渡しています。url_forはエンドポイントを指定するとURLに展開する関数です。

app.pyはrender_templateをインポートしてhello関数で使うようにします。

また今回からデバッグモードで動かすようにapp.configをいじっています(3行目)ので、ファイル更新時に自動リスタートしたり、エラーがあればブラウザにデバッグのための情報が出力されるようになります。

from flask import Flask, render_template
app = Flask(__name__)
app.config['DEBUG'] = True

@app.route("/")
def hello():
    return render_template("index.html", title="Flaski")

if __name__ == "__main__":
    app.run()

先ほどと同様にhttp://127.0.0.1:5000/にアクセスすると今度は画像つきのHTMLが表示されます。

flaski2

ここまでのGitHub

まとめ

FlaskでJinja2のテンプレートエンジンを使ってみました。

Flaskは何であって何でないかによると

Flask itself just bridges to Werkzeug to implement a proper WSGI application and to Jinja2 to handle templating.

ということなので、テンプレートエンジンはJinja2を利用するのがベストです。

補足

Jinja2自体はその上に別の構文を被せることができるので、JadeやHamlも利用することができます。

個人的にはインデントでネストを表現するJadeの構文を気に入っているのでPyJadeを使うことが多いです。

FlaskとSQLAlchemyでつくるreStructuredTextなWiki (0)

Persistentの流れから、次はFlask,SQLAlchemy,Jinja2でもやりますかねみたいな話になったので、サーチかけたんだけどいまいち興味ありそうなヒトがいなさそうなので、Wikiをつくることを題材にしてこっちに書いていくことにした。

興味ありなヒトがいそうだったらハンズオンしてもいいかなぁ。まぁどうせみんなYesodなんでしょうけどねー

仮想環境構築のためのライブラリを導入

仮想環境下で動かしたいので、pip,virtualenv,virtualenvwrapperの3つをインストールします。

curl -O https://raw.github.com/pypa/pip/master/contrib/get-pip.py
sudo python get-pip.py
sudo pip virtualenv
sudo pip install virtualenvwrapper

.bashrcに以下の行を追加(osx+homebrewの場合)してsourceもする(source ~/.bashrcとか)。

source /usr/local/share/python/virtualenvwrapper.sh

仮想環境を構築

今回つくるwikiの名前をflaskiにするので、flaskiという名前の仮想環境をつくります。

mkvirtualenv flaski
New python executable in flaski/bin/python
Installing setuptools............done.
Installing pip...............done.
virtualenvwrapper.user_scripts creating /Users/kzfm/.virtualenvs/flaski/bin/predeactivate
virtualenvwrapper.user_scripts creating /Users/kzfm/.virtualenvs/flaski/bin/postdeactivate
virtualenvwrapper.user_scripts creating /Users/kzfm/.virtualenvs/flaski/bin/preactivate
virtualenvwrapper.user_scripts creating /Users/kzfm/.virtualenvs/flaski/bin/postactivate
virtualenvwrapper.user_scripts creating /Users/kzfm/.virtualenvs/flaski/bin/get_env_details
(flaski)localhost@kzfm:flask $

仮想環境に入っていることはプロンプトの先頭に(flaski)と表示されることでわかります。

パッケージのインストール

FlaskとSQLAlchemyをインストールします。

pip install flask
pip install sqlalchemy

インストールされたパッケージはpip freezeで出力出来ます。

Flask==0.9
Jinja2==2.6
SQLAlchemy==0.8.0b2
Werkzeug==0.8.3
wsgiref==0.1.2

まとめ

Flaskで開発するための環境を構築しました。次からは実際にFlaskでwafを作っていきます。

補足

pipの使い方

逆に環境をコピーしたい場合には

pip freeze > requirements.txt

で依存するパッケージを作っておいて、別のマシンにファイルをコピーして

pip install -r requirements.txt

とやればいいので便利です。

virtualenvwrapperの使い方

  • mkvirtualenv [仮想環境名]: 仮想環境をつくる
  • workon [仮想環境名]: 仮想環境に入る
  • deactivate: 仮想環境をぬける
  • lsvirtualenv: 仮想環境一覧を表示
  • rmvirtualenv: 仮想環境を削除

コンサルタントの秘密

字が小さくぎっしり詰め込まれているので読むのに結構時間がかかる。それからなんでも「@@の法則」なんて名前をつけている。

スパークスの法則

  • いまからみると愚かとしか思えない決断にも、当時はもっとも筋の通った理由があった
  • それに一番責任のある人物がいまの依頼主本人、または依頼主の上司

深いことが書いてあるので内容をきちんと咀嚼するのが大変。既に一年以上前に読み終わっていたのだけど、なんとなく書評が書き辛くて放置していた。

よくあるビジネス本と違って「読めば読むほど系」なんだろうなと。

ProductName コンサルタントの秘密―技術アドバイスの人間学
G.M.ワインバーグ
共立出版 / 2940円 ( 1990-12 )


  • コンサルタントの第一の法則によれば顧客は自分が病んでいることを決して認めない
  • トレーニングというのは安価なコンサルタント業務
  • よく適応すればするほど、適応力を失いがち
  • 洗濯物リストは忘れているかもしれなくてあらわなくてはいけないかもしれないもののリスト
  • 価格は単なる事物ではない。それは交渉によってもたらされる関係である

FlaskでLESSをあつかう方法を検討した結果watchdogかgrunt.jsでいいことになった

Flask+Twitter Bootstrapで作ることが非常に増えている。LESSを弄りたいときに

<link rel="stylesheet/less" href="less/style.less">
<script src="js/libs/less-1.2.1.min.js"></script>

とかやればいいんだけど、IEだとレンダリングがやたらと遅くなるので本番環境ではcssにコンパイルすることになるため、この部分を書きなおすのは面倒くさい。

だったら開発環境でも最初から更新時にCSSコンパイルするとか裏でよろしくやってくれる方法を導入したいなぁということで調べてみた。

これらは拡張子がcssのurlにアクセスした時にlessファイルを探してcssファイルが存在しなかったり、lessが変更されている(更新日時とかハッシュを見ている)ときにコンパイルする用になっている。before_requestのところで処理している。

難点は、cssとlessが同じディレクトリにあることを決め打ちしているところかなぁ。僕の場合bootstrapは別に管理しているのでコンパイル先を自分で決められないのは困る。

もう少し統一的に管理できそなうなものにFlask-Funnelというものがあったが、ちょっと面倒くさそう。これだったらGruntとかYeomanみたいなnode.js製の管理ツールでもいいかなぁと。

結論

Initializrのbootstrapだったら変更検知してstyle.lessをコンパイルすればいいのでwatchdog使えばいいかなぁ。grunt.jsでもいいや。

Githubのtwitter bootstrapだったらMakefileにwatchがついているのでそれを使ってもいいなぁと。ちなみにカスタマイズはここらへんを参考にしている。

FlaskのViewのメタプログラミングの例がわかりやすかった。

MethodViewのコードを読んでたら、例としてわかりやすかったのでメモ。どういう動きをするのかはあらかじめ「Pythonのメタプログラミング (メタクラス) を理解したい人のための短いコード片と禅問答」を読んでおくと良いと思う。

class MethodViewType(type):
    def __new__(cls, name, bases, d):
        rv = type.__new__(cls, name, bases, d)
        if 'methods' not in d:
            methods = set(rv.methods or [])
            for key in d:
                if key in http_method_funcs:
                    methods.add(key.upper())
            if methods:
                rv.methods = sorted(methods)
        return rv

class MethodView(View):
    __metaclass__ = MethodViewType

    def dispatch_request(self, *args, **kwargs):
        meth = getattr(self, request.method.lower(), None)
        if meth is None and request.method == 'HEAD':
            meth = getattr(self, 'get', None)
        assert meth is not None, 'Unimplemented method %r' % request.method
        return meth(*args, **kwargs)

clap your hands say d'n'b

この前の。

Blind Jealousy / Unquote
Austere / Escher
The Moment (feat. DRS) / Enei
Shimizu / June Miller feat Rolling Maffia
Elephants / Enei
Letting go / Linden
Lubov Moya (Blu Mar Ten Remix) / Unquote & Molecular Structures
Forgotten Roads / Fracture & Neptune
Driftwood (Feat. Noisia) / Icicle
Thought Reform / Mark System
Reflection / Subwave
Midnight Nation / Optiv
Quartz Controlled / June Miller & Mindmapper
It Aint The Weather / Seba
Espionage / Future Signal
RoMZ08 / サイケアウツ
Chasing Dreams / Mark System
Sound of the Rain / Royalston

ProductName MEDICAL MIX (MIXED BY JOE SYNTAX)
VARIOUS ARTISTS
OCTAVE / Med School Music / 1280円 ( 2012-11-07 )


スクラムとは何か(アジャイル開発)

僕の場合アジャイル開発という大雑把な括りで理解しているので、具体的な開発手法名はなかなか覚えにくい、というよりそれすらちょっと抽象的な表現なので分かりにくいと言ったほうが適切か。

スクラムとは、会社を機能単位に分割した階層や組織ではなく、どこをとっても会社のビジョンに向かった判断・行動パターンを共有する自己相似の知識創造活動であり、それを実践する人びとである

本書を読みきれば、上の定義があーなるほどと理解できるようになる。あとは、自分のフィールドに翻訳する必要があるのだが、カルチャーを変革する系の手法なので、ボトムアップな取り組みだけではうまくいかないだろうし、上の理解が必須かなぁと思った。なのでマネジメント層に読んでもらいたいなぁと。

  • アジャイルは顧客満足を実現する手段であり可能性のひとつ
  • アジャイル開発では知識の外部への伝播が語られていない(これは欠点)
  • PDCAのPの前にはSECIのSを置くべき

スクラムを実践するには組織を変えていく情熱が必要である

これがなー、厳しい。リーンスタートアップみたいなやり方は時間がかかるしなぁ。

第三部の「アジャイルと開発とスクラムを考える」の野中郁次郎先生の考察が非常に深かった。アジャイルでは知識の外部への伝達が弱いのは技術者の流動性が高すぎるからだと考察している。流動性がそれほど高くない僕のいる業界なんかでは暗黙知の共有とか形式知化なんかは非常に重要なことなので、本書のオリジナルの論文(日本の製造業)と対比しながらの考察は理解が非常に深まった。

以下、製薬業界用メモ。

ユーザーストーリーのフォーマット

  • <ユーザーの役割>として
  • <機能>が欲しい
  • なぜなら<機能の価値や目的>だからだ

動態担当として、logPを下げてほしい、なぜなら膜透過性が改善するからだ

みたいな、なぜ今そういう化合物を作っているのか?というストーリーを張っておかないと、振り返った時に個々の化合物が合成された背景を掴めないし、そのやり方がうまくいきそうかどうなのかが外部から判断できない。

ケミストの「うまくいったから、結果としてうまくいったんだ」というようなくだらないトートロジーに付き合わされるのはかんべんしてほしい、というのはみんなの願いであろう(ケミストそれ自身の願いでもある気がするw)。

プロダクトバックログ

プロダクトバックログとは、実現するかもしれない未来の詰め合わせである。創薬的には合成してもいいかなぁと考えている案のリストと考えることができる。リードオプティマイゼーションにおいてはそういうアイデアリストをプロジェクトごとにまとめて管理して確度の高そうな案から作っていくというやり方がプロジェクト的に理想的かなと思っているんだが5年くらい前からトライしているんだけどうまくいっていない。色々理由はあると思うんだけど知財的なことを考えると誰が作ったかが重要視されるのでまぁしょうがないのかなぁと。

とか考えるとUK-QSARでみかけたAZのスライドはまさにバックログを実装していてすごいなぁと。

Flaskでセッションが入れ替わるというバグに悩まされた

13.02.27

バグの発生箇所を掴んだ。OpenIDサーバーだった。開発環境ではエラーが出なくて本番環境でのみ出現するのでサーバーを疑っていたのだけど違った。

本番環境でデバッグログ出したら

Error attempting to use stored discovery information: Claimed ID does not match (different subjects!)
Expected <wrong-openid> got <right-openid>
Attempting discovery to verify endopoint
Performing discovery on <wrong-openid>

というメッセージが出ていた。

OpenIDサーバーから戻ってきた所でおかしくなっているようだ。referrer出力するようにしたらOpenIDサーバーが認証して戻すところで入れ替わっていた。

なんでそうなるのかワケがわからないが、OpenIDサーバーを再起動したらとりあえずは治った。ploneでも似たような症状を見つけたが、Flaskのせいではないということが分かったので一安心。

仕様をきちんと押さえておくか、本を読んでおくかしておいたほうがいいけど、とりあえずはいいや。

ProductName OpenID: the Definitive Guide
David Recordon
Oreilly & Associates Inc / ?円 ( 2012-04-30 )


13.02.26

初回のログイン時じゃなくて、クッキーがエクスパイアしたあとにアクセスしてもセッションの入れ替わりが起こるみたいだ。スレッドかなぁと思ったけど、帰りの車のなかでよく考えてみたらやっぱ違うよなぁと思った。

セッションのデータがサーバー側に残っていてクッキーが送られないときにそのデータが使われているんじゃないかなぁ。

sessionをよく読んでみよう。

13.02.25

なおってなかった。

open-idサーバーで認証するところまではちゃんとユーザーが認識されているんだけど、アプリケーションにリダイレクトされたところで、ユーザーのセッションが違うユーザーのものに入れ替わってしまうというパターン。

  • バージョン0.8でも0.9でも起きる
  • 開発環境では起きないが、本番環境(Gunicorn)で起きる
  • IE8でのみ確認されている

多分ブラウザは関係ないと思う。

@app.before_requestにセッションが残っているっぽいので@oid.loginhandlerにアクセスする時に@app.before_requestのユーザーをチェックする処理をとばしてログイン処理をすればいいような気がしてきたのであとでやってみる。


Flask-OpenIDでログインするとなぜか初回に別アカウントになってしまい、一度ログアウトしてから再ログインすると正常にログインできるというよくわからないバグが頻発していて悩んでいた。しかもdevelopmentでは全く再現できず、production(Flask+Gunicorn+Supervisord)でしか起こらないので厄介だった。

Flaskのバージョンを0.8から0.9にあげてみたけどなおらなかったので、調べたら既に報告されていた。

最初のスレッドは、「ユーザー付きあわせて違っていたらセッション破棄するぜ」みたいな解決方法だったのでちょっと使えなかったが、二番目のスレッドでsessionインターフェースを自前で用意したらなおったという報告があったので試してみた。

Flask-OpenIDでこのスニペットをそのまま利用するとopenid.yadis.manager.YadisServiceManagerがJSONシリアライズできないというエラーが出た。これはpython-openidに由来する問題らしく、コメントで指摘されているようにpickleでdumpすればsave_sessionはできるようになる。

しかし、今度はopen_sessionでコケる。managerがstrだ云々っていうエラーなのでpickle.loadsがうまくいってないようだ。Flask-OpenIDのソース読むとSessionWrapperで' p'っていうkeyのDictionaryを作っているので、Sessionのほうもそのようにしてみた。

Better Client-side sessionsをちょっと変えたらうまくいった。

from werkzeug.datastructures import CallbackDict
from flask.sessions import SessionInterface, SessionMixin
from itsdangerous import URLSafeTimedSerializer, BadSignature
import pickle

class ItsdangerousSession(CallbackDict, SessionMixin):

    def __init__(self, initial=None):
        def on_update(self):
            self.modified = True
        CallbackDict.__init__(self, initial, on_update)
        self.modified = False

class ItsdangerousSessionInterface(SessionInterface):
    salt = 'cookie-session'
    session_class = ItsdangerousSession

    def get_serializer(self, app):
        if not app.secret_key:
            return None
        return URLSafeTimedSerializer(app.secret_key,
                                      salt=self.salt)

    def open_session(self, app, request):
        s = self.get_serializer(app)
        if s is None:
            return None
        val = request.cookies.get(app.session_cookie_name)
        if not val:
            return self.session_class()
        max_age = app.permanent_session_lifetime.total_seconds()
        try:
            data = s.loads(val, max_age=max_age)
            data = data[' p']
            for k in data:
                if k.startswith('yoc') or k.startswith('lt')\
                                       or k.startswith('_openid_consumer_last_token')\
                                       or k.startswith('_yadis_services__openid_consumer_'):
                    data[k] = pickle.loads(data[k])
            return self.session_class(data)
        except BadSignature:
            return self.session_class()

    def save_session(self, app, session, response):
        domain = self.get_cookie_domain(app)
        if not session:
            if session.modified:
                response.delete_cookie(app.session_cookie_name,
                                   domain=domain)
            return
        expires = self.get_expiration_time(app, session)
        d = {}
        for k in session:
            if k.startswith('yoc') or k.startswith('lt')\
                                   or k.startswith('_openid_consumer_last_token')\
                                   or k.startswith('_yadis_services__openid_consumer_'):
                d[k] = pickle.dumps(session[k])
            else:
                d[k] = session[k]
        val = self.get_serializer(app).dumps({' p': d})
        response.set_cookie(app.session_cookie_name, val,
                            expires=expires, httponly=True,
                            domain=domain)

ベトナムの経済

ベトナムの経済

  • ドンの信用は低い
  • 鋼鉄業は未熟
  • トラディショナルトレードが高くモダントレードは低い
  • 農村出身者でビジネスマナーに乏しい

ProductName ベトナム経済の基礎知識
守部 裕行
ジェトロ / 2100円 ( 2012-12 )


Nodeクックブック

一応クックブックという体裁をとっているんだけど、ストーリー性があるし、細かい点はミニレシピという形で記述されているので、ノードでサーバー立ててプロダクションまでもっていくというような内容になっている。もちろんクックブックなのでNodeの基礎的な事柄は知っているという前提。

1361792675

本書は、Node.jsを使っての簡単なWebサーバの構築にはじまり、Webアプリケーションやコマンドラインアプリケーションの構築、そして自作Nodeモジュールの開発までをスムーズに学習できるように構成しています。 MySQLやMongoDB、CouchDB、Redisといった各種データベースとのインタフェイスや、WebSocketの組み込み方、SMTPなどのプロトコルとのインタフェイスといった基本的な事項を学びます。 さらにデータストリームの処理方法やセキュリティを考慮した実装、そして開発したアプリケーションを本番環境で動作させるまでのさまざまなレシピを掲載しています。

Expressでウェブサービスを作りたいのであれば買いだと思う。Node.jsだけでウェブサーバーを実装する方法(1,2章)は丁寧に解説されていてわかり易かったし、4章のデータベース接続もMySQL,MongoDB,Couch,Redisの説明がひと通りされているし、5章ではwebsocketも軽く触れられいてる(今は開発の止まっているnowjsも)。

やはり6,7章のExpressとセキュリティの話題が一番おもしろくて、どういったあたりに気を使えばいいのかが丁寧に解説されていて良かった。

いまメインで使っているFlaskでなぜかセッションが入れ替わるという問題を解決できなくて悩んでいるので、次にサービス作るんだったら Expressでもいいかなぁと思い始めている。YesodとかSnapという選択肢もあるんだけど、Stylus+nibとかSass+Compassみたいなフレームワーク使いたいので悩んでいる。

LESSというよりbootstrapは乗っかっている時にはスイスイ進むんだけど流儀から外れることをやろうとすると途端に牙をむく感じだしなぁ。CSSとかHTMLのフレームワークはRoRみたいなWAFと違ってすぐに手を入れたくなるだろうから、あんまりフルスタックすぎるのもどうなのかなぁと思ったりもする。いじるのが前提でミニマルで拡張しやすいほうがいいんじゃないかなぁと。

ProductName Nodeクックブック
David Mark Clements
オライリージャパン / 3570円 ( 2013-02-23 )


ちなみに9章のテストの話はいまいちだった。今読んでいるtestable javascriptのほうが楽しい。

ProductName Testable JavaScript
Mark Ethan Trostler
Oreilly & Associates Inc / 2640円 ( 2013-01-31 )