最近uWSGIにふれたため、HerokuでuWSGIを動かしてみようと思いました。
ただ、Herokuのチュートリアルではgunicornを動かしていました。
Getting Started on Heroku with Python | Heroku Dev Center
HerokuでuWSGIで動かす方法を調べたところ、uWSGIのドキュメントに記載がありました。
How to use Django with uWSGI | Django documentation | Django
そこで今回は、Django + uWSGIアプリをHerokuで動かしてみることにしました。
目次
環境
- Mac OS X 10.11.6
- Herokuアカウントは登録済、他は何もしていない
- Python 3.5.2
- Django 1.10.4
- アプリの構成
- PostgreSQL (9.6.1) を使用
- Heroku上でmigrateやloaddataできるかも試す
- 静的ファイルの配信あり
- PostgreSQL (9.6.1) を使用
- アプリの構成
- uWSGI 2.0.14
- Djangoアプリ用のPythonライブラリ
- dj-database-url0.4.1
- psycopg2 2.6.2
- whitenoise 3.2.2
MacでHeroku環境の準備
Homebrewによる Heroku Toolbeltのインストール
HomebrewでHeroku Toolbeltを管理したいため、Homebrewでインストールします。
# インストール $ brew install heroku-toolbelt ... 🍺 /usr/local/Cellar/heroku/5.6.1-0976cf3: 12,942 files, 79.7M, built in 2 minutes 18 seconds
SSH鍵の登録
Herokuへpushする時に使用するSSH鍵を生成し、Herokuに登録します。
Managing Your SSH Keys | Heroku Dev Center
# 鍵生成 $ ssh-keygen -t rsa -b 4096 -C "you@example.com" -f ~/.ssh/id_rsa_heroku # Herokuへログイン $ heroku login Enter your Heroku credentials. Email: <typing> Password (typing will be hidden): <typing> Logged in as you@example.com # HerokuにSSH鍵を追加 $ heroku keys:add ~/.ssh/id_rsa_heroku.pub Uploading ~/.ssh/id_rsa_heroku.pub SSH key... done
MacでPostgreSQLの準備
HomebrewでPostgreSQLをインストール
以下を参考に、HomebrewでPostgreSQLをインストールします。
MacにPostgreSQLをインストール - Qiita
# インストール $ brew install postgresql ==> Installing dependencies for postgresql: readline ... 🍺 /usr/local/Cellar/readline/7.0.1: 46 files, 2M ==> Installing postgresql ... ==> /usr/local/Cellar/postgresql/9.6.1/bin/initdb /usr/local/var/postgres ==> Caveats If builds of PostgreSQL 9 are failing and you have version 8.x installed, you may need to remove the previous version first. See: https://github.com/Homebrew/homebrew/issues/2510 To migrate existing data from a previous major version (pre-9.0) of PostgreSQL, see: https://www.postgresql.org/docs/9.6/static/upgrading.html To migrate existing data from a previous minor version (9.0-9.5) of PostgreSQL, see: https://www.postgresql.org/docs/9.6/static/pgupgrade.html You will need your previous PostgreSQL installation from brew to perform `pg_upgrade`. Do not run `brew cleanup postgresql` until you have performed the migration. To have launchd start postgresql now and restart at login: brew services start postgresql Or, if you don't want/need a background service you can just run: pg_ctl -D /usr/local/var/postgres start ==> Summary 🍺 /usr/local/Cellar/postgresql/9.6.1: 3,242 files, 36.4M
initdbの実行
以下を参考にinitdbを実行します。
initdb - PostgreSQL 9.6.1文書
initdb時の設定は以下の通りです。
# initdbの実行 $ initdb /usr/local/var/postgres -E utf8 --locale=C The files belonging to this database system will be owned by user "<your_name>". This user must also own the server process. The database cluster will be initialized with locale "C". The default text search configuration will be set to "english". Data page checksums are disabled. # エラー出た initdb: directory "/usr/local/var/postgres" exists but is not empty If you want to create a new database system, either remove or empty the directory "/usr/local/var/postgres" or run initdb with an argument other than "/usr/local/var/postgres".
エラーが出たためディレクトリを確認します。
$ cd /usr/local/var/ $ ls -al total 0 drwxrwxr-x 6 you admin 204 12 29 07:01 . drwxr-xr-x 14 root wheel 476 11 14 11:03 .. drwxr-xr-x 4 you admin 136 10 26 18:26 homebrew drwxr-xr-x 2 you admin 68 12 9 13:33 log drwxr-xr-x 19 you admin 646 12 17 07:21 mysql drwx------ 24 you admin 816 12 29 07:01 postgres
エラーメッセージ通り、postgresディレクトリがすでに存在しているため、これを削除します。
# postgresディレクトリを削除 $ rm -r /usr/local/var/postgres $ ls -al total 0 drwxrwxr-x 5 you admin 170 12 29 07:09 . drwxr-xr-x 14 root wheel 476 11 14 11:03 .. drwxr-xr-x 4 you admin 136 10 26 18:26 homebrew drwxr-xr-x 2 you admin 68 12 9 13:33 log drwxr-xr-x 19 you admin 646 12 17 07:21 mysql
もう一度initdbします。
# initdbの実行
$ initdb /usr/local/var/postgres -E utf8 --locale=C
...
WARNING: enabling "trust" authentication for local connections
You can change this by editing pg_hba.conf or using the option -A, or
--auth-local and --auth-host, the next time you run initdb.
Success. You can now start the database server using:
pg_ctl -D /usr/local/var/postgres -l logfile start
WARNINGは出ているものの、今回は開発環境のため無視します。
これでインストールが終わりました。
Mac起動時にPostgreSQLを自動起動させる
インストール時の最後のメッセージに自動起動設定に関するメッセージが出ていました。
ただ、brew servicesでも管理できるとのことなので、以下を参考にHomebrewで自動起動設定を行います。
OS X に PostgreSQL を Homebrew でインストールして brew services で起動する - Qiita
# 自動起動設定 $ brew services start postgresql ==> Successfully started `postgresql` (label: homebrew.mxcl.postgresql) $ brew services list Name Status User Plist chromedriver stopped mysql stopped postgresql started <your_name> ~/Library/LaunchAgents/homebrew.mxcl.postgresql.plist
データベース確認
現在のデータベースを確認します。
# データベースの確認
$ psql -l
List of databases
Name | Owner | Encoding | Collate | Ctype | Access privileges
-----------+--------------+----------+---------+-------+-------------------------------
postgres | <your_name> | UTF8 | C | C |
template0 | <your_name> | UTF8 | C | C | =c/<your_name> +
| | | | | <your_name>=CTc/<your_name>
template1 | <your_name> | UTF8 | C | C | =c/<your_name> +
| | | | | <your_name>=CTc/<your_name>
(3 rows)
ユーザの作成
Django向けに、postgresユーザを作成します。開発環境なので、パスワードは無しです。
まずは現在のユーザの一覧を確認します。
# 現在のユーザ一覧を確認 $ psql -q -c'select * from pg_user' postgres usename | usesysid | usecreatedb | usesuper | userepl | usebypassrls | passwd | valuntil | useconfig --------------+----------+-------------+----------+---------+--------------+----------+----------+----------- <your_name> | 10 | t | t | t | t | ******** | |
続いて、ユーザを作成します。
# ユーザを作成 $ createuser postgres # 作成したユーザがいるか確認 $ psql -q -c'select * from pg_user' postgres usename | usesysid | usecreatedb | usesuper | userepl | usebypassrls | passwd | valuntil | useconfig --------------+----------+-------------+----------+---------+--------------+----------+----------+----------- <your_name> | 10 | t | t | t | t | ******** | | postgres | 16386 | f | f | f | f | ******** | | (2 rows)
作成したユーザがオーナーのdatabaseを作成
postgresユーザがオーナーのdatabaseを作成します。
今回のデータベース名はtry_heroku_django_uwsgiとします。
# データベースを作成、Ownerは`postgres`ユーザ
$ createdb -O postgres try_heroku_django_uwsgi
# 作成したデータベースの確認
$ psql -l
List of databases
Name | Owner | Encoding | Collate | Ctype | Access privileges
-------------------------+--------------+----------+---------+-------+-------------------------------
postgres | <your_name> | UTF8 | C | C |
template0 | <your_name> | UTF8 | C | C | =c/<your_name> +
| | | | | <your_name> =CTc/<your_name>
template1 | <your_name> | UTF8 | C | C | =c/<your_name> +
| | | | | <your_name> =CTc/<your_name>
try_heroku_django_uwsgi | postgres | UTF8 | C | C |
(4 rows)
以上でMacのPostgreSQLの準備が終わりました。
MacでDjango + uWSGIアプリを作成
Django, uWSGIなどのPythonライブラリをインストール
virtualenvを使ってインストールします。
$ mkdir try_heroku_django_postgres $ cd try_heroku_django_postgres/ # pyenvを有効化してvirtualenvを作成 $ eval "$(pyenv init -)" $ python --version Python 3.5.2 $ virtualenv env ... # 必要なライブラリをインストール $ source env/bin/activate (env) $ pip install django uwsgi dj_database_url psycopg2 whitenoise ... Successfully installed django-1.10.4 uwsgi-2.0.14 dj-database-url-0.4.1 psycopg2-2.6.2 whitenoise-3.2.2
Djangoアプリの作成
プロジェクトとアプリの作成
(env) $ django-admin startproject myproject . (env) $ python manage.py startapp myapp
コードを書く
昔の自分のメモを参考に、今回の内容に合わせて作成します。 Django + Herokuでdj-ringo-tabetterを作った時の作業メモ - メモ的な思考的な
ソースコード全体をGitHubに上げましたので、詳しい内容は省略します。
作成した時のポイントは以下の通りです。
- Herokuで動かすために、settings.pyの
ALLOWED_HOSTSの値を変更- 今回は開発的なものなので、すべてのホストを許可(
ALLOWED_HOSTS = ['*'])
- 今回は開発的なものなので、すべてのホストを許可(
- Herokuへpush後のビルドにて、自動でcollectstaticが走るので、settings.pyに
STATIC_ROOTを設定 - foremanでHerokuの環境変数をセットするために、
.envファイルを作成- Herokuかどうかを判定するため、
ON_HEROKU環境変数をHerokuに設定するよう記載 - foreman(1) - manage Procfile-based applications
- Herokuかどうかを判定するため、
- 以下を参考に、whitenoiseをdjangoで使うように設定
- Python環境であることを示すために、
runtime.txtを作成- 後ほど
requirements.txtも作成 - これらがないと、HerokuがPython環境と認識できない
- 後ほど
migrationとloaddata
Mac上でmigrationとloaddataができるかを試します。
(env) $ python manage.py makemigrations ... (env) $ python manage.py migrate ... (env) $ python manage.py loaddata initial_data Installed 2 object(s) from 1 fixture(s)
requirements.txtを作成
HerokuでPythonライブラリをインストールするため、requirements.txtを作成します。
(env) $ pip freeze > requirements.txt
gitリポジトリの作成
Herokuへpushするため、gitリポジトリを作成します。
なお、今回はこのリポジトリ専用のuser.nameとuser.emailも設定します。
$ git init . # リポジトリ専用のuser.nameとuser.emailを設定 $ git config user.name "<your_name>" $ git config user.email "<your_email>@example.com" # 確認 $ git config user.name your_name $ git config user.email <your_email>@example.com $ git add . $ git commit -m 'add samples'
Heroku環境の構築
Herokuへログイン
# ログイン (env)$ heroku login Enter your Heroku credentials. # メールアドレスを入力 Email: <you@example.com> # パスワードを入力 Password (typing will be hidden): Logged in as <you@example.com>
Herokuアプリを作成
今回は開発的なものなので、アプリ名はデフォルトのままにします。
# Herokuアプリを作成 (env)$ heroku create Creating app... done, ⬢ <foo-bar-1234> https://<foo-bar-1234>.herokuapp.com/ | https://git.heroku.com/<foo-bar-1234>.git
Heroku Postgresを追加
# Heroku Postgresを追加 (env)$ heroku addons:create heroku-postgresql:hobby-dev Creating heroku-postgresql:hobby-dev on ⬢ <foo-bar-1234>... free Database has been created and is available ! This database is empty. If upgrading, you can transfer ! data from another database with pg:copy Created postgresql-<ham-5678> as DATABASE_URL Use heroku addons:docs heroku-postgresql to view documentation
DjangoアプリのリポジトリをHerokuへpushしてデプロイ
# Herokuへpush (env)$ git push heroku master ... remote: Compressing source files... done. remote: Building source: remote: remote: -----> Python app detected # runtime.txtで指定したバージョンのPythonがインストールされる remote: -----> Installing python-3.5.2 # requirements.txtで指定したPythonライブラリがインストールされる remote: $ pip install -r requirements.txt ... remote: Successfully installed Django-1.10.4 dj-database-url-0.4.1 psycopg2-2.6.2 uWSGI-2.0.14 whitenoise-3.2.2 # collectstaticが実行される remote: $ python manage.py collectstatic --noinput remote: 62 static files copied to '/tmp/build_9e36a428ccb437382bf6801f5cf09071/staticfiles'. remote: remote: -----> Discovering process types remote: Procfile declares types -> web ... # デプロイ成功 remote: Verifying deploy... done. To https://git.heroku.com/<foo-bar-1234>.git * [new branch] master -> master
Heroku上での作業
環境変数の確認
ON_HEROKU環境変数が読み込まれていることを確認します。
# 環境変数の確認 (env)$ heroku config DATABASE_URL: <url> ON_HEROKU: yes
もし設定されていない場合は、以下の方法で設定します。
# 環境変数の追加 (env)$ heroku config:set ON_HEROKU=yes Setting ON_HEROKU and restarting ⬢ <foo-bar-1234>.. done, v6 ON_HEROKU: yes
migrateとloaddata
Djangoアプリのmigrateとloaddataを行います。
# migrate $ heroku run python manage.py migrate Running python manage.py migrate on ⬢ <foo-bar-1234>... up, run.9469 (Free) ... Applying sessions.0001_initial... OK # loaddata $ heroku run python manage.py loaddata initial_data Running python manage.py loaddata initial_data on ⬢ <foo-bar-1234>... up, run.8331 (Free) Installed 2 object(s) from 1 fixture(s)
Herokuアプリの確認
ブラウザが開くので、動作を確認します。
# Herokuアプリを開く $ heroku open
uWSGIでホストされてることを確認
Herokuのログを見て、uWSGIで動いていることを確認します。
# Herokuのログを見る
$ heroku logs
...
heroku[web.1]: Process exited with status 0
heroku[web.1]: Starting process with command `uwsgi uwsgi_heroku.ini`
app[web.1]: [uWSGI] getting INI configuration from uwsgi_heroku.ini
app[web.1]: *** Starting uWSGI 2.0.14 (64bit) on [xxx] ***
app[web.1]: compiled with version: 4.8.4 on xxx
app[web.1]: os: Linux-3.13.0-105-generic #152-Ubuntu SMP xxx
app[web.1]: machine: x86_64
app[web.1]: nodename: xxx
app[web.1]: clock source: unix
app[web.1]: detected number of CPU cores: 8
app[web.1]: pcre jit disabled
app[web.1]: current working directory: /app
app[web.1]: detected binary path: /app/.heroku/python/bin/uwsgi
app[web.1]: your processes number limit is 256
app[web.1]: your memory page size is 4096 bytes
app[web.1]: detected max file descriptor number: 10000
app[web.1]: lock engine: pthread robust mutexes
app[web.1]: thunder lock: disabled (you can enable it with --thunder-lock)
app[web.1]: uwsgi socket 0 bound to TCP address :xxx fd 3
app[web.1]: Python version: 3.5.2 (default, Jun 28 2016, 18:49:03) [GCC 4.8.4]
app[web.1]: *** Python threads support is disabled. You can enable it with --enable-threads ***
app[web.1]: Python main interpreter initialized at 0x2854720
app[web.1]: your server socket listen backlog is limited to 100 connections
app[web.1]: your mercy for graceful operations on workers is 60 seconds
app[web.1]: mapped 145536 bytes (142 KB) for 1 cores
app[web.1]: *** Operational MODE: single process ***
app[web.1]: WSGI app 0 (mountpoint='') ready in 1 seconds on interpreter 0x2854720 pid: 4 (default app)
app[web.1]: *** uWSGI is running in multiple interpreter mode ***
app[web.1]: spawned uWSGI worker 1 (pid: 7, cores: 1)
app[web.1]: spawned uWSGI master process (pid: 4)
heroku[web.1]: State changed from starting to up
heroku[router]: at=info method=GET path="/" host=<foo-bar-1234>.herokuapp.com request_id=xxx fwd="xxx.xxx.xxx.xxx" dyno=web.1 connect=0ms service=88ms status=200 bytes=559
app[web.1]: {address space usage: 288747520 bytes/275MB} {rss usage: 30261248 bytes/28MB} [pid: 7|app: 0|req: 1/1] xxx.xxx.xxx.xxx () {48 vars in 896 bytes} [xxx] GET / => generated 471 bytes in 87 msecs (HTTP/1.1 200) 2 headers in 88 bytes (1 switches on core 0)
heroku[router]: at=info method=GET path="/static/image/shinanogold.png" host=<foo-bar-1234>.herokuapp.com request_id=xxx fwd="xxx.xxx.xxx.xxx" dyno=web.1 connect=0ms service=3ms status=200 bytes=5762
app[web.1]: {address space usage: 288747520 bytes/275MB} {rss usage: 30441472 bytes/29MB} [pid: 7|app: 0|req: 2/2] xxx.xxx.xxx.xxx () {50 vars in 985 bytes} [xxx] GET /static/image/shinanogold.png => generated 5584 bytes in 2 msecs via sendfile() (HTTP/1.1 200) 5 headers in 178 bytes (0 switches on core 0)
uWSGIで動いているようです。
ソースコード
GitHubにあげました。
thinkAmi-sandbox/Django_on_Heroku_uWSGI-sample
