使用 Nginx 构建优化的 https 服务

推荐使用 Nginx 1.6 以上版本,用以支持 spdy 3.0。虽然 http/2 已经推出,但现在浏览器支持度太低,服务器也只有几个小应用,Nginx 和 Apache 都还没有支持 http/2。

所以 spdy 依然是加速 https 的最好方式,但 Chrome 新版已经不支持 spdy 2.0 及以下版本,所以新版 Nginx 对 https 是很有帮助的。

首先监听443端口。

listen       443 ssl spdy;

老版本 Nginx 大家都用 ssl on,新版本(0.7.14以上)就推荐在 listen 加 ssl 关键字,这样最大的好处是在一个 Server 段里可同时支持 http 与 https 服务,像这样:

listen   80;
listen   443 ssl;

配置证书:

ssl_certificate      /etc/nginx/zhigang.net.crt;
ssl_certificate_key  /etc/nginx/zhigang.net.key;

证书现在免费的 StartSSL 挺好的,大部分浏览器都支持,新版 Linux 也都内置了 StartSSL 的 CA 证书。只是 java 目前还没有内置。具体申请与使用回头单写。

启用 ssl session 缓存:

ssl_session_cache shared:SSL:10m;
ssl_session_timeout  10m;

第一条设置一10M大小的缓存池,因为 Nginx 使用本地内存,所以这在分布式系统中作用就不大了。第二条缓存时间,单位分钟。

加密协议与算法:

ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
ssl_ciphers "ECDHE-RSA-AES256-GCM-SHA384:ECDHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384:DHE-RSA-AES128-GCM-SHA256:ECDHE-RSA-AES256-SHA384:ECDHE-RSA-AES128-SHA256:ECDHE-RSA-AES256-SHA:ECDHE-RSA-AES128-SHA:DHE-RSA-AES256-SHA256:DHE-RSA-AES128-SHA256:DHE-RSA-AES256-SHA:DHE-RSA-AES128-SHA:ECDHE-RSA-DES-CBC3-SHA:EDH-RSA-DES-CBC3-SHA:AES256-GCM-SHA384:AES128-GCM-SHA256:AES256-SHA256:AES128-SHA256:AES256-SHA:AES128-SHA:DES-CBC3-SHA:HIGH:!aNULL:!eNULL:!EXPORT:!DES:!MD5:!PSK:!RC4";
ssl_prefer_server_ciphers on;

因 SSL3.0 及以下版本已被爆出各种漏洞,现在已极不推荐使用,所以我们只启用 TLS 系列协议。

加密算法部分涉及东西太多,这里先注意需禁用的几个:MD5 RC4 DES 及 NULL。这里列出的算法规则应该是比较优化的。

启用 OCSP

ssl_stapling on;
ssl_stapling_verify on;
ssl_trusted_certificate /etc/nginx/startssl_trust_chain.crt;
resolver 8.8.8.8 8.8.4.4;

简单点说,启用 OCSP 可以让浏览器更快的获取证书撤销状态,提高加载速度。ssl_trusted_certificate 是 CA 的证书链,如 StartSSL class 1 证书这样生成:

wget https://www.startssl.com/certs/ca-sha2.pem
wget https://www.startssl.com/certs/class1/sha2/pem/sub.class1.server.sha2.ca.pem
cat sub.class1.server.sha2.ca.pem ca-sha2.pem > startssl_trust_chain.crt

启用 HSTS

add_header Strict-Transport-Security "max-age=31536000";

用于通知浏览器强制使用 https 通信,这样下次用户在直接输入域名访问时,浏览器会自动使用 https 请求,避免一次跳转。

Notes

完成设置后可以使用测试网站:https://www.ssllabs.com/ssltest/ 测下自己的得分,本站经过优化前的 D 提升到了 A+。

OpenStack安装笔记

折腾一个礼拜,终于算把OpenStack搭起来了。

教程:https://github.com/ist0ne/OpenStack-Grizzly-Install-Guide-CN/blob/OVS_Quantum_MutliNode/OpenStack_Grizzly_Install_Guide.rst

安装OpenVSwitch时遇到了点问题,模块编译通不过,后来发现Ubuntu内核版本为3.8,应该是OpenVSwitch还不支持,改用3.2版内核后成功安装。

虚拟机默认CPU是QEMU的虚拟CPU,性能极差,修改 /etc/nova/nova.conf,增加 libvirt_cpu_mode = host-passthrough 可直接使用物理机CPU,达到最大性能。但注意,只有KVM支持host-passthrough。详细说明:https://wiki.openstack.org/wiki/LibvirtXMLCPUModel

几个有用的资源:

陈沙克日志:http://www.chenshake.com/ 国内OpenStack大牛

puppet-openstack: https://github.com/stackforge/puppet-openstack Puppet部署模块,正式环境大规模部署我计划用这个

Ubuntu OpenStack包地址: http://ubuntu-cloud.archive.canonical.com/ubuntu/dists/precise-updates/ 包括最新的Havana测试版也在,回头试试。

批量转换文件编码

适用于Linux及 Mac OS 系统,Windows就抱歉了,你们自己想办法吧。

find . -name *.java -exec sh -c "iconv -f GBK -t UTF8 {} > /tmp/iconv.tmp" \; -exec mv /tmp/iconv.tmp '{}' \;

以上命令将所有 .java 文件由GBK编码转换为UTF8编码。

注意,网上有很多文章将 iconv 命令写成这样:

find . -name *.java -exec sh -c "iconv -f GBK -t UTF8 {} > {}" \;

再说一句,上面这种写法是错误的,以上写法相当于 iconv 输出到源文件,但不知是BUG还是别的原因,你只能得到0字节的空文件,所以必须使用第一条命令,先生成到一个临时文件,然后再移动回来。

JAVA+jni 包名或方法名中含有下划线(_)的解决方法

jni或NDK定义C函数是用下划线(_)作为命名分隔。但如果JAVA包名或方法名里包含了_ 那么就会发生找不到函数的错误,对此网上的各教程都说不要使用 _,对于新项目,这种情况当然很容易避免,但若对一原有项目开发jni接口就麻烦了,特别是在 Android 平台下,包名决定着应用的唯一识别,轻易改不的。

经过不懈的努力,我终于找到了解决方法,简单来说就是在 _ 后加1,如:

// JAVA
package net.zhigang.ndk_test;

public class NdkTest
{
    static {
        System.loadLibrary(ndktest);
    }
    public native void sayHello();
}

//C
#include <jni.h>

jstring Java_net_zhigang_ndk_1test(JNIEnv* env, jobject thiz)
{
    return env->NewStringUTF("Hello from jni");
}

注意上面C语言部分的 ndk_1test。

移植libcurl到Android NDK

测试通过环境:
操作系统:Mac OS
NDK:NDK r8e
libcurl:7.31.0

下载NDK环境: http://developer.android.com/tools/sdk/ndk/index.html ,安装环境不废话了。

在NDK安装目录执行

./build/tools/make-standalone-toolchain.sh

导出编译工具,一般生成压缩如 /tmp/ndk-zhigang/arm-linux-androideabi-4.6.tar.bz2。

解压:

cd /opt/
sudo tar xf /tmp/ndk-zhigang/arm-linux-androideabi-4.6.tar.bz2

下载curl源代码:http://curl.haxx.se/download.html

设置编译环境:

export LDFLAGS="\
-L/usr/local/Cellar/android-ndk/r8e/platforms/android-14/arch-arm/usr/lib"

export CPPFLAGS="\
-I/usr/local/Cellar/android-ndk/r8e/platforms/android-14/arch-arm/usr/include"

将以上路径修改为自己的NDK安装目录。

进入curl目录:

./configure --host=arm-linux-androideabi \
--disable-ftp \
--disable-gopher \
--disable-file \
--disable-imap \
--disable-ldap \
--disable-ldaps \
--disable-pop3 \
--disable-proxy \
--disable-rtsp \
--disable-smtp \
--disable-telnet \
--disable-tftp \
--without-gnutls \
--without-libidn \
--without-librtmp \
--without-ssl \
--disable-dict

mark

生成的静态库文件位于:lib/.libs/libcurl.a 动态库:libcurl.so.5.3.0

一般我们使用静态库文件。

复制 libcurl.a 到项目 jni/ 目录,修改 Android.mk 文件:

# A simple test for the minimal standard C++ library
#

LOCAL_PATH := $(call my-dir)

include $(CLEAR_VARS)
LOCAL_MODULE := curl
LOCAL_SRC_FILES := libcurl.a
include $(PREBUILT_STATIC_LIBRARY)

include $(CLEAR_VARS)
LOCAL_CFLAGS = -Wno-psabi
LOCAL_MODULE := curltest
LOCAL_SRC_FILES := curltest.c
LOCAL_STATIC_LIBRARIES := libcurl
LOCAL_C_INCLUDES += $(LOCAL_PATH)/include
LOCAL_LDLIBS    += -lz

参考:http://stackoverflow.com/questions/11330180/porting-libcurl-on-android-with-ssl-support

终于上了一次电视

年前受《命运60秒》节目组的邀请,去北京录了一期节目,河南卫视每周二21:20播,我录那期在这个月16号播了,悲剧的是我没看到直播…

好在现在都有点播可看,我在大约34分钟左右,刚上台有些紧张,好在上台后问答环节总算没丢人,欲知最后我成功没有?自己看吧,呵呵。

用了 https 视频没办法 iframe 过来了,地址:http://v.youku.com/v_show/id_XNTQzOTI2MDQ0.html

开始使用vim作主要开发工具

经过这么多年,IDE与编辑器用了不少,从开始的EditPlus到ZendStudio再到Eclipse、NetBeans、TextMate、Sublime Text等等。

几年前也曾经尝试过VIM、Emacs,但当时一是年少无知,二是插件没有如今这么丰富与强大,特别是在VIM支持Python、Ruby等脚本语言开发插件后,插件功能日益强大,甚至可以达到IDE标准,还有UltiSnips实现了类似TextMate的tab功能。加上灵活的自定义功能,让经过几年漂泊的我发现这几十年前诞生的编辑器竟如此强大。所以就这样了,选定离手。

下面是一些目前我使用的插件:

  • vundle (最好用的VIM插件管理工具,当年插件安装复杂也是我无法继续的原因之一)
  • UltiSnips (仿TextMate的TAB补全,支持Python写snips)
  • NERDTree (项目目录树)
  • NERTCommenter (代码注释,支持多种语言)
  • TagBar (显示类方法、函数列表、属性等导航)
  • neocomplcache (代码提示)
  • vim-octopress (本博客代码加亮)
  • phpcomplete.vim (PHP代码自动完成)
  • javacomplete (JAVA代码自动完成)
  • zencoding.vim (HTML快速书写)
  • numbers.vim (在命令模式显示与当前行间隔的行数,用于快速定位)
  • powerline (漂亮的状态栏)
  • matchit (快速找到标签的开始或结束位置)
  • AutoClose (自动关闭括号、引号)

我的.vimrc配置已经发布到GitHub: https://github.com/yinzhigang/dotvim

下载themeforest.net的主题

themeforest.net有很多漂亮的主题,但都是收费的而且还不便宜。但幸好很多主题都提供预览功能,这时我们就可以使用wget神器将HTML、CSS、JS、图片等下载下来,当然Wordpress之类的主题就需要自己写程序来实现功能了。

比如这个简洁的后台管理模板,我们点 Live Prefiew 找到真正的预览地址:http://benblogged.com/dev/ninja_admin/

wget -mk http://benblogged.com/dev/ninja_admin/

稍等一会儿,包括CSS图片在内的文件就会被下载到benblogged.com/dev/ninja_admin/,这个页面比较简单,只有一个HTML,其他复杂些也一样。

如果对方服务器有限制,如限制抓取速度,那么:

wget -mk -w 20 http://benblogged.com/dev/ninja_admin/

-w 20 代表每隔20秒下载一个文件。

还有服务器限制User-Agent,这也好办:

wget -mk -U 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_2) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.95 Safari/537.11' http://benblogged.com/dev/ninja_admin/

这就模拟成了普通浏览器,怎么样,酷吧。

Octopress 测试

第一次使用 Octopress,看起来是我喜欢的风格,希望可以让我继续写下去。

GitLab 官方安装文档中文翻译

译者注:gitlabhq + gitolite是目前为止个人认为最好用的 git 中心库管理系统,但是其安装配置不是一般的复杂,找了半天没发现完整的中文安装文档,只好依靠自己蹩脚的英文班门弄斧下,若有错误还请见谅。

原文地址:https://github.com/gitlabhq/gitlabhq/blob/stable/doc/installation.md

译者:殷志刚

平台需求:

此项目被设计用于Linux操作系统。

也许可以工作在 FreeBSD 与 Mac OS 系统,但我们无法保证系统稳定性与功能完整性。

官方支持的 Linux 发行版:

  • Ubuntu Linux
  • Debian/GNU Linux

它应该工作于:

  • Fedora
  • CentOS
  • RedHat

你使用这些系统需要些运气,但不保证稳定性:

  • MacOS X
  • FreeBSD

GitLab 不能运行于 Windows 并且我们也没有支持的计划。

硬件需求:

我们推荐至少 1GB 内容用于 gitlab 实例。

本安装指南已于 Debian/Ubuntu 测试通过。

  • 安装总共需要6步:
  • 安装依赖包
  • 安装 Ruby
  • 安装 Gitolite
  • 安装与配置 GitLab
  • 启动前端Web服务器
  • 启动Resque进行(用于后台任务)

重要信息

在你发邮件列表询问安装与配置问题之前请确认你已经根据本文完成了所有步骤。

Only create a GitHub Issue if you want a specific part of this installation guide updated.

Also read the Read this before you submit an issue wiki page.

使用这个安装脚本可以轻易的跳过前3个步骤。

# 安装 curl 与 sudo
apt-get install curl sudo

# 三合一命令 :)
curl https://raw.github.com/gitlabhq/gitlab-recipes/master/install/debian_ubuntu.sh | sh

现在你可以直接到到第四步

如果你在 Amazon Web Services 使用 Ubuntu 12.04,你可以使用一个命令跳过所有步骤(1-6)

curl https://raw.github.com/gitlabhq/gitlab-recipes/master/install/debian_ubuntu_aws.sh | sh

更多详细信息,你可以阅读此脚本的 HOWTO 部分。

1. 安装依赖包

请记住,Debian 默认并没有安装 sudo,请使用 root 安装它:

apt-get update && apt-get upgrade && apt-get install sudo

现在你可以安装必须包:

sudo apt-get update
sudo apt-get upgrade

sudo apt-get install -y wget curl gcc checkinstall libxml2-dev libxslt-dev libcurl4-openssl-dev libreadline6-dev libc6-dev libssl-dev libmysql++-dev make build-essential zlib1g-dev libicu-dev redis-server openssh-server git-core python-dev python-pip libyaml-dev postfix libpq-dev

数据库

SQLite

sudo apt-get install -y sqlite3 libsqlite3-dev

MySQL

sudo apt-get install -y mysql-server mysql-client libmysqlclient-dev

# Login to MySQL
$ mysql -u root -p

# Create the GitLab production database
mysql> CREATE DATABASE IF NOT EXISTS `gitlabhq_production` DEFAULT CHARACTER SET `utf8` COLLATE `utf8_unicode_ci`;

# Create the MySQL User change $password to a real password
mysql> CREATE USER 'gitlab'@'localhost' IDENTIFIED BY '$password';

# Grant proper permissions to the MySQL User
mysql> GRANT SELECT, INSERT, UPDATE, DELETE, CREATE, DROP, INDEX, ALTER ON `gitlabhq_production`.* TO 'gitlab'@'localhost';

PostgreSQL

sudo apt-get install -y postgresql-9.2 postgresql-server-dev-9.2

# Connect to database server
sudo -u postgres psql -d template1

# Add a user called gitlab. Change $password to a real password
template1=# CREATE USER gitlab WITH PASSWORD '$password';

# Create the GitLab production database
template1=# CREATE DATABASE IF NOT EXISTS gitlabhq_production;

# Grant all privileges on database
template1=# GRANT ALL PRIVILEGES ON DATABASE gitlabhq_production to gitlab;

# Quit from PostgreSQL server
template1=# \q

# Try connect to new database
$ su - gitlab
$ psql -d gitlabhq_production -U gitlab

(译者注:以上3种数据库根据需要安装其一即可)

2. 安装 Ruby

wget http://ftp.ruby-lang.org/pub/ruby/1.9/ruby-1.9.3-p194.tar.gz
tar xfvz ruby-1.9.3-p194.tar.gz
cd ruby-1.9.3-p194
./configure
make
sudo make install

3. 安装 Gitolite

为 Git 创建用户:

sudo adduser \
--system \
--shell /bin/sh \
--gecos 'git version control' \
--group \
--disabled-password \
--home /home/git \
git

为 GitLab 创建用户:

# ubuntu/debian
sudo adduser --disabled-login --gecos 'gitlab system' gitlab

将 gitlab 用户添加到 git 用户组:

sudo usermod -a -G git gitlab

将 git 用户添加到 gitlab 用户组:

sudo usermod -a -G gitlab git

生成密钥:

sudo -H -u gitlab ssh-keygen -q -N '' -t rsa -f /home/gitlab/.ssh/id_rsa

克隆 GitLab 的 Gitolite 分支源代码:

sudo -H -u git git clone -b gl-v304 https://github.com/gitlabhq/gitolite.git /home/git/gitolite

安装:

cd /home/git
sudo -u git -H mkdir bin
sudo -u git sh -c 'echo -e "PATH=\$PATH:/home/git/bin\nexport PATH" >> /home/git/.profile'
sudo -u git sh -c 'gitolite/install -ln /home/git/bin'

sudo cp /home/gitlab/.ssh/id_rsa.pub /home/git/gitlab.pub
sudo chmod 0444 /home/git/gitlab.pub

sudo -u git -H sh -c "PATH=/home/git/bin:$PATH; gitolite setup -pk /home/git/gitlab.pub"

权限:

sudo chmod -R g+rwX /home/git/repositories/
sudo chown -R git:git /home/git/repositories/

检查:退出并重新登录以使 git 用户组生效

# 克隆 admin 资源库以将 localhost 添加到 known_hosts
# 并且确认 gitlab 用户有权访问 gitolite
sudo -u gitlab -H git clone git@localhost:gitolite-admin.git /tmp/gitolite-admin

# 如果执行成功,你可以将其删除
sudo rm -rf /tmp/gitolite-admin

重要! 如果你不能克隆 gitolite-admin 资源库,请不要继续本次安装,请根据 Trouble Shooting Guide 并且确认你已经小心的完成上文的全部步骤。

4. 克隆 GitLab 源代码并安装先决条件

sudo gem install charlock_holmes --version '0.6.8'
sudo pip install pygments
sudo gem install bundler
cd /home/gitlab

# Get gitlab code. Use this for stable setup
sudo -H -u gitlab git clone -b stable https://github.com/gitlabhq/gitlabhq.git gitlab

# Skip this for stable setup.
# Master branch (recent changes, less stable)
sudo -H -u gitlab git clone -b master https://github.com/gitlabhq/gitlabhq.git gitlab

cd gitlab

# Rename config files
sudo -u gitlab cp config/gitlab.yml.example config/gitlab.yml

(译者注:本人在安装 charlock_holmes 时遇到了点儿麻烦,解决办法见这里

选择你希望使用的数据库

# SQLite
sudo -u gitlab cp config/database.yml.sqlite config/database.yml

# Mysql
sudo -u gitlab cp config/database.yml.mysql config/database.yml

# PostgreSQL
sudo -u gitlab cp config/database.yml.postgres config/database.yml

# 修改 config/database.yml 确认输入了正确的用户名/密码

安装数据库 gems

# mysql
sudo -u gitlab -H bundle install --without development test sqlite postgres --deployment

# 或者 postgres
sudo -u gitlab -H bundle install --without development test sqlite mysql --deployment

# 或者 sqlite
sudo -u gitlab -H bundle install --without development test mysql postgres --deployment

初始化数据库

sudo -u gitlab bundle exec rake gitlab:app:setup RAILS_ENV=production

设置 GitLab hooks

sudo cp ./lib/hooks/post-receive /home/git/.gitolite/hooks/common/post-receive
sudo chown git:git /home/git/.gitolite/hooks/common/post-receive

确认应用程序状态:

sudo -u gitlab bundle exec rake gitlab:app:status RAILS_ENV=production


# OUTPUT EXAMPLE
Starting diagnostic
config/database.yml............exists
config/gitlab.yml............exists
/home/git/repositories/............exists
/home/git/repositories/ is writable?............YES
remote: Counting objects: 603, done.
remote: Compressing objects: 100% (466/466), done.
remote: Total 603 (delta 174), reused 0 (delta 0)
Receiving objects: 100% (603/603), 53.29 KiB, done.
Resolving deltas: 100% (174/174), done.
Can clone gitolite-admin?............YES
UMASK for .gitolite.rc is 0007? ............YES
/home/git/share/gitolite/hooks/common/post-receive exists? ............YES

如果所有结果都是 YES,恭喜!你可以继续进行下一步了。

5. 设置 web server

应用可以用下一个命令行动:

# 用于测试目的
sudo -u gitlab bundle exec rails s -e production

# 用于守护进程
sudo -u gitlab bundle exec rails s -e production -d

默认登录用户名及密码:

admin@local.host
5iveL!fe

6. 运行 Resque 进程(用于处理工作队列)

# 手动启动
sudo -u gitlab bundle exec rake environment resque:work QUEUE=* RAILS_ENV=production BACKGROUND=yes

# GitLab 启动脚本
sudo -u gitlab ./resque.sh
# 如果你使用 root 运行此脚本,会导致 /home/gitlab/gitlab/tmp/pids/resque_worker.pid 文件的拥有者为 root
# 将导致 resque 在下一次系统初始化中无法启动

自定义 Resque 使用的 Redis 连接

如果你希望 Resque 连接到一个非标准端口号或另一台服务器上的 Redis,你可以在 config/resque.yml 文件修改连接信息:

production: redis.example.com:6379

好了,我们已经拥有了一个工作正常的 GitLab 了,但请继续下去,有一些事情是必须完成的。

Nginx 与 Unicorn

1. Unicorn

cd /home/gitlab/gitlab
sudo -u gitlab cp config/unicorn.rb.example config/unicorn.rb
sudo -u gitlab bundle exec unicorn_rails -c config/unicorn.rb -E production -D

2. Nginx

# 初次安装 Nginx
sudo apt-get install nginx

# 添加GitLab 到 nginx sites
sudo wget https://raw.github.com/gitlabhq/gitlab-recipes/master/nginx/gitlab -P /etc/nginx/sites-available/
sudo ln -s /etc/nginx/sites-available/gitlab /etc/nginx/sites-enabled/gitlab

# 修改 **YOUR_SERVER_IP** 与 **YOUR_SERVER_FQDN**
# 为起初的 IP 地址与准备让 GitLab 服务的域名
sudo vim /etc/nginx/sites-enabled/gitlab

# 重启 nginx:
sudo /etc/init.d/nginx restart

3. Init 脚本

在 /etc/init.d/gitlab 创建 init 脚本:

sudo wget https://raw.github.com/gitlabhq/gitlab-recipes/master/init.d/gitlab -P /etc/init.d/
sudo chmod +x /etc/init.d/gitlab

设置 GitLab 自动启动:

sudo update-rc.d gitlab defaults 21

现在你可以用这种方式启动/重启/停止 GitLab 服务:

sudo /etc/init.d/gitlab restart

 

译者后注:其实通篇主要的全是各种命令,其实不看说明一条命令一条命令的复制粘贴也能安装完成,当然前提是你使用的是Ubuntu/Debian,回头有时间再写些其他系统的实际安装过程。