http://stackoverflow.com/questions/561245/virtual-memory-usage-from-java-under-linux-too-much-memory-used 这里详细描述了top命令里内存显示的意义。

用jstat -gcutil $pid看，发现堆使用率却很低，甚至都没有怎么出现过Full GC，Young GC也很少，堆内存完全够用。jmap -histo:live  $pid命令（注：此命令调用会先调用Full GC一次）也看不出有任何对象占用内存很大的情况。

到这里据同事提醒，怀疑是堆外内存泄露。一般情况下是ByteBuffer.allocateDirect()这个API可以开辟堆外内存空间，但是搜索源代码并没有发现有这个调用。

然后据水寒同学提示，可以通过cat /proc/$pid/maps（也可以通过pmap $pid命令）来查看内存使用。然后就发现了问题：

• 一大块内存正好是12g，应该就是通过-Xmx设置的内存，无标识符
• 有一块3.5g的内存，最后一列标识符是[heap]
• 有111块正好为64M或者非常接近64M的内存块，无标识符

显然问题出在这111 * 64m = 6g这里，搜索源代码并没有发现有常量64的使用，一般代码也不会硬coding这么大一块内存呀。如果问题出在引用的某个第三方jar包就难定位问题了。

因为觉得这个64M内存块具有非常显著的特点，于是就通过Google和百度，找到如下：

http://blog.2baxb.me/archives/918

https://www.ibm.com/developerworks/community/blogs/kevgrig/entry/linux_glibc_2_10_rhel_6_malloc_may_show_excessive_virtual_memory_usage

http://it.taocms.org/01/6808.htm

https://infobright.com/blog/malloc_arena_max/

这几篇文章，尤其是ibm那篇文章讲的最细致，Linux glibc >= 2.10 (RHEL 6) malloc may show excessive virtual memory usage。

大致意思是，这个版本的glibc控制的malloc函数，会在64位的Linux的中，给每一个CPU核开辟8个64M内存的缓冲区，用于提高性能。

然后这个问题也被Hadoop官方发现并指出，然后推荐控制环境变量MALLOC_ARENA_MAX=4来达到最优设置。

修改方法：启动java进程脚本前面加入，export MALLOC_ARENA_MAX=4

看看 linux , 内存 , 内存泄露

• 2015-08-28 -- Linux下搭建Tomcat环境
• 2015-08-12 -- Liunx下搭建Rails和Nginx环境
• 2013-05-15 -- 小黑风扇坏两天，被逼看完一本书

看看 Java

• 2016-08-18 -- 读java concurrency in practice
• 2016-08-05 -- 线程清理
• 2016-06-21 -- FutureTask简单分析和用法
• 2016-06-21 -- Semaphore简单分析
• 2016-06-17 -- CountDownLatch简单分析
]]> http://blog.11034.org/2016-09/64bits_linux_arena_memory.html/feed 3 http://blog.11034.org/2015-08/tomcat_linux.html http://blog.11034.org/2015-08/tomcat_linux.html#comments Fri, 28 Aug 2015 07:21:34 +0000 http://blog.11034.org/?p=2507 多年没有碰Java Web了，之前也一直在Windows下玩耍。在Linux下跑起Tomcat也折腾了一阵。

看Apache Tomcat官网，已经有Tomcat 8.x（据说支持Oracle Java 7.0标准），7.x和6.x，习惯还是使用6.0.44版本。

设置环境变量

打开~/.profile文件，或者/etc/profile文件

JAVA_HOME=/usr/.../java
PATH=$PATH:$JAVA_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
CATALINA_HOME=/home/.../tomcat
export JAVA_HOME PATH CLASSPATH CATALINA_HOME

使用source ~/.profile命令重新加载文件（或重新登陆ssh即可），查看命令echo $JAVA_HOME

给Tomcat脚本加执行权限

进入$CATALINA_HOME/bin，chmod +x *.sh

然后./startup.sh，应该就能启动了

启动成功显示：

Using CATALINA_BASE: /home/.../apache-tomcat-6.0.44
Using CATALINA_HOME: /home/.../apache-tomcat-6.0.44
Using CATALINA_TMPDIR: /home/.../apache-tomcat-6.0.44/temp
Using JRE_HOME: /usr/.../java
Using CLASSPATH: /home/.../apache-tomcat-6.0.44/bin/bootstrap.jar

用netstat -ntlp显示：

tcp6 0 0 :::8009 :::* LISTEN 25424/java    # AJP服务
tcp6 0 0 :::8080 :::* LISTEN 25424/java    # HTTP服务
tcp6 0 0 127.0.0.1:8005 :::* LISTEN 25424/java  # 关闭命令接收服务

修改Tomcat启动端口，在conf/server.xml，修改Connector port="8080"中的端口号即可

以根目录启动

可以在conf/server.xml中，修改Host标签中添加一行，docBase指向含有WEB-INF的目录即可

<Context path="" docBase="/home/.../app" debug="0" reloadable="true" />

看看 linux , Tomcat

• 2016-09-09 -- 64位Linux下Java进程堆外内存迷之64M问题
• 2016-06-08 -- Tomcat监听shutdown释放数据库连接池
• 2016-06-06 -- Tomcat启用https服务
• 2015-08-12 -- Liunx下搭建Rails和Nginx环境
• 2013-05-20 -- Tomcat的Connector：Coyote

看看 Java

• 2016-09-09 -- 64位Linux下Java进程堆外内存迷之64M问题
• 2016-08-18 -- 读java concurrency in practice
• 2016-08-05 -- 线程清理
• 2016-06-21 -- FutureTask简单分析和用法
• 2016-06-21 -- Semaphore简单分析
]]> http://blog.11034.org/2015-08/tomcat_linux.html/feed 3 http://blog.11034.org/2015-08/rails_nginx.html http://blog.11034.org/2015-08/rails_nginx.html#comments Wed, 12 Aug 2015 05:21:26 +0000 http://blog.11034.org/?p=2504 用rails开发轻量级web，效率最高！

安装rvm

http://www.rvm.io/

\curl -sSL https://get.rvm.io | bash -s stable

echo "source $HOME/.rvm/scripts/rvm" >> ~/.bash_profile

source /etc/profile

然后就可以在命令行中使用rvm命令了

安装ruby

安装rvm后安装ruby下载缓慢，手动在ruby.taobao.org下载ruby-1.9.3，将安装包放在rvm/archives下即可

rvm install 1.9.3-p545 （如果不指定p版本，则不一定会使用安装包，而去下载网上最新版本）

which ruby 可以找到当前版本ruby版本和位置

按照http://ruby.taobao.org/的方法，将gem的source改为https://ruby.taobao.org/

这里要大大赞一下taobao，为国内开发者提供了便利，然后严重鄙视和谴责GFW

gem sources --remove https://rubygems.org/
gem sources -a https://ruby.taobao.org/
gem sources -l
*** CURRENT SOURCES ***

https://ruby.taobao.org
# 请确保只有 ruby.taobao.org

安装mysql

apt-get install mysql-server

apt-get install libmysqlclient-dev

gem install mysql2 -v=0.2.24 gem install activerecord-mysql2-adapter

安装rails

gem install rails -v=3.0.20 3.2版本以上使用了很多新的东西，包括要安装nodejs等环境比较麻烦

rails new demo --skip-bundle

如果提示缺少必要gem的话，可以使用bundle自动安装
cd demo
bundle config mirror.https://rubygems.org https://ruby.taobao.org
bundle install

rails server或者rails s 即可启动自带的WEBrick web server

rails连接mysql

在mysql中新建数据库

修改config/database.yml

将adapter类型修改为mysql2

production:
adapter: mysql2
database: db_name
username: db_user
password: db_pawd
host: 127.0.0.1
encoding: utf8
socket: /var/run/mysqld/mysqld.sock

修改demo/Gemfile，注释#gem ‘sqlite3’，添加gem 'mysql2', '< 0.3'

然后写一个最简单的migrate文件用以测试，执行RAILS_ENV=production db:migrate

不成功的原因：
若提示无法加载libmysqlclient.18.dylib，是因为/usr/lib下没有这个文件，作一个软链接即可，前提是找到本机mysql安装位置：
ln -s /usr/local/mysql/lib/libmysqlclient.18.dylib /usr/lib/libmysqlclient.18.dylib

安装pcre和nginx

源码安装，将nginx包解压到/opt/nginx-x.x.x后，不要将/opt/nginx-x.x.x改名为/opt/nginx，因为/opt/nginx目录会在编译后自动生成。然后不要删除源码目录，安装Passenger还会用到。

这里不需要自己编译安装Nginx，因为安装Passenger的时候会需要编译安装一次

安装PCRE：apt-get install libpcre3 libpcre3-dev

若自己编译nginx，方法如下：
./configure --prefix='/opt/nginx' --with-http_stub_status_module --with-http_sub_module --with-md5='/usr/lib' --with-sha1='/usr/lib --with-http_gzip_static_module' --with-http_ssl_module --with-cc-opt=-Wno-error --with-http_secure_link_module
# 若是手动编译安装PCRE，则需要加上 --with-pcre=/opt/pcre-8.36
make
make install
然后/opt/nginx目录就出来啦，安装完毕

安装Passenger

首先是gem install passenger ，

然后进到gem的Passenger/bin目录中（可能在/usr/local/rvm/gems/ruby-1.9.3-p551/gems/passenger-5.0.16/），执行passenger-install-nginx-module脚本，选择第二种自定义安装nginx（第一种自动下载、编译、安装nginx），通过命令行输入nginx源码目录即可，之后都默认。

最后按照安装Passenger完毕给予的提示，配置nginx的conf/nginx.conf。

http {
passenger_root /usr/local/rvm/gems/ruby-1.9.3-p551/gems/passenger-5.0.16;
passenger_ruby /usr/local/rvm/gems/ruby-1.9.3-p551/wrappers/ruby;

server {
listen 80;
server_name localhost;
passenger_enabled on;
rails_env production;

location / {
root rails_project/public;
}
}
}

看看 linux , MySQL , nginx

• 2016-09-09 -- 64位Linux下Java进程堆外内存迷之64M问题
• 2015-08-28 -- Linux下搭建Tomcat环境
• 2013-06-23 -- 院版十大了，那就XYT一下~
• 2011-03-15 -- SpringMVC+Hibernate的一些配置

看看 ruby on rails

• 2015-04-09 -- JSON中出现解析错误的原因之一：不可打印字符
• 2014-12-21 -- Ruby字符串的编码
• 2014-10-25 -- linux的timeout处理wkhtmltopdf进程超时
• 2014-10-04 -- Rails中has_many等的原理
• 2014-07-28 -- 简析Rails：active_support 2.3.5
]]> http://blog.11034.org/2015-08/rails_nginx.html/feed 1