-Flyぁ梦- » Tomcat

Tomcat监听shutdown释放数据库连接池

-Flyぁ梦- — Wed, 08 Jun 2016 12:41:47 +0000

开发时因为更新代码，频繁重启Tomcat，遇到一个问题：在执行shutdown脚本后，Tomcat进程没有关闭依然存在（但是HTTP服务已经停止），需要手动执行kill命令才行。查了一些资料结合经验，应该是所使用的数据库连接池中的连接没有被释放的问题引起的。所以解决的办法，就是想办法做一个Tomcat的shutdown的事件监听，然后手动释放数据库连接即可。

Tomcat的shutdown的事件监听

很简单，实现一个ServletContextListener的实例，并注册到web.xml中即可。

public class ShutdownListener implements ServletContextListener  {
 
	private static Logger logger = Logger.getLogger(ShutdownListener.class);
 
	@Override
	public void contextDestroyed(ServletContextEvent arg0) {
		logger.info("contextDestroyed");
		logger.info("DBPool shutdown start...");
		try {
			DBPool.clear();
			DBPool.close();
		} catch (Throwable e) {
			logger.fatal("", e);
		}
		logger.info("DBPool shutdown done");
	}
 
	@Override
	public void contextInitialized(ServletContextEvent arg0) {
		logger.info("contextInitialized");
	}
 
}

>
    >xxx.xxx.xxx.ShutdownListener>
>

数据库连接池的关闭和释放

代码中没有使用复杂的数据库连接池，是用org.apache.commons.pool.impl.GenericObjectPool和org.apache.commons.pool.BasePoolableObjectFactory组合实现的。

在ServletContextListener的contextDestroyed方法中

执行GenericObjectPool.clear()，是将池内缓存的对象全部销毁
执行GenericObjectPool.close()，关闭对象池，不再支持borrowObject()，但依然支持returnObject()方法且return后将对象立即销毁

做完这两步，执行Tomcat的shutdown脚本后，Tomcat进程过几秒就会自动关闭了。

看看 Tomcat , 数据库 , 进程

看看 Java

2016-09-09 -- 64位Linux下Java进程堆外内存迷之64M问题
2016-08-18 -- 读java concurrency in practice
2016-08-05 -- 线程清理
2016-06-21 -- FutureTask简单分析和用法
2016-06-21 -- Semaphore简单分析

Tomcat启用https服务

-Flyぁ梦- — Mon, 06 Jun 2016 14:27:44 +0000

第一步，获取证书

这个就去百度吧，既有免费证书，也有收费的证书，当然收费的证书会更靠谱更受大众认同（比如GeoTrust的）。

然后证书分为3个等级，DV（Domain Validation，证明当前站点在指定域名下，最常见的），OV（Organization Validation，证明当前站点在指定公司or组织下，浏览器会在URL前显示公司名称的），EV（Extended Validation，比OV更加复杂安全的证书，一般为网银所使用）。

这里选择国内的免费证书：https://www.wosign.com/

在它家网站上注册用户，申请免费证书，要填写指定的域名地址和证书保护密码，然后就可以下载到证书了。下载的zip包里有专门供tomcat使用的jks证书。

第二步，部署https

将apache-tomcat/conf/server.xml中原来被注释的打开，如下配置：

 port="443" protocol="org.apache.coyote.http11.Http11NioProtocol"
    acceptCount="100" executor="tomcatThreadPool" URIEncoding="UTF-8" 
    compression="on" compressableMimeType="text/html,text/css,application/javascript"
    SSLEnabled="true" scheme="https" secure="true" clientAuth="false" sslProtocol="TLS"
    keystoreFile="/home/.../xxx.com.jks" keystorePass="xxxxxxx"
/>

这里的配置要和的配置要完全一致，第一行是基础协议，第二行是优化参数和设置编码，第三行是开启静态资源压缩，最后两行是对于SSL特殊的设置。

在https的Connector中忘记加上URIEncoding="UTF-8"，会导致https中文异常而http正常
（http的自带这个属性）

第三步，http自动跳转到https

给加上属性redirectPort="443"，这个默认就有。

然后再修改apache-tomcat/conf/web.xml，最后加上一段：

    >
        >
            >Protected Context>
            >/*>
        >
        
        >
            >CONFIDENTIAL>
        >
    >

搞定

第三步，https的注意事项

在https下，如果页面内还存在有http链接的内容（图片、js等静态资源），则会产生警告，并在浏览器URL栏中失去绿色锁的标志
在https下，如果页面内企图发起http的post请求，则会默认被浏览器禁止，并产生警告

看看 HTTPS , Tomcat , 安全 , 证书

看看 Java

2016-09-09 -- 64位Linux下Java进程堆外内存迷之64M问题
2016-08-18 -- 读java concurrency in practice
2016-08-05 -- 线程清理
2016-06-21 -- FutureTask简单分析和用法
2016-06-21 -- Semaphore简单分析

Linux下搭建Tomcat环境

-Flyぁ梦- — Fri, 28 Aug 2015 07:21:34 +0000

多年没有碰Java Web了，之前也一直在Windows下玩耍。在Linux下跑起Tomcat也折腾了一阵。

看Apache Tomcat官网，已经有Tomcat 8.x（据说支持Oracle Java 7.0标准），7.x和6.x，习惯还是使用6.0.44版本。

设置环境变量

打开~/.profile文件，或者/etc/profile文件

JAVA_HOME=/usr/.../java
PATH=$PATH:$JAVA_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
CATALINA_HOME=/home/.../tomcat
export JAVA_HOME PATH CLASSPATH CATALINA_HOME

使用source ~/.profile命令重新加载文件（或重新登陆ssh即可），查看命令echo $JAVA_HOME

给Tomcat脚本加执行权限

进入$CATALINA_HOME/bin，chmod +x *.sh

然后./startup.sh，应该就能启动了

启动成功显示：

Using CATALINA_BASE: /home/.../apache-tomcat-6.0.44
Using CATALINA_HOME: /home/.../apache-tomcat-6.0.44
Using CATALINA_TMPDIR: /home/.../apache-tomcat-6.0.44/temp
Using JRE_HOME: /usr/.../java
Using CLASSPATH: /home/.../apache-tomcat-6.0.44/bin/bootstrap.jar

用netstat -ntlp显示：

tcp6 0 0 :::8009 :::* LISTEN 25424/java    # AJP服务
tcp6 0 0 :::8080 :::* LISTEN 25424/java    # HTTP服务
tcp6 0 0 127.0.0.1:8005 :::* LISTEN 25424/java  # 关闭命令接收服务

修改Tomcat启动端口，在conf/server.xml，修改Connector port="8080"中的端口号即可

以根目录启动

可以在conf/server.xml中，修改Host标签中添加一行，docBase指向含有WEB-INF的目录即可

看看 linux , Tomcat

2016-09-09 -- 64位Linux下Java进程堆外内存迷之64M问题
2016-06-08 -- Tomcat监听shutdown释放数据库连接池
2016-06-06 -- Tomcat启用https服务
2015-08-12 -- Liunx下搭建Rails和Nginx环境
2013-05-20 -- Tomcat的Connector：Coyote

看看 Java

2016-09-09 -- 64位Linux下Java进程堆外内存迷之64M问题
2016-08-18 -- 读java concurrency in practice
2016-08-05 -- 线程清理
2016-06-21 -- FutureTask简单分析和用法
2016-06-21 -- Semaphore简单分析

Tomcat的Connector：Coyote

-Flyぁ梦- — Mon, 20 May 2013 14:01:09 +0000

上一篇博文讲了Tomcat的系统架构，今天花了一天时间研究了下coyote的源码，大致对普通IO版本有所了解。被同学提醒后发现，Tomcat6已经支持异步IO了，但默认是普通IO版本，需要在Connector的protocol参数中定义为Http11NioProtocol才开启异步IO模式。

主要的代码，Socket的服务在org.apache.tomcat.util.net.JIoEndpoint类，解析处理HTTP请求在org.apache.coyote.http11包的Http11Protocol类和Http11Processor类，org.apache.catalina.connector.CoyoteAdapter负责连接Connector模块（coyote）和Container模块。

线程池默认用的JIoEndpoint类中的子类WorkerStack，若在server.xml配置使用了Executor，则使用org.apache.catalina.core.StandardThreadExecutor（对ThreadPoolExecutor的一层包装）。并发量高的情况下Executor的效率会高一些。

Coyote普通IO流程

在Catalina主线程启动过程中：

StandardService的init()中，在JIoEndpoint.init()中，ServerSocket(port = 8080, backlog = 100)被new出来。

StandardService的start()中，在JIoEndpoint.start()中，一个新的线程（名叫http-8080-Acceptor-0）被start()，这个由JIoEndpoint.Accept内部类执行run()的线程干的活就是不停地从serverSocket.accept()，然后根据线程池的选择拿一个线程去处理socket。因为处理在新的线程，Acceptor线程继续等待accept()。

若使用默认的WorkerStack线程池，JioEndpoint.getWorkerThread().assign(socket);使Worker线程获得socket实例后，就可以在新线程中处理socket。

若使用Executor线程池，则new出一个JioEndpoint.SocketProcessor()交给Executor.execute()，在新线程中处理socket。

不管哪种线程池方法，新线程中使用一样的代码，调用Http11Protocol$Http11ConnectionHandler.process(socket)，这里使用了一个ConcurrentLinkedQueue用来保存Http11Processor实例，拿一个进行处理。

Http11Protocol.process()具体解析HTTP请求。解析过程中，将参数塞进request和response，再调用CoyoteAdapter.service(request, response)，这样就进入Container模块去调用Servlet代码。

结束后，回收Http11Processor实例，回收线程。

———————–流程结束分割线—————————

好像代码也没有太难看不懂，大多数复杂的线程同步操作都由java.util.concurrnt包里的类实现了。

Worker线程的assign()和await()

Acceptor线程调用Worker.assign( socket )，将socket对象赋给Worker线程，然后Worker线程中的await()方法通过线程同步，Worker线程被唤醒并拿到了socket就可以在自己线程里顺利执行了。

这块线程同步的代码蛮有意思的，而且Worker线程也借助这边的wait()和notifyall()实现挂起和唤醒。

server.xml参数调优

开启异步IO

Connector的配置中，将protocol=“HTTP/1.1”改为“org.apache.coyote.http11.Http11NioProtocol”就可以使用nio包的异步IO，效率高不少。

对java.nio包特别是异步IO这一块了解甚浅，而且Tomcat对这一块的实现略复杂，看懂略有难度，努力！

同样地方还能改为“org.apache.coyote.http11.Http11AprProtocol”，据说利用底层OS的异步IO，需要APR和Native这其他两个组件的支持才能工作，效率更高，不是太确定。

开启Executor并在Connector中使用

Executor的2个配置参数，minSpareThreads和maxThreads，对应到ThreadPoolExecutor(int corePoolSize, int maximumPoolSize, …)这个构造的前面2个参数。分别表示活跃线程数和最大线程数。

Connector的参数：

maxThreads，对应JIoEndpoint类中的maxThreads变量，默认为200。若有Executor加入则maxThreads被取代。
acceptCount，对应JIoEndpoint类中的backlog变量，默认为100，用作ServerSocket的第二个参数。ServerSocket里等待队列的长度。

看看 coyote , Socket , Tomcat , 多线程 , 异步IO , 线程池

2013-05-19 -- Tomcat6源码学习
2016-06-08 -- Tomcat监听shutdown释放数据库连接池
2016-06-06 -- Tomcat启用https服务
2016-03-17 -- Java客户端Socket在服务端重启后的异常情况处理
2016-03-01 -- jdk中SimpleDateFormat的实例线程不安全

看看 Java

2016-09-09 -- 64位Linux下Java进程堆外内存迷之64M问题
2016-08-18 -- 读java concurrency in practice
2016-08-05 -- 线程清理
2016-06-21 -- FutureTask简单分析和用法
2016-06-21 -- Semaphore简单分析

Tomcat6源码学习

-Flyぁ梦- — Sun, 19 May 2013 10:27:43 +0000

在上一篇博文中说到因为电脑风扇坏了2天于是看完了《How tomcat works》译本，不过这本书是针对Tomcat4和5来讲的比较老了，然后再结合Tomcat6.0.26的源代码调试学习了总共一周的时间，算是大致将Tomcat6.0的一部分工作机制（JSP、JMX、安全管理等模块没研究）给搞清楚了。大概是因为平时基于Java的Web程序写的太多，对Tomcat这一块源码研究特别感兴趣，有时候为了想通一个问题兴奋地吃饭睡觉都在一直想，非常有动力并且也有效率，好久没有这种感觉了。

列几点觉得Tomcat设计上比较有意思的地方。

Connector模块

Tomcat主要分为Connector模块和Container模块，前者就是处理Socket和HTTP请求，后者是就是常听到的Servlet容器。

Connector模块由于功能比较独立，然后Tomcat内部接口的设计允许第三方组件的使用，就使用了Coyote组件，虽然也是apache下的。有空可以再好好来学习下Coyote的源代码，因为这块涉及了多线程和线程同步、资源优化、效率优化等方面，很值得学习。

Tomcat默认一共占用了3个端口，8080（HTTP/1.1）、8009（AJP/1.3，接受其他服务器转发的请求）和8005（等待SHUTDOWN命令，由Server类在主线程中开启）。其中8080和8009由Connector模块管理，所以默认有2个Connector在运作。

Container模块

由Engine、Host、Context、Wrapper四个容器组合而成，分别表示整个引擎、虚拟主机、Web应用、Servlet，通过父子关系连接，然后配套相应的Pipeline和Valve实现过程流。

Lifecycle接口

包括启动类（Catalina）、Server、Service、Connector、Container、Executor、Loader、Manager、Realm、Resources、Pipeline都实现了这个接口，通过简单的start()和stop()来递归实现生命周期的管理。

并且这一模块中还用到了LifecycleListener和LifecycleEvent这套事件驱动模型，虽然觉得Tomcat的事件驱动做的比较一般性，注册在某个Lifecycle的LifecycleListener会收到这个Object的所有事件通知，要靠自己去辨别事件类型并作出相应反应，效率较低且定制性弱。

ClassLoader的设计

Tomcat为了使类库的私有性，有commonLoader用来加载lib下的jar包，catalinaLoader和sharedLoader分别用来加载Tomcat类库和应用程序共享类库且都以commonLoader为parent。但是在Tomcat6的配置中，默认没有开启catalinaLoader和sharedLoader也没有相应的server和shared目录，导致这3个loader就是同一个commonLoader。这3个loader是StandardClassLoader的实例。

然后对于每一个Web应用程序，都有自己的一个WebappClassLoader，其parent为sharedLoader。这样可以防止不同Web应用程序之间加载互相类库。WebappClassLoader和前面提到的StandardClassLoader都继承自java.net.URLClassLoader，直接从指定目录中读取jar包或class文件。WebappClassLoader直接通过管理Servlet类的字节流来实现Servlet的加载然后缓存。

一般的Servlet只有一个实例，若是实现了STM（SingleThreadModel接口，已Deprecated）的Servlet则会有多个实例缓存着。

但似乎无论怎么设计，都无法避免Web应用程序中的Servlet可以获取到Tomcat启动库中的Bootstrap类（这个包由JVM自带的AppClassLoader加载），默认情况下还可以获取到Tomcat主类库中的所有类（比如Catalina类，因为都是由commonLoader加载，而它又是WebappClassLoader的parent）。尝试过将Tomcat的lib目录中关于Tomcat的类库放到server目录下并配置server.loader属性值（conf/catalina.properties）启动catalinaLoader，这样可以避免Servlet访问到Tomcat主类库，但是这样勉强的同时也阻止了比如ContainerServlet接口（使Servlet能访问Wrapper容器）的运作。

这样的一个坏处就是，可以在Web应用程序的Servlet中获取到Catalina类或者Bootstrap类，再启动一次Tomcat。Servlet中，如果在service方法中这么干会被Tomcat的安全机制给发现使得Tomcat整个关闭，若是配置了loadOnStartup后在init方法中这么干则会引发无限循环导致死机…

不过通过对Tomcat的ClassLoader的学习，对Java的ClassLoader机制有了大大的实践的了解，无论Tomcat是否真正实现了它设计上的初衷，整个设计思想是值得学习的。

backgroundProcessor()和后台线程

Engine容器和Context容器都会通过启动一个后台线程间断执行backgroundProcessor方法，比如重新加载Web应用程序的类文件和资源、扫描Session过期等。

静态资源

向Tomcat请求静态资源，和请求Servlet没有太大区别，仍然通过Connector和Container这一流程后，交到Tomcat内部的DefaultServlet来处理读取文件内容并写回客户端，下一次请求会返回304 Not Modified。

所以Tomcat对静态资源的管理比较差速度比较慢，才有apache + tomcat结合的说法吧。

看看 ClassLoader , HTTP , Servlet , Socket , Tomcat , 事件驱动 , 多线程 , 容器 , 生命周期

2013-05-20 -- Tomcat的Connector：Coyote
2016-06-08 -- Tomcat监听shutdown释放数据库连接池
2016-06-06 -- Tomcat启用https服务
2016-03-17 -- Java客户端Socket在服务端重启后的异常情况处理
2016-03-01 -- jdk中SimpleDateFormat的实例线程不安全

看看 Java

2016-09-09 -- 64位Linux下Java进程堆外内存迷之64M问题
2016-08-18 -- 读java concurrency in practice
2016-08-05 -- 线程清理
2016-06-21 -- FutureTask简单分析和用法
2016-06-21 -- Semaphore简单分析