因为用PHP实现，关联数组用的很舒服。第一个要解决的是字符集的问题，如果在Java中就比较好办统一的Unicode，在PHP中因为常用UTF-8字符集，默认有1-4个字节不同的长度来表示一个字符，于是写了个Util类来将普通的UTF-8字符串转换成字符数组，每一个元素是一个UTF-8串形成的字符。这一点比较容易实现的，根据UTF-8字符集的格式而来就好。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

public static function get_chars($utf8_str){
	$s = $utf8_str;
	$len = strlen($s);
	if($len == 0) return array();
	$chars = array();
	for($i = 0;$i < $len;$i++){
		$c = $s[$i];
		$n = ord($c);
		if(($n >> 7) == 0){		//0xxx xxxx, asci, single
			$chars[] = $c;
		}
		else if(($n >> 4) == 15){ 	//1111 xxxx, first in four char
			if($i < $len - 3){
				$chars[] = $c.$s[$i + 1].$s[$i + 2].$s[$i + 3];
				$i += 3;
			}
		}
		else if(($n >> 5) == 7){ 	//111x xxxx, first in three char
			if($i < $len - 2){
				$chars[] = $c.$s[$i + 1].$s[$i + 2];
				$i += 2;
			}
		}
		else if(($n >> 6) == 3){ 	//11xx xxxx, first in two char
			if($i < $len - 1){
				$chars[] = $c.$s[$i + 1];
				$i++;
			}
		}
	}
	return $chars;
}

字符单位确认以后，就是写Trie树了。简单的算法，从根路径开始给每个字符建一个关联数组，当字符串结束的时候，用一个null表示结尾。

删除一个串，只要找到串中任意一个字符的子元素数量为1，就表示只有这个串了，整个删除就好了；若子元素数量大于1，则继续根据字符找下去，直到末尾的null。

查找一个串（完全匹配），一直根据字符找到null为止就表明存在，任一字符不存在就表明串不存在。

验证一个长串是否含有任一串，这边算法比较挫，按照每个字符开始都在Trie树种搜索一遍，走的回头路比较多，复杂度有O(n * m)，n为长串长度，m为Trie树深度，不过因为中文Trie树深度很浅，勉强还过得去（英文字符串深度很长）。

然后因为PHP没有全局缓存的机制，每次都要从数据库中读取全部的敏感词，然后建立Trie树再去匹配串的话太麻烦了，采取的办法是将Trie内部的关联数组序列化后直接保存在数据库中，每次只要读取这条数据，然后反序列化，Trie树就回来了。当然进行串的插入和删除，将更新这个序列化数据。

可改进的地方：

1. 当某一条路径只有这个串即关联数组数量为1时，可以压缩子树
2. 改进Trie树为AC自动机，即每个节点都添加一个失败指针，指向匹配失败后回到树的哪个节点，这样就仅仅是O(n)的复杂度了。建树的过程比较复杂，对每个插入的串的子串进行处理，运行时查询的效率非常高

贴代码：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108

class TrieTree{
 
	public $tree = array();
 
	public function insert($utf8_str){
		$chars = &UTF8Util::get_chars($utf8_str);
		$chars[] = null;	//串结尾字符
		$count = count($chars);
		$T = &$this->tree;
		for($i = 0;$i < $count;$i++){
			$c = $chars[$i];
			if(!array_key_exists($c, $T)){
				$T[$c] = array();	//插入新字符，关联数组
			}
			$T = &$T[$c];
		}
	}
 
	public function remove($utf8_str){
		$chars = &UTF8Util::get_chars($utf8_str);
		$chars[] = null;
		if($this->_find($chars)){	//先保证此串在树中
			$chars[] = null;
			$count = count($chars);
			$T = &$this->tree;
			for($i = 0;$i < $count;$i++){
				$c = $chars[$i];
				if(count($T[$c]) == 1){		//表明仅有此串
					unset($T[$c]);
					return;
				}
				$T = &$T[$c];
			}
		}
	}
 
	private function _find(&$chars){
		$count = count($chars);
		$T = &$this->tree;
		for($i = 0;$i < $count;$i++){
			$c = $chars[$i];
			if(!array_key_exists($c, $T)){
				return false;
			}
			$T = &$T[$c];
		}
		return true;
	}
 
	public function find($utf8_str){
		$chars = &UTF8Util::get_chars($utf8_str);
		$chars[] = null;
		return $this->_find($chars);
	}
 
	public function contain($utf8_str, $do_count = 0){
		$chars = &UTF8Util::get_chars($utf8_str);
		$chars[] = null;
		$len = count($chars);
		$Tree = &$this->tree;
		$count = 0;
		for($i = 0;$i < $len;$i++){
			$c = $chars[$i];
			if(array_key_exists($c, $Tree)){	//起始字符匹配
				$T = &$Tree[$c];
				for($j = $i + 1;$j < $len;$j++){
					$c = $chars[$j];
					if(array_key_exists(null, $T)){
						if($do_count){
							$count++;
						}
						else{
							return true;
						}
					}
					if(!array_key_exists($c, $T)){
						break;
					}
					$T = &$T[$c];
				}
			}
		}
		if($do_count){
			return $count;
		}
		else{
			return false;
		}
	}
 
	public function contain_all($str_array){
		foreach($str_array as $str){
			if($this->contain($str)){
				return true;
			}
		}
		return false;
	}
 
	public function export(){
		return serialize($this->tree);
	}
 
	public function import($str){
		$this->tree = unserialize($str);
	}
 
}

看看 Trie , UTF-8 , 字符串 , 数据结构

• 2013-10-31 -- hulu校招
• 2012-12-06 -- 整理下字符串的一些数据结构和算法
• 2012-12-06 -- 一套可用的后缀数组代码
• 2012-12-06 -- 一个OOP的AC自动机代码
• 2012-03-22 -- java.util中的集合类解析

看看 PHP

• 2012-06-28 -- 各大视频网站的视频截图抓取
]]> http://blog.11034.org/2012-07/trie_in_php.html/feed 13 http://blog.11034.org/2012-06/get_video_cover_image.html http://blog.11034.org/2012-06/get_video_cover_image.html#comments Thu, 28 Jun 2012 15:09:08 +0000 http://blog.stariy.org/?p=1167 新的一个项目，要有视频的功能，当然只是简单的贴URL和标题罢了，不会涉及到要去上传视频文件，但是在展示视频的时候就需要用到视频截图了，自己去生成截图难度太大了也不现实，去视频的源网站抓取是可行也比较方便的方法。

试过优酷、土豆、酷6、56、腾讯、新浪、搜狐这些国内最大的视频门户，基本都成功获取到截图，其中属优酷最麻烦。

优酷

感觉优酷不愧为国内第一视频门户吧，技术算是最成熟的，安全也做得最好，直接体现在获取它的视频截图真心不容易。用查看html源码的方式根本无法实现，用firebug等工具找图片也不行因为图片是在flash里的。不过网上已经有文章告诉了方法，自己也可以通过httpfox或chrome自带的Network工具查看发起的http请求去找图片地址，优酷通过向URL：

1	'http://v.youku.com/player/getPlayList/VideoIDS/视频的ID/version/5/source/out'

而视频的ID就是普通视频URL中id_xxx中的xxx串，URL返回一段json字符串，其中的logo字段就是图片地址，可以发现此图片地址也是一个动态请求，非常复杂。

1 2 3 4 5 6 7 8 9 10

$url = 'http://v.youku.com/v_show/id_XMTA0NTM2MzI4.html'; preg_match_all("/id\_(\w+)[\=|.html]/", $url, $matches); if(!empty($matches[1][0])) { $id = $matches[1][0]; $u = 'http://v.youku.com/player/getPlayList/VideoIDS/'.$id.'/version/5/source/out'; $json_str = file_get_contents($u); $json = json_decode($json_str); $image_url = $json->data[0]->logo; echo $image_url; }

56

类似优酷，请求url为http://vxml.56.com/json/视频ID/?src=out，视频ID也好辨别。//测试可行，此来源网络

土豆、酷6、腾讯、新浪、搜狐

这些都比较简单，打开html源码细心点就能找到image的url，用正则就可以抓取出来了。其中酷6比较麻烦，把url中的:和.都用unicode编码了，先用字符串匹配给转了回来再去正则，因为不知道正则字符串中怎么搞反斜杠=.=（\\不起作用咩…）

• 土豆：开头的js代码中有个属性listData，里面放了5部视频的信息，选第一部，其中的pic属性，正则字符串：/,pic:\”([\w\/\.\:]+)\”/
• 酷6：Ctrl-F搜索bigpicpath属性，也在js代码中，正则字符串：/\”bigpicpath\”\:\”([\w\/\.\:]+)\”/
• 腾讯：pic属性，正则字符串：/pic \:\”([\w\/\.\:]+)\”/
• 新浪：pic属性，正则字符串：/pic\: \'([\w\/\.\:]+)\’/ 和楼上非常相似，难道又是抄袭？哈哈哈
• 搜狐：cover属性，正则字符串：/var cover=\”([\w\/\.\:]+)\”/

在网上找资料的时候发现一个看似很好用的PHP的VideoUrlParser类，试了下只有优酷和56是起作用的，然后自己再用正则的办法把剩下的视频网站搞定。

原先的VideoUrlParser类

改良后VideoUrlParser类

看看 截图 , 正则 , 视频

• 2012-05-15 -- Play框架的Router机制和jregex包

看看 PHP

• 2012-07-03 -- 敏感词过滤，PHP实现的Trie树
]]> http://blog.11034.org/2012-06/get_video_cover_image.html/feed 3