面向搜索引擎的内容管理系统（CMS）设计
    ——利用Squid反相代理缓存实现网站内容静态发布

写于：2003/03 最后更新：

版权声明：可以任意转载，转载时请务必以超链接形式标明文章原始出处和作者信息及本声明
http://www.chedong.com/tech/cms.html

关键词："content manage system" cms path_info cgi php cache squid 内容管理 mod_rewrite url rewrite 系统 缓存 Cacheable "Search engine friendly"

内容摘要：
你完全不必耐心的看到最后，本文主要说明的是在设计CMS时以下2点注意事项：

1. 搜索引擎友好(Search engine Friendly)：基于PATH_INFO的参数解析使得动态网页在链接（URI）形式上更像静态的目录结构，大大方便网站内容被搜索引擎收录；
2. 可缓存性（Cache Friendly）：CMS本身不要过多考虑“效率”问题，只要页面输出设计的比较Cacheable，效率问题可以通过更前端专业的缓存服务器解决。

后面附有一个简单的利用PATH_INFO机制 + SquidWEB加速模式实现PHP动态网页的静态发布的例子，比起那些能导出静态页面的大型发布系统这种轻量级的动态缓存解决方案只需对原有的动态发布系统做少量的修改，从而大大提高了原有内容发布系统的重用度。

网站内容静态发布的重要性：Cacheable / Search Engine Friendly

由于一个动态页面的速度往往会比静态页面慢2－10倍，因此对于一个访问量逐步向百万级发展的网站来说，访问速度很快成为一个瓶颈。除了优化内容发布系统的应用本身外，如果能把更新频率比较低的动态页面转存成静态网页来发布，速度上的提升效果将是显著的，而静态网页如果能被缓存在内存里，访问速度更会比原有动态网页有2－3个数量级的提高。

在国外内容管理系统(CMS)已经是一个非常成熟的行业，能够真正支撑大访问的系统中静态页面输出和缓存系统几乎是必须的。

此外随着互联网上的内容以惊人速度的增长也越来越突出了搜索引擎的重要性，如果网站想更好地被搜索引擎收录，网站设计除了面向用户友好（User Friendly）外，面向搜索引擎友好的设计也是非常重要的。链接地址相对固定的静态网页比较适合搜索引擎索引，动态网页后面跟的参数灵活度很大，因此很多搜索引擎都往往会忽略动态页面，比如：对于news.php?day=22&month=03&year=2003，很多搜索引擎可能只索引news.php这个页面一次，更多其他参数的页面可能都会当成相似内容滤掉；我个人一直怀疑在搜索引擎中：即使是同样内容，静态页面往往也比动态网页的PageRank高。

因此，将动态页面转换成静态页面，无论从效率上还是面向搜索引擎友好上，都是一个门户级内容发布系统必须面对的问题。

静态缓存和动态缓存的比较

静态页面的缓存可能有2种形式：

1. 静态缓存：是在新内容发布的同时就立刻生成相应内容的静态页面，比如：2003年3月22日，管理员通过后台内容管理界面录入一篇新闻后，就立刻生成http://www.chedong.com/tech/2003/03/22/001.html这个静态页面，并同步更新http://www.chedong.com/tech/index.html这个静态页面上的相关链接。
   
2. 动态缓存：是在新内容发布以后，并不预先生成相应的静态页面，直到对相应内容发出请求时，如果前台缓存服务器找不到相应缓存，就向后台内容管理服务器发出请求，后台系统会生成相应内容的静态页面，用户第一次访问页面时可能会慢一点，但是以后就是直接访问缓存了。
   如果去ZDNet等国外网站会发现他们使用的基于Vignette内容管理系统都有这样的页面名称：0,22342566,300458.html。其实这里的0,22342566,300458就是用逗号分割开的多个参数：
   第一次访问找不到页面后，相当于会在服务器端产生一个doc_type=0&doc_id=22342566&doc_template=300458的查询，
   而查询结果会生成的缓存的静态页面：0,22342566,300458.html

静态缓存的缺点：

• 复杂的触发更新机制：这两种机制在内容管理系统比较简单的时候都是非常适用的。但对于一个关系比较复杂的网站来说，页面之间的逻辑引用关系就成为一个非常非常复杂的问题。最典型的例子就是一条新闻要同时出现在新闻首页和相关的3个新闻专题中，在静态缓存模式中，每发一篇新文章，除了这篇新闻内容本身的页面外，还需要系统通过触发器生成多个新的相关静态页面，这些相关逻辑的触发也往往就会成为内容管理系统中最复杂的部分之一。
• 旧内容的批量更新： 通过静态缓存发布的内容，对于以前生成的静态页面的内容很难修改，这样用户访问旧页面时，新的模板根本无法生效。

在动态缓存模式中，内容管理系统只需要关心各个页面自身，而相关的其他页面链接能自动更新，从而大大减少了设计触发器设计的需要。

1. 输入：方便的内容录入，所见即所得的编辑界面，权限控制等……
2. 输出：方便的模板管理，缓存发布等……
   

按照这个机制实现的发布系统很好地体现了应用系统的分工：把复杂地内容管理系统分解成：内容输入和缓存这2个相对简单的系统实现。而中间的内容发布通过URL REWRITE或PATH_INFO解决动态页面的参数传递：

• 后台：内容管理系统，专心的将内容发布做好，比如：复杂的工作流管理，复杂的模板规则等……
• 前台：页面的缓存管理则可以使用缓存软件（比如前台80端口使用SQUID对后台8080的内容发布管理系统进行缓存），缓存硬件，甚至交给缓存服务商。
  

______________________             ___________________
|Squid Software cache|             |F5 Hardware cache|
----------------------             -------------------
            \                    /
             \ ________________ /
               |ASP |JSP |PHP |
  PATH_INFO Based Content Manage System
               ----------------

把URI地址用作参数传递：URL REWRITE和PATH_INFO

最近看到很多关于面向搜索引擎URL设计优化(URI Pretty)的文章，提到了很多利用一定机制将动态网页参数变成像静态网页的形式：
比如可以将：http://www.chedong.com/phpMan.php?mode=man&parameter=ls
变成：http://www.chedong.com/phpMan.php/man/ls

最简单的是基于各种WEB服务器中的URL重写转向（Rewrite）模块的URL转换：这样几乎可以不修改程序的实现将news.asp?id=234的映射成news/234.html

Apache上有一个模块（非缺省）：mod_rewrite：当然URL REWRITE的强大功能还远远不止于此。

当我需要将将news.asp?id=234的映射成news/234.html时：只需设置：
RewriteRule /news/(\d+)\.html /news\.asp\?id=$1 [N,I]
这样就把 /news/234.html 映射成了 /news.asp?id=234
当有对/news/234.html的请求时：web服务器会把实际请求转发给/news.asp?id=234

而在IIS也有相应的REWRITE模块：比如ISAPI REWRITE和IIS REWRITE，语法都是基于正则表达式，因此语法是几乎相同的：

比对于某一个简单应用可以是：
RewriteRule /news/(\d+)? /news\.asp\?id=$1 [N,I]
这样就把 /news/234 映射到了 /news.asp?id=234

如我需要把 http://www.myhost.com/foo.php?a=A&b=B&c=C 表现成 http://www.myhost.com/foo.php/a/A/b/B/c/C。而一个更通用的能够将所有的动态页面进行参数映射的表达式是：
RewriteRule (.*?\.php)(\?[^/]*)?/([^/]*)/([^/]*)(.+?)? $1(?2$2&:\?)$3=$4?5$5: [N,I]

通过URL REWRITE还有一个好处就是隐藏后台实现：
比如我们需要将应用从news.asp?id=234迁移成news.php?query=234时，前台的表现可以一直保持为news/234.html。从实现应用和前台表现的分离：保持了URL的稳定性，在实现后台应用平台的迁移时非常有用。使用mod_rewrite甚至可以把请求转发到其他后台服务器上：

另外一个方式就是基于PATH_INFO：
PATH_INFO是一个CGI 1.1的标准，所有直接跟在CGI或动态页面app.cgi后面的"/value_1/value_2"就是PATH_INFO参数：
比如http://www.chedong.com/phpMan.php/man/ls，中：$PATH_INFO = "/man/ls"

面向缓存的页面设计

• 页面必须包含Last-Modified: 标记，一般纯静态页面本身都会有Last-Modified信息，动态页面需要通过函数强制加上，比如PHP中：
      // always modified now
      header("Last-Modified: " . gmdate("D, d M Y H:i:s") . " GMT");
  
  
• 必须有Expires或Cache-Control: max-age标记设置页面的过期时间：
  对于静态页面，通过apache的mod_expires根据页面的MIME类型设置缓存周期：比如图片缺省是1个月，HTML页面缺省是2天等。
  <IfModule mod_expires.c>
      ExpiresActive on
      ExpiresByType image/gif "access plus 1 month"
      ExpiresByType text/css "now plus 2 day"
      ExpiresDefault "now plus 1 day"
  </IfModule>
  
  对于动态页面，则可以直接通过写入HTTP返回的头信息，比如对于新闻首页index.php可以是20分钟，而对于具体的一条新闻页面可能是1天后过期。比如：在php中加入了1个月后过期：
      // Expires one month later
      header("Expires: " .gmdate ("D, d M Y H:i:s", time() + 3600 * 24 * 30). " GMT");
  
  
• 如果服务器端有基于HTTP的认证，必须有Cache-Control: public标记

面向缓存的站点规划

                          _____________________   ________
www.chedong.com  请求  \ | Squid cache box     | |        |  / 192.168.0.4   www.chedong.com 
news.chedong.com 请求   -| 200.200.200.200/201 |-|firewall| -  192.168.0.4   news.chedong.com 
bbs.chedong.com  请求  / |   /etc/hosts        | |   box  |  \ 192.168.0.3   bbs.chedong.com
                          ---------------------   --------

1. ./configure --enable-referer-log --disable-internal-dns
   --disable-internal-dns：禁用SQUID的DNS解析
   --enable-referer-log：便于APACHE COMBINED格式日志生成
   
   
2. 配置：
   http_port 80
   httpd_accel_host virtual
   httpd_accel_port 8000
   httpd_accel_uses_host_header on
   
   # accelerater my domain only
   acl acceleratedHosts dstdom_regex chedong.com
   # accelerater http protocol on port 80
   acl acceleratedProtocol protocol HTTP
   acl acceleratedPort port 80
   # access arc
   acl all src 0.0.0.0/0.0.0.0
   
   # Allow requests when they are to the accelerated machine AND to the
   # right port with right protocol
   http_access allow acceleratedProtocol acceleratedPort acceleratedHosts
   http_access allow all

• 配置灵活性提高：可以自己在内部服务器上控制后台服务器的DNS解析，当需要在服务器之间做迁移调整时，就不用大量修改外部DNS配置了，只需要修改内部DNS实现服务的调整。
• 数据安全性增加：所有后台服务器可以很方便的被保护在防火墙内。
• 后台应用设计复杂程度降低：原先为了效率常常需要建立专门的图片服务器images.chedong.com和负载比较高的应用服务器bbs.chedong.com分离，在SQUID加速模式中，所有前台请求都通过SQUID服务器：实际上就都是静态页面，这样，应用设计时就不用考虑图片和应用本身分离了，也大大降低了后台内容发布系统设计的复杂程度，由于数据和应用都存放在一起，也方便了文件系统的维护和管理。
  

• 大访问量的网站应尽可能将动态网页生成静态页面作为缓存发布，甚至对于搜索引擎这样的动态应用来说，缓存机制也是非常非常重要的。
• 利用PATH_INFO机制进行解析参数，实现动态网页链接的美化，方便搜索引擎的索引；
• 在动态页面中利用HTTP Header定义缓存更新策略。
• 利用缓存服务器获得额外的配置和安全性
• 日志非常重要：SQUID日志缺省不支持COMBINED日志，但REFERER日志对于站点分析非常重要，在GNU/Linux可以用以下方式生成：
  pr -mJt access.log referer.log | awk '{print $1" "$2" "$3" "$4" "$5" "$6" "$7" "$8" "$9" "$10" \x22"$14"\x22 \x22"$11"\x22"}'  > combined.log
      -m merge
      -J join line
      -t omit header and footer

附1：SQUID性能测试试验

附2：一个CACHE多主机APACHE服务的SQUID安装配置：

附3：如何在IIS上利用PHP支持PATH_INFO

参考资料：

CMS行业观察
http://www.cmswatch.com

CMS讨论邮件列表
http://www.cms-list.org

一个基于PATH_INFO的开源内容管理系统
http://typo3.com/

商业的和开源CMS项目列表：
http://directory.google.com/Top/Computers/Software/Internet/Site_Management/Content_Management/

搜索引擎友好的URL设计
http://www.sitepoint.com/article/485
说不定这个URL原来就是articel.php?id=485

HTTP代理缓存
http://vancouver-webpages.com/proxy.html

可缓存的页面设计
http://linux.oreillynet.com/pub/a/linux/2002/02/28/cachefriendly.html

相关RFC文档：

• RFC 2616:
  • section 13 (Caching)
  • section 14.9 (Cache-Control header)
  • section 14.21 (Expires header)
  • section 14.32 (Pragma: no-cache) is important if you are interacting with HTTP/1.0 caches
  • section 14.29 (Last-Modified) is the most common validation method
  • section 3.11 (Entity Tags) covers the extra validation method

可缓存性检查：
http://www.web-caching.com/cacheability.html

URL Rewrite文档：
http://www.isapirewrite.com/docs/
http://httpd.apache.org/docs/mod/mod_rewrite.html
http://httpd.apache.org/docs-2.0/mod/mod_rewrite.html

原文出处：<a href="http://www.chedong.com/tech/cms.html">http://www.chedong.com/tech/cms.html</a>
<<返回