.
最近很熱門的一本書：
其中很一章提到了搜索引擎：你和任何一個(gè)網(wǎng)站之間的距離縮短到一個(gè)(組)關(guān)鍵詞。感受最深的是：在互聯(lián)網(wǎng)中wiki/blog無疑是最平坦的兩塊自留地。從blog/wiki的設(shè)計(jì)中也可以看到CMS設(shè)計(jì)面向搜索引擎抓取優(yōu)化的2個(gè)要點(diǎn)：
1 蜘蛛遍歷的速度：幫助搜索引擎快速遍歷整個(gè)網(wǎng)站，而又不在個(gè)別頁面中集中太多的鏈接。
2 內(nèi)容的穩(wěn)定性：承諾一個(gè)穩(wěn)定的內(nèi)容映射，不會在搜索過來使實(shí)際內(nèi)容已經(jīng)面目全非；
簡單比較一下傳統(tǒng)的BBS和Blog Wiki之間的發(fā)布模式：
論壇：滾動的索引/列表頁，當(dāng)論壇內(nèi)容很多的時(shí)候，當(dāng)論壇中的內(nèi)容較多以后，遍歷完一個(gè)論壇往往需要蜘蛛從入口抓取5層以上。
- web - ?Forum=1 - ?post=1 |- ?post=2 |- ?post=5 - ?Forum=2 - ?post=4 |- ?post=22 |- ?post=8
Blog的發(fā)布模式的優(yōu)點(diǎn)：主題的permalink + 按時(shí)間歸檔 + 按分類歸檔
- index - post10.html |- post9.html |- monthly_archive - post8.html |- post7.html |- category_archive - post8.html |- post2.html由于個(gè)人內(nèi)容發(fā)布量較少，在百級或者千級，蜘蛛經(jīng)過3層遍歷基本上能夠遍歷完整個(gè)網(wǎng)站。而blog之間的相互引用非常豐富。和論壇的發(fā)布結(jié)構(gòu)非常像的有郵件列表歸檔。郵件列表歸檔也有按時(shí)間歸檔的機(jī)制，并且使用permalink，
WIKI完全扁平的發(fā)布格式，內(nèi)容之間鏈接/引用豐富。
|- topic1 -> topic2 -> topic3 |- topic2 -> topic3 |- topic3 -> topic2 -> topic1
在很多發(fā)布系統(tǒng)提供了RSS/XML接口以后： 達(dá)到同樣的同步速度，RSS幫助蜘蛛節(jié)省了數(shù)倍刷新首頁/歸檔索引頁的過程。
rss.xml - post10.html |- post9.html |- post8.html
由于wiki和blog在搜索引擎中獲得巨大的影響力，也促使在這2個(gè)平臺上匯聚了寫作質(zhì)量很高的一群人創(chuàng)作更多的內(nèi)容。以下是wikipedia.這半年來的鏡像統(tǒng)計(jì)數(shù)據(jù)做一些分析：
數(shù)字截至2005年底：原始數(shù)據(jù)
WikiPedia上編輯超過10篇的用戶共2118人。目前WikiPedia上中文條目共5萬多，每條長度平均在2.6k，其中長度在2k以上條目占11%。
內(nèi)部鏈接是1M個(gè)，鏈接到其他語言的條目的個(gè)數(shù)是37萬個(gè)，鏈接到外面網(wǎng)站的個(gè)數(shù)是46k個(gè)。
內(nèi)部的鏈接密度：
平均每個(gè)條目和其他條目之間的鏈接個(gè)數(shù)
100萬/5萬=20個(gè)。
由于內(nèi)部內(nèi)容之間良好的引用和鏈接設(shè)計(jì)，搜索引擎的蜘蛛能在4層之內(nèi)遍歷到的網(wǎng)站的內(nèi)容：20^4 = 16萬
而后臺的統(tǒng)計(jì)上可以看到：各個(gè)引擎的抓取都非常頻繁和深入
搜索引擎網(wǎng)站的機(jī)器人 (前 10) - 全部列出 - 最近參觀日期
Googlebot 89303+15 296.35 M字節(jié) 2006年 三月 04日 23:54
BaiDuSpider 51499+3 1.10 G字節(jié) 2006年 三月 04日 16:24
Yahoo Slurp 13122+705 97.86 M字節(jié) 2006年 三月 04日 23:59
MSNBot 12434+85 244.40 M字節(jié) 2006年 三月 04日 23:57
中文網(wǎng)的每天PV為15萬，獨(dú)立用戶1.5萬左右。外部來源幾乎完全來自搜索引擎，而包含英文網(wǎng)站在內(nèi)的wikipedia.org已經(jīng)成為全球第22位的 http://www./data/details/traffic_details?q=&url=wikipedia.org
從日志統(tǒng)計(jì)來看：
http://blog./cgi-bin/awstats/awstats.pl?config=wikipedia
wikipedia被搜索引擎搜索到的有千個(gè)關(guān)鍵詞，每天的訪問量在10萬PV/1萬人次左右。
用以搜索的短語 (前 10)
13747 個(gè)不同的關(guān)鍵字句 搜索 百分比
繁體字 2121 5.8 %
少年阿賓 1242 3.4 %
色情電影 1076 2.9 %
維基百科 483 1.3 %
維基 259 0.7 %
陰毛 187 0.5 %
海倫.凱勒 162 0.4 %
海倫 凱勒 156 0.4 %
美少女戰(zhàn)士 152 0.4 %
奇幻小說 139 0.3 %
其他短語 30041 83.4 %
關(guān)鍵詞的分布較廣泛：top 10關(guān)鍵詞流量占總體來源關(guān)鍵詞不到20%。
數(shù)字截至2005年底：原始數(shù)據(jù)
WikiPedia上編輯超過10篇的用戶共2118人。目前WikiPedia上中文條目共5萬多，每條長度平均在2.6k，其中長度在2k以上條目占11%。
內(nèi)部鏈接是1M個(gè)，鏈接到其他語言的條目的個(gè)數(shù)是37萬個(gè)，鏈接到外面網(wǎng)站的個(gè)數(shù)是46k個(gè)。
內(nèi)部的鏈接密度：
平均每個(gè)條目和其他條目之間的鏈接個(gè)數(shù)
100萬/5萬=20個(gè)。
由于內(nèi)部內(nèi)容之間良好的引用和鏈接設(shè)計(jì)，搜索引擎的蜘蛛能在4層之內(nèi)遍歷到的網(wǎng)站的內(nèi)容：20^4 = 16萬
而后臺的統(tǒng)計(jì)上可以看到：各個(gè)引擎的抓取都非常頻繁和深入
搜索引擎網(wǎng)站的機(jī)器人 (前 10) - 全部列出 - 最近參觀日期
Googlebot 89303+15 296.35 M字節(jié) 2006年 三月 04日 23:54
BaiDuSpider 51499+3 1.10 G字節(jié) 2006年 三月 04日 16:24
Yahoo Slurp 13122+705 97.86 M字節(jié) 2006年 三月 04日 23:59
MSNBot 12434+85 244.40 M字節(jié) 2006年 三月 04日 23:57
中文網(wǎng)的每天PV為15萬，獨(dú)立用戶1.5萬左右。外部來源幾乎完全來自搜索引擎，而包含英文網(wǎng)站在內(nèi)的wikipedia.org已經(jīng)成為全球第22位的 http://www./data/details/traffic_details?q=&url=wikipedia.org
從日志統(tǒng)計(jì)來看：
http://blog./cgi-bin/awstats/awstats.pl?config=wikipedia
wikipedia被搜索引擎搜索到的有千個(gè)關(guān)鍵詞，每天的訪問量在10萬PV/1萬人次左右。
用以搜索的短語 (前 10)
13747 個(gè)不同的關(guān)鍵字句 搜索 百分比
繁體字 2121 5.8 %
少年阿賓 1242 3.4 %
色情電影 1076 2.9 %
維基百科 483 1.3 %
維基 259 0.7 %
陰毛 187 0.5 %
海倫.凱勒 162 0.4 %
海倫 凱勒 156 0.4 %
美少女戰(zhàn)士 152 0.4 %
奇幻小說 139 0.3 %
其他短語 30041 83.4 %
關(guān)鍵詞的分布較廣泛：top 10關(guān)鍵詞流量占總體來源關(guān)鍵詞不到20%。
