因?yàn)樵谧鲦溄觼?lái)源統(tǒng)計(jì)的時(shí)候需要把 http://www.baidu.com/baidu?word=%D6%D0%B9%FA%B4%F3%B0%D9%BF%C6%D4%DA%CF%DF%C8%AB%CE%C4%BC%EC%CB%F7&tn=myie2dg 這類的URL編碼還原成明文字串,一般大部分的網(wǎng)站都是用普通的URL編碼形式,如上面鏈接中的badu,這種很容易轉(zhuǎn)換和還原,Java包里提供了兩個(gè)類的不同方法URLEncode.encode()和URLDecode.decode()可以很方便實(shí)現(xiàn),但也有特別一點(diǎn)的就是Google了,http://www.google.com/search?hl=zh-CN&newwindow=1&q=%E4%B8%AD%E5%9B%BD%E5%A4%A7%E7%99%BE%E7%A7%91%E5%9C%A8%E7%BA%BF%E5%85%A8%E6%96%87%E6%A3%80%E7%B4%A2&btnG=%E6%90%9C%E7%B4%A2&lr= 他們的編碼和別人不一樣,如果使用URLDecode.decode()的話則變成亂碼,查詢的一些相關(guān)資料都說(shuō)Google使用的是UTF-8編碼,這點(diǎn)我就有些奇怪了,如果Google使用的是UTF-8編碼,那別人使用的又是什么?IE的高級(jí)選項(xiàng)里不是有項(xiàng)“始終以UTF-8形式發(fā)送URL”的嗎?但是UTF-8一個(gè)中文是3byte,而一般的編碼則是2個(gè)byte,這就是為什么一般的URL中是以兩組‘%‘代碼表示一個(gè)漢字,如“中”的URL編碼為"%D6%D0",而UTF-8則為3組,“中”為"%E4%B8%AD",這個(gè)問(wèn)題我在Google里也沒(méi)得到較好回答。我對(duì)各種編碼形式了解的不是很好,之前只看過(guò)如何將字符串轉(zhuǎn)成Utf8-URL編碼的方法,其實(shí)也挺簡(jiǎn)單的,直接轉(zhuǎn)成byte后直接取其16進(jìn)制值前面加個(gè)%就行,還原方法在網(wǎng)上搜了幾圈居然沒(méi)發(fā)現(xiàn)有現(xiàn)成的!倒是也是幾個(gè)人在CSDN問(wèn)了此類的問(wèn)題。最后還是決定自己搞定了,基本上是toUTF8的原路退回法,再加了個(gè)檢測(cè)URL鏈接是否UTF-8形式的方法,覺(jué)得已經(jīng)蠻好用了。可以拿出來(lái)share一下。
[Edit on 2006-6-27 0:06:06 By flashman]
≡≡≡ 網(wǎng)友評(píng)論 ≡≡≡
waterflier 在 2006-5-25 10:04:39 說(shuō):
最近我也在研究中文分詞,到你的blog來(lái)找點(diǎn)資料 ^_^ 有什么好東西記得給兄弟分享一份。
正式的正式: 這編文章的理論基礎(chǔ)有錯(cuò)誤,建議fox去看看編碼相關(guān)的基礎(chǔ)知識(shí)。ISO-8859-1 和GB2312是不能直接轉(zhuǎn)的。他們都屬于ANSI編碼。 一共有三類編碼 ANSI(ISO-8859-1,GBK,GB2312,BIG5等) UCS(UCS2,UCS4) UTF(UTF7 UTF8 UTF16) 其中 所有的編碼都可以轉(zhuǎn)成UCS,UTF是UCS為了節(jié)省空間的一種存儲(chǔ)方式(使用huffman編碼的理論的變長(zhǎng)編碼,如果全部都是e文的話可以有效地壓縮成UTF8,如果是中文編碼成UTF8反而會(huì)浪費(fèi)空間)。ANSI各個(gè)編碼之間不存在抓換關(guān)系只存在極少數(shù)的對(duì)應(yīng)關(guān)系(比如每個(gè)ANSI編碼都必須包含英文,又比如簡(jiǎn)體字與繁體字之間的對(duì)應(yīng)關(guān)系使GBK和BIG5之間的某些編碼存在對(duì)應(yīng)關(guān)系,這種關(guān)系是無(wú)規(guī)律的)。 我的blog上也有不少關(guān)于這方面的內(nèi)容 ----------------------------------------------------------------------------------------------------------------------------
<html>
<head> <meta http-equiv=‘Content-Type‘ content=‘text/html; charset=gb2312‘> <title>URL解碼(Decode)/編碼(Encode)</title> </head> <body> <center><font color=green size=+2>URL解碼(Decode)/編碼(Encode)</font><br> 需要解碼的字符串:<TEXTAREA ID="String1" ROWS="10" COLS="30"></TEXTAREA> 解碼后的字符串:<TEXTAREA ID="String2" ROWS="10" COLS="30"></TEXTAREA><br> 需要編碼的字符串:<TEXTAREA ID="String3" ROWS="10" COLS="30"></TEXTAREA> 編碼后的字符串:<TEXTAREA ID="String4" ROWS="10" COLS="30"></TEXTAREA><br> <INPUT TYPE="button" ID="Decode" value="解碼(Decode)" onClick="javascript:String2.value=decodeURI(String1.value);"> <INPUT TYPE="button" ID="Encode" value="編碼(Encode)" onClick="javascript:String4.value=encodeURI(String3.value);"> </center> </body> </html> |
|