一区二区三区日韩精品-日韩经典一区二区三区-五月激情综合丁香婷婷-欧美精品中文字幕专区

分享

字符編碼之間的相互轉(zhuǎn)換 UTF8與GBK

 quasiceo 2014-08-02

UTF8與GBK字符編碼之間的相互轉(zhuǎn)換

 

一 預(yù)備知識(shí)

1,字符:字符是抽象的最小文本單位。它沒有固定的形狀(可能是一個(gè)字形),而且沒有值。“A”是一個(gè)字符,“€”(德國、法國和許多其他歐洲國家通用貨幣的標(biāo)志)也是一個(gè)字符?!爸小薄皣边@是兩個(gè)漢字字符。字符僅僅代表一個(gè)符號(hào),沒有任何實(shí)際值的意義。

2,字符集:字符集是字符的集合。例如,漢字字符是中國人最先發(fā)明的字符,在中文、日文、韓文和越南文的書寫中使用。這也說明了字符和字符集之間的關(guān)系,字符組成字符集(iso8859-1,GB2312/GBK,unicode)。

3,代碼點(diǎn):字符集中的每個(gè)字符都被分配到一個(gè)“代碼點(diǎn)”。每個(gè)代碼點(diǎn)都有一個(gè)特定的唯一數(shù)值,稱為標(biāo)值。該標(biāo)量值通常用十六進(jìn)制表示。

4,代碼單元: 在每種編碼形式中,代碼點(diǎn)被映射到一個(gè)或多個(gè)代碼單元?!按a單元”是各個(gè)編碼方式中的單個(gè)單元。代碼單元的大小等效于特定編碼方式的位數(shù): UTF-8 :UTF-8 中的代碼單元由 8 位組成;在 UTF-8 中,因?yàn)榇a單元較小的緣故,每個(gè)代碼點(diǎn)常常被映射到多個(gè)代碼單元。代碼點(diǎn)將被映射到一個(gè)、兩個(gè)、三個(gè)或四個(gè)代碼單元; UTF-16 :UTF-16 中的代碼單元由 16 位組成;UTF-16 的代碼單元大小是 8 位代碼單元的兩倍。所以,標(biāo)量值小于 U+10000 的代碼點(diǎn)被編碼到單個(gè)代碼單元中; UTF-32:UTF-32  中的代碼單元由 32 位組成; UTF-32 中使用的 32 位代碼單元足夠大,每個(gè)代碼點(diǎn)都可編碼為單個(gè)代碼單元; GB18030:GB18030  中的代碼單元由 8 位組成;在 GB18030 中,因?yàn)榇a單元較小的緣故,每個(gè)代碼點(diǎn)常常被映射到多個(gè)代碼單元。代碼點(diǎn)將被映射到一個(gè)、兩個(gè)或四個(gè)代碼單元。

5,舉例: “中國北京香蕉是個(gè)大笨蛋”這是我定義的aka字符集;

各字符對(duì)應(yīng)代碼點(diǎn)為:

北 00000001

京 00000010

香 10000001

蕉 10000010

是 10000100

個(gè) 10001000

大 10010000

笨 10100000

蛋 11000000

中 00000100

國 00001000

下面是我定義的 zixia 編碼方案(8位),可以看到它的編碼中表示了aka字符集的所有字符對(duì)應(yīng)的 代碼單元;

北 10000001 京 10000010 香 00000001 蕉 00000010 是 00000100 個(gè) 00001000 大 00010000 笨 00100000 蛋 01000000 中 10000100 國 10001000

所謂文本文件 就是我們按一定編碼方式將二進(jìn)制數(shù)據(jù)表示為對(duì)應(yīng)的文本如 00000001000000100000010000001000000100000010000001000000這樣的文件。我用一個(gè)支持 zixia編碼和aka字符集的記事本打開,它就按照編碼方案顯示為  “香蕉是個(gè)大笨蛋 ” 如果我把這些字符按照GBK另存一個(gè)文件,那么則肯定不是這個(gè),而是 1100111111100011 1011110110110110 1100101011000111 1011100011110110 1011010011110011 1011000110111111 1011010110110000 110100001010

 

二,字符集

1, 常用字符集分類 ASCII及其擴(kuò)展字符集 作用:表語英語及西歐語言。 位數(shù):ASCII是用7位表示的,能表示128個(gè)字符;其擴(kuò)展使用8位表示,表示256個(gè)字符。 范圍:ASCII從00到7F,擴(kuò)展從00到FF。 ISO-8859-1字符集 作用:擴(kuò)展ASCII,表示西歐、希臘語等。 位數(shù):8位, 范圍:從00到FF,兼容ASCII字符集。 GB2312字符集 作用:國家簡體中文字符集,兼容ASCII。 位數(shù):使用2個(gè)字節(jié)表示,能表示7445個(gè)符號(hào),包括6763個(gè)漢字,幾乎覆蓋所有高頻率漢字。 范圍:高字節(jié)從A1到F7, 低字節(jié)從A1到FE。將高字節(jié)和低字節(jié)分別加上0XA0即可得到編碼。 BIG5字符集 作用:統(tǒng)一繁體字編碼。 位數(shù):使用2個(gè)字節(jié)表示,表示13053個(gè)漢字。 范圍:高字節(jié)從A1到F9,低字節(jié)從40到7E,A1到FE。 GBK字符集 作用:它是GB2312的擴(kuò)展,加入對(duì)繁體字的支持,兼容GB2312。 位數(shù):使用2個(gè)字節(jié)表示,可表示21886個(gè)字符。 范圍:高字節(jié)從81到FE,低字節(jié)從40到FE。 GB18030字符集 作用:它解決了中文、日文、朝鮮語等的編碼,兼容GBK。 位數(shù):它采用變字節(jié)表示(1 ASCII,2,4字節(jié))??杀硎?7484個(gè)文字。 范圍:1字節(jié)從00到7F; 2字節(jié)高字節(jié)從81到FE,低字節(jié)從40到7E和80到FE;4字節(jié)第一三字節(jié)從81到FE,第二四字節(jié)從30到39。 UCS字符集 作用:國際標(biāo)準(zhǔn) ISO 10646 定義了通用字符集 (Universal Character Set)。它是與UNICODE同類的組織,UCS-2和UNICODE兼容。 位數(shù):它有UCS-2和UCS-4兩種格式,分別是2字節(jié)和4字節(jié)。 范圍:目前,UCS-4只是在UCS-2前面加了0×0000。 UNICODE字符集 作用:為世界650種語言進(jìn)行統(tǒng)一編碼,兼容ISO-8859-1。 位數(shù):UNICODE字符集有多個(gè)編碼方式,分別是UTF-8,UTF-16和UTF-32。

 

2 ,按所表示的文字分類 語言                                 字符集                                     正式名稱 英語、西歐語                     ASCII,ISO-8859-1               MBCS 多字節(jié) 簡體中文                             GB2312                                    MBCS 多字節(jié) 繁體中文                             BIG5                                         MBCS 多字節(jié) 簡繁中文                             GBK                                         MBCS 多字節(jié) 中文、日文及朝鮮語         GB18030                                  MBCS 多字節(jié) 各國語言                             UNICODE,UCS                    DBCS 寬字節(jié)

 

,編碼 UTF-8:采用變長字節(jié) (1 ASCII, 2 希臘字母, 3 漢字, 4 平面符號(hào)) 表示,網(wǎng)絡(luò)傳輸, 即使錯(cuò)了一個(gè)字節(jié),不影響其他字節(jié),而雙字節(jié)只要一個(gè)錯(cuò)了,其他也錯(cuò)了,具體如下: 如果只有一個(gè)字節(jié)則其最高二進(jìn)制位為0;如果是多字節(jié),其第一個(gè)字節(jié)從最高位開始,連續(xù)的二進(jìn)制位值為1的個(gè)數(shù)決定了其編碼的字節(jié)數(shù),其余各字節(jié)均以10開頭。UTF-8最多可用到6個(gè)字節(jié)。 UTF-16:采用2字節(jié),Unicode中不同部分的字符都同樣基于現(xiàn)有的標(biāo)準(zhǔn)。這是為了便于轉(zhuǎn)換。從 0×0000到0×007F是ASCII字符,從0×0080到0×00FF是ISO-8859-1對(duì)ASCII的擴(kuò)展。希臘字母表使用從0×0370到 0×03FF 的代碼,斯拉夫語使用從0×0400到0×04FF的代碼,美國使用從0×0530到0×058F的代碼,希伯來語使用從0×0590到0×05FF的代碼。中國、日本和韓國的象形文字(總稱為CJK)占用了從0×3000到0×9FFF的代碼;由于0×00在c語言及操作系統(tǒng)文件名等中有特殊意義,故很多情況下需要UTF-8編碼保存文本,去掉這個(gè)0×00。舉例如下: UTF-16: 0×0080  = 0000 0000 1000 0000 UTF-8:   0xC280 = 1100 0010 1000 0000 UTF-32:采用4字節(jié)。 優(yōu)缺點(diǎn) UTF-8、UTF-16和UTF-32都可以表示有效編碼空間 (U+000000-U+10FFFF) 內(nèi)的所有Unicode字符。 使用UTF-8編碼時(shí)ASCII字符只占1個(gè)字節(jié),存儲(chǔ)效率比較高,適用于拉丁字符較多的場(chǎng)合以節(jié)省空間。 對(duì)于大多數(shù)非拉丁字符(如中文和日文)來說,UTF-16所需存儲(chǔ)空間最小,每個(gè)字符只占2個(gè)字節(jié)。 Windows NT內(nèi)核是Unicode(UTF-16),采用UTF-16編碼在調(diào)用系統(tǒng)API時(shí)無需轉(zhuǎn)換,處理速度也比較快。 采用UTF-16和UTF-32會(huì)有Big Endian和Little Endian之分,而UTF-8則沒有字節(jié)順序問題,所以UTF-8適合傳輸和通信。 UTF-32采用4字節(jié)編碼,一方面處理速度比較快,但另一方面也浪費(fèi)了大量空間,影響傳輸速度,因而很少使用。

 

四,如何判斷字符集 1,字節(jié)序 首先說一下字節(jié)序?qū)幋a的影響,字節(jié)序分為Big Endian字節(jié)序和Little Endian字節(jié)序。不同的處理器可能不一樣。所以,傳輸時(shí)需要告訴處理器當(dāng)時(shí)的編碼字節(jié)序。對(duì)于前者而言,高位字節(jié)存在低地址,低字節(jié)存于高地址;后者相反。例如,0X03AB, Big Endian字節(jié)序 0000: 0 3 0001: AB Little Endian字節(jié)序是 0000: AB 0001: 0 3 2,編碼識(shí)別 UNICODE,根據(jù)前幾個(gè)字節(jié)可以判斷UNICODE字符集的各種編碼,叫做Byte Order Mask方法BOM: UTF-8: EFBBBF (符合UTF-8格式,請(qǐng)看上面。但沒有含義在UCS即UNICODE中) UTF-16 Big Endian:FEFF (沒有含義在UCS-2中) UTF-16 Little Endian:FFFE (沒有含義在UCS-2中) UTF-32 Big Endian:0000FEFF (沒有含義在UCS-4中) UTF-32 Little Endian:FFFE0000 (沒有含義在UCS-4中) GB2312:高字節(jié)和低字節(jié)的第1位都是1。 BIG5,GBK&GB18030:高字節(jié)的第1位為1。操作系統(tǒng)有默認(rèn)的編碼,常為GBK,可以下載別的并升級(jí)。 通過判斷高字節(jié)的第1位從而知道是ASCII或者漢字編碼。

 

復(fù)制代碼
#include <stdio.h>
#include <windows.h>

//GBK編碼轉(zhuǎn)換到UTF8編碼
int GBKToUTF8(unsigned char * lpGBKStr,unsigned char * lpUTF8Str,int nUTF8StrLen)
{
    wchar_t * lpUnicodeStr = NULL;
    int nRetLen = 0;

    if(!lpGBKStr)  //如果GBK字符串為NULL則出錯(cuò)退出
        return 0;

    nRetLen = ::MultiByteToWideChar(CP_ACP,0,(char *)lpGBKStr,-1,NULL,NULL);  //獲取轉(zhuǎn)換到Unicode編碼后所需要的字符空間長度
    lpUnicodeStr = new WCHAR[nRetLen + 1];  //為Unicode字符串空間
    nRetLen = ::MultiByteToWideChar(CP_ACP,0,(char *)lpGBKStr,-1,lpUnicodeStr,nRetLen);  //轉(zhuǎn)換到Unicode編碼
    if(!nRetLen)  //轉(zhuǎn)換失敗則出錯(cuò)退出
        return 0;

    nRetLen = ::WideCharToMultiByte(CP_UTF8,0,lpUnicodeStr,-1,NULL,0,NULL,NULL);  //獲取轉(zhuǎn)換到UTF8編碼后所需要的字符空間長度
    
    if(!lpUTF8Str)  //輸出緩沖區(qū)為空則返回轉(zhuǎn)換后需要的空間大小
    {
        if(lpUnicodeStr)       
  delete []lpUnicodeStr;
        return nRetLen;
    }
    
    if(nUTF8StrLen < nRetLen)  //如果輸出緩沖區(qū)長度不夠則退出
    {
        if(lpUnicodeStr)
            delete []lpUnicodeStr;
        return 0;
    }

    nRetLen = ::WideCharToMultiByte(CP_UTF8,0,lpUnicodeStr,-1,(char *)lpUTF8Str,nUTF8StrLen,NULL,NULL);  //轉(zhuǎn)換到UTF8編碼
    
    if(lpUnicodeStr)
        delete []lpUnicodeStr;
    
    return nRetLen;
}

 //使用這兩個(gè)函數(shù)的例子
int main()
{
    char cGBKStr[] = "我是中國人!";
    char * lpGBKStr = NULL;
    char * lpUTF8Str = NULL;
    FILE * fp = NULL;
    int nRetLen = 0;

    nRetLen = GBKToUTF8((unsigned char *) cGBKStr,NULL,NULL);
    printf("轉(zhuǎn)換后的字符串需要的空間長度為:%d ",nRetLen);
    lpUTF8Str = new char[nRetLen + 1];
    nRetLen = GBKToUTF8((unsigned char *)cGBKStr,(unsigned char *)lpUTF8Str,nRetLen);
    if(nRetLen)
    {
        printf("GBKToUTF8轉(zhuǎn)換成功!");
    }
 else
    {
        printf("GBKToUTF8轉(zhuǎn)換失??!");
        goto Ret0;
    }
 fp = fopen("C:\\GBKtoUTF8.txt","wb");  //保存到文本文件
    fwrite(lpUTF8Str,nRetLen,1,fp);
    fclose(fp);
    getchar();  //先去打開那個(gè)文本文件看看,單擊記事本的“文件”-“另存為”菜單,在對(duì)話框中看到編碼框變?yōu)榱恕癠TF-8”說明轉(zhuǎn)換成功了
   
    Ret0:
    
 {
  if(lpGBKStr)
         delete []lpGBKStr;
     if(lpUTF8Str)
         delete []lpUTF8Str; 
 }
 return 0;
}
復(fù)制代碼

 


Karlson,2009-07-25 13:39:57

復(fù)制代碼
  1 class CChineseCode  
  2 
  3 {  
  4 
  5   public:  
  6 
  7       static void UTF_8ToUnicode(wchar_t* pOut,char *pText);  // 把UTF-8轉(zhuǎn)換成Unicode  
  8 
  9       static void UnicodeToUTF_8(char* pOut,wchar_t* pText);  //Unicode 轉(zhuǎn)換成UTF-8  
 10 
 11       static void UnicodeToGB2312(char* pOut,wchar_t uData);  // 把Unicode 轉(zhuǎn)換成 GB2312    
 12 
 13       static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 轉(zhuǎn)換成 Unicode  
 14 
 15       static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 轉(zhuǎn)為 UTF-8  
 16 
 17       static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 轉(zhuǎn)為 GB2312  
 18 
 19 };  
 20 
 21 類實(shí)現(xiàn)  
 22 
 23 void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText)  
 24 
 25 {  
 26 
 27    char* uchar = (char *)pOut;  
 28 
 29    uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);  
 30 
 31    uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);  
 32 
 33    return;  
 34 
 35 }  
 36 
 37 void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText)  
 38 
 39 {  
 40 
 41    // 注意 WCHAR高低字的順序,低字節(jié)在前,高字節(jié)在后  
 42 
 43    char* pchar = (char *)pText;  
 44 
 45    pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));  
 46 
 47    pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);  
 48 
 49    pOut[2] = (0x80 | (pchar[0] & 0x3F));  
 50 
 51    return;  
 52 
 53 }  
 54 
 55 void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData)  
 56 
 57 {  
 58 
 59   WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);  
 60 
 61    return;  
 62 
 63 }        
 64 
 65 void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)  
 66 
 67 {  
 68 
 69    ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);  
 70 
 71    return ;  
 72 
 73 }  
 74 
 75 void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen)  
 76 
 77 {  
 78 
 79    char buf[4];  
 80 
 81    int nLength = pLen* 3;  
 82 
 83    char* rst = new char[nLength];  
 84 
 85    memset(buf,0,4);  
 86 
 87    memset(rst,0,nLength);  
 88 
 89    int i = 0;  
 90 
 91    int j = 0;        
 92 
 93    while(i < pLen)  
 94 
 95    {  
 96 
 97            //如果是英文直接復(fù)制就可以  
 98 
 99            if( *(pText + i) >= 0)  
100 
101            {  
102 
103                    rst[j++] = pText[i++];  
104 
105            }  
106 
107            else  
108 
109            {  
110 
111                    wchar_t pbuffer;  
112 
113                    Gb2312ToUnicode(&pbuffer,pText+i);  
114 
115                    UnicodeToUTF_8(buf,&pbuffer);  
116 
117                    unsigned short int tmp = 0;  
118 
119                    tmp = rst[j] = buf[0];  
120 
121                    tmp = rst[j+1] = buf[1];  
122 
123                    tmp = rst[j+2] = buf[2];      
124 
125                    j += 3;  
126 
127                    i += 2;  
128 
129            }  
130 
131    }  
132 
133    rst[j] = '';  
134 
135    //返回結(jié)果  
136 
137    pOut = rst;                
138 
139    delete []rst;     
140 
141    return;  
142 
143 }  
144 
145 void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen)  
146 
147 {  
148 
149    char * newBuf = new char[pLen];  
150 
151    char Ctemp[4];  
152 
153    memset(Ctemp,0,4);  
154 
155    int i =0;  
156 
157    int j = 0;  
158 
159    while(i < pLen)  
160 
161    {  
162 
163        if(pText > 0)  
164 
165        {  
166 
167                newBuf[j++] = pText[i++];                          
168 
169        }  
170 
171        else                    
172 
173        {  
174 
175                WCHAR Wtemp;  
176 
177                UTF_8ToUnicode(&Wtemp,pText + i);        
178 
179                UnicodeToGB2312(Ctemp,Wtemp);                
180 
181                newBuf[j] = Ctemp[0];  
182 
183                newBuf[j + 1] = Ctemp[1];    
184 
185                i += 3;      
186 
187                j += 2;     
188 
189        }  
190 
191    }  
192 
193    newBuf[j] = '';    
194 
195    pOut = newBuf;    
196 
197    delete []newBuf;  
198 
199    return;    
200 
201 }
復(fù)制代碼

 

1、將GBK轉(zhuǎn)換成UTF8

復(fù)制代碼
string GBKToUTF8(const std::string& strGBK) 
{ string strOutUTF8 = ""; 
WCHAR * str1;
 int n = MultiByteToWideChar(CP_ACP, 0, strGBK.c_str(), -1, NULL, 0); 
str1 = new WCHAR[n]; 
MultiByteToWideChar(CP_ACP, 0, strGBK.c_str(), -1, str1, n); n = WideCharToMultiByte(CP_UTF8, 0, str1, -1, NULL, 0, NULL, NULL);
 char * str2 = new char[n]; 
WideCharToMultiByte(CP_UTF8, 0, str1, -1, str2, n, NULL, NULL); 
strOutUTF8 = str2; 
delete[]str1; 
str1 = NULL; 
delete[]str2;
 str2 = NULL; 
return strOutUTF8;
 }
復(fù)制代碼

 Wi d e C h a r To M u l t i B y t e把U N I C O D E轉(zhuǎn)換成A S C I I碼。


2、將UTF8轉(zhuǎn)換成GBK

復(fù)制代碼
string UTF8ToGBK(const std::string& strUTF8) 
{ 
int len = MultiByteToWideChar(CP_UTF8, 0, strUTF8.c_str(), -1, NULL, 0);
 unsigned short * wszGBK = new unsigned short[len + 1]; memset(wszGBK, 0, len * 2 + 2); 
MultiByteToWideChar(CP_UTF8, 0, (LPCTSTR)strUTF8.c_str(), -1, wszGBK, len);

 len = WideCharToMultiByte(CP_ACP, 0, wszGBK, -1, NULL, 0, NULL, NULL); 
char *szGBK = new char[len + 1];
 memset(szGBK, 0, len + 1); 
WideCharToMultiByte(CP_ACP,0, wszGBK, -1, szGBK, len, NULL, NULL); //strUTF8 = szGBK; 
std::string strTemp(szGBK); 
delete[]szGBK; 
delete[]wszGBK; 
return strTemp; 
}
復(fù)制代碼

 

    本站是提供個(gè)人知識(shí)管理的網(wǎng)絡(luò)存儲(chǔ)空間,所有內(nèi)容均由用戶發(fā)布,不代表本站觀點(diǎn)。請(qǐng)注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息,謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請(qǐng)點(diǎn)擊一鍵舉報(bào)。
    轉(zhuǎn)藏 分享 獻(xiàn)花(0

    0條評(píng)論

    發(fā)表

    請(qǐng)遵守用戶 評(píng)論公約

    類似文章 更多

    免费观看成人免费视频| 久久老熟女一区二区三区福利| 国产亚洲精品一二三区| 亚洲色图欧美另类人妻| 好吊妞视频只有这里有精品| 日本一品道在线免费观看| 黄片在线免费看日韩欧美| 欧洲一区二区三区自拍天堂| 国产欧美一区二区另类精品| 少妇人妻一级片一区二区三区| 老司机激情五月天在线不卡| 成人欧美一区二区三区视频| 日本国产欧美精品视频| 中国一区二区三区人妻| 夜夜嗨激情五月天精品| 日本不卡视频在线观看| 国产内射在线激情一区| 日韩一区二区三区四区乱码视频| 日韩亚洲激情在线观看| 东北女人的逼操的舒服吗| 日系韩系还是欧美久久| 国内外免费在线激情视频| 护士又紧又深又湿又爽的视频| 国产免费操美女逼视频| 91久久精品国产一区蜜臀| 中文字幕久热精品视频在线 | 国产又粗又爽又猛又黄的| 免费国产成人性生活生活片| 日本高清不卡在线一区| 国产老熟女乱子人伦视频| 欧美日韩国产精品第五页| 日本久久精品在线观看| 亚洲一区精品二人人爽久久| 国产精品日韩欧美第一页| 国产91色综合久久高清| 国产精品一区二区视频| 婷婷色网视频在线播放| 又色又爽又黄的三级视频| 国产日产欧美精品视频| 国产一级一片内射视频在线| 日本不卡在线视频你懂的|