來源:未聞Code 我們常常需要在 Python 中輸出 CSV 文件,但你可能會發(fā)現(xiàn),這些輸出的 CSV文件,不能雙擊使用 Excel 打開,否則中文會變成亂碼。例如下面這段代碼: import pandas as pd
datas = [
{
'name': '王小一',
'age': 29,
'address': '北京'
},
{
'name': '張小二',
'age': 18,
'address': '四川'
},
{
'name': '李小三',
'age': 60,
'address': '上海'
}
]
df = pd.DataFrame(datas)
df.to_csv('person.csv', index=False)
如果雙擊使用 Excel 打開,你會發(fā)現(xiàn)中文變成了亂碼,如下圖所示: 這是因為,當你執(zhí)行代碼 df.to_csv('person.csv',index=False) 時,它默認會以 UTF-8編碼方式寫 CSV 文件。但是當你雙擊 CSV 使用 Excel打開時,Excel 會以 GBK 編碼來讀這個文件,這就導致了亂碼的發(fā)生。 所以,如果是簡單的中文,你可以把編碼方式人工指定為 GBK: import pandas as pd
datas = [
{
'name': '王小一',
'age': 29,
'address': '北京'
},
{
'name': '張小二',
'age': 18,
'address': '四川'
},
{
'name': '李小三',
'age': 60,
'address': '上海'
}
]
df = pd.DataFrame(datas)
df.to_csv('person.csv', index=False, encoding='gbk')
此時再雙擊使用 Excel 打開,中文就能正常顯示了,如下圖所示: 但 GBK 編碼的字符集不夠完善,所以如果文本中包含超出 GBK 字符集的內(nèi)容,就會導致編碼錯誤,如下圖所示: 這個時候怎么辦呢? 實際上當你雙擊打開 CSV 的時候,Excel會檢查文件的第一個字符,如果這個字符是 BOM,那么他就知道應該使用 UTF-8編碼方式來打開這個文件。所謂的 BOM 指的是 byte-order mark 。 BOM 對應的 Unicode 碼為 \ufeff ,所以當我們使用 UTF-8編碼方式生成 CSV 以后,再增加一步,把 BOM 寫入到文件的第一個字符:
with open('person.csv', encoding='utf-8') as f:
content = f.read()
content_with_bom = '\ufeff' + content
with open('person.csv', 'w', encoding='utf-8') as f:
f.write(content_with_bom)
完整代碼如下圖所示: 此時,新的 CSV 文件可以直接雙擊通過 Excel 打開,并且中文支持完全正常,如下圖所示: 這樣生成的 Excel 雖然在 Excel 上顯示沒有問題,但是如果你發(fā)給別人,別人使用 Python 自帶的 csv 模塊打開,就會發(fā)現(xiàn) address 這一列的列名不是 address 而是 \ufeffaddress ,如下圖所示: 這個 BOM 字符雖然肉眼看不到,但是程序能夠看到,這就會導致別人在讀這個 CSV 文件的時候非常不方便。如果直接使用 address 去讀,還會報錯: 難道此時,需要先用普通方式讀取 csv 文件,移除第一個 BOM 字符,然后再傳給 CSV 模塊嗎?這未免太過麻煩。 好在 Python 只帶了處理 BOM 的編碼方式 utf-8-sig ,無論是寫文件還是讀文件,只要使用這個編碼方式,Python 在寫文件的時候會自動加上 BOM,在讀文件的時候會自動刪除 BOM。 所以生成 CSV 文件的代碼如下: import pandas as pd
datas = [
{
'name': '王小一',
'age': 29,
'address': '北京'
},
{
'name': '張小二',
'age': 18,
'address': '四?川'
},
{
'name': '李小三',
'age': 60,
'address': '上海'
}
]
df = pd.DataFrame(datas)
df.to_csv('person.csv', index=False, encoding='utf-8-sig')
此時生成的 CSV 文件,可以直接雙擊使用 Excel 打開,中文正常顯示。 如果要使用 Python 的 CSV 模塊讀取文件,也非常簡單,如下圖所示: 讀取出來的內(nèi)容直接使用,BOM 已經(jīng)被 Python 自動移除了。
|