Young的轨迹 Web, coding & Everything about me.

解决kindle4阅读中文乱码问题——使用python脚本批量把文本转换为utf8编码

昨天买了一台kindle4， 用了一天， 整体感觉还不错， 但是在看中文书籍的时候遇到了下面问题。

阅读中文书籍一段时间后会遇到乱码， 然后再次打开该书籍的时候会有下面的错误提示导致无法打开文件

the selected item could not be opened. If you purchased this item from Amazon, delete this item and redownload it from Archived Items available in Home.

上网查了一下， 原因是 kindle的原生系统对非utf8编码的txt的支持有问题， 而我发现我阅读的大部分中文书籍都是GB2312编码的。

于是我上网搜索了一下， 发现有一些批量转换txt编码的软件， 但是我觉得不太适合自己。 因为我的电子书都是从原来手机上拷贝过来的，目录结构很复杂，我不想把电子书都整理出来再批量转化， 而是希望程序能自己搜索目录下的电子书。于是我就打算自己写一个python脚本来处理这些事情。

总的思路很简单， 输入原文件夹的目录，然后脚本会在把里面的txt文件一一解码，然后再按 utf8 编码。

我是在linux下写这个脚本的，

依赖的额外的 python package 只有 python-chardet, 这个包的作用是检测文本的编码。

安装python-chardet很简单， 一般源里就有。 我用的是  arch linux ,直接用下面的命令就可以。

sudo pacman -S python2-chardet

使用 ubuntu 的童鞋用下面的命令也能安装。

sudo apt-get install python-chardet

脚本的代码如下

#!/usr/bin/env python
#-*- coding:utf8 -*-
import os
import getopt
import chardet
import sys
import re

TXT_FILE_REG = re.compile(r".*\.txt$", flags = re.IGNORECASE) # 用来判断是否是txt文件

def mkdirs_if_not_exists(path):
    if not os.path.exists(path): os.makedirs(path)

def convert2utf8(source_path, target_path):
    mkdirs_if_not_exists(target_path)
    for path, dirs, files  in os.walk(source_path):
        for fname in files:
            if TXT_FILE_REG.match(fname):
                file_path = os.path.join(path, fname)
                detect_dict = chardet.detect(open(file_path, 'rb').read(4096))
                confidence, encoding = detect_dict['confidence'], detect_dict['encoding']
                if confidence < 0.9  or encoding == None:
                    print u"无法准确识别 %s 的编码" % file_path
                    continue
                new_path = os.path.join(target_path, os.path.relpath(file_path, source_path))
                mkdirs_if_not_exists(os.path.dirname(new_path))
                with open(file_path, "rb") as ifile:
                    content = ifile.read().decode(encoding, errors = 'ignore')

                with open(new_path, "w") as ofile:
                    ofile.write(content.encode("utf8"))

if __name__ == "__main__":
    try:
        opts, args = getopt.getopt(sys.argv[1:], "i:o:")
    except getopt.GetoptError:
        sys.exit(1)
        print u"解析参数出错"
    opt_dict = dict(opts)
    try:
        source_path, target_path = opt_dict['-i'], opt_dict['-o']
    except KeyError:
        print u"必须指定输入输出路径,如: -i /home/orig_txt/ -o /home/utf8_txt/"
        sys.exit(2)
    convert2utf8(source_path, target_path)

使用方法如下。

#假如你想让 /tmp/txts/ 下的所有 .txt 文件都转化成 utf8编码， 并以原目录结构保存在 /tmp/utf8_txts/ 下。
python convert_encode.py  -i /tmp/txts/ -o  /tmp/utf8_txts/

# 假如你想直接把转化好的文件直接保存在原目录下，  -o 的参数使用原目录即可
python convert_encode.py  -i /tmp/txts/ -o /tmp/txts/

# 转化成功后可以用下面的命令检查新文件的编码， 会发现新文件已经都是utf8编码的了。
find /tmp/utf8_txts/  -print0| xargs -0 file

这个脚本在下面的情况不会对文件进行转化
1) 文件不是 .txt 结尾。
2) 对文件的编码判断的把握小于 90%。