linux(Mac)下查看文件编码及修改编码

查看文件编码

在Linux中查看文件编码可以通过以下几种方式:

1. 在Vim中可以直接查看文件编码

:set fileencoding

即可显示文件编码格式。
如果你只是想查看其它编码格式的文件或者想解决用Vim查看文件乱码的问题,那么你可以在
~/.vimrc 文件中添加以下内容:

set encoding=utf-8 fileencodings=ucs-bom,utf-8,cp936

这样,就可以让vim自动识别文件编码(可以自动识别UTF-8或者GBK编码的文件),其实就是依照 fileencodings提供的编码列表尝试,如果没有找到合适的编码,就用latin-1(ASCII)编码打开。

2. enca 查看文件编码

(如果你的系统中没有安装这个命令,可以用sudo yum install -y enca 安装 )
Mac 下可以用 brew 安装

sudo brew install enca

查看命令如下:

$ enca filename

filename: Universal transformation format 8 bits; UTF-8 CRLF line terminators

需要说明一点的是,enca对某些GBK编码的文件识别的不是很好,识别时会出现:

Unrecognized encoding

3. 查看文件编码 file 命令

file ip.txt

ip.txt: UTF-8 Unicode text, with escape sequences

文件编码转换

1. 在Vim中直接进行转换文件编码,比如将一个文件转换成utf-8格式
    :set fileencoding=utf-8
2. enconv 转换文件编码,比如要将一个GBK编码的文件转换成UTF-8编码,操作如下
    enconv -L zh_CN -x UTF-8 filename
3. iconv 转换,iconv的命令格式如下:
iconv -f encoding -t encoding inputfile

比如将一个UTF-8 编码的文件转换成GBK编码

iconv -f UTF-8 -t GBK file1 -o file2

一、利用iconv命令进行编码转换文件内容编码转换

iconv命令用于转换指定文件的编码,默认输出到标准输出设备,亦可指定输出文件。查了下iconv命令用法如下:

iconv [选项...] [文件...]

有如下选项可用:

输入/输出格式规范:
-f, --from-code=名称 原始文本编码
-t, --to-code=名称 输出编码

信息:
-l, --list 列举所有已知的字符集

输出控制:
-c 从输出中忽略无效的字符
-o, --output=FILE 输出文件
-s, --silent 关闭警告
--verbose 打印进度信息

例子:

iconv -f utf-8 -t gb2312 aaa.txt >bbb.txt  

这个命令读取aaa.txt文件,从utf-8编码转换为gb2312编码,其输出定向到bbb.txt文件。

二、文件名编码转换

因为现在用linux,原来在windows里的文件都是用GBK编码的。所以copy到linux下是乱码,文件内容可以用iconv来转换可是好多中文的文件名还是乱码,找到个可以转换文件名编码的命令,就是convmv。
convmv命令详细参数 例如

convmv -f GBK -t UTF-8 *.mp3

不过这个命令不会直正的转换,你可以看到转换前后的对比。如果要直正的转换要加上参数 --notest

convmv -f GBK -t UTF-8 --notest *.mp3

-f 参数是指出转换前的编码,-t 是转换后的编码。这个千万不要弄错了。不然可能还是乱码哦。还有一个参数很有用。就是 -r 这个表示递归转换当前目录下的所有子目录。

Linux 需要安装 convmv-1.10-1.el5.noarch.rpm

Mac 下用brew 安装

sudo brew install convmv

三、更好的傻瓜型命令行工具enca

它不但能智能的识别文件的编码,而且还支持成批转换。   

1.安装   
$sudo apt-get install enca

Mac 下

sudo brew install enca
2.查看当前文件编码   
enca -L zh_CN ip.txt     
Simplified Chinese National Standard; GB2312     
Surrounded by/intermixed with non-text data    
3.转换   

命令格式如下   

$enca -L 当前语言 -x 目标编码 文件名

-L zh_CN 一般也可以不用指定。

例如要把当前目录下的所有文件都转成utf-8   

enca -L zh_CN -x utf-8 *

enca -x utf-8 *

检查文件的编码 

enca -L zh_CN file

将文件编码转换为"UTF-8"编码 

enca -L zh_CN -x UTF-8 file

如果不想覆盖原文件可以这样

enca -L zh_CN -x UTF-8 < file1 > file2 

hello, world
Stay hungry. Stay foolish.

Keep it simple & stupid.

708 声望
80 粉丝
0 条评论
推荐阅读
macOS Mojave 尝鲜记,一文知晓 macOS 升级重装的正确姿势
早在6月初,macOS 10.14 首个 Beta 版就已经发布,德哥自然是第一时间尝鲜了。不过,当时不知道系统稳定性如何,就没有把整个安装过程记录下来。

ingood阅读 18.5k

C 程序眼中的 Unicode
去年写了一篇文章「在 C 程序中处理 UTF-8 字符串」,介绍了如何使用 GLib 提供的 UTF-8 字符串处理函数来实现基本的 UTF-8 文本处理。不过,GLib 是一个功能比较全面的 C 程序库,C 字符串处理仅仅是它的一个很...

garfileo3阅读 5.6k评论 5

两分钟小技巧!如何阻止 macOS 的触底弹性滚动和双指手势导航
通常情况下,反弹效果可以反映出是否滚动到了边界,让滚动体验更加丝滑,算是一种体验的提升,但是如果页面总有fixed定位元素,同样也会受到影响,在视觉上不是那么美观,那有没有办法阻止呢?

XboxYan5阅读 1.5k

封面图
工具篇:iTerm与Zsh
iTerm2支持许多的主题配色,可以自己定义,也可以参考网上现成的主题配色。我个人比较喜欢draculatheme配色。支持item,vim,phpstorm , 下方存在主题官网路径,按照教程安装即可。

super白4阅读 4.7k

麒麟操作系统 (kylinos) 从入门到精通 - 常用软件安装 - 第三篇 常用软件安装(windows下的习惯)
本篇内容大部分从应用商店进行安装,部分通过官网下载,少部分通过命令行安装。1.原生应用1.1钉钉1.2飞书1.3 蓝信1.4 腾讯文档1.5 金山文档1.6 搜狗输入法(拼音)1.7 五笔输入法1.8 libreoffice官方也带了WPS,...

码上世界3阅读 7.3k评论 17

封面图
深入剖析容器网络和 iptables
Docker 能为我们提供很强大和灵活的网络能力,很大程度上要归功于与 iptables 的结合。在使用时,你可能没有太关注到 iptables 的作用,这是因为 Docker 已经帮我们自动完成了相关的配置。

张晋涛3阅读 1.3k

封面图
Metasploit实现木马生成、捆绑及免杀
在一次渗透测试的过程中,避免不了使用到社会工程学的方式来诱骗对方运行我们的木马或者点击我们准备好的恶意链接。木马的捆绑在社会工程学中是我们经常使用的手段,而为了躲避杀毒软件的查杀,我们又不得不对木...

白风之下1阅读 9k

Keep it simple & stupid.

708 声望
80 粉丝
宣传栏