判断文件为文本文件还是二进制文件（C语言实现）

先明确需求：用C语言实现判断文件是文本文件还是二进制文件，或者其他压缩格式文件。

文件的类型

Linux系统下，万物皆文件。
为了将所有的东西都能当成文件来管理，Linux系统将文件分成了七种类型，分别如下：

类型	简写	`S_IFMT`	`st_mode`	说明
块设备	`b`	`S_IFBLK`	`S_ISBLK(m)`	系统存取数据的接口设备，例如硬盘
字符设备	`c`	`S_IFCHR`	`S_ISCHR(m)`	串行端口的接口设备，例如键盘、鼠标、打印机、`tty`终端
目录	`d`	`S_IFDIR`	`S_ISDIR(m)`	文件夹
链接文件	`l`	`S_IFLNK`	`S_ISLNK(m)`	符号链接，分软链接和硬链接
套接字	`s`	`S_IFSOCK`	`S_ISSOCK(m)`	用于网络通信
普通文件	`-`	`S_IFREG`	`S_ISREG(m)`	分纯文本文件和二进制文件
命名管道	`p`	`S_IFIFO`	`S_ISFIFO(m)`	命名管道文件

上表中第三、第四列是Linux下使用stat函数判断文件类型提供的一些宏定义。如判断一个文件是否属于普通文件，可以使用下面的代码：

stat(pathname, &sb);
if ((sb.st_mode & S_IFMT) == S_IFREG) {
   /* Handle regular file */
}

或者直接使用：

stat(pathname, &sb);
if (S_ISREG(sb.st_mode)) {
    /* Handle regular file */
}

但是我们的需求是判断文件是否属于文本文件还是二进制文件。而这两种都属于S_IFREG普通文件，因此无法使用上面的方法进行判断。

万能的file命令

file命令是Linux下用来检测文件类型的一个内置的命令。
大概原理就是读取一个文件的前面1024个字节，然后根据magic(/etc/magic 或者 /usr/share/misc/magic) 里对应的规则分析出文件头，并打印到屏幕上。
使用也很简单，直接file后面跟上文件名即可：

[root@ck08 ~]# file anaconda-ks.cfg
anaconda-ks.cfg: ASCII text
[root@ck08 ~]# file tls.pcap
tls.pcap: tcpdump capture file (little-endian) - version 2.4 (Ethernet, capture length 262144)
[root@ck08 ~]# file zlib-1.2.11.tar.gz
zlib-1.2.11.tar.gz: gzip compressed data, was "zlib-1.2.11.tar", from Unix, last modified: Mon Jan 16 01:36:58 2017, max compression
[root@ck08 ~]# file /usr/bin/grep
/usr/bin/grep: ELF 64-bit LSB executable, x86-64, version 1 (SYSV), dynamically linked (uses shared libs), for GNU/Linux 2.6.32, BuildID[sha1]=bb5d89868c5a04ae48f76250559cb01fae1cd762, stripped

从上面的示例中，可以看出file命令很强大，几乎可以识别出文件的详细类型，甚至是编码，压缩格式，大小端等具体的信息。
因此，这个命名是符合我们的需求的。
但是，我们需要的是C语言实现，因此，不得不研究magic的文件头规则。

magic文件规则

文件中的每行都指定了一个规则测试去检验文件类型，这个规则由4个域指定。分别为offset、type、test、message。

offset
- 指定由文件起始的第几个byte开始检验。
type
- 要进行检验的数据类型，即由offset那个byte开始的那个数据类型是什么。具体有哪些数据类型，可以参考magic(5)。常用的数据类型有
  - byte：一个byte的值
  - short：两个byte的值
  - long：四个byte的值
  - string：字符串
test
- 检验值。用于检验offset下的type是否是这个test值。使用C语言的数值或字符表示形式。

message

用于显示检验结果的信息显示。

如果type为数值类型，那么其后面可添加&value，表示先与后面的test值进行'与'操作，再进行比较。如果type为字符串类型，则其后可跟/[Bbc]*，/b表示忽略空格，/c表示忽略字母大小写。
如果test的值为数值类型，可以数值前添加＝，<，>，&，^，~，分别表示相等、小于、大于、与操作、异或操作、取反操作。
如果test的值为字符串类型，可以在其前添加＝、<、>。
例如，ELF文件的magic表示为：

# ELF
#0string        ELF        ELF
 0    string        \177ELF        ELF
>4    byte        1        32-bit
>4      byte            2               64-bit
>5    byte        1        LSB
>5    byte        2        MSB
>16    short        0        unknown type
>16    short        1        relocatable
>16    short        2        executable
>16    short        3        dynamic lib
>16    short        4        core file
>18    short        0        unknown machine
>18    short        1        WE32100
>18    short        2        SPARC
>18    short        3        80386
>18    short        4        M68000
>18    short        5        M88000
>20    long        1        Version 1
>36    long        1        MathCoPro/FPU/MAU Required

发现没有，这个magic实在不是人类能够轻易读懂的，Linux内核提供了libmagic库用来解析magic文件，但是我尝试了CentOS 7和Ubuntu20.04，都没有成功将程序跑起来（gcc编译报告找不到magic.h）,而我的需求是要求一种比较通用的方法，不仅要求在Linux上可以工作，还要在Windows和AIX上有比较好的表现，因此，企图实现一套类似file的原理的路行不通。
那么，就没有一种比较通用的方案来实现对文件类型的判断吗？
网上很多资料说可以根据文件的字符来判断，如果文件中包含\x00，则一定是二进制或压缩文件，否则的话就是普通文本文件。
在大多数时候，这个规则是成立的。但是如果普通文本文件的编码是UTF-16或者UTF-32，则又要哭晕在厕所了。
因此，这种方案不靠谱。

特殊文件的header

libmagic的思路，说白了，就是根据文件头的编码进行判断，也就是说，只要我们知道某些特殊的文件头编码，对这些特殊的文件头进行匹配，如果能匹配上，就代表它是特殊文件，否则的话，就是普通文本文件，按照这个思路，也能实现libmagic库一样的效果。
在各种类型文件头标准编码这篇文章里，列举了一些常见的文件头编码。比如常见的jar包、rar、zip压缩文件，都是以504B0304开头，而Linux下的二进制文件，包括.o,.a,.so，以及coredump文件，都是属于ELF文件，文件头都是7F454C46。但是windows的可执行文件开头却是504B0304，AIX系统复杂些，但开头三个字节基本都是01DF00。因此，根据这些，就可以做很多区分了。
事实上，对于windows系统来说，根据后缀其实就能区分出来，而Unix系统的约定俗成的后缀规则也能区分出很多的文件，比如一个文件后缀为.rpm，你无论如何不会将其当成文本文件，看到.o就知道是二进制目标文件，.so是动态链接库。比较有歧义的可能只是一些可执行文件，比如ls、grep、a.out这些后缀不代表实际意义的文件。
因此，我们的思路也就明确了，分两个步骤，首先可以大致根据文件后缀区分出一些特别明显的二进制文件、压缩文件，然后针对文件的header做进一步的区分。

C语言代码实现

代码实现如下：

#include <stdio.h>
#include <stdlib.h>
#include <string.h>

typedef int boolean;
#define FALSE 0
#define TRUE  1

/*列举一些常见的文件头，可以自行扩展，比如放到某个配置文件中*/
static const char *with_suffix[] = {".gz", ".rar", ".exe", ".bz2",
                                ".tar", ".xz", ".Z", ".rpm", ".zip",
                                ".a",   ".so", ".o", ".jar", ".dll",
                                ".lib", ".deb", ".I", ".png",".jpg",
                                ".mp3", ".mp4", ".m4a", ".flv", ".mkv",
                                ".rmvb", ".avi",  ".pcap", ".pdf", ".docx",
                                ".xlsx", ".pptx", ".ram", ".mid", ".dwg",
                                NULL};

/*判断某个字符串是否拥有指定后缀*/
static boolean string_has_suffix(const char *str, const char *suffix) {
    int n, m, i = 0;
    char ch = '\0';
    if (str == NULL || suffix == NULL)
    {
        return FALSE;
    }
    n = strlen(str);
    m = strlen(suffix);
    if (n < m) {
        return FALSE;
    }
    for (i = m-1; i >= 0;  i--) {
        if (suffix[i] != str[n - m + i]) {
            return FALSE;
        }
    }
    return TRUE;
}

/*判断文件是否具有特殊后缀*/
static boolean file_has_spec_suffix(const char *fname) {
   const char **suffix = NULL;
   suffix = with_suffix;
   while (*suffix)
   {
      if (string_has_suffix(fname, *suffix))
      {
         return TRUE;
      }
      suffix++;
   }
   return FALSE;
}

/*判断文件是否具有特殊文件头*/
static boolean file_has_spec_header(const char *fname) {
    FILE *fp = NULL;
    size_t len = 0;
    char buf[16] = {0};
    int i = 0;
    boolean retval = FALSE;
    if ((fp = fopen(fname, "r")) == NULL ){
       return FALSE;
    }

    len = sizeof(buf) - 1;
    if (fgets(buf, len, fp) == NULL )  {
       return FALSE;
    }
    if (len < 4)
    {
       return FALSE;
    }
#if defined(__linux__)
    //ELF header
    if (memcmp(buf, "\x7F\x45\x4C\x46", 4) == 0) {
        return TRUE;
    }
#elif defined(_AIX)
    //executable binary
    if (memcmp(buf, "\x01\xDF\x00", 3) == 0) {
        return TRUE;
    }
#elif defined(WIN32)
    // standard exe file, actually, won't go into this case
    if (memcmp(buf, "\x4D\x5A\x90\x00", 4) == 0)
    {
        return TRUE;
    }
#endif
    if (memcmp(buf, "\x50\x4B\x03\x04", 4) == 0) {
        //maybe archive file, eg: jar zip rar sec.
        return TRUE;
    }

    return FALSE;
}


/*测试程序
* 从命令行输入一个文件，返回该文件的类型
*/
int main(int argc, const char **argv) {
   if (argc < 2) {
      printf("usgae: need target file\n");
      exit(-1);
   }
   const char *fname = argv[1];

   if (file_has_spec_suffix(fname)) {
      printf("file %s have special suffix, maybe it's a binary or archive file\n", fname);
   } else if (file_has_spec_header(fname)) {
      printf("file %s have special header, maybe it's a binary or archive file\n", fname);
   } else {
      printf("file %s should be a text file\n", fname);
   }
   return 0;
}

运行结果如下所示，可以对比file命令，做一个参考：

[root@ck08 ctest]# gcc -o magic magic.c 
[root@ck08 ctest]# ./magic ~/anaconda-ks.cfg
file /root/anaconda-ks.cfg should be a text file
[root@ck08 ctest]# ./magic ~/tls.pcap
file /root/tls.pcap have special suffix, maybe it's a binary or archive file
[root@ck08 ctest]# ./magic ~/zlib-1.2.11.tar.gz
file /root/zlib-1.2.11.tar.gz have special suffix, maybe it's a binary or archive file
[root@ck08 ctest]# ./magic /usr/bin/grep
file /usr/bin/grep have special header, maybe it's a binary or archive file
[root@ck08 ctest]# ./magic kafka_2.12-2.8.0.jar
file kafka_2.12-2.8.0.jar have special suffix, maybe it's a binary or archive file
[root@ck08 ctest]# ./magic kafka_2.12-2.8.0.jar.1
file kafka_2.12-2.8.0.jar.1 have special header, maybe it's a binary or archive file

判断文件为文本文件还是二进制文件（C语言实现）

文件的类型

万能的file命令

magic文件规则

特殊文件的header

C语言代码实现

参考文档

禹鼎侯

引用和评论

ClickHouse利用跳数索引加速模糊查询

Spring boot连接Minio实现文件的上传以及下载

聊聊C语言和ABAP

AI解读：http2协议头是如何用HPACK压缩的？

cpplint 新增自定义checker 实战

5种编程语言运行速度对比

C 语言新手入门：常见的 C 编译和运行指令