linux系统编程学习一——IO（文件描述符）

        当某个程序打开文件时，操作系统返回相应的文件描述符，程序为了处理该文件必须引用此描述符。所谓的文件描述符是一个低级的正整数。最前面的三个文件描述符（0，1，2）分别与标准输入（stdin），标准输出（stdout）和标准错误（stderr）对应。因此，函数 scanf() 使用 stdin，而函数 printf() 使用 stdout。你可以用不同的文件描述符改写默认的设置并重定向进程的 I/O 到不同的文件。

        因此若我们要访问文件，而且我们用的调用的函数又是write,read,open和close时，我们就必须用到文件描述符(一般文件从3开始)。当然若调用的函数是fwrite，fread，fopen和fclose时就可以绕开文件描述符，与他们对应的则是文件流。

注意：若用open打开或者是创建一个文件时，open函数此时会返回一个文件描述符，此时该文件描述符只能用于write或者是read，不能在某个函数里面同时用同一个文件描述符来供write和read调用，除非调用了close关闭了该文件描述符。

1、首先说什么是文件描述符，它有什么作用？
        文件描述符是一个简单的整数，用以标明每一个被进程所打开的文件和socket。第一个打开的文件是0，第二个是1，依此类推。Unix 操作系统通常给每个进程能打开的文件数量强加一个限制。更甚的是，unix 通常有一个系统级的限制。
因为squid 的工作方式，文件描述符的限制可能会极大的影响性能。当squid 用完所有的文件描述符后，它不能接收用户新的连接。也就是说，用完文件描述符导致拒绝服务。直到一部分当前请求完成，相应的文件和socket 被关闭，squid 不能接收新请求。当squid发现文件描述符短缺时，它会发布警告。
在运行./configure 之前，检查你的系统的文件描述符限制是否合适，能给你避免一些麻烦。大多数情况下，1024 个文件描述符足够了。非常忙的cache可能需要4096或更多。在配置文件描述符限制时，我推荐设置系统级限制的数量为每个进程限制的2 倍。
2、怎么突破，具体方法？
        先查看LINUX默认的文件描述符：
            # ulimit -n
            1024
        我们用命令
            ulimit -HSn 65536
        来增大文件描述符，然后编译安装squid，
        把ulimit -HSn 65536放到/etc/rc.d/rc.local让启动时加载。

 

 

                                                                                                                                                                                                                                      
        在Linux 上配置文件描述符有点复杂。在编译squid 之前，你必须编辑系统include 文件中的一个，然后执行一些shell 命令。请首先编辑/usr/include/bits/types.h 文件，改变__FD_SETSIZE 的值：
                #define _ _FD_SETSIZE 8192
        下一步，使用这个命令增加内核文件描述符的限制：
                # echo 8192 >; /proc/sys/fs/file-max
        最后，增加进程文件描述符的限制，在你即将编译squid 的同一个shell 里执行：
                sh# ulimit -Hn 8192
        该命令必须以root 运行，仅仅运行在bash shell。不必重启机器。
        使用这个技术，你必须在每一次系统启动后执行上述echo 和ulimit 命令，或者至少在squid 启动之前。假如你使用某个rc.d 脚本来启动squid，那是一个放置这些命令的好地方。
补充：
 
        文件描述符 是个很小的正整数，它是一个索引值，指向内核为每一个进程所维护的该进程打开文件的记录表。文件描述符的优点：兼容POSIX标准，许多Linux 和UNIX 系统调用都依赖于它。
        文件描述符的缺点：不能移植到UNIX以外的系统上去，也不直观。
        基于文件描述符的输入输出函数：
              open：打开一个文件，并指定访问该文件的方式，调用成功后返回一个文件描述符。
              creat：打开一个文件，如果该文件不存在，则创建它，调用成功后返回一个文件描述符。
              close：关闭文件，进程对文件所加的锁全都被释放。
              read：从文件描述符对应的文件中读取数据，调用成功后返回读出的字节数。
              write：向文件描述符对应的文件中写入数据，调用成功后返回写入的字节数。
              ftruncate：把文件描述符对应的文件缩短到指定的长度，调用成功后返回0。
              lseek：在文件描述符对应的文件里把文件指针设定到指定的位置，调用成功后返回新指针的位置。
              fsync:将所有已写入文件中的数据真正写到磁盘或其他下层设备上，调用成功后返回0。
              fstat：返回文件描述符对应的文件的相关信息，把结果保存在struct stat中，调用成功后返回0。
              fchown：改变与打开文件相关联的所有者和所有组，调用成功后返回0。
              fchmod：把文件描述符对应的文件的权限位改为指定的八进制模式，调用成功后返回0。
              flock：用于向文件描述符对应的文件施加建议性锁，调用成功后返回0。
              fcntl：既能施加建议性锁也能施加强制性锁，能建立记录锁、读取锁和写入锁，调用成功后返回0。
              dup：复制文件描述符，返回没使用的文件描述符中最小的编号。
              dup2：由用户指定返回的文件描述符的值，用来重新打开或重定向一个文件描述符。
              select：同时从多个文件描述符读取数据或向多个文件描述符写入数据。

        3.底层函数简单说明

                1）write

                        #include <unistd.h>

                        size_t write(int fildes,const void *buf,size_t nbytes);

                        参数说明：

                        fildes：与文件相对应的文件描述符，可通过调用open函数获取

                        buf：存放将写入文件的数据，可以是字符串，也可是其他数据。其中buf是指向字符串的指针

                        nbytes：需写进文件的字节数

                        返回值：

                            -1：写入失败

                              0：写入0个字节

                              x：已写入x个字节

                2)read

                        #include <unistd.h>

                        size_t read(int fildes,char *buf,size_t nbytes);

                        参数说明：

                        fildes：文件描述符

                        buf：存放从文件中读取的数据

                        nbytes：希望读取的直接数

                        返回值：

                                -1：读取失败

                                 0：读取0个字节

                                 x：已读取x个字节

              3）open

                      #include <fcntl.h>

                     #include <sys/types.h>

                     #include <sys/stat.h>

                     int open(const char *path,int oflags);

                     int open(const char *path,int oflags,mode_t mode);

                    参数说明：

                     path：文件存放路径，比如文件ksj.c位于/home/ksj,则path="/home/ksj/ksj.c";

                     oflags：打开方式。取值如下：

                     O_RDONLY：以只读方式打开，O_WRONLY：以只写方式打开，O_RDWR：以读写方式打开

                     oflages参数中还包括下列可选模式的组合（用按位或操作）

                    O_APPEND：把写入数据追加在文件的末尾

                    O_TRUNC：把文件长度设为0，丢弃已有的内容

                    O_CREAT：如果需要，就按参数mode中给出的访问模式创建文件

                    O_EXCL：已O_CREAT一起使用，确保调用者创建出文件

                     mode：当用open创建文件时，可包含该参数，像系统说明该文件的归属及权限。该部分内容太多了，不想写了，详细资料大家自己上网查把，或者查看《Linux程序设计》第84页。呵呵

        4）close
                    #include <unistd.h>

                    int close(int fildes);

            参数：

                    fildes：文件描述符

            返回：

                    success：0

                    fail：-1

4.几个函数之间的简单区别

      1）write和fwrite

            A：write用的是文件描述符，fwrite用的是文件流

            B：write是将数据写入文件，而fwrite是将数据写进文件流

      2）read和fread

            A：read用的是文件描述符，fread用的是文件流

            B：read是从文件中读取数据，而fread是从文件流中读取数据

       3）fgetc和getchar

            #include <stdio.h>

            int fgetc(FILE *stream);

            int getc(FILE *stream);

            int getchar();

            int fputc(int c FILE *stream);

            int putc(int c,FILE *stream);

            int putchar(int c);

区别：fgetc是从文件流中读取下一个字符

          getchar则是从标准输入中读取下一个字符，标准输入可以是我们的终端

          fputc与putchar的区别与上面类似；