python常用功能总结

Posted on 2017-09-06(星期三) 10:09 in Data

目录:

一、文件操作


  • 1.os.path模块

    • 1.os.path.abspath(path)

    返回path规范化的绝对路径。

    >>> os.path.abspath('test.csv') 
    'C:\\Python25\\test.csv'     
    >>> os.path.abspath('c:\\test.csv') 
    'c:\\test.csv'   
    >>> os.path.abspath('../csv\\test.csv') 
    'C:\\csv\\test.csv'
    
    • 2.os.path.split(path)

    将path分割成目录和文件名二元组返回。

    >>> os.path.split('c:\\csv\\test.csv') 
    ('c:\\csv', 'test.csv') 
    >>> os.path.split('c:\\csv\\') 
    ('c:\\csv', '')
    
    • 3.os.path.dirname(path)

    返回path的目录。其实就是os.path.split(path)的第一个元素。

    >>> os.path.dirname('c:\\csv\test.csv') 
    'c:\\' 
    >>> os.path.dirname('c:\\csv') 
    'c:\\'
    
    • 4.os.path.basename(path)

    返回path最后的文件名。如何path以/或\结尾,那么就会返回空值。即os.path.split(path)的第二个元素。

    >>> os.path.basename('c:\\test.csv') 
    'test.csv' 
    >>> os.path.basename('c:\\csv') 
    'csv' (这里csv被当作文件名处理了) 
    >>> os.path.basename('c:\\csv\\') 
    ''
    
    • 5.os.path.commonprefix(list)

    返回list中,所有path共有的最长的路径。

    如: >>> os.path.commonprefix(['/home/td','/home/td/ff','/home/td/fff']) '/home/td'

    • 6.os.path.exists(path)

    如果path存在,返回True;如果path不存在,返回False。

    >>> os.path.exists('c:\\') 
    True 
    >>> os.path.exists('c:\\csv\\test.csv') 
    False
    
    • 7.os.path.isabs(path)

    如果path是绝对路径,返回True。

    • 8.os.path.isfile(path)

    如果path是一个存在的文件,返回True。否则返回False。

    >>> os.path.isfile('c:\\boot.ini') 
    True 
    >>> os.path.isfile('c:\\csv\\test.csv') 
    False 
    >>> os.path.isfile('c:\\csv\\') 
    False
    
    • 9.os.path.isdir(path)

    如果path是一个存在的目录,则返回True。否则返回False。

    >>> os.path.isdir('c:\\') 
    True 
    >>> os.path.isdir('c:\\csv\\') 
    False 
    >>> os.path.isdir('c:\\windows\\test.csv') 
    False
    
    • 10.os.path.join(path1[, path2[, ...]])

    将多个路径组合后返回,第一个绝对路径之前的参数将被忽略。

    >>> os.path.join('c:\\', 'csv', 'test.csv') 
    'c:\\csv\\test.csv' 
    >>> os.path.join('windows\temp', 'c:\\', 'csv', 'test.csv') 
    'c:\\csv\\test.csv' 
    >>> os.path.join('/home/aa','/home/aa/bb','/home/aa/bb/c') 
    '/home/aa/bb/c'
    
    • 11.os.path.normcase(path)

    在Linux和Mac平台上,该函数会原样返回path,在windows平台上会将路径中所有字符转换为小写,并将所有斜杠转换为饭斜杠。

    >>> os.path.normcase('c:/windows\\system32\\') 
    'c:\\windows\\system32\\'
    
    • 12.os.path.normpath(path)

    规范化路径。

    >>> os.path.normpath('c://windows\\System32\\../Temp/') 
    'c:\\windows\\Temp'
    
    • 13.os.path.splitdrive(path)

    返回(drivername,fpath)元组

    >>> os.path.splitdrive('c:\\windows') 
    ('c:', '\\windows')
    
    • 14.os.path.splitext(path)

    分离文件名与扩展名;默认返回(fname,fextension)元组,可做分片操作

    >>> os.path.splitext('c:\\csv\\test.csv') 
    ('c:\\csv\\test', '.csv')
    
    • 15.os.path.getsize(path)

    返回path的文件的大小(字节)。

    >>> os.path.getsize('c:\\boot.ini') 
    299L
    
    • 16.os.path.getatime(path)

    返回path所指向的文件或者目录的最后存取时间。

    • 17.os.path.getmtime(path)

    返回path所指向的文件或者目录的最后修改时间


  • 2.Python获取指定文件夹下的文件名

    采用os.walk()和os.listdir()两种方法,获取指定文件夹下的文件名。

    • 一、os.walk()

    模块os中的walk()函数可以遍历文件夹下所有的文件。

    os.walk(top, topdown=Ture, onerror=None, followlinks=False)
    

    该函数可以得到一个三元tupple(dirpath, dirnames, filenames).

    参数含义: - dirpath:string,代表目录的路径; - dirnames:list,包含了当前dirpath路径下所有的子目录名字(不包含目录路径); - filenames:list,包含了当前dirpath路径下所有的非目录子文件的名字(不包含目录路径)。

    注意,dirnames和filenames均不包含路径信息,如需完整路径,可使用os.path.join(dirpath, dirnames)

    下面给出代码;

    import os
    
    def file_name(file_dir): 
        for root, dirs, files in os.walk(file_dir):
            print(root) #当前目录路径
            print(dirs) #当前路径下所有子目录
            print(files) #当前路径下所有非目录子文件
    

    当需要特定类型的文件时,代码如下:

    import os
    
    def file_name(file_dir): 
        L=[] 
        for root, dirs, files in os.walk(file_dir):
            for file in files:
                if os.path.splitext(file)[1] == '.jpeg':
                    L.append(os.path.join(root, file))
        return L
    

    其中os.path.splitext()函数将路径拆分为文件名+扩展名,例如os.path.splitext(“E:/lena.jpg”)将得到”E:/lena“+".jpg"。

    • 二、os.listdir()

    os.listdir()函数得到的是仅当前路径下的文件名,不包括子目录中的文件,所有需要使用递归的方法得到全部文件名。

    直接给出代码,函数将返回类型为‘.jpeg’个文件名:

    import os
    
    def listdir(path, list_name):
        for file in os.listdir(path):
            file_path = os.path.join(path, file)
            if os.path.isdir(file_path):
                listdir(file_path, list_name)
            elif os.path.splitext(file_path)[1]=='.jpeg':
                list_name.append(file_path)
    

二、时间操作

  • python时间戳、时间数组、时间字符串相互转化

    • 1.将字符串的时间转换为时间戳

      方法:将其转换为时间数组,再转换为时间戳。例: a = "2013-10-10 23:40:00"

      import time
      timeArray = time.strptime(a, "%Y-%m-%d %H:%M:%S")
      timeStamp = int(time.mktime(timeArray))
      timeStamp == 1381419600
      
    • 2.字符串格式更改

      方法:先转换为时间数组,然后转换为其他格式。例: a = "2013-10-10 23:40:00", 改为 a = "2013/10/10 23:40:00"

      timeArray = time.strptime(a, "%Y-%m-%d %H:%M:%S")
      otherStyleTime = time.strftime("%Y/%m/%d %H:%M:%S", timeArray)
      
    • 3.时间戳转换为指定格式日期:

      方法一: 利用localtime()转换为时间数组,然后格式化为需要的格式,如

      timeStamp = 1381419600
      timeArray = time.localtime(timeStamp)
      otherStyleTime = time.strftime("%Y-%m-%d %H:%M:%S", timeArray)
      otherStyletime == "2013-10-10 23:40:00"
      

      方法二:

      import datetime
      timeStamp = 1381419600
      dateArray = datetime.datetime.utcfromtimestamp(timeStamp)
      otherStyleTime = dateArray.strftime("%Y-%m-%d %H:%M:%S")
      otherStyletime == "2013-10-10 23:40:00"
      
    • 4.获取当前时间并转换为指定日期格式

      方法一:

      import time
      now = int(time.time())  #这是时间戳
      timeArray = time.localtime(timeStamp)
      otherStyleTime = time.strftime("%Y-%m-%d %H:%M:%S", timeArray)
      

      方法二:

      import datetime
      now = datetime.datetime.now()  #这是时间数组格式
      otherStyleTime = now.strftime("%Y-%m-%d %H:%M:%S")
      
    • 5.获得三天前的时间

      import time
      import datetime
      threeDayAgo = (datetime.datetime.now() - datetime.timedelta(days = 3))
      #转换为时间戳:
      timeStamp = int(time.mktime(threeDayAgo.timetuple()))
      #转换为其他字符串格式:
      otherStyleTime = threeDayAgo.strftime("%Y-%m-%d %H:%M:%S")
      

      注:timedelta()的参数有:days,hours,seconds,microseconds

    • 6.给定时间戳,计算该时间的几天前时间:

      import datetime
      import time
      
      timeStamp = 1381419600
      #先转换为datetime
      dateArray = datetime.datetime.utcfromtimestamp(timeStamp)
      threeDayAgo = dateArray - datetime.timedelta(days = 3)
      

      参考5,可以转换为其他的任意格式了

九、其他

  • 1.python执行shell命令

    • 1 os.system

      可以返回运行shell命令状态,同时会在终端输出运行结果

      例如 ipython中运行如下命令,返回运行状态status

      os.system('cat /etc/passwdqc.conf')
      min=disabled,24,11,8,7
      max=40
      passphrase=3
      match=4
      similar=deny
      random=47
      enforce=everyone
      retry=3
      Out[6]: 0
      
    • 2 os.popen()

      可以返回运行结果

      popen(command [, mode='r' [, bufsize]]) -> pipe
      Open a pipe to/from a command returning a file object.
      

      运行返回结果

      In [20]: output = os.popen('cat /proc/cpuinfo')
      
      In [21]: lineLen = []
      
      In [22]: for line in output.readlines():
          lineLen.append(len(line))
         ....:
      
      In [23]: line
      line     lineLen
      
      In [23]: lineLen
      Out[23]: 
      [14,
       25,
      ...
      
    • 3 如何同时返回结果和运行状态,commands模块:

      #String form: File: /usr/lib64/python2.7/commands.py Docstring: Execute shell commands via os.popen() and return status, output.

      Interface summary:

      import commands
      
      outtext = commands.getoutput(cmd)
      (exitstatus, outtext) = commands.getstatusoutput(cmd)
      outtext = commands.getstatus(file) # returns output of "ls -ld file"
      
      A trailing newline is removed from the output string.
      
      Encapsulates the basic operation:
      
      pipe = os.popen('{ ' + cmd + '; } 2>&1', 'r')
      text = pipe.read()
      sts = pipe.close()
      

      commands示例如下:

      In [24]: (status, output) = commands.getstatusoutput('cat /proc/cpuinfo')
      
      In [25]: status
      Out[25]: 0
      
      In [26]: len(output)
      Out[26]: 3859
      
    • 4 使用模块subprocess

      通常项目中经常使用方法为subporcess.Popen, 我们可以在Popen()建立子进程的时候改变标准输入、标准输出和标准错误,并可以利用subprocess.PIPE将多个子进程的输入和输出连接在一起,构成管道(pipe):

      import subprocess
      child1 = subprocess.Popen(["ls","-l"], stdout=subprocess.PIPE)
      child2 = subprocess.Popen(["wc"], stdin=child1.stdout,stdout=subprocess.PIPE)
      out = child2.communicate()
      print(out)
      

      在例如使用lsblk查看swap分区的uuid:

      import subprocess
      
      child = subprocess.Popen(["lsblk", "-f"], stdout=subprocess.PIPE)
      out = child.stdout.readlines()
      
      swap_uuid = None
      for item in out:
          line = item.strip().split()
          if len(line) == 4:
              if(line[1] == 'swap'):
                  swap_uuid = line[2]
      print(swap_uuid)
      

      ipython 中运行"?subprocess"可以发现subprocess是python用来替换os.popen()等管道操作命令的新模块。

      A more real-world example would look like this:

      try:
          retcode = call("mycmd" + " myarg", shell=True)
          if retcode < 0:
              print >>sys.stderr, "Child was terminated by signal", -retcode
          else:
              print >>sys.stderr, "Child returned", retcode
      except OSError, e:
          print >>sys.stderr, "Execution failed:", e
      

      相对于上面几种方式,subprocess便于控制和监控进程运行结果,subprocess提供多种函数便于应对父进程对子进程不同要求:

      • 4.1.1 subprocess.call()

      父进程父进程等待子进程完成,返回exit code

      • 4.1.2 subprocess.check_call()

        父进程等待子进程完成,返回0,如果returncode不为0,则举出错误subprocess.CalledProcessError,该对象包含有returncode属性,可用try...except...来检查

      • 4.1.3 subprocess.check_output()

      父进程等待子进程完成

      返回子进程向标准输出的输出结果

      检查退出信息,如果returncode不为0,则举出错误subprocess.CalledProcessError,该对象包含有returncode属性和output属性,output属性为标准输出的输出结果,可用try...except...来检查

      例如:

      In [32]: out = subprocess.call("ls -l", shell=True)
      total 42244
      -rw-rw-r--.  1 *** ***     366 May 26 09:10 ChangeLog
      
      • 4.2.1

      上面三个函数都是源于Popen()函数的wapper(封装),如果需要更加个性化应用,那么就需要使用popen()函数

      Popen对象创建后,主程序不会自动等待子进程完成。我们必须调用对象的wait()方法,父进程才会等待 (也就是阻塞block)

      [[email protected] syntax]$ rm subprocess.pyc 
      [[email protected] syntax]$ python process.py 
      parent process
      [[email protected] syntax]$ PING www.google.com (173.194.219.99) 56(84) bytes of data.
      ^C
      [[email protected] syntax]$ 
      --- www.google.com ping statistics ---
      5 packets transmitted, 0 received, 100% packet loss, time 3999ms
      

      加上wait方法:

      [[email protected] syntax]$ python process.py 
      PING www.google.com (173.194.219.103) 56(84) bytes of data.
      
      --- www.google.com ping statistics ---
      5 packets transmitted, 0 received, 100% packet loss, time 3999ms
      
      parent process