工作出现较大调整,更新速度将放缓

第二章 Python脚本调试和性能测试

Python Alan 4个月前 (02-17) 1341次浏览 0个评论

精通Python自动化脚本-运维人员宝典完整目录:

第一章 Python脚本概述
第二章 Python脚本调试和性能测试
第三章 单元测试-单元测试框架的介绍
第四章 自动化常规运维活动
第五章 文件、目录和数据处理
第六章 文件存档、加密和解密
第七章 文本处理和正则表达式
第八章 文档和报告
第九章 操作各类文件
第十章 网络基础 – Socket编程
第十一章 使用Python脚本处理邮件
第十二章 使用Telnet和SSH远程监控主机
第十三章 创建图形化用户界面
第十四章 处理Apache和其它的日志文件
第十五章 SOAP和REST API通讯
第十六章 网络抓取 – 从网站上提取有用的信息
第十七章 数据收集及报表
第十八章 MySQL和SQLite数据库管理

什么是调试?

调试(debugging)是一个解决代码中错误或导致软件不能正常运行的问题的过程。Python中的调试非常容易。Python调试器设置条件断点并对源码逐行调试。我们将使用Python标准库中的 pdb 模块来对我们的Python脚本进行调试。

Python 的调试技术

为更好的调试Python程序,可以使用不同的技术。我们就来看看Python调试的四种技术:

  • print()语句:这是了解具体发生情况的最简单的方式,这样我们可以检查执行的内容
  • logging:这类似于print语句但带更多的上下文信息,因此我们可以更全面的了解情况
  • pdb调试器:这是最常使用的调试技术。使用 pdb 的优势是能够在命令行、解释器以及程序中使用 pdb
  • IDE调试器:IDE有内置的调试器。这让开发者可以执行自己的代码,然后开发者可以在程序执行过程中检查代码

错误处理(异常处理)

在这一部分中我们将学习Python如何处理异常。但首先什么是异常呢?异常是在程序执行过程中发生的错误。每当错误发生时,Python会生成一个异常,使用try…except代码块来进行处理。有时异常程序无法处理,因此会导致报错信息。下面我们就来看一些异常的示例:

在你的终端中,启动python3交互控制台,我们一起来看一些异常示例:

这就是异常的一些示例。下面我们来看如何处理这些异常。

每当Python程序中发生错误时,就会抛出异常。我们也可使用raise关键字来强制抛出异常。

下来我们来看一个处理异常的try…except代码块。在try代码块中,我们将编写可能生成异常的代码。在except代码块中,我们将编写异常的处理方式。try…except的语法如下:

一个try代码块可带有多个except语句。我们可通过在except关键字之后输入异常的名称来处理指定的异常。处理指定异常的语法如下:

下面我们创建一个exception_example.py脚本来捕获ZeroDivisionError。在脚本中编写如下代码:

像下面这样运行脚本,将会得到如下结果:

调试器工具

Python中支持很多种调试工具:

  • winpdb
  • pydev
  • pydb
  • pdb
  • gdb
  • pyDebug

这一部分中,我们将学习pdb Python调试器。pdb是Python标准库的一部分并一直可以直接使用。

pdb调试器

pdbs模块用于调试Python程序。Python程序使用pdb交互源代码调试器来调试程序。pdb设置断点交检查栈帧,列出源代码。

下面我们将学习如何使用pdb调试器。使用这一调试器有三种方式:

  • 在解释器之中
  • 通过命令行
  • 在Python脚本中

我们将创建一个pdb_example.py脚本并在该脚本中添加如下内容:

使用这一脚本作为学习Python调试的示例,我们将了解如何启动调试器的细节。

解释器内调试

要从Python交互控制台中启动调试器,我们使用run()或runeval()。

启动python3交互控制台。运行如下命令来启动控制台:

导入我们的pdb_example脚本名和pdb模块。下面我们将使用run(),并且我们会传入一个字符串表达式来作为run()的参数,由Python解释器自身进行运行:

要继续调试,在(Pdb)提示符之后输入continue并按下Enter。我果想要了解这里可以使用的选项,在(Pdb)提示符之后按下两次Tab键。

在输入continue之后,我们将得到如下的输出:

命令行调试

运行调试器最简单也最直接的方式是通过命令行。我们的程序将作为调试器的输入。我们可以这样在命令行中使用调试器:

在从命令行运行调试器时,源代码会被载入并在调试器找到的第一行停止执行。输入continue来继续调试。输出如下:

Python脚本内调试

以上两种技术会在Python程序开始时启动调试器。但第三种方法对于长期处理来说最佳。要在脚本中启动调试器,使用set_trace()。

现在修改pdb_example.py文件如下:

现在运行程序如下:

set_trace()是一个Python函数,因此可以在程序的任意处调用它。所以我们有三种方式来启动调试器。

基本程序崩溃调试

在这一部分中,我们来看看trace模块。trace模块有助于追踪程序的执行。因此不论何时程序崩溃,我们都能了解在哪里出现的崩溃。我们可以在脚本中导入也可以通过命令行来使用trace模块。

现在我们将创建一个名为trace_example.py的脚本并在该脚本中编写如下代码:

输出如下:

因此通过在命令行中使用trace –trace,开发人员可以对程序逐行追踪。这样在程序崩溃时,开发人员就会知道发生崩溃的实例。

程序性能和时耗分析

对Python程序进行性能分析(profiling)表示度量程序的执行时间。它计量每个函数所花的时间。Python的cProfile模块用于对Python程序进行性能分析。

cProfile模块

正如前文所讲到的,性能分析表示度量程序的执行时间。我们就来使用cProfile Python模块对程序进行性能分析。

现在来编写一个cprof_example.py脚本并加入如下代码:

运行程序,将会看到如下的输出:

因此,使用cProfile,所有调用的函数都被打印,并包含各个函数所消耗的时间。下面我们来看看这些列头的含义:

  • ncalls: 调用次数
  • tottime: 给定函数花费的总时间
  • percall: tottime除心ncalls所得的商
  • cumtime: 当前以及其子函数所花费的累计时间
  • percall: cumtime除以原始调用所得的商
  • filename:lineno(function): 提供函数各自的数据

timeit

timeit是一个Python模块,用于对Python脚本的各部分进行计时。我们可以在命令行中调用timeit,也可以在脚本中导入timeit模块。下面我们来编写一个脚本来对代码片断进行计时。创建一个timeit_example.py脚本并编写如下内容:

运行结果:

使用timeit,,我们可以决定要对哪段代码进行性能的度量。因此,我们可以轻易地定义setup代码来作为我们想单独执行测试的代码片断。主代码默认运行100万次,但setup代码仅运行一次。

加速程序运行

有很多方式来让Python程序运行得更快,比如:

  • 对认定为瓶颈的代码进行性能分析
  • 使用内置函数和库,这样解释器不用执行不同循环
  • 避免使用全局变量,因为Python在访问全局变量时速度很慢
  • 使用已有的包

总结

在本章中,我们学习了调试程序和性能分析的重要性。还学习用于调试的不同技术。我们学习了pdb Python调试器以及如何处理异常。还学习了如何使用Python中的cProfile和timeit模块来对脚本进行性能和时耗分析。最后我们学习了如何加速脚本的运行。

下一章中,我们将学习Python中的单元测试。我们会学习如何创建和使用单元测试。

☞☞☞ 第三章-单元测试-单元测试框架的介绍

课后问题

  1. 要调用程序,使用哪个模块?
  2. 查看如何在ipython中使用所有的别名函数和魔法函数。
  3. 什么是全局解释器锁(Global interpreted lock (GIL))?
  4. PYTHONSTARTUP, PYTHONCASEOK, PYTHONHOME和PYTHONSTARTUP环境变量的目的是什么?
  5. 以下代码的输出是什么?a) [0], b) [1], c) [1, 0], d) [0, 1]
  6. 以下哪个是无效变量?
    a) my_string_1
    b) 1st_string
    c) foo
    d) _

扩展阅读

  • 如何处理 Python 中的GIL问题:https://realpython.com/python-gil/
  • 查看如何在命令行中使用pdb模块:https://fedoramagazine.org/getting-started-python-debugger/
喜欢 (1)
[]
分享 (0)
发表我的评论
取消评论

表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址