Тестирование

много теории без питона тут

Модульное тестирование в Python

Doctest

doctest: тест = диалог с python-интерпретатором

  1. Модуль 
       1 def moo(oos=2, end=""):
   2     '''Издать мычание длиной oos с end в конце'''
   3     return "M"+"o"*oos+end
  2. Тестируем вручную: 
       1 $ python3 -i Moo.py
   2 >>> moo()
   3 'Moo'
   4 >>> moo(4)
   5 'Moooo'
   6 >>> moo(0)
   7 'M'
   8 >>> moo(end='!')
   9 'Moo!'
  10 >>> moo(0,'?')
  11 'M?'
  12
  3. Добавляем тесты в docstring: 
    def moo(oos=2, end=""):
    '''Издать мычание длиной oos с end в конце
    Оба параметра необязательны:
>>> moo()
'Moo'

    Первый задаёт количество букв 'o' в слове 'Moo'
>>> moo(4)
'Mooooo'

    Букв 'o' может и не быть
>>> moo(0)
'M'

    Второй задаёт символ после всех 'o'
    (по умолчанию — ничего)
>>> moo(end='!')
'Moo!'
>>> moo(0,'?')
'M?'

    '''
    return "M"+"o"*oos+end
  4. Тестирование: 
       1 $ python3 -m doctest Moo.py
   2 **********************************************************************
   3 File "/home/george/src/moo/Moo.py", line 13, in Moo.moo
   4 Failed example:
   5     moo(4)
   6 Expected:
   7     'Mooooo'
   8 Got:
   9     'Moooo'
  10 **********************************************************************
  11 1 items had failures:
  12    1 of   5 in Moo.moo
  13 ***Test Failed*** 1 failures.
  14
  5. Отчёт (с успешными тестами): 
       1 $ python3 -m doctest -v Moo.py
   2 Trying:
   3     moo()
   4 Expecting:
   5     'Moo'
   6 ok
   7 Trying:
   8     moo(4)
   9 Expecting:
  10     'Mooooo'
  11 **********************************************************************
  12 File "/home/george/src/moo/Moo.py", line 13, in Moo.moo
  13 Failed example:
  14     moo(4)
  15 Expected:
  16     'Mooooo'
  17 Got:
  18     'Moooo'
  19 Trying:
  20     moo(0)
  21 Expecting:
  22     'M'
  23 ok
  24 Trying:
  25     moo(end='!')
  26 Expecting:
  27     'Moo!'
  28 ok
  29 Trying:
  30     moo(0,'?')
  31 Expecting:
  32     'M?'
  33 ok
  34 1 items had no tests:
  35     Moo
  36 **********************************************************************
  37 1 items had failures:
  38    1 of   5 in Moo.moo
  39 5 tests in 2 items.
  40 4 passed and 1 failed.
  41 ***Test Failed*** 1 failures.
  42

Тестирование исключений: 

   1 $ python -im Moo
   2 >>> moo("QQ")
   3 Traceback (most recent call last):
   4   File "<stdin>", line 1, in <module>
   5   File "/home/george/src/tests/Moo.py", line 33, in moo
   6     return "M"+"o"*moos+end
   7 TypeError: can't multiply sequence by non-int of type 'str'
   8 >>>
   9

Как обычно, добавим просто весь вывод! 

   1 def moo(oos=2, end=""):
   2     '''Издать мычание длиной oos с end в конце
   3 ...
   4 
   5 Здесь должно быть исключение:
   6 >>> moo("QQ")
   7 Traceback (most recent call last):
   8   File "<stdin>", line 1, in <module>
   9   File "/home/george/src/tests/Moo.py", line 33, in moo
  10     return "M"+"o"*moos+end
  11 TypeError: can't multiply sequence by non-int of type 'str'
  12 '''

Вообще говоря, важны только три строчки, остальные можно выкинуть 

...
Здесь должно быть исключение:
>>> moo("QQ")
Traceback (most recent call last):
TypeError: can't multiply sequence by non-int of type 'str'
...

Тесты должны пройти!

Перенос тестов во внешний файл

Пишем файл ( <!> можно в .rst, для Sphinx), например, exttest.rst: 

   1 External test
   2 =============
   3 
   4 Using Moo
   5 ---------
   6 
   7 Start from importing `Moo` module:
   8 
   9         >>> import Moo
  10 
  11 Then call `moo`:
  12         >>> Moo.moo(5)
  13         'Mooooo'

К нему запускалку тестов: 

   1 import doctest
   2 doctest.testfile("exttest.rst")

И запускаем её (ключи как у модуля pytest): 

$ python3 exttest.py -v
Trying:
    import Moo
Expecting nothing
ok
Trying:
    Moo.moo(5)
Expecting:
    'Mooooo'
ok
1 items passed all tests:
   2 tests in exttest.rst
2 tests in 1 items.
2 passed and 0 failed.
Test passed.

«Серьёзные» фреймворки

Fixture
Подготовка компонента к тесту: не все функции можно оттестировать сходу, иногда надо

  1. сначала что-то создать, открыть, запустить, … (set-up)

  2. провести тест

  3. удалить, закрыть, остановить, … это что-то (tear-down) Такое одно что-то называет fixture

Case

Что именно тестируем. Подготавливаем окружение (fixtur-ы), что-то дёргаем, смотрим, подходит ли результат

Suite
Набор cases (на разные темы, разных больших частей, разных уровней и т. п.)
Runner
Запускалка тестов, обработчик отчётов и т. п.

unittest

pytest

Ещё тестеры:

Пример: pudb

PuDB — отладчик для питона

Соберём под него окружение: 

   1 [george@inspiron src]$ python3 -m venv init demo-pudb
   2 [george@inspiron src]$ cd demo-pudb
   3 [george@inspiron demo-pudb]$ . ./bin/activate
   4 (demo-pudb) [george@inspiron demo-pudb]$ git clone https://github.com/inducer/pudb.git
   5 Cloning into 'pudb'...
   6 cd pudb
   7 (demo-pudb) [george@inspiron pudb]$  ls
   8 debug_me.py             example-theme.py  pudb                  setup.py
   9 doc                     LICENSE           README.rst            test
  10 example-shell.py        MANIFEST.in       requirements.dev.txt  try-the-debugger.sh
  11 example-stringifier.py  manual-tests      setup.cfg             upload_coverage.sh
  12 (demo-pudb) [george@inspiron pudb]$
  13

Cоберём модуль: 

   1 (demo-pudb) [george@inspiron pudb]$ pip install -r requirements.dev.txt 
   2 Collecting codecov==2.0.5 (from -r requirements.dev.txt (line 1))
   3 . . .
   4 Successfully installed Pygments-2.2.0 argparse-1.4.0 . . .
   5 (demo-pudb) [george@inspiron pudb]$ python setup.py build
   6 running build
   7 . . .
   8 copying pudb/ui_tools.py -> build/lib/pudb
   9 (demo-pudb) [george@inspiron pudb]$
  10 


   1 (demo-pudb) [george@inspiron pudb]$ export PYTHONPATH=`pwd`/build/lib
   2 (demo-pudb) [george@inspiron pudb]$ pytest                             
   3 ========================= test session starts =========================
   4 platform linux -- Python 3.8.2, pytest-3.0.7, py-1.4.33, pluggy-0.4.0
   5 rootdir: /home/george/src/demo-pudb/pudb, inifile:
   6 plugins: mock-1.10.0, cov-2.4.0
   7 collected 16 items 
   8 
   9 test/test_lowlevel.py ....
  10 test/test_make_canvas.py .....
  11 test/test_settings.py ..
  12 test/test_source_code_providers.py ....
  13 test/test_var_view.py .
  14 
  15 ====================== 16 passed in 0.22 seconds ======================
  16

В этом проекте используется два дополнения к pytest:

Д/З

LecturesCMC/PythonDevelopment2020/09_Testing (последним исправлял пользователь FrBrGeorge 2020-04-21 21:44:03)