Добавление общего времени выполнения всех запросов на вывод

[valentina-kustikova]

@n-berezina-nn, @maslovaz, при подготовке статьи мы с @FenixFly поняли, что нам не хватает еще одного показателя производительности - общего времени выполнения всех запросов на вывод. Он имеет смысл с точки зрения сравнения производительности фреймворков, которые имеют возможности асинхронного исполнения. Таким образом, можно будет включать в сравнение и throughput-режим OpenVINO + матричные операции в MXNet выполняются асинхронно, поэтому для него тоже имеет смысл поддержку вывода без ожидания завершения операций прямого прохода. Как вы думаете?

@FenixFly