суббота, 31 октября 2009 г.

Вопросы кастомеров о тестировании производительности ПО. Часть 2.

Как я уже писал раньше,(Часть 1) все потенциальные вопросы кастомеров о тестировании производительности можно разделить на три категории: а) о кадрах и процессах - люди и их опыт в построении процесса тестирования, наличие сертификатов, пройденные тренинги и.т.д. б) инструменты тестирования производительности - опыт работы, наличие лицензий и.т.д. в) тестовая лаборатория и все, что относится к железу и конфигурации среды тестирования.

В первой части были рассмотрены вопросы из категории "о кадрах и процессах". В этом посте я рассмотрю вопросы из категории "инструменты тестирования производительности"(я не претендую на исчерпывающий список, выделю только наиболее популярные вопросы).

Основной целью при обсуждении инструмента для тестирования производительности ПО, для нас аутсорсеров, в конечном итоге есть выбор нашим партнером инструмента с которым наши инженеры работают чаще всего т.е. имеют наибольший опыт и экспертизу. При чем сделать это нужно таким образом, чтобы выглядело это так будто партнер сам принял окончательное решение об выборе этого инструмента.

Вопрос: Какой инструмент, по вашему мнению, наиболее предпочтителен для тестирования нашего приложения?
Отвечаем: ответ зависит от того на каком этапе разработки находится приложение и на каком этапе вы находитесь с выбором инструмента для тестирования производительности. Общий совет - не давайте точного утвердительного ответа по определенному инструменту в самом начале процесса выбора инструмента. Даже если вы уверены, что нужно использовать, например, HP LoadRunner это не повод, чтобы не рассмотреть пригодность использования других инструментов - того же Jmeter или NeoLoad. Зачем это нужно?. Во-первых, у вас есть оплаченное партнером время ознакомиться с другими инструментами в целях "ресерчинга", а это опыт, который вам может пригодиться в будущем. Во-вторых, ваша аргументация по выбору определенного инструмента будет намного убедительней, если вы приведете сравнительную характеристику нескольких инструментов, чем простое утверждение, что партнеру нужен HP LoadRunner. И не забывайте о том, что выбирать нужно тот инструмент в котором у вас наибольшая экспертиза, конечно же, так получается не всегда.

Вопрос: Наши специалисты говорят, что инструмент X подходит для тестирования нашего приложения и мы хотели бы его использовать. Какое ваше мнение, есть ли опыт работы у ваших инженеров с продуктом X?
Отвечаем: Если есть опыт работы с инструментом X говорим об этом партнеру но без "одобрямса", что вы готовы его использовать с завтрашнего дня. Убеждаем партнера провести дополнительный "ресерчинг" по другим инструментам. Если опыта использования данного продукта нет, нужно сказать об это кастомеру и постараться предложить альтернативу. Если партнер настаивает на использовании именно продукта X, значит нужно будет искать специалиста(ов) на рынке труда.

Вопрос: Есть ли у вас лицензии по инструменту X, какие лицензии в целом есть у вашей компании?
Отвечаем: обычно у аутсорсеров лицензий нету, и нужно грамотно донести эту информацию вашему партнеру. Основными причинами почему аутсорсеры не покупают лицензий являются: а) ограничения со стороны вендора на предоставления услуг третим лицам(вы не имеете права проводить тестирование для третьих лиц используя "обычные" лицензии) б) большая стоимость лицензий, в) неясные показатели прибыльности.

Вопрос: Если у вас нет лицензий означает ли это, что ваш партнер должен их покупать для вас?
Отвечаем: да должен, но здесь есть некоторые "но". Я сторонник удаленного тестирования производительности на стороне партнера. Как я уже писал раньше, удаленное тестирование имеет ряд очень важных преимуществ и одним из этих преимуществ есть то, что вы можете использовать "совместно" с кастомером лицензию на продукт, и в этом случае ваш партнер покупает лицензию не конкретно для вас, а как бы для "совместного" использования, что со стороны человеческой психологии траты немалых денег намного "легче".


Читайте также о том как быстро трансформировать Jmeter лог в HTML репорт.

Комментариев нет:

Отправка комментария