вторник, 27 октября 2009 г.

Вопросы кастомеров о тестировании производительности ПО. Часть 1.

Многие из нас IT-шников работают в аутсорсинге. Представим такую ситуацию: вы тест лид или менеджер проекта, в какой то момент, неожиданно(как это частенько бывает), ваш кастомер решил начать проводить тестирование производительности на проекте и, конечно же, он задаст вам ряд вопросов. Если ваша компетенция/опыт в планировании и проведении тестирования производительности или нагрузочного тестирования незначительна, значит есть вероятность, в худшем случае "спугнуть" катомера или наговорить лишнего, что в конечном итоге создаст вам ряд проблем.

Все вопросы, которые вам потенциально будут задавать, можно разделить на 3 категории: а) о кадрах и процессах - люди и их опыт в построении процесса тестирования, наличие сертификатов, пройденные тренинги и.т.д. б) инструменты тестирования - опыт работы, наличие лицензий и.т.д. в) тестовая лаборатория и все, что относится к железу и конфигурации среды тестирования.

Если вы чувствуете себя не уверенно, избегайте телефонных митингов без предварительного "прощупывания почвы". Иначе вам будет намного трудней увернуться от неожиданных вопросов и легко показать свою неграмотность, особенно, если на другой стороне будут инженеры/менеджеры с хорошей експертизой в данной области. В идеале, перед телефонными разговорами нужно проводить предварительные сессии - вопросы-ответы в почтовой переписке, что придаст вам значительную гибкость уже в "живой" беседе по телефону.

Вам следует ожидать следующих вопросов из категории а (я не претендую на исчерпывающий список, выделю только наиболее популярные, которые задают в 90% случаев ):

Вопрос: Расскажите о ваших best practices в планировании, проведении и предоставлении результатов тестирования производительности ПО?
Отвечаем: если этот вопрос задан в телефонном разговоре, предложите заказчику ответить на него письмом, сложно сходу структурированно дать ответ на такой, казалось бы простой вопрос(фишка в том, что на этот вопрос нужно отвечать грамотно и четко), добавьте еще момент неподготовлености к вопросу и в результате может получиться не ответ, а каша. И ваше желание похвалить себя и команду будет выглядеть как набор вырванных фраз из контекста. В целом, если вам задали вопрос, ответ на который не может быть сформулирован несколькими предложениями, значит будет лучше ответить на него по e-mail. Отвечая на этот вопрос проконсультирйтесь с инженерами, которые имеют експертизу в этой области.

Вопрос: Какая квалификация и какой опыт у специалистов по тестированию производительности ПО в вашей компании, чем вы можете подтвердить их квалификацию?
Отвечаем: в ответе нужно сделать упор на то, что вы большая(аутсорсинговая) компания в которой много проектов и на которых производится регуряное тестирование производительности. Также, хорошим ходом есть упоминание того, что тест инженеры привлекаются на разные проекты и существует группа по обмену опытом с регулярными встречами(или выделенная группа которая работает над разными проектами). Если компания не большая, тогда можно сделать акцент на ключевых специалистах, которые также привлекаются на разные проекты для конусультаций, планирования и проведения тестирования. Предложение кастомеру сделать пилотный проект покажет вашу зрелость и готовность доказать вашу квалификацию, обычно, в результате дело сводится к покрытию тестами, какой то ключевой функциональности приложения, а пост-эффект от этого предложения значительный. Обязательно, нужно упомянуть об различного рода сертификациях по интсрументах(если они есть), пройденных тренингах, присутствии инженеров на специализированных конференциях и.т.д.

Вопрос: Есть ли у вас сертифицированные инженеры по продукту X? Посещают ли ваши специалисты специализированные тренинги?
Отвечаем: на территории СНГ в 90% специалисты, которые проводять тестирование производительности не имеют сертификатов по инструментам и других сертификатов по профилю. Отвечая на этот вопрос нужно сделать акцент на то, что компания рационально подходит к затратам - как к своим, так и к затратам заказчиков, по этому проводит тренниги внутри компании и обмен опытом между сотрудниками. Также, стоит добавить и то, что компания пытается предоставить заказчику наиболее приятное решение по цене/удобству/качеству с уклоном на продукты открытого кода. Несколько критических слов, что "гранды зажрались" будут не лишними в контексте этого разговора ;-).

Вопрос: Каким образом ваши инженеры предоставляют видимость(visibility) проделанной работы партнеру?
Отвечаем: очевидно стоит сказать об различного рода отчетах и красивых репортах в любое удобное заказчику время с описанием всех выполненных задач и состоянии дел на текущий момент. Думаете вы удивите кастомера этим ответом? - нет конечно. А, что, если сказать, например, следующее: "для предоставления видимости нашей работы мы предлагаем проводить все виды тестирования производительности в тест лабе наших заказчиков. В результате наш партнер имеет полноценное представление об а) текущем состоянии процеса тестированя б) состоянии разработки тестовых сценариев и, непосредственно, имеет возможность посмотреть качество кода в) имеет доступ к уже готовым конфигурациям и воспроизведенным багам...и.т.д.". Даже если у кастомера нет своей тестовой лаборатории этот ход вам зачтется.

Комментариев нет:

Отправка комментария