Это копия, сохраненная 6 апреля 2016 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Гайд, который будет дополняться:
http://pastebin.com/6p6gmxNv
Тред по автоматизации тестирования на /pr:
http://2ch.hk/pr/res/559015.html (М)
Джуном автоматизатором?
Если говорить об автоматизации тестирования веб-приложений, то JavaScript первым делом. Не важно, на каком языке ты будешь автоматизировать, автоматизация будет работать с браузером, а значит нужно иметь представление о том, что там внутри происходит. Разумеется, не просто "голый" язык, а то, как он используется с DOM-ами, событиями, ajax-ами всякими, вот этим всем. Релейтед темы по верстке, css. Представление о протоколе http, базовые вещи, связанные с xml, особенно xpath.
Все это нужно для того, чтобы понимать, от чего что-то работает, а что-то нет. Инструменты автоматизации несовершенны, если придется заниматься со сколько-нибудь сложной задачей, то обязательно придется наступить на те или иные грабли.
Не обязательно знать все тонкости, важнее уметь увидеть всю картину целиком, понять причины проблемы, найти решение.
И еще, Селениум позволяет во время сессии инжектить и выполнять свои скриптики. Часто такая необходимость возникает как раз в "заковыристых" местах, и делать это приходится чаще, чем хотелось бы.
"Основной" язык может быть каким-угодно. Клиенты, дергающие протокол вебдрайвера, выглядят везде примерно одинаково. Наверное, можно выбрать что-то общераспространенное и популярное, либо основной язык разработки для того проекта, над которым предстоит работать. Если говорить чисто о повышении шансов, то опять же выходит нужно что-то популярное.
Какие-то особые глубины и тонкости языка вряд ли понадобятся, так что можно изучить несколько пусть и поверхностно. Важнее сделать упор на знакомстве с инструментами разработки и тестирования, с популярными тестовыми фреймворками. Чтобы не просто знать, как написать тест, но и как интегрировать его в общий процесс разработки и тестирования.
> Page object же!
А при чем тут джава?
PageObject - это просто клас в котором собраны все локаторы/элементы + методы по работе с ними. Здесь достаточно знать ООП. А вкатиться легче, начиная с Python'a, а потом уже перекатиться на Джаву, если будет необходимость. Это зависит уже от проекта, с которым работаешь.
>обучение за счет компании, а по сути бесплатное рабство на 3-6 месяцев
>стабильность и надежность
Как же мне припекает от этого. Мотивирует как можно быстрее научиться в кодинг и съебать на апворк подальше от жадных российских пидорасов.
Хотел кинуть вакансию, но они исчезли с хедхантера. Еще месяц назад висели. Одна была со связного и другая похожая не помню фирмы. Там предлагали 6 месячную "стажировку" с зп 15к и офисом в 20 минутах езды на собаках от м.Медведково. Вакансии кодерские. Вот тут, кстати, полно неоплачиваемых стажировок: http://geekbrains.ru/probations
Уж не знаю настоящие они или наебка, но чтобы попробоваться на эту стажировку, то есть тупо отправить резюме, нужно пройти 1-4 курса на сайте. За денежку, разумеется.
А в чём, собстенно, рабство? Уж не охуел ли ты, шкальнек, от своей воображаемой важности? Тебе предлагают бесплатно с тобой возиться 3-6 месяцев, и чему-то учить, а ты ещё и недоволен, лол? Неужели ты реально думал, что они за свой счёт станут тебя обучать, чтобы ты потом поололокал и съебал где больше на 50$ заплатят? Или ты всерьёз думаюешь, что там тебя посадят тестить реальные приложения и наживаться на твоих блестящих способностей? Я могу тебя уверить - от мысли что какой-то хер без знаний с улицы влезет в отлаженный рабочий процесс и будет бесконечным генератором проблем и проёбов у любого их начальника отдела глаз задёргается.
> Тебе предлагают бесплатно с тобой возиться 3-6 месяцев, и чему-то учить, а ты ещё и недоволен, лол?
Ну хуй, знает, мне как устроился за 3-6 месяцев учёбы платили 35-40к.
Есть нормальные компании где стажировки оплачивают. Хотя бы 20к, но оплачивают. Порог входа для стажеров достаточно высок (см. 4 часа тестов и собеседование), так что особо возиться с ним не надо. Задать направление - нагуглит и разберется. Понимал бы твой подрыв если бы можно было прочитать полкнижки, написать калькулятор и идти устраиваться стажером, но такого не наблюдается. Ну и по моим наблюдениям, если фирма предлагает такие рабские условия "бесплатная стажировка 3-6 месяцев", то скорее всего там жадные мудаки, которые экономят на всем, в первую очередь на специалистах и работают там скорее всего кодеры, которые не смогли найти хорошее место по причине низкого скила или хикковатости и, следовательно, научить они могут мало чему, следовательно, эти 6 месяцев пройдут впустую.
>Уж не охуел ли ты, шкальнек
Мать твою ебал, пидор тупорылый.
Ждите, дрочу питон и джангу. Ссыкотно, конечно, не попробовав ни одного реального проекта вкатываться, но вариантов, похоже, нет.
Senatus Populus que Romanus
Ты еще тут?
Могу сказать, что там спрашивают, так как довелось там побывать.
Кидай фейкомыло или еще что.
>>270688
>>270327
>>270236
Ушлёпки. Какой тред просрали, а?
https://2ch.hk/d/res/269987.html#270688 (М)
https://2ch.hk/d/res/269987.html#270327 (М)
https://2ch.hk/d/res/269987.html#270236 (М)
Начать автоматизировать что-то в твоей компании при помощи селениума. Всё гениальное просто.
>>347622
Ява с гораздо больше вероятностью понадобится, чем питон, не только в селениуме. Первой бы я, напротив, стал смотреть яву.
>>349447
Бесплатная стажировка - это дно, хотя это вопрос уже к тебе, устраивает это или нет. Я пришел в свою текущую компанию на испыталку в 3 месяца за среднюю зп по моей мухосрани, стажировка это конечно немного другое, но хотя бы 10к могли бы накинуть, в днищегородах.
> Первой бы я, напротив, стал смотреть яву.
Ну тупые американцы, что с Джавы переходят на Пайтон, как на первый язык программирования, которому обучают в университетах.
>Поясните за работу тестером? Какие подводные камни? Какие плюсы и минусы?
Легко попасть в IT. На хорошие проекты нужны хорошие аналитические скилы и хорошая логика. Нужно много общаться с людьми (разработчики, аналитики, заказчиики). Хорошие деньги крутятся на зарубежных проектах, а там нужен еще хороший английский. Это так, на вскидку.
>Как проходит Ваш рабочий день?
Охуенно.
Пришел на собес, разные общие вопросы по тестированию(виды тестирования, методологии разработки по и т.д.)затем тестовое задание, затем еще один собес
>Я просто джуном устроился и ощущаю, что я полное дно
Почему? Я когда джуном устроился, то пару месяцев тестировал по чек-листам разные проекты, которые уже тестили до меня. После этого мой куратор проверял ошибки, рассказывал, почему так и как можно было поступить лучше и показывал уже готовый чек-лист (с правильными ответами, если тебе так угодно). Писал тест-кейсы, тестировал на реальных проектах какой-то простой функционал. Учился, в общем. Не знаю, почему ты себя дном считаешь? Учись, студент, чтобы быть лучше, чем остальные. Не теряй время, пока оно есть.
Ты же джун, учишься. Старайся сделать больше, нарабатывай скорость, думай, как можно было сделать лучше, проявляй инициативу, но умей её обосновать и объяснить почему ты так считаешь. Или пиздуй ныть куда-то в другое место.
Пиздец проиграл, "Автоматизатор на питоне", "Автоматизатор на яве", это что за помойки такие, где ищут по признаку используемого языка? Маньки не знают, как интегрировать тесты на каком-то, отличном от их проекта, языке, в свои говнобилд-шаровар сервера? И не знать как минимум 3-4 языка, вроде шарпа, явы, луа, питона для среднего автоматизатора в любом случае дно. "Автоматизатор на питоне", блядь, сделал мой вечер.
Серьёзно, твой аргумент - инвалид, первостепенен навык написания фреймворка и пониманиее ООП, уж на чём писать - дело стодесятое, ещё жду список утилит для автоматизации РАЗРАБОТАННЫХ(а не просто поддерживающих) под питон.
Вся суть, иди дальше кукарекай какой питон охуительный, потому что кто-то там так кудахтнул\это единственный известный тебе язык.
Окей-окей, успокойся уже, Маня. Доказывать кому-то что-то на двачах - последнее дело. Прости, но у меня такая позиция.
>уж на чём писать - дело стодесятое
Мамкин фрилансер закукарекал? Всё зависит от проекта и от поставленных задач. Не уверен, что, если кастомер желает, чтобы у него был стэк автотестов на определенном языке, то ты ему будешь говорить про то, что тебе похуй и ты будешь писать ему на том, на чем тебе удобнее. Бывает такое, что попадаешь на проект, где уже есть стэк автотестов, написанных, зачастую, на пайтоне или джаве, и тебе в этом говне рыться. Бывает такое, что у кастомера софтина написана на сишарпе или джаве или пайтоне и кастомер хочет, чтобы девы контролили твои автотесты или давали тебе писать юнит-тесты при том, что они сами пишут на c#\Java. Будешь ли ты им кукарекать про то, что тебе похуй и ты будешь делать то, что тебе хочется? Сомневаюсь. Так что придержи свои маня-фантазии, диванный тестер.
А читаем мы жопой. Одно дело - адаптироваться под окружение и если питон нужен - использовать его, другое
>КУДАХ ПИТОН ЛУЧШЕ ВСЕГО СВИТАЯ США НИ МОЖИТ АШИБАЦЦА!
Использовать питон там, где он жопой прикручен к утилитам изначально писанным например под яву, если заказчику похуй, на чём они будут - верх уебанства. Не нужно пытаться переврать мной сказанное.
>>355708
>Ни одного аргумента
Я ТАК СКОЗАЛ ПЕТОН ЛУДШЕЙ!!!111
На свой счёт ты прав, кукарекло без опыта.
На HH увидел должность джуниор тестера онлайн игр, от всяких мэйлов и т.д. в приличной конторе, в главном it-бизнесцентре в городе. Накатал на коленке резюме ибо очень хотелось туда попасть быстрее, забыв при этом залить фото и стопку сертификатов, написав просто про то, что задрачиваю 8 лет в wow, а играю вообще с двух лет (в первый дум, лол).
Прислали анкету, заполнил шутя, но при этом очень подробно и развернуто. Особенно порадовали вопросы типа "Чем DD отличается от Танка?". Перезвонили, говорят - приезжай. Волнуюсь само собой, первая осознанная работа.
В знаниях своих уверен, задрачивал всю жизнь, до последней недели жизни не думал, что это вообще может как-либо пригодиться. Может кто-нибудь пояснить в чем подводные камни, где я проебался? Может есть кто-то, кто уже работал тестером пускай не игровых проектов, а просто различного ПО?
>Может есть кто-то, кто уже работал тестером пускай не игровых проектов, а просто различного ПО?
*fix
Скопировал из другого треда. Тут этот вопрос явно лишний.
>>355934
Хотя почитал еще чуть более внимательно тред, часть вопросов уже отпала. Задам тогда последний, пожалуй, самый волнующий. До какого уровня заработной платы можно подняться в области тестов, к примеру, если сравнивать с девелоперами? Не та ли это область, как быдлоадминство - где ты получаешь свою 20тку / 30тку и выше головы уже не выпрыгнешь? Это я про мухосрански-миллионники конечно же
Стоит ли потом пытаться перекатиться в девелоперы?
У тестеров игр зп наименьшая среди всех тестировщиков и в смежных сферах тестирования их опыт особо не котируется.
> Стоит ли потом пытаться перекатиться в девелоперы?
Лишним не будет если у тебя душа к этому лежит.
Спасибо. Буду иметь ввиду.
Душа то лежит, но как то "страшно" лезть в именно в программирование, ибо чувствую что знаний пока еще недостаточно. Для джуна то оно достаточно, но все равно. Страшно, что многих технологий я не знаю, некоторые знаю поверхностно, а так же если вдруг это все придется наверстывать в очень краткий срок стажировки да и еще можно тупняка схватить. Это все, приехали.
Сложно себя перебороть в этом плане.
А вот играть в игры я умею, это да. И довольно глубоко вижу вглубь механики и возможных ее эксплойтов. Думаю, таких на двоще процентов 80 точно. Да и в какую бы меня область тестирования игровых задач и в какой бы жанр меня не сунули, я везде имею овер9к опыта, правда мое слабое место это игры типа OSU меня не пугает ничего. Я уверен что справлюсь при минимальных усилиях. Да еще и няшиться с другими тестерами-задротами тоже куда позитивнее выглядит.
В общем, программирование я бросать не собираюсь, но думаю, что тестером мне ближе будет. Да и какой-нибудь "зам.начальника отдела тестирования" получает не меньше средненького сеньор девелопера.
Спасибо тебе большое за инфу! Скинул бы няшек, да трукрипт похерил мне все паки на днях.
Если хочешь программировать - иди джуниором\стажером программистом, а не еби людям мозги, сначала всирая их время на твоё обучение тестировщика(хотя для говноигр обучение будет минимально в этой сфере), а потом ололокая соскакивая на другую специальность. Тестировщик это НЕ ступень до программиста. Никто не идёт сначала сантехником, чтобы затем работать сварщиком труб большого диаметра.
>Если хочешь программировать - иди джуниором\стажером программистом
Ты забыл про людей, которые звутся автоматизаторами, где совмещают приятное с полезным.
Не, я не буду ебать им мозги, честно. Я уважаю их труд тоже. Сфера тестера мне ближе в разы, а жить привык я очень скромно. Просто все-таки не хотелось бы проводить для себя планку зарплаты (даже пускай и потенциальной) в 30-40 тысяч и все. Можно просто постараться стать профи в этой области. Так что я спрашивал о ситуации в целом и "туда ли я вообще пошел?". А программирование, пускай, останется для меня хобби/сопособом фриланса, благо теперь знакомых в институте полно, а тупых студентов с каждым годом все больше и больше. Спасибо!
Я ничего не забывал, программирование, это программирование, автоматизация - это тестирование.
>>355983
"Профи в этой области" это не программист. Программирования для автоматизации тестирования тебе за глаза хватит и без хобби. В приличных местах разница в навыках между кодером и нормальным автоматизатором минимально. А вот разница во взгляде на вещи - огромна.
>"Профи в этой области" это не программист.
Немного не понял, что ты имеешь ввиду. То что профи тестер = нормальный кодер != програмист? Потому как программист на уровень выше Или то, что зарплаты нормального программиста сложно достичь в тестировании? Не понял немного формулировку.
>А вот разница во взгляде на вещи - огромна.
А можешь пожалуйста привести какой-нибудь пример этих "разных взглядов на одни вещи" для меня? Просто как то плохо представляется сейчас.
>Да еще и няшиться с другими тестерами-задротами тоже куда позитивнее выглядит.
Бывает такое, что это задроты-двочеры с завышенным эго, которые хуй на тебя ложили, как и ты на них. С такими команды не построишь.
>Да и какой-нибудь "зам.начальника отдела тестирования" получает не меньше средненького сеньор девелопера.
Да, ты прав. Есть несколько путей развития. Один из них - менеджмент, но тут надо иметь хватку и многому учиться, но попробовать всегда стоит. Лучше попробовать, чем не попробовать.
>>355983
> Просто все-таки не хотелось бы проводить для себя планку зарплаты (даже пускай и потенциальной) в 30-40 тысяч и все. Можно просто постараться стать профи в этой области.
Можно стать профи, но не в играх. Постарайся попасть в какой-то бодишоп, где есть возможность перевестись на другую программу (web, mobile, etc) или конкретно к продуктовикам, которые занимаются играми, так как аутсорс тестирование бета-версий мобильных игр - самое днище и з\п тут маленькие. Не забывай про автоматизацию тестирования, ведь ты можешь совмещать веб-тестирование с твоим хобби программирования и в будушем прийти и сказать заказчику: чувак, я тут тебе автотестов нахуячил, они мне упрощают работу, могу внедрить это в продакшен.
Сделал меня немного грустить.
Но развеивать радужные замки это дело хорошее нужное, чтоб потом больнее не было.
> Тестировщик это НЕ ступень до программиста
Верно, но эта тестирование позволяет увидеть процесс разработки изнутри, получить себе связей, ПОЛЕЗНЫЙ смежный опыт и годных советов с тестерами игр не работает такая шняга, возможность переката внутри компании (помимо кодера спокойно можно в аналитику уйти, но это от места работы зависит).
В перекате из тестеров в кодеры нет ничего плохого и QA очень даже может помочь как старт в IT.
Вот этот >>356234 хорошо пишет. Главное - начать, а там само пойдет, но мой тебе совет, не иди в тестирование бета-версий мобильных дрочилень. Это хуйня. Ищи конторы, которые занимаются вебом, хотя бы.
ММО хоть не на мобильных устройствах или в браузерах? Если какие-то АЛЛОДЫ или что-то в этом роде, то заебись. Днище днищ - мобильные игры для домохозяек и браузерные флешки.
>>356477
Ну хуй знает всё равно какой ему ценный опыт даст тестирование игр. Это в любом случае лучше чем тыканье во всякие андроид-дрочильни, но всё равно довольно сомнительно.
> какой ему ценный опыт даст тестирование игр
Как минимум - опыт в работе с багтреккерами, какой-никакой опыт в тестировании (хотя, с устройствами было бы лучше, так как сейчас ценится, если ты держал в руках айфон и знаешь оссобенности тестирования на Android\iOS устройствах, гайдлайны и прочую хуйню). Также, возможно, он будет работать с чеклистами или даже их составлять, писать тест-кейсы, например. Это всё тоже опыт.
Алсо, я сам тестировал мобильные игры для домохозяек и мобильные приложения типа фитнес-трекеров год. Сейчас работаю с веб-приложением со своей бизнес-логикой на зарубежных заказчиков. Игры мне не помешали найти работу в другом русле тестирования. Помимо тестирования игр, я еще задрачивал всякие статьи, книги и прочую хуйню, пользовался тем, что у меня был доступ к куче девайсов, в свободное время изучал гайдлайны, оссобенности тестирования на платформах, писал сам себе чек-листы, по которым в будущем тестировал пилотные или небольшие проекты. Так что это дело такое, временное, и зависит уже от того, умеешь ли ты использовать предоставленные тебе возможности в личных целях.
Грубо говоря - я нарабатывал себе пункты для резюме. Пришел на собес и рассказал чем я занимался, что я делал, с чем имел дело. Также, если ты не идешь на позицию джуниора, то тебя, в большинстве случаев, подбирают под конкретный проект, и на собеседовании, скорее всего, дадут какую-то конкретную задачу, которая касается проекта, чтобы проверить насколько ты умеешь включать логику и строить цепочку мыслей.
Сдавал, учил на отъебись, 85%. Хватит почитывать по полчасика через день 1-2 недельку и разок перед сдачей часа за 2-3 прогнать по основам. Задач мало, можно выехать тупо на основных терминах, тест ниочем по сложности, сдать может любой, не относящийся к профессии человек тупо вызубрив.
Если бы я был в Москве, меня в этом треде давно не стало. Погугли, цена по рашке вроде фиксированая.
стописят евро, экзамены пару раз в месяц, почти во всех крупных городах есть, саму сертификацию признают больше в европах, у нас - так, для галки.
на сайте у них есть силабус (учебник по курсу) и глоссарий, этого достаточно для подготовки.
>нужно ли оно автоматизатору?
>нужно ли оно автоматизатору?
это сертификат, в любом случае лишним не будет, особенно если твоя компания оплатит все это
Подтереться разве что. Бумажка сама по себе бесполезная и своих денег точно не стоит, в плюс, конечно, пойдёт, но на неё посмотрят далеко не в первую очередь, вот какой-нибудь сертификатик по яве или sql даст тебе 100 очков вперёд, правда там и уровень нужен соответственный.
> Как стоит проверять производительность для мобилок?
Производительность самого устройства или производительность сервака при большом кол-ве пользователя?
Ну так нахуячь скриптов, которые будут эмулировать пользовательскую нагрузку на сервак.
Куда хуячить епт, название годной софтины для тестирования производительности мобильных приложений мне запили, блять
А какая в пизду разница с мобилы ты будешь ломиться на сервер или просто посылать запросы с другого сервера, например, с Амазоновских серверов? Аренда там хуйню стоит. Вообще, закажи ебучих бомжей, которые за 3 бакса в час тебе прогонят на 50 девайсах одновременное нахождение юзеров на сервере.
Ты не понял, я и есть бомж который за 3 бакса в час должен сымитировать одновременное нахождение юзеров на сервере с 50 девайсов.
>низкий порог вхождения
Охуеть, с мне требуют тестово батники хитровыебаные писать что бы только решить звать на собеседование или нет
>на автоматизатора подал резюме?
Да нет, но начались какие-то предъявы как к космонавту, хотя вообще без опыта указано
При этом на тестовый батник, который всё же написал, ещё притенении непонятные.
Че-то хуй пойми что. Требования вообще нулевые. При чем тут нахуй батники и скрипты?
В тесте ещё было "найти баги в listboxer", кроме батника
Думаю много студентиков на вакансию слетелись, вот они и выбирают кто получше. От того и требуют скрипты и вообще чуть ли ни на ходу там всякого выдумывают.
Нужна непыльная работка, ничо делать не хочу.
Смогу объяснить чем связанный список отличается от массива, как удалить элемент из бинарного дерева, и чем же так примечателен lisp с его макросами, в отличие от остальных быдло-языков.
Если это ручник - то они прихуели немношк, ищи другую конторку. Батник это конечно не суперкодинг, но к ручному тестированию 0 отношения имеет, да ещё и со всеми требованиями с созданием директорий и т.д. Нахуй они вообще это батником делают, поинтересуйся у них, расскажи этим замечательным людям про junit или nunit или тысячи их аналогов.
>Письменный и устный английский на уровне ПИСЬМЕННОГО ОБЩЕНИЯ
Чего, блядь?
шли их нахуй, эти господа потом еще попросят в иллюстраторе набросать шаблонов для обоев.
>А какая в пизду разница с мобилы ты будешь ломиться на сервер или просто посылать запросы с другого сервера, например, с Амазоновских серверов?
Так, ладно. Как мне узнать как должны выглядеть ебаные скрипты, чтобы они значили "игрок идет налево на 5 метров" "игрок выкапывает ямку" "игрок идет нахуй на 4 метра". Предполагалось что это рекордер запишет, я сделаю значения переменными и скажу проге - замути так будто 100 человек этой хуйней занимаются. А что ты советуешь - я вообще не догоняю
Так тебе надо проверить нагрузку на сервер или что? Нагрузка - предполагается, когда на сервер ломятся сразу овердохуя людей в одно время и смотрят на то, как сервер с этим справляется.
По какому протоколу у тебя клиент с серваком общается? Если по http наврядли помоему, то JMeter или Yandex.Tank посмотри. Если нет, то HP LoadRunner, глянь там дохуя протоколов поддерживается. Правда он платный.
Слегка обосрался, так как в основном веб тестил. Танк с лоадраннером тебе не помощники, первый только для веба, второй только для винды. А жейметр оказывается может в iOS/Android http://stackoverflow.com/questions/26422651/does-jmeter-support-to-test-mobile-application
Вообще гугли mobile apps performance testing или как-нибудь так.
Привет, jmeter в кучу протоколов может, ты вкладочку то разверни в категории соответствующей.
Ты похоже в тестировании вообще не очень. Тебе не нужно эмулировать реальных 50 игроков. Тебе нужно эмулировать нагрузку, создаваемую 50 игроками, для этого достаточно дёргать типовые обращения к серверу от них и обратно с постоянным интервалом. То что ты описываешь - какое то говна уровня ботов для кача, по которым я хер знает, как ты собрался нагрузку потом считать.
>>364204
Пока удалось выяснить что протокол UDP, попробую Jmeter, он вроде может с плагином.
>>364206
>>363546
>когда на сервер ломятся сразу овердохуя людей в одно время и смотрят на то, как сервер с этим справляется.
Ну одно дело кидать 100500 запросов логина, другое реалистичные запросы тип "получить координаты", "послать что я хочу выкопать ямку". Для того чтобы понять как выглядит запрос "выкопать ямку" нужно либо рекордер либо дрочить разрабов чтобы они поискали (т.к. они сами не ебут). Мне надо сравнить насколько улучшится производительность после перехерачивания сервака. На запросы "хуй пизда дефолтный_запрос" он может отвечать одинакого => профита нет.
Производительность какого рода? Производительность сервера игрушки? В таком случае совершенно можно тестировать тем же ДжМетером, симулируя запросы разной сложности или даже устраивать сценарии, но тогда плотность запросов будет ниже из-за вычислений на стороне ДжМетера.
- тредНеЧитал
- ДжМетер-фаг
Бамп
Предложили через знакомых работу по тестированию очередных китайских смартов, которые начнут или уже поставляются на наш рынок. Просят знания тестирования мобильного софта (я в поисках джуниорской позиции андроид-макаки), полагаю, заставят смотреть как на этих поделиях дядюшки Ляо запускается ебейшая модификация андроида от папеньки Хуя.
Вот и мне так показалось.
Думал в тестировщики вкатиться, но из фака этого треда я понял, что не стоит. Так ли это? Т.е. лучше в Евросеть щас пойти продаваном, а дома уже учить Джаву, пока не достигну дзена и просветления?
Работа тестировщиком полезнее продавана. Хотя бы на процесс разработки изнутри по смотришь. Ну там, на штуки вроде скрама и багтрекера. Правда про алгоритмы и структуры данных нихуя нового не узнаешь.
Нихуя себе какая няшка
Для меня то что вакансии не закрываются-верный признак их хуёвости. Либо они никого не нанимают, ищут раба, либо предлагают хуёвые условия, так что кандидат увольняется сам ещё на испытательном сроке.
Я поэтому и хочу инсайдиков от землячков. Потому что если не эти конторы, то кто? Auriga, ST, Five-9, F-технологии, Intel что-то не очень джунов зазывают. Может я какие-то ещё упускаю или не знаю что-то про перечисленные.
Либо приходит вчерашний студентик на понтах на вакансию тимлида и начинает вещать прямиком из какого-нибудь ссавина про свой многогранный опыт. И так 7 раз подряд. Сильно зависит от компании, опять же, какая-то не сможет позволить себе нанять джуна без опыта сеньёра, наебалово? Как посмотреть, тебе честно говорят о требованиях и ЗП, 95% адекватов крутят у виска и идут дальше, оставшийся 5% когда-нибудь в такую кампанию и устроится в рабство, но происходит оно не мгновенно, вот и висят. И ещё сотни причин, далеко не всегда от хуёвости.
Иди, это тебе не помешает. Я сам примерно с такими мыслями пришёл, но задержался больше чем на год, вот сейчас увольняюсь.
Анон, помоги написать что-то в резюме на джуна-тестировщика. Предложили устроиться по знакомству, но всё равно как-то неудобно отправлять резюме. занимающее половинку страницы.
Опыта работы в ИТ нет, образования высшего тоже, так что эти пункты я опустил. Перечислил языки, на которых могу писать и фреймворки и технологии к ним, базы данных и прочее. Написал про ООП, знание алгоримов и структур данных, ещё абзац нахуярил про навыки, вынесенные с прошлого места работы, всякое умение приспосабливаться к меняющимся задачам и коллективам, стрессоустойчивость, уровень английского, но всё равно получается чуть больше половинки страницы и это всё с контактными данными и фоткой.
Посмотрел резюме знакомого, но он тимлид, так что оно на шесть листов с перечислением того, где он работал и как помогал заказчикам внедрять всякие технологии в анус, но мой опыт тут не подойдёт. Не напишу же я, что штрафовал индивидуальных предпринимателей и проводил проверки.
Это ведь зашквар, отправлять такое короткое резюме?
Что ещё можно дописать?
Спасибо, бро. То, что надо.
Ну что же вы, нижегородцы?
Нужно быть способным читать техническую документацию и работать с багтрекером.
Если тебе платят 27к за полный день, то ты работаешь примерно за з/п ручника с 3 месяцами опыта. Ну это судя по софтверной компании где я работаю(офис находится в мелком городе с небольшими зарплатами, а в дс/дс2 и тд).
> Если тебе платят 27к за полный день, то ты работаешь примерно за з/п ручника с 3 месяцами опыта. Ну это судя по софтверной компании где я работаю(офис находится в мелком городе с небольшими зарплатами, а не в дс/дс2 и тд).
Быстро фикс
Необходимо написать тест кейсы на следующий новый функционал:
To implement web-service which will provide SOAP/HTTP interface for UI application.
Web-service should return in response concatenated value of first name + last name found by user id provided in request to the service.
Information about users is stored in database
USERS table with columns:
User_id (number, PK),
First_name (varchar2(50), nullable=true)
Last_name (varchar2(50), nullable=false)
Правильно ли я понял, что в данном случае мы имеем Веб сервис, который в ответ на наш запрос (Id пользователя), выдает строку Имя+Фамилия пользователя, которая извлекается из таблицы USERS в базе данных, при том, что в таблице обязательно указана фамилия, а ячейка с именем может быть пустой?
Я не прошу сделать за меня задание! Хотелось бы услышать наводящие мысли по данному заданию, подсказки по идеям для тест кейсов.
Довольно странно, что для ручного теста такая подробная техническая детализация, я и для автотестов не всегда такую имею. Глазами текст пробежал, кейса 4 позитивных накидать можно. Обрати ещё внимание на ограничение по длине. Не совсем понятно как могут передаваться данные и может ли на вход придти некорректные.
Вот и у меня последнее время подобные мысли крутятся, просто по тому же hh и прочим говносайтецам сейчас в принципе невозможно оценить реальную среднюю зп - дохерища агенств и прочих 60к, которые оказываются 10к+можетмывасповысим.
как-то так, думаю, больше там смотреть нечего
1) имя + фамилия заполнена
2) имя null, фамилия заполнена
3) имя пустое ("", " ") фамилия заполнена, проверить что в ответе будет "Фамилия", trim конечной записи, а не " Фамилия", если требуется
4) фамилия + имя, проверить что в ответе приходит "Имя Фамилия" или "ИмяФамилия", в соотв. с требуемой бизнес логикой, не ясно что значит "concatenated value"
5) запрос на не существующий id
6) запрос с некорректным id
7) запрос без id (пустое тело запроса)
8) имя(50 символов) + фамилия(50 символов), проверить корректность ответа, переполнение и т.п.
9) можно какой-нибудь изврат в имени написать, типа "имя\n" "фамилия\n" с экранированием спец. символов и прочее
поэтому и спрашиваю))у самого много вопросов возникло, не понятно, можно ли вводить любой id, даже некорректный, + известно что есть ограничение по длине в БД для имени и фамилии, (50 байт как я понял) + сказано про протоколы hhtp и soap, я чайник еще, и не понимаю как это можно использовать.
И кстати, это вакансия стажера на 20к дс2, молюсь чтоб взяли, но с задания офигел немного. Hr сказала что если будут вопросы, можно писать на меил, ну я и написал ей пост который выше + еще добавил пару идей по тестированию.
И еще вопрос в каком виде тут оформлять сами кейсы, как таковой процедуры нет, и ожидаемых результатов тоже парочка.
почитай главное про http/soap, как оно устроено =)
ограничения на длину есть в БД, соответственно это у тебя уже есть исходные данные, в базу ты ничего не пишешь, а только тянешь оттуда.
Нужно проверить ограничения на переполнения (если такие вообще есть, зависит от реализации) на выдачу concatenated value.
Короче, на самом собеседовании я бы задавал уточняющие вопросы по заданию, т.к. требования не полные.
Кейсы можно в классическом стиле набросать, типа:
Предусловие: создать запись в базе с id таким-то, name = null, surname = "Ivanov".
Шаг 1: отправить soap - запрос на <servicename>, содержимое запроса <soap_body>
Ожидаемый результат: ответ от сервиса: "Ivanov"
Я бы сделал в таком духе.
Так а тип теста какой? Smoke, minimal acceptance, acceptance? Подход будет разный, объём работ отличаться будет в разы.
и Новосибирске http://job.2gis.ru/vacancy/novosibirsk/category/#testing
Не ебу. Сегодня в Slack чатике промелькнули вакансии. Подумал, что здесь тоже есть Аноны оттуда, которые желают устроиться. Поэтому вкинул.
Есть тян 35 лвл, из образования только ПТУ, на компе умеет гамать, смотреть фильмы и сидеть в контакте. Программировать не умеет, математику знает плохо. Реально ли ей стать тестировщицей?
если только манки-кликером, при большом желании можно расти, но для этого надо мозги включать и постоянно расширять свой кругозор, а в 35 этого делать уже не хочется, хочется веселую ферму и варить борщи.
28, C# программист
25 джун на испытательном, до этого год ТП
для мухосрани от 500к людей, 35-40к можешь получать, Москва в этом плане 75к++, зависит от того что умеешь/реально делаешь
Иногда присылают предложения на тестера. Сам я кодер, но весьма посредственный, топчусь на месте. Да и денег больше хочется или в тестировании больше не будет, чем у разработчика?
> Анон, какие есть перспективы в автотестах? Вот у программистов всё ясно: junior->middle->senior || прожект-менеджер || бизнес-аналитик.
Хз как в других компаниях, но у меня на работе из автотестов можно перекатиться в разработку продукта. Кстати, а что мешает тестировщику стать ПМом?
>в тестировании больше не будет, чем у разработчика?
Либо меньше либо столько же, с чего бы больше? Речь, разумеется, о примерно одинаковых ступенях, нормальный qa будет получать больше джуна-разраба и наоборот.
>всё ясно: junior->middle->senior || прожект-менеджер || бизнес-аналитик.
Вообще гораздо чаще такие переходы именно у qa происходят, чем у кодеров, просто потому что в большинстве проектов где нет своих аналитиков аналитикой занимаются по большей частью qa как и менеджементом, в разумных пределах.
Хочу начать, так как чувствую, что это МОЁ. Дислокация - ДС.
Что имеется:
1. Почти профильная вышка в мухосрани, отдельным предметом изучали вот это вот всё.
2. Опыт работы экономистом, потом саппортом в геймдеве (не удаленка). Всё по году примерно.
3. В рамках работы саппортом приходилось заниматься тем самым ручным тестированием браузерок и взаимодействовать с ЖИВЫМИ тестировщиками и китайскими разработчиками.
4. Объект женского пола, возраст - хорошо за 20.
Вопрос первый: Можно ли в ДС расчитывать на начальные позиции с зп от 35? С перспективой остаться в этом надолго. На hh как-то мутно всё выглядит.
(ебаный ктрл+ентер)
И вопрос второй: существуют ли конторы, в которых можно попрактиковаться почти за бесплатно через интернеты? Что-то такое рассказывали, но не помню ничего.
Ну по описанию ты почти идеальный кандидат для джуниора, если всё описанное относительная правда, насчет начальной зп - хз, смотри\звони\ходи, не боясь отказаться, если предложат донную. Смысл практиковаться за бесплатно мне не совсем понятен, если опыт ручного уже был, можно вкатываться и без него вкатываются так-то. Вот насчет дальнейшего роста уже вопрос, зависит от твоих реальных навыков и конторки, в которую пойдёшь. Если есть ещё какие-то вопросы можешь конкретизировать здесь либо в скайп из шапки, я там периодически бываю.
Например junior->middle->senior->team lead->qa automation manager->head of qa department. Примерно как и у кодеров, тащемта.
Вполне возможно, мне кажется. Я ходил по приколу собеседоваться на вакансию джуниор тестера в одну аутсорс-кьюэй контору недавно. Были базовые вопросы по юникс командам, шиндоус, базовая джава, эскьюэль, тестированию, потокам, процессам, а также задания на логику и алгоритмы. Вроде 35к и предлагали.
>>394893
Благодарю за советы. Специализированных знаний по тестированию почти нет - с этим могут быть проблемы. С юниксами, sql и прочим есть знакомство лишь на уровне простого юзера.
> С юниксами, sql и прочим есть знакомство лишь на уровне простого юзера.
Простой юзер юниксов и скуля - это что-то больше прокликать далее-далее в убунте и смотреть кинчик вконтаче?
Если да, то это уже охуенно, забивай в резюме. Вообще всё забивай в резюме. 35 джуном с таким опытом очень даже достижимо.
мимо взяли джуном на 30к с одним прочитанным савиным
Есть дохуя гуёвых клиентов в которые можно копипастить реквесты из чек-листа при этом будучи абсолютно безмозглой макакой.
идти software development in test в гуголь xD
денег qa всегда будет иметь меньше разраба процентов на 20.
слесарь что ли? Больше тебя и макака получать будет
По угару довелось ставить несколько юникс-систем, успешно поднимать впн написанием батника (или как он там у юниксоидов, по инструкции офк). Скуль таки изучался на уровне команд совместно с базами данных, но не помню нихуя уже. С серверами пересекаться не приходилось.
>>396525
>>395811
Спасибо, вдохновили на поиски лучшей жизни.
Как по-человечески презентовать время отклика (в jmeter если че)
Суть тестирования такова, надо доказать, что один и тот же функционал в новом сайте не медленнее, чем в старом
Допустим, на старом сайте запускаю сценарий из нескольких действий с фиксированным количеством пользователей, так, чтобы было >=100 замеров по каждому действию. Сценарий типа лагин, открой форму, отправь форму 1, отправь форму 2. Потом делаю то же самое с увеличенным количеством пользователей. Делаю то же самое на новом сайте. Таким образом, у меня дохуища замеров для одного и того же сценария с одной и той же нагрузкой для старого и нового сайтов, я могу сопоставить замеры логинов на старых и новых. Мне доступны всякие статистические показатели вроде всяких средних, стандартного отклонения, мин макс, персентили. Как можно четко зделать вывод, если среди всех показателей не прослеживается одна и та же тенденция? Типа в новом сайте среднее для отправки формы 1 лучше, среднее для отправки формы 2 хуже. И че дальше, грить "плохо сделали, тупо"?
@
БАГ ВСЕ ЕЩЕ ВОСПРОИЗВОДИТСЯ
@
БЛЯ, ОПЯТЬ ЭТОТ МУДИЛА ПАРАШУ ВЫКАТИЛ
@
ВОЗВРАЩАЕШЬ
@
ТЫ НЕ ОБНОВИЛ КЭШ
>2015
>не уметь настроить вебсервер для девелопмента так, чтобы он отдавал клиенту указание не кэшировать скрипты
Вся суть фронтэндодаунов.
>>400262
Бля а по теме производительности есть че? Вот я запускаю прогон, 500 сэмплов, среднее 4 секунды. Запускаю второй раз, среднее бля 8 секунд. Какая-то хуйня произошла, максимум поднялася на 200 секунд один раз, ну вы поняли. Хули в таком случае делать. Распределение хуй пойми какое. Возьму медиану - а что, если проблема в трети измерений. Брать 95% линию как критерий сравнения? А если и там аномалии? Возможно, что-то не так с самими тестами. Проблема в том, что такие ситуации не разбираются в интернете. Потому что мало кто может, а кто может, тот не пишет, а кто не может, постит хуевые таблицы из коробки, которые никто не читает, говорит "мля ну тип норм", и все забывают об этом до следующего раза.
Напиши на spacegrace @mail.ru я тебе пасту запилю при случае чего как конкретно для дс.
Во-первых, очень важно, чтобы сравнения были в правильной конфигурации - или совпадающей с продом или отличающейся в каких-то незначительных деталях (и тут есть опасность знатно проебаться).
Во-вторых, обрати внимание на подачу нагрузки.Ты прогоняешь просто фиксированных 500 запросов? Используешь jmeter со сценарием? Энивей, убедись, нагрузка подается одинаково для старой и новой версии и результаты достаточно стабильны, чтобы делать по ним вывод. Например, если у тебя мало потоков и запросы замедлились, то в тесте у тебя будет подаваться значительно меньший рейт запросов. А если бы ты подавал прежний рейт - может быть вообще бы все распидорасило, т.к. стало проца в 100500 раз больше жрать.
В-третьих, что ты мониторишь во время тестов? Нужно как минимум собирать системные метрики (загрузка памяти/проца/диска/сети), если приложение позволяет посмотреть на какие-то метрики из потрохов (например, если есть БД - сколько времени было потрачено в запросах к БД на каждый запрос в приложение) - их тоже хорошо бы собирать - помогут понять, во что же ты упираешься.
Про квантили - ты начал думать в правильном направлении, но зачем ограничиваться одним квантилем? Построй распределение для нескольких, например медиану, 75%, 90%, 95%, 99% - так проще будет видеть, где выбросы. Кстати, форму распределения можно увидеть просто в экселе построив график числа запросов от времени обработки. Плюс можно кумулятивную функцию распределения аналогично сделать.
Если запросы разнотипные - убедись, что они у тебя по-разному размечены в отчете, чтобы можно было посмотреть по ним индивидуально - где именно просело - это поможет сузить область поиска.
Далее, обрати внимание на подачу нагрузки - для отлавливания проблем с проседанием производительности лучше подходит синтетика - нужно сделать минимальный кейс для воспроизведения проблем и погонять его на старой и новой версии, смотря, что именно изменилось. Тут уже может быть нужно залезать в потроха системы - не стесняйся привлекать разработчиков и, особенно, админов ("если не исправим эту жопу сейчас, вас потом будут ебать за то, что все тупит@тормозит").
Печатать много влом, если хочешь - могу еще немного рассказать голосом, запили свое мыло - скину скайп, например
Во-первых, очень важно, чтобы сравнения были в правильной конфигурации - или совпадающей с продом или отличающейся в каких-то незначительных деталях (и тут есть опасность знатно проебаться).
Во-вторых, обрати внимание на подачу нагрузки.Ты прогоняешь просто фиксированных 500 запросов? Используешь jmeter со сценарием? Энивей, убедись, нагрузка подается одинаково для старой и новой версии и результаты достаточно стабильны, чтобы делать по ним вывод. Например, если у тебя мало потоков и запросы замедлились, то в тесте у тебя будет подаваться значительно меньший рейт запросов. А если бы ты подавал прежний рейт - может быть вообще бы все распидорасило, т.к. стало проца в 100500 раз больше жрать.
В-третьих, что ты мониторишь во время тестов? Нужно как минимум собирать системные метрики (загрузка памяти/проца/диска/сети), если приложение позволяет посмотреть на какие-то метрики из потрохов (например, если есть БД - сколько времени было потрачено в запросах к БД на каждый запрос в приложение) - их тоже хорошо бы собирать - помогут понять, во что же ты упираешься.
Про квантили - ты начал думать в правильном направлении, но зачем ограничиваться одним квантилем? Построй распределение для нескольких, например медиану, 75%, 90%, 95%, 99% - так проще будет видеть, где выбросы. Кстати, форму распределения можно увидеть просто в экселе построив график числа запросов от времени обработки. Плюс можно кумулятивную функцию распределения аналогично сделать.
Если запросы разнотипные - убедись, что они у тебя по-разному размечены в отчете, чтобы можно было посмотреть по ним индивидуально - где именно просело - это поможет сузить область поиска.
Далее, обрати внимание на подачу нагрузки - для отлавливания проблем с проседанием производительности лучше подходит синтетика - нужно сделать минимальный кейс для воспроизведения проблем и погонять его на старой и новой версии, смотря, что именно изменилось. Тут уже может быть нужно залезать в потроха системы - не стесняйся привлекать разработчиков и, особенно, админов ("если не исправим эту жопу сейчас, вас потом будут ебать за то, что все тупит@тормозит").
Печатать много влом, если хочешь - могу еще немного рассказать голосом, запили свое мыло - скину скайп, например
Как твои дела, няша, нашлось что-нибудь?
Сам занимался сначала ручным тестированием веба и iOS приложения, потом перекатился в нагрузочное тестирование. Могу пояснить за него, ну и плюс немного за линуксовое админство.
Дорабатываю в своей игровой конторе до начала весны, чтобы год стажа набить и в отпуск съебать. Повторяю основы, опыта же нихуя нормального. Общаюсь с нашими бывшими тестировщиками и игровыми редакторами (тоже норм тема), пугают много.
Пока только просматриваю варианты игровые, но меня офк ни в какую иннову не возьмут. А в говноконторах меньше 30ти платят. Собираюсь пока что на такое, ничего сложного, никаких админств:
- Ручное тестирование игровых приложений для мобильных платформ;
- Поиск и занесение найденных ошибок в баг трекер;
- Перепроверка найденных ошибок;
- Тесное общение с командой разработчиков проектов.
главно смотри чтобы рост был и скиллы набить можно было, а то этим бесконечно можно заниматься и зависнуть
> Могу пояснить за него, ну и плюс немного за линуксовое админство.
А поясни мне за нагрузочное?
Для начала - говорим про веб? Кроме как HTTP я еще только почту немного тестировал и базы.
Есть отличное видео от Андрея Похилько:
- основы: https://events.yandex.ru/lib/talks/1733/
- про jmeter: https://events.yandex.ru/lib/talks/1907/
Я сам учился на практике и мне кажется так гораздо проще осваивать, у тебя есть какой-то небольшой сервис, который можно потестировать - было бы хорошо на нем потренироваться.
Если нету - можно попробовать поставить тот же wordpress или еще что-то и потренироваться на нем, заодно и с настройкой сервера можешь поразбираться.
Могу рассказать что-то подробнее, но не знаю, что тебе будет интересно.
Алсо, удвачиваю этого: >>404518 если что-то умеешь - не бойся идти и пробоваться, макакой есть шанс попасть если демонстрируешь минимальную адекватность.
Ну и много ты с базами натестировал успешного? Все сходятся во мнение, что тестирование не на лайве - говно ебаное и доверять результатам стоит процентов на 10.
Да, и ещё, даже если нет своего сайтеца под тесты, есть сотни других, с расписанным api, тот же вконтактик.
Ну охуеть теперь, зачем тогда вообще нагрузочные тесты делать? Кати в прод, да смотри, что развалится.
Тесты напрямую в базы делал в двух случаях:
1) Есть подозрение, что какие-то запросы тормозят/жрут много проца, но диагностические возможности в базе сосут (привет, mysql!) и по ним определить виновника сложно. Тогда собираешь лог запросов и гоняешь их, возможно - вообще по отдельности и смотришь на метрики.
2) Есть желание что-то потюнить в самой базе, приложение, которое в норме в нее ходит, будет только лишний шум добавлять. И/или само по себе недостаточно производительное - чтобы убить один сервер с базой надо десяток фронтов перед ним ставить.
Естественно, результаты таких тестов нельзя напрямую переносить на прод, т.к. тестируешь изолированный кусок системы, но для отлавливания проблем - очень помогает.
Ты совершенно не понимаешь сути. Для функциональных тестов это бы прокатило. Ну и научиться натыкивать сэмплеры в jmeter так тоже можно.
Но тут ты не можешь ни сравнить контролируемо старую/новую версию, ни посмотреть на метрики потребляемых ресурсов. И сеть тоже может неконтролируемо флапать - поди разберись у тебя пик таймингов был из-за тормозов сайта или у твоего провайдера говнороутер не справляется с кучей торрентов.
Да ты даже входящую нагрузку тут не регулируешь, потому что если начнешь много запросов слать - тебя забанят и все.
Обосрался с подливоном
Спасибо, ананыч, ща расскажу
Среда для тестирования отличается порядочно от лайва, думаю. Там 4 сервера в балансировщике, у меня 2 и неизвестно какой конфигурации. Но идея в том, чтобы отловить совсем херню
Окружение на стороне заказчика, мониторинг тоже у него, так что я могу смотреть названные тобой показатели, ну вот в пятницу обнаружили длинные вызовы в сторонний сервис.
jmeter с "реальным" сценарием и фиксированной нагрузкой (N пользователей делают хуету по кругу, потом большее N). Запросы помечены для моего отчета, и чтобы в мониторинге их было видно отдельно.
Про квантили это вроде все хорошо при нормальном распределении? Проблема именно в том, что я не могу точно сказать, просело из-за изменений или аномалия сети и так далее. Одно из решений мониторинг, а по поводу распределения, может, нужно еще больше семплов типа 1000+?
То, что в балансировщике меньше серверов - это может быть и не страшно совсем, тут все зависит от того, как оно масштабируется. Бывают особо удачные случаи, когда на интересном отрезке - почти линейно. Смотри внимательно на бэки, в которые они ходят, если они общие - это потенциальное узкое место при масштабировании.
Если у тебя в jmeter фиксированное и небольшое число пользователей, то ты моделируешь "закрытую" систему - сервер тормозит - клиенты ждут, сервер просрался - клиенты фигачат во всю. На проде у тебя тоже ограниченное число пользователей или это сайтик, куда народ может толпами приходить? Если больше похоже на второе - попробуй подавать нагрузку в стабильных rps - смысл в том, что число параллельно исполняющихся запросов растет при росте времени ответа сервера, т.е. нагрузка на него тоже будет расти и проблемы будут лучше заметны. http://jmeter-plugins.org/wiki/ThroughputShapingTimer/ тебе в помощь, ну и вообще посмотри на эти плагины, если еще не - там много полезного.
Про распределение - уже объяснял же - постой где угодно, хоть в экселе график "число ответов от времени ответа" и такой же накопленный. Считай, что это твоя функция плотности и функция распределения.
Если у тебя нормальное - его как раз легко описать просто средним и дисперсией, хуе-мое, доверительный интервал прикинул и в отчет - 99%, пользователей получат ответ до выхода на пенсию.
Но обычно распределение похоже на логнормальное с тяжелым правым хвостом, да еще и неравномерно убывает - часто бывают далекие пики, например, на каких-нибудь таймаутах (это может говорить о проблемах в настройке тестового сервера, кстати).
Подолжение >>405706
По поводу долгих вызовов в сторонний сервис - он совсем сторонний (другая компания, тесных связей с ней нет, возможно вообще прод)? Сложно ли его замокать?
Тут такое дело - проверить поведение в случае проблем во внешних сервисах - дело хорошее, но сравнивать данные по релизам при недетерминированных тормозах в них - бесполезно, это всю картину смажет.
Если это тоже ваш сервис, просто не тот, что ты сейчас тестируешь - посмотри, сложно ли будет его отдельно протестить. Если нет - советую сделать. Будешь лучше понимать, как он себя ведет, узнаешь пределы по нагрузке, которые держит. Плюс научишся мониторинги для него правильно интерпретировать.
Если сервис хуй пойми чей и мокать сложно - надо делать мониторинги. Например, попроси логировать времена обращения к нему, строй по ним отдельные графики и смотри в эти метрики тоже. Тут надо быть осторожным - высоки шансы, что такой мониторинг будет врать - захватывать какие-то операции внутри сервиса или, наоборот, что-то нужное исключать.
Из извращенных вариантов - можно тестировать ПАРАЛЛЕЛЬНО и твой сервис и сторонний (если запас по производительности позволяет), если твой сервис начинает тупить на походах во второй, а по другому тесту сторонний бодрячком - посмотри, правильно ли вы туда ходите (пул коннектов слишком маленький, например).
Ах, да и по поводу числа сэмплов - чем больше - тем лучше, конечно (при прочих равных) - выбросы будут меньше влиять, на более продолжительном тесте можно заметить периодические проблемы - крон раз в полчаса, который все раком ставит и принудительный сброс кэша раз в n минут после которого в первый момент все тормозит.
если не ссышь что твой рекрутер двачует, пили
>>405734
>>405770
Число пользователей ограничено, про таймер проходимости читал смарел но не пользовался пока. Да и не знаю надо ли пока.
Сервис той же компании, но его поддерживает другая команда, у них вроде какие-то тоже тесты есть. Ну к ним обращусь. Мокать наверное не варик, у нас никто так не делает ((
Распределение именно такое, как ты описал, судя по тому, что я просмотрел по картинкам, лол. Только не понял, вот будет функция распределения, она поможет выбрать показатели для сравнения, или это всегда будут квантили, среднее, минимум и максимум?
Хорошие все советы спасиб браток, не хватает этого на моей работе ты математик или около того?
Ну это я и сам делал\видел как делали, думал что-то ещё упускаю.
>>404906
Тащем-то я имел в виду именно пописать запросы к апи, а не производительность смотреть, может жопой читал, на что отвечал, засыпаю ИТТ обычно.
Ну меня просили за нагрузочное пояснить там.
Про таймер - см. выше про открытую закрытую систему, прикинуть на коленке можно так: посмотри сколько пользователей на проде, подели на мощность серверов в проде в попугаях и домножь на мощность тестовых серверов в тех же попугаях. Если подаешь нагрузку примерно таким числом - на первый взгляд ок. Попугаев для сравнения надо выбирать по критическом ресурсу - смотри, в какой первый ресурс упирается в тесте на разладку (когда подаешь нагрузку, пока серверу не поплохеет). Если упираешься в дисковую подсистему - пичаль-беда, ее сложно сравнивать, потому как кэширование, планировщик ОС, очереди, вот это все.
Кстати, подавать нагрузку на разладку с шейпингом по числу запросов в секунду обычно удобнее - если сервис или jmeter перестал справляться вместо плавно растущей линии или аккуратных ступенек увидишь полку или "пилу" (накапливается пачка запросов тяжелых запросов - разгребается, все работает, пока не накопится новая).
Мокать приходится от безысходности - когда ставить полноценное другое приложение слишком сложно или от него невозможно добиться стабильных времен ответа. Смысл в том, чтобы получить стабильное окружение для тестирования, в котором результатам сравнений можно будет верить.
Про сравнение - совсем забыл спросить: есть ли у тебя какой-то SLA? Пусть не зафиксированный в явном виде - но некое общее понимание, какие времена ответа ок, а какие уже нет? Дойди до менеджера сервиса, смежников, пользователей и т.д. и спроси, какие требования по времени ответа. Не жди, что они ответят вразумительно сразу, но тебе надо будет получить что-то вроде: 95% запросов за 200мс, 99% за 1с. Вероятно, для разных запросов требования будут отличаться, например, на сайте главная страница должна грузиться меньше чем за секунду для всех, а вот какой-нибудь сложный фильтр или поиск может 2-3 сек работать.
Во-вторых: что мешает тебе построить две функции распределения и сравнить их? Считай, что это сравнение по всем квантилям сразу. Тут можешь увидеть всякое интересное, например - ускорились на лучших 25% запросов, зато на худшем 0,5% ухудшили вдвое. Среднее в качестве критерия сравнения для систем с живыми пользователями плохо использовать потому, что без дисперии оно мало о чем говорит, а люди не умеют интуитивно интерпретировать стандартное отклонение иплаинг: математики не люди. А если ты строишь доверительные интервалы - так это те же квантили, считай (если односторонний - так вообще то же самое).
Совсем другое дело - не-интерактивные (батч) системы. Если у тебя есть сервис, которому кидают пачку заданий а он их какое-то продолжительное время разгребает, и результат - обработка всей пачки - то тут как раз среднее+стандартное отклонение - норм критерий - для итоговой оценки не важно, что часть запросов тормозила, потому что результат все равно появится только после обработки всего.
Если у тебя итоговое распределение многомодовое получилось (несколько "горбов") - построй по разным типам запросов, возможно, это эффект наложения нескольких логнормальных. А может просто у вас с сетью хуйня какая и это так ретрансмиты портят результаты - тогда на распределениях по отдельным типам запросов увидишь те же пики.
Если хочешь поупражняться в статистике - можешь еще посчитать средние и доверительные интервалы, но тут нужно понять сначала, какое распределение описывает твои результаты (возможно, надо будет разбить на несколько по типам, см. выше). Я этим никогда не заморачивался - от меня формальных оснований не требуют, а на графиках и так все хорошо видно обычно.
совсем не математик; знание статистики штука полезная, но здравого смысла и умения качественно интерпретировать результаты (на уровне - какая форма распределения и можем ли мы верить результату с такой дисперсией) мне хватает
Про таймер - см. выше про открытую закрытую систему, прикинуть на коленке можно так: посмотри сколько пользователей на проде, подели на мощность серверов в проде в попугаях и домножь на мощность тестовых серверов в тех же попугаях. Если подаешь нагрузку примерно таким числом - на первый взгляд ок. Попугаев для сравнения надо выбирать по критическом ресурсу - смотри, в какой первый ресурс упирается в тесте на разладку (когда подаешь нагрузку, пока серверу не поплохеет). Если упираешься в дисковую подсистему - пичаль-беда, ее сложно сравнивать, потому как кэширование, планировщик ОС, очереди, вот это все.
Кстати, подавать нагрузку на разладку с шейпингом по числу запросов в секунду обычно удобнее - если сервис или jmeter перестал справляться вместо плавно растущей линии или аккуратных ступенек увидишь полку или "пилу" (накапливается пачка запросов тяжелых запросов - разгребается, все работает, пока не накопится новая).
Мокать приходится от безысходности - когда ставить полноценное другое приложение слишком сложно или от него невозможно добиться стабильных времен ответа. Смысл в том, чтобы получить стабильное окружение для тестирования, в котором результатам сравнений можно будет верить.
Про сравнение - совсем забыл спросить: есть ли у тебя какой-то SLA? Пусть не зафиксированный в явном виде - но некое общее понимание, какие времена ответа ок, а какие уже нет? Дойди до менеджера сервиса, смежников, пользователей и т.д. и спроси, какие требования по времени ответа. Не жди, что они ответят вразумительно сразу, но тебе надо будет получить что-то вроде: 95% запросов за 200мс, 99% за 1с. Вероятно, для разных запросов требования будут отличаться, например, на сайте главная страница должна грузиться меньше чем за секунду для всех, а вот какой-нибудь сложный фильтр или поиск может 2-3 сек работать.
Во-вторых: что мешает тебе построить две функции распределения и сравнить их? Считай, что это сравнение по всем квантилям сразу. Тут можешь увидеть всякое интересное, например - ускорились на лучших 25% запросов, зато на худшем 0,5% ухудшили вдвое. Среднее в качестве критерия сравнения для систем с живыми пользователями плохо использовать потому, что без дисперии оно мало о чем говорит, а люди не умеют интуитивно интерпретировать стандартное отклонение иплаинг: математики не люди. А если ты строишь доверительные интервалы - так это те же квантили, считай (если односторонний - так вообще то же самое).
Совсем другое дело - не-интерактивные (батч) системы. Если у тебя есть сервис, которому кидают пачку заданий а он их какое-то продолжительное время разгребает, и результат - обработка всей пачки - то тут как раз среднее+стандартное отклонение - норм критерий - для итоговой оценки не важно, что часть запросов тормозила, потому что результат все равно появится только после обработки всего.
Если у тебя итоговое распределение многомодовое получилось (несколько "горбов") - построй по разным типам запросов, возможно, это эффект наложения нескольких логнормальных. А может просто у вас с сетью хуйня какая и это так ретрансмиты портят результаты - тогда на распределениях по отдельным типам запросов увидишь те же пики.
Если хочешь поупражняться в статистике - можешь еще посчитать средние и доверительные интервалы, но тут нужно понять сначала, какое распределение описывает твои результаты (возможно, надо будет разбить на несколько по типам, см. выше). Я этим никогда не заморачивался - от меня формальных оснований не требуют, а на графиках и так все хорошо видно обычно.
совсем не математик; знание статистики штука полезная, но здравого смысла и умения качественно интерпретировать результаты (на уровне - какая форма распределения и можем ли мы верить результату с такой дисперсией) мне хватает
Ок, понял про загрузку. Сла никакого нет в принципе, всем похуй. Проект внутренний, тип посмотри что совсем пиздец не стал из и так тормозящей хуеты с 1500 запросов в базу при логине, лел. Короч буду смотреть в сторону функций распределения. Книжки какие-нибудь подскажеш?))
Мне сразу обозначили, мол ты хуй с нуля, да чет ты знаешь, не канает, пиздуй как ТЕ за 15к(Да анон блядь, 15к, ДС,15к), но сначала, неделю теории у нас, потом сдаешь, потом идешь к заказчику, и там он уже дрючит тебя в другом месте(естественно за нихуя).(компания аутсорсовая)
Я согласился на этот ад. Стоит сказать что за так я не работал. Так учил внутренюю док-цию, ЖЦД, инструменты тестирования. В конце таки сдал охуевший довольно экзам, и вот спустя месяц я ТЕ за 15к.
И вот я уже 2.5 месяца там. Карьерный рост внутри компании? Он блядь настолько медленный и пиздецовый что пиздец. Защищаешь, местами, охуевший ИПР(индивидуальный план развития) и твоя зарплата растет на 20%(с 15к то, где тут золотую цепь со знаком даллара купить?).
Уходить, искать что-то еще, уже с опытом на норм зп? И вот тут то подводный камень. Вот я оглядываюсь назад.
И что я вижу блядь? Чему я за 2.5 месяца(ну за 3, если засчитать дни неоплачиваемого штудирования док-ции) научился?
Работать с TFS в котором разбереться школьник-аутист за 15 минут? Копипастить и местами править SQL скрипты уровня select то-то? Работать с внутренней системой заказчика, которая никому, кроме него, в хуй не уперлась?
Уж благо Siebel со всех сторон обдрочил. Охуеть достижение.
И большего работа не предполагает.
Ставишь зеленые галочки на тестиках, ссышь в ебало сис.админам/тестовой модели/разработчикам если зеленую галочку в шаге тестика не поставить. Они сопротивляются, но ты ссыш. Говорят "фича" ты ссышь.
А потом опять тест, опять копипаст наизусть заученного скрипта, галочки, поставил себе роли на зибель, О ебать интеграция зибель-хуйнянейм.... как всегда не работает, алло сисадмин, мудак, логирование включи.
Больше работа не предполагает нихуя. Куда расти? Куда идти? Пиздос.
Мне сразу обозначили, мол ты хуй с нуля, да чет ты знаешь, не канает, пиздуй как ТЕ за 15к(Да анон блядь, 15к, ДС,15к), но сначала, неделю теории у нас, потом сдаешь, потом идешь к заказчику, и там он уже дрючит тебя в другом месте(естественно за нихуя).(компания аутсорсовая)
Я согласился на этот ад. Стоит сказать что за так я не работал. Так учил внутренюю док-цию, ЖЦД, инструменты тестирования. В конце таки сдал охуевший довольно экзам, и вот спустя месяц я ТЕ за 15к.
И вот я уже 2.5 месяца там. Карьерный рост внутри компании? Он блядь настолько медленный и пиздецовый что пиздец. Защищаешь, местами, охуевший ИПР(индивидуальный план развития) и твоя зарплата растет на 20%(с 15к то, где тут золотую цепь со знаком даллара купить?).
Уходить, искать что-то еще, уже с опытом на норм зп? И вот тут то подводный камень. Вот я оглядываюсь назад.
И что я вижу блядь? Чему я за 2.5 месяца(ну за 3, если засчитать дни неоплачиваемого штудирования док-ции) научился?
Работать с TFS в котором разбереться школьник-аутист за 15 минут? Копипастить и местами править SQL скрипты уровня select то-то? Работать с внутренней системой заказчика, которая никому, кроме него, в хуй не уперлась?
Уж благо Siebel со всех сторон обдрочил. Охуеть достижение.
И большего работа не предполагает.
Ставишь зеленые галочки на тестиках, ссышь в ебало сис.админам/тестовой модели/разработчикам если зеленую галочку в шаге тестика не поставить. Они сопротивляются, но ты ссыш. Говорят "фича" ты ссышь.
А потом опять тест, опять копипаст наизусть заученного скрипта, галочки, поставил себе роли на зибель, О ебать интеграция зибель-хуйнянейм.... как всегда не работает, алло сисадмин, мудак, логирование включи.
Больше работа не предполагает нихуя. Куда расти? Куда идти? Пиздос.
Отписывался тут летом. Работал тестировщиком в Мамбе. Получал 40к, потом 50к... А потом решил два бизноса стартовать. Уехал к себе в родной город Владимирской области. И стартую, лол. До этого ухватил удаленку за 15к в месяц (не связана с прошлым тестировщика) и развиваю свои два дела. Доволнен ли я? Да. Ушел отчасти потому что как и ты не увидел дальнейшего развития. отчасти потому что давно хотел самостоятельно зарабатывать деньги, а не через кого-то. Ну, и потолок на моей должности был выбран полностью, а искать новое место уже и не хотелось, так как начал углубляться в нюансы своих занятий.
Не располагает, так сказать, должность, у нас пишет все ТМ, а выполняют тест-макаки. Нет, писать то конечно можно, просто как аутист, как минутное хобби. А так, написать смогу, думаю.
Вот в том то и дело. Что я не знаю, вот что я черпаю с моего текущего опыта. Ну проработаю я пол-года за еду. И что я смогу предложить, такой опытный, другому работодателю? Вроде как пошел за опытом, а вот реально того что его получаю не чувствую.
>>407866
>Получал 40к
>Потом удаленку за 15к
>удаленку
Бля, а я еду за 15к в ДСовские пердя в другой конец города, чтобы сидеть в офисе-муравейники, где ебанные надсмотрщики заказчика будут уговаривать меня выйти в субботу ибо у них РЕЛИЗ, и вообще не ебёт что два дня подряд из-за распиздяйства сисадминов ТС не работал, и отствание, иди дружок, выйди за 15к.
Лол, эти аббревиатуры. А так, слишком большая фирма, наверное, читай С. Канера для ознакомления с терминологией для собеседований и вали через полгода куда-то в менее формальное место, будет больше швабодки и обязанностей. Живой макакой эт пиздец, мне после стажировки сразу дали писать тесты для новых функций
Только один вопрос у меня возник. Какого хуя ты там до сих пор сидишь? Ты блядь в ДС живешь, уволился нахер и пошел другую работу искать. Уровень кандидатов сейчас такой, что в тестеры берут полных аутистов.
> Копипастить и местами править SQL скрипты уровня select то-то
Уже достаточно, чтобы получать 15-20к в мухосранях. Прыгай в другую фирму, в твоей оставаться смысл был только если научиться чему-то можно было бы.
Книжек хороших я и не знаю. Может я что-то упускаю, но мне кажется, что больше пользы от админских и програмистских знаний, типа "как правильно затюнить ядро под большое число tcp сессий", "какая асимптотическая сложность у используемого алгоритма", "как профилировать приложение под нагрузкой, чтобы минимально влиять на результаты".
Понятно, ну че, рад был узнать новые мысли, надо тред сохранить, лел.
Ты прав фирма здоровая, с массой проектов на большое кол-во человекоресурсов.
>>408415
Может я не там ищу где-то. По мне как раз таки требования довольно ебистые везде просят. Я хуй знаю, может загоняюсь.
>>408368
Лол, NYET.
В Москве требования начинаются с 40к зарплаты. До этой цифры - разве что хотелки. Прочитал ссавина, знаешь sql и говнокодишь понемногу - ты уже царь и бог джуниоров-тестеромакак.
Как и в любом ремесле. Только в программировании ты сидишь в контактике, а не сверхурочно.
>А вот разница во взгляде на вещи - огромна.
Как я понимаю, кодер не всегда может адекватно взглянуть на получившийся результат со стороны пользователя, поскольку его голова в основном забита
тем как закодить данный функционал чтоб он работал, а не тем что в конечном итоге получится.
Тестер же наоборот только и думает, а что же у нас тут блядь в итоге получилось, и как это воспримет конечный юзер. Поэтому тестер и является последней инстанцией перед "выходом в свет" очередного куска кода.
Как бы тебе в другой тред. Опыт настройки бамбушки я имел, но небольшой, профильные люди-погромисты занимались в основном.
Return on intelligence?
Где вообще набраться конкретно практического опыта, если сейчас вкатиться в QA весьма сложно из-за ситуации на рынке/странах снг и всем нужны как минимум ебаные миддлы?
Тестирование, в отличие от разработки, весьма нравится, все найсец, но всем минимум пару лет опыта подавай.
Как толком вкатиться-то?
Если у тя нет опыта, откуда ты знаешь? Если есть, подавай на мидла, так и говори, хуе-мое, хочу тестировать
Опыта заседания в оффисе и просиживания штанов за тестами таки нет. А так тестил свои и не свои проектики, тащемта. Все норм, никто, лол, не жаловался.
На миддла? А на его планку в
> min 2y of qa experience
вообще насрать можно, да?
Конечно можно, щас те залётный погромист расскажет, как легко быть тестировщиком и любой грущик приходит такой и устраивается.
Нет, попытаться конечно можно, но если у тебя представления в предметной области нет, но при этом ты умудришься устроится на мидла - дай знать, приду в эту фирму на пост директора. Если серьёзно - джуниоры дохуя где нужны, просто ты не умеешь пользоваться гуглом, а это, к слову, необходимый навык в IT.
ищи стажировки, в ДС\ДС2\Киеве\Минске это не такая и проблема
"Предметная область" тестирования - это классы эквивалентности, погроничные значения и pairwise? Интуитивно-рациональный подход в написании отчетов об ошибках? От джуниора до мидла не такая уж и большая разница
Знания ведь есть.
И гуглом так-то умею, лол. И джуны действительно нужны, но в других городах. В хохлоДС и миллионниках. А я немного не в них.
В рашке небось и подавно выбор побольше.
Ну, ладно, раз нужны, буду искать еще, чоу, хотя один хуй подобное в моем 500к-городке появляется крайне редко. Или вообще в Киевы перекачусь, там надежней.
В следующий понедельник идти на собеседование низшим тестером есть смысл, или я что-то забыл?
Ну, читаю художественную и техническую (если в теме секу) литературу (говнокодинг на инглише учил) без проблем, смотрю фильмы в оригинале без сабов и с англосабами, могу с рандомным Джоном Смитом в чатике/на форчане перетереть за жизнь и на какую-нибудь нейтральную тему, могу писать грамматически корректным образом длинные тексты, если есть необходимость, хотя вот это тяжело будет. Акцент есть, но не такой, что кровь из ушей от него будет у кого-то, кроме носителей, ну и вменяемый художественный перевод составить не смогу, но в последнее умеют в основном только филологи и переводчики.
Такого уровня хватит?
Главное, чтобы на собесе мог свободно попиздеть на рандомные темы так, чтобы ты понимал, что от тебя хотят и мог ответить, чтобы поняли тебя, а так норм. Во временах не путайся, главное.
Ебать ебать. Почитал я тебя и закралось у меня подозрение что как-то плохо я делаю и тупо.
Вот какую хуйню я обычно делаю. Лид выкатывает тестовые сценарии и хотелки заказчика, типа сколько юзеров эмулируем, сколько юзеров какой сценарий делает, сколько запросов в секунду на пике нагрузки должно быть и т.п. По этому делу фигачатся скрипты. Ну и значит при тестировании наращивается количество инстансов скриптов до пикового значения о котором договаривались, ну и параллельно палится
время ответов от приложения, такой ли ответ ожидался, вот это все. А в отчет идет среднее арифметическое время ответов и кол-во "юзеров" по времени, когда, сколько и какие возвращались ошибки и на каких операциях. На дисперсию я вообще не смотрю. И железо мы вообще не мониторим, хотя возможность вроде есть. То ли этим одмины занимаются, то ли мы на это хуй положили.
Все плохо? Что там еще можно поанализировать? На ум приходит только дисперсия на пике нагрузки навроде пикрелейтеда, но и только то. Какую важную статистику я проебываю?
Сложно скрипты писать, если не хочешь идти в автоматизацию из-за обилия кода, который надо писать? Какой входной порог знаний?
Ты из тех, кто не читает треды? Порог знаний нулевой, как и во всем тестировании, сам научишься
Еще такое есть.
Коментарии в произвольном порядке:
>Все плохо?
Можно заниматься только нагрузочным тестированием и говорить, что все остальное тебя не ебет, а можно идти в сторону performance engineering (инженерия производительности? ну ты понел) - т.е. смотреть на бизнес-требования и аналитику (чтобы понимать, не проебались ли где-нибудь с SLA), на архитектуру и выбор компонентов (если знаешь, что какие-то решения - заведомый пиздец), участвовать в планировании мощностей, помогать с настройкой правильных мониторингов и т.п.
Работы как бы больше, но она разнообразнее, а самое главное - ты начинаешь думать об осмысленности того, что делаешь, а осмысленная работа приятнее. Задача теста (или серии тестов) - ответить на какой-то вопрос, и редко можно ответить на вопрос в терминах бизнес-требований, поэтому надо переформулировать так, чтобы (1) ответить можно было и (2) с минимальными усилиями.
Я считаю правильным не ограничиваться тупо запуском тестов, а лезть в смежные области.
>Лид выкатывает тестовые сценарии и хотелки заказчика типа сколько юзеров эмулируем, сколько юзеров какой сценарий делает, сколько запросов в секунду на пике нагрузки должно быть и т.п.
Как получена эта инфа? Взяты функциональные тесты? "Репрезентативные" сессии пользователей? Тупо посчитан "средний пользователь" по проду? Надо хорошо понимать, как подаваемая в тесте нагрузка соотносится с реальностью. Идеальное воспроизведение прода точно позволяет ответить на вопрос "держим ли нагрузку" но плохо подходит для исследования оптимизаций отдельных запросов/сценариев. Если тебе не насрать - хорошо бы поговорить с менеджером/аналитиками/заказчиком - откуда берутся требования, почему они такие и т.п. Так ты будешь лучше понимать, на какие вопросы на самом деле должен ответить тест.
Ах, да - поговори еще с админами. Если ты хорошо делаешь свою работу - админы должны тебя любить, потому что ты не даешь катить глючное и тормозное говно. Если они этого не понимают - постарайся вежливо объяснить. И обязательно узнай, какие проблемные места с точки зрения производительности они видят (но не разговоры про "все говно", а конкретные вещи - вроде "вот эта база все время перегружена, а вот в другом месте адовы гигабайты гоняются по сети на каждый чих, хотя можно было бы сразу считать нужные агрегаты").
>По этому делу фигачатся скрипты. Ну и значит при тестировании наращивается количество инстансов скриптов до пикового значения о котором договаривались.
См. выше про открытые/закрытые системы. У тебя веб или что-то на него похожее? Предположу, что да, т.к. с толстыми клиентами дела не имел и советовать не могу. Если у тебя потенциально бесконечное число пользователей - более осмысленно подавать нагрузку в запросах в секунду, создавая пользователей с запасом, чтобы выдерживать заданное расписание. Чуваки из бизнеса любят говорить про пользователей, но мы-то понимаем, что это просто поток HTTP запросов, снабженных одной кукой, так что если потенциальный пул пользователей у тебя бесконечный - подавать нагрузку в RPS логичнее - все равно миллион инстансов с вероятностью запроса 0.001 ты делать не будешь. Ну и интерпретировать такие данные проще - легко сделать мониторинг, легко сравнить реальное число запросов с результатом "до 1000 запросов в секунду с соотношением по типам как в проде держим при 99% ответов до 500мс". Если в качестве пользователей у тебя выступают люди, а не роботы - пересчитывать виртуальных в реальных будет сложно.
>в отчет идет среднее арифметическое время ответов и кол-во "юзеров" по времени, когда, сколько и какие возвращались ошибки и на каких операциях. На дисперсию я вообще не смотрю.
Среднее время само по себе - плохой показатель. Требования к системам могут сильно отличаться - где-то это низкая дисперсия для гарантированного времени ответа (и приемлемое среднее не значит, что у тебя не будет половины запросов выходящих за SLA) , где-то достаточный процент быстрых ответов ( и небольшой процент улетающих в небеса не важен, но испортит тебе среднее). Смотреть на среднее + дисперсию и посчитанные через нее доверительные интервалы - ок, но тут надо понимать, как они посчитаны. По нормальному распределению? А кто тебе сказал, что у тебя оно? Скорее что-то ближе к логнормальному, а может быть - вообще хуй пойми что с несколькими модами, и поделить на несколько отдельных ты его осмысленно не можешь.
Вот на пикче неплохо сделано (если подписи не врут) - минимум и максимум + границы квартитей, но я на практике обычно использую набор квантилей из 50% (медиана), 75%, 90%, 95%, 99%, более высокие смотрю, когда важно гарантированное время ответа.
>И железо мы вообще не мониторим, хотя возможность вроде есть. То ли этим одмины занимаются, то ли мы на это хуй положили.
Это напрасно, потому что ты не понимаешь, что именно происходит в это время с системой. Пойди к админам и распроси их, объясни, почему это в их интересах (см. выше), если не хотят делать сами - пусть помогут тебе что-то самому изобразить на коленке. Мониторинг даст тебе понимание, что происходит с системой, в какой ресурс упираетесь, как это меняется при смене настроек/версии софта. Еще можно будет поискать корреляции всплесков времен ответа и утилизации ресурсов, отсюда опять же можно посмотреть наиболее тяжелые запросы и подумать над оптимизацией настроек.
Ограничиваться только системными метриками не стоит, если у вас многокомпонентная система - и она отдает какую-то статистику о себе - постарайся и это тоже собирать. В случаях, когда проблема серьезная а средств диагностики не хватает - не стесняйся пробовать любой отдаленно подходящий инструмент. Мне приходилось скриптом херачить стектрейсы через gdb для отлова некоторых локов.
Естественно, надо следить за балансом усилия/профит - если что-то тебе сделать адово тяжело - лучше поискать другую точку приложения усилий, либо подумать, нельзя ли радикально упростить задачу, оставив 90% профита.
Коментарии в произвольном порядке:
>Все плохо?
Можно заниматься только нагрузочным тестированием и говорить, что все остальное тебя не ебет, а можно идти в сторону performance engineering (инженерия производительности? ну ты понел) - т.е. смотреть на бизнес-требования и аналитику (чтобы понимать, не проебались ли где-нибудь с SLA), на архитектуру и выбор компонентов (если знаешь, что какие-то решения - заведомый пиздец), участвовать в планировании мощностей, помогать с настройкой правильных мониторингов и т.п.
Работы как бы больше, но она разнообразнее, а самое главное - ты начинаешь думать об осмысленности того, что делаешь, а осмысленная работа приятнее. Задача теста (или серии тестов) - ответить на какой-то вопрос, и редко можно ответить на вопрос в терминах бизнес-требований, поэтому надо переформулировать так, чтобы (1) ответить можно было и (2) с минимальными усилиями.
Я считаю правильным не ограничиваться тупо запуском тестов, а лезть в смежные области.
>Лид выкатывает тестовые сценарии и хотелки заказчика типа сколько юзеров эмулируем, сколько юзеров какой сценарий делает, сколько запросов в секунду на пике нагрузки должно быть и т.п.
Как получена эта инфа? Взяты функциональные тесты? "Репрезентативные" сессии пользователей? Тупо посчитан "средний пользователь" по проду? Надо хорошо понимать, как подаваемая в тесте нагрузка соотносится с реальностью. Идеальное воспроизведение прода точно позволяет ответить на вопрос "держим ли нагрузку" но плохо подходит для исследования оптимизаций отдельных запросов/сценариев. Если тебе не насрать - хорошо бы поговорить с менеджером/аналитиками/заказчиком - откуда берутся требования, почему они такие и т.п. Так ты будешь лучше понимать, на какие вопросы на самом деле должен ответить тест.
Ах, да - поговори еще с админами. Если ты хорошо делаешь свою работу - админы должны тебя любить, потому что ты не даешь катить глючное и тормозное говно. Если они этого не понимают - постарайся вежливо объяснить. И обязательно узнай, какие проблемные места с точки зрения производительности они видят (но не разговоры про "все говно", а конкретные вещи - вроде "вот эта база все время перегружена, а вот в другом месте адовы гигабайты гоняются по сети на каждый чих, хотя можно было бы сразу считать нужные агрегаты").
>По этому делу фигачатся скрипты. Ну и значит при тестировании наращивается количество инстансов скриптов до пикового значения о котором договаривались.
См. выше про открытые/закрытые системы. У тебя веб или что-то на него похожее? Предположу, что да, т.к. с толстыми клиентами дела не имел и советовать не могу. Если у тебя потенциально бесконечное число пользователей - более осмысленно подавать нагрузку в запросах в секунду, создавая пользователей с запасом, чтобы выдерживать заданное расписание. Чуваки из бизнеса любят говорить про пользователей, но мы-то понимаем, что это просто поток HTTP запросов, снабженных одной кукой, так что если потенциальный пул пользователей у тебя бесконечный - подавать нагрузку в RPS логичнее - все равно миллион инстансов с вероятностью запроса 0.001 ты делать не будешь. Ну и интерпретировать такие данные проще - легко сделать мониторинг, легко сравнить реальное число запросов с результатом "до 1000 запросов в секунду с соотношением по типам как в проде держим при 99% ответов до 500мс". Если в качестве пользователей у тебя выступают люди, а не роботы - пересчитывать виртуальных в реальных будет сложно.
>в отчет идет среднее арифметическое время ответов и кол-во "юзеров" по времени, когда, сколько и какие возвращались ошибки и на каких операциях. На дисперсию я вообще не смотрю.
Среднее время само по себе - плохой показатель. Требования к системам могут сильно отличаться - где-то это низкая дисперсия для гарантированного времени ответа (и приемлемое среднее не значит, что у тебя не будет половины запросов выходящих за SLA) , где-то достаточный процент быстрых ответов ( и небольшой процент улетающих в небеса не важен, но испортит тебе среднее). Смотреть на среднее + дисперсию и посчитанные через нее доверительные интервалы - ок, но тут надо понимать, как они посчитаны. По нормальному распределению? А кто тебе сказал, что у тебя оно? Скорее что-то ближе к логнормальному, а может быть - вообще хуй пойми что с несколькими модами, и поделить на несколько отдельных ты его осмысленно не можешь.
Вот на пикче неплохо сделано (если подписи не врут) - минимум и максимум + границы квартитей, но я на практике обычно использую набор квантилей из 50% (медиана), 75%, 90%, 95%, 99%, более высокие смотрю, когда важно гарантированное время ответа.
>И железо мы вообще не мониторим, хотя возможность вроде есть. То ли этим одмины занимаются, то ли мы на это хуй положили.
Это напрасно, потому что ты не понимаешь, что именно происходит в это время с системой. Пойди к админам и распроси их, объясни, почему это в их интересах (см. выше), если не хотят делать сами - пусть помогут тебе что-то самому изобразить на коленке. Мониторинг даст тебе понимание, что происходит с системой, в какой ресурс упираетесь, как это меняется при смене настроек/версии софта. Еще можно будет поискать корреляции всплесков времен ответа и утилизации ресурсов, отсюда опять же можно посмотреть наиболее тяжелые запросы и подумать над оптимизацией настроек.
Ограничиваться только системными метриками не стоит, если у вас многокомпонентная система - и она отдает какую-то статистику о себе - постарайся и это тоже собирать. В случаях, когда проблема серьезная а средств диагностики не хватает - не стесняйся пробовать любой отдаленно подходящий инструмент. Мне приходилось скриптом херачить стектрейсы через gdb для отлова некоторых локов.
Естественно, надо следить за балансом усилия/профит - если что-то тебе сделать адово тяжело - лучше поискать другую точку приложения усилий, либо подумать, нельзя ли радикально упростить задачу, оставив 90% профита.
Продолжение >>426686
>Что там еще можно поанализировать? На ум приходит только дисперсия на пике нагрузки навроде пикрелейтеда, но и только то. Какую важную статистику я проебываю?
Лучше начать с требований к сервису - не факт, что тебе спустили адекватные сценарии и требования для тестов - постарайся понять, откуда они взялись и почему такие. Когда будешь лучше понимать, какие требования к сервису - будет понятнее, на что обращать внимание.
Я уже говорил, что админы - твои друзья? Повторение лишним не будет, даже если формально они требования не формулируют - обычно они лучше всех знают как себя ведет система в проде, могут выдать тебе какие-то эмпирические правила для определения, когда система ведет себя "не так".
Убедись, что стенд адекватно настроен и достаточно похож на прод. Подумай, как ты можешь обосновать перенос результатов из теста на продакшен, особенно - если надо масштабировать. Смотри на критический ресурс в одном и другом месте (если не совпадает - у тебя должно быть какое-то очень серьезное обоснование почему твои тесты что-то говорят про реальность).
Повторю совет из постов выше про построение кумулятивной функции распределения - тупо по х длительность выполнения запроса, по y - доля завершившихся к этому времени . Можешь еще построить для диапазонов времени ответа долю попавших в диапазон - это считай "функция плотности". По сути там одно и то же, используй что понятнее/удобнее. Такой график позволяет быстро понять форму распределения, увидеть какие-то аномалии, сравнить разные тесты (тут будь осторожен - может быть большая дисперсия результатов между запусками одного и того же теста. Если нет априорной уверенности в стабильности результата - повторяй несколько раз. Если есть - все равно повторяй, потому что на самом деле тут ты ошибаешься).
Анализируй времена ответа вместе с данными мониторингов, смотри на аномалии. Можешь упороться и построить распределения с посекундными квантилями в стиле яндекс-танка https://github.com/yandex/yandex-tank
Убедись, что ты получаешь достаточно устойчивые результаты - осторожно используй рандомизацию запросов, следи, чтобы ты не удалял/не создавал слишком много данных, если их объем важен, старайся делать максимально воспроизводимые тесты, делай по несколько прогонов и сравнивай результаты.
Если полноценные тесты сложные - есть смысл подумать над упрощенными - это позволит быстрее ставить эксперименты (например, на сравнение разных настроек).
==========
Что-то я задолбался писать простыни на двощах, дальше буду более конкретно на вопросы отвечать. Алсо, могу рассказать что-то по скайпику - говорить менее задалбывает
Продолжение >>426686
>Что там еще можно поанализировать? На ум приходит только дисперсия на пике нагрузки навроде пикрелейтеда, но и только то. Какую важную статистику я проебываю?
Лучше начать с требований к сервису - не факт, что тебе спустили адекватные сценарии и требования для тестов - постарайся понять, откуда они взялись и почему такие. Когда будешь лучше понимать, какие требования к сервису - будет понятнее, на что обращать внимание.
Я уже говорил, что админы - твои друзья? Повторение лишним не будет, даже если формально они требования не формулируют - обычно они лучше всех знают как себя ведет система в проде, могут выдать тебе какие-то эмпирические правила для определения, когда система ведет себя "не так".
Убедись, что стенд адекватно настроен и достаточно похож на прод. Подумай, как ты можешь обосновать перенос результатов из теста на продакшен, особенно - если надо масштабировать. Смотри на критический ресурс в одном и другом месте (если не совпадает - у тебя должно быть какое-то очень серьезное обоснование почему твои тесты что-то говорят про реальность).
Повторю совет из постов выше про построение кумулятивной функции распределения - тупо по х длительность выполнения запроса, по y - доля завершившихся к этому времени . Можешь еще построить для диапазонов времени ответа долю попавших в диапазон - это считай "функция плотности". По сути там одно и то же, используй что понятнее/удобнее. Такой график позволяет быстро понять форму распределения, увидеть какие-то аномалии, сравнить разные тесты (тут будь осторожен - может быть большая дисперсия результатов между запусками одного и того же теста. Если нет априорной уверенности в стабильности результата - повторяй несколько раз. Если есть - все равно повторяй, потому что на самом деле тут ты ошибаешься).
Анализируй времена ответа вместе с данными мониторингов, смотри на аномалии. Можешь упороться и построить распределения с посекундными квантилями в стиле яндекс-танка https://github.com/yandex/yandex-tank
Убедись, что ты получаешь достаточно устойчивые результаты - осторожно используй рандомизацию запросов, следи, чтобы ты не удалял/не создавал слишком много данных, если их объем важен, старайся делать максимально воспроизводимые тесты, делай по несколько прогонов и сравнивай результаты.
Если полноценные тесты сложные - есть смысл подумать над упрощенными - это позволит быстрее ставить эксперименты (например, на сравнение разных настроек).
==========
Что-то я задолбался писать простыни на двощах, дальше буду более конкретно на вопросы отвечать. Алсо, могу рассказать что-то по скайпику - говорить менее задалбывает
Отдельно перформанс тестированием не занимался, но мимо пролетало некоторое кол-во задач - обычно занимались достаточно крутые люди, причем иногда - вообще не тестировщики, а разработчики или админы, которым ПРИПЕКЛО и которые взялись за отлов проблемы.
>Сложно скрипты писать, если не хочешь идти в автоматизацию из-за обилия кода, который надо писать?
Кода там может и меньше, чем у автоматизаторов, но задачи будут явно сложнее, чем проверить наличие очередной формочки.
>Какой входной порог знаний?
Нужно неплохое понимание используемых в тестируемом софте технологий, ну и владение соответствующим инструментарием. Что может варьироваться от какого-нибудь селениума до написание своих скриптов systemtap или патчей в ядро.
>>425713
Как ты себе представляешь в данном случае "нулевой порог"? Человек с улицы придет и сразу чего-нибудь натестирует? Не умея в программирование, не зная никаких инструментов?
Недостаточно :( сумму называть не буду. Я зашел сюда за тестирование перетереть, а не за зарплаты
А как я его вижу? Да хуй знает. У кого есть идеи какие?
шутка за 300?
Объясни подробнее ситуацию. Тебя хотят проверить "на понимание" или тут что-то другое?
Не надо я отдыхаю
Он не об этом говорит, а о том, что во время написания теста да и просто может что-то падать в самом приложении, и знание фронтенда\бекенда и используемых там языков сэкономит тебе время, которое ты вполне можешь потратить, думая, что это твой тест корявый, а не в приложении что-то падает. Утрируя, конечно, спектр применения подобных знаний в разы шире и сразу выходит за макакинг, который сейчас особо нигде и не нужен.
Не знаю, у нас тестеры не имеют доступа к коду. Тем более - к его отладке. Тестер не должен знать, как работает приложение, по этой же причине программисты - плохие тестеры. Это как заставить минёра пройти по им же созданному минному полю.
Узколобый какой-то подход, пиздец. Знание кода не повредит ну никак, наоборот, больше информации, возможно больше идей для тестов. Если тестер при этом начинает искать короткие пути - это его личные анальные проблемы.
Алсо я понял, почему чувак сказал джаваскрипт в первую очередь, и согласен с этим и начну это делать, лол. Без знания устройства dom сложно понять ебучие ошибки в "ситуациях гогок", например. "Нинужна" ну это пиздец аматорство, не понимать процессов, которыми нам надо управлять, фейлить из-за этого, но нам ета не нужно
Че-то толсто. Ну, или тупо.
> Тестер не должен знать, как работает приложение
Это отдельная пушка просто. А что он должен знать?
>>431117
>>430871
Не обращайте внимания, этот профан-дегенерат регулярно посещает тред со своими идиотскими высерами.
> последняя треть треда о нем
> не читает
> пояснити за
> не знает, что "пояснять" можно только что-то, но ни в коем случае "за что-то"
Нет, от меня ждут, что я это дело организую и начну делать. Если конечно презентация понравится начальству. Сейчас автоматизации нет на проекте
Что тебе еще пояснить, болезный? Я вот не жалею что пошел, а кому-то было бы пиздец, наверное. Конкретизируй, что уже умеешь, чем хочешь заниматься, либо что уже пробовал и понравилось/нет.
>>432063
"Пояснить за" - устойчивое выражение пришедшее из "пацанской" культуры, обычно применяется иронично, но в случае с нашим невероятно сообразительным реквестером - может быть и буквально.
Я-то помню ненавязчивый форс этого устойчивого выражения, но битордики 2015 уверены, что так и надо
Что тестируешь - мобайл, браузерки, десктоп? Много разного было?
Работаешь в одной компании или перекатывался? Или у вас там аутсорс (слышал, что в мобильной разработке очень много аутсорса в принципе)?
Ну и расскажи про сам процесс что-нибудь: какие инструменты, какие цели ставятся, как общаетесь с разработчиками, менеджерами и т.д.
Десктоп, AAA проекты, заказчики зарубежные, работал на двух внутри одной компании. Особых тулзов нет, автоматизация идёт только на уровне бекенда, и этим занимаются отдельные люди за пределами нашего QA отдела. Я по собственной инициативе занимаюсь тест дизайном, работа с документацией, покрытие тескейсами, вот это все. Начальство довольно, мне хороший опыт в резюме капает.
В дерьмаке 3 выдаваемые по сюжету стандартные двимеритовые бомбы заменяют твой набор двимеритовых бомб, я свои улучшал, между прочим. Заводил такое?
Я не в работаю в CDproject, к вьедзмину 3 отношения не имею.
А, ну и с менеджерами/разработчиками общение происходит в основном устно, так проще и быстрее, зачастую. Процессы достаточно кустарно налажены, чутка наладить стараюсь, но на крупных проектах это неизбежно, насколько я понимаю.
Расскажи в общих чертах, как выглядят тесткейсы у вас, кто обычно их делает, какой уровень детализации? Гоняете это все тупо руками? Как проверяете что-нибудь требующее определенного состояния (выполнение длинных квестов, например) - есть эталонный набор сейвов? Ну и вообще интересно узнать, как выглядит некоторый типичный кусок работы.
Фидбек от альфа/бэта тестеров кто обрабатывает? Насколько много от них пользы?
Что за документацию пишешь?
>>434867
Большие у вас команды? Разработка у вас же или другие компании? Часто ли возникают конфликтные ситуации, когда твои баги не признают багами/задают тупые вопросы/откладывают в долгий ящик?
2) Проверяют ли они как-то, что у тебя действительно был опыт фриланса?
Слал резюме во все подряд вакансии, прошёл 2 собеседования и стажировку 3 месяца за гроши.
Образования нет, из скилов только бесплатные курсы Порнова, Савин+частично Канер и огромное желание и энтузиазма. За счёт желания и взяли в основном, ну а потом на месте уже нарабатывал скилы, проявлял инициативу.
Проект крупные, изменения происходят часто и очень детально покрывать функционал кейсами становится не рентабельно, в основном описаны базовые функциональности и флоу в формате юзкейсов, позволяет минимизировать возможность проебатся перед отправкой. Гоняем толькт руками.
Фидбек обрабатывается одним из ПМов, зачастую бесполезен, но бывают редкие исключения. Альфа тестеры полезны, зачастую, как источник статистики по крашам и сбора инфы по ним же.
Специфика проекта такова, что в любой нужный стейт игры можно попасть в течении 1-10 минут, так что проблемы сейвов не стоит.
Пишу справочную документацию для новых тестеров на проекте и тесткейсы, больше этим никто не занимается, как правило.
Команды большие, проекты есть как внутренние, так и для сторонних компаний.
Спорных моментов не возникает, как правило, если важные баги игнорят - пушу их через своего Лида/ПМа/геймдиза
>1) Как отнесутся на собеседовании если соврать, что фрилансил? Например тестил удаленно какое-либо приложение.
И потом ты такой просто скажешь "да ладно, я вас наебал, чтобы собеседование пройти)))))", да? Лол.
Могут спросить что за приложение и как и что ты там тестил, а так опыт это всегда хорошо
Я проходил тестовое задание. Надо было найти баги на присланных мне скриншотах. Скриншоты из РЕАЛЬНО СУЩЕСТВУЮЩЕГО И ВСЕ ЕЩЕ РАБОТАЮЩЕГО ПРИЛОЖЕНИЯ (оно довольно известное). Это можно счесть за фриланс? Хотя бы с натяжкой?
Например скажу на собеседовании какие баги я там нашел
Все таки делая тестовое, ты же используешь свои знания и навыки. (в любом деле)
А как выглядит цикл разработки, кокок аджаил или как-то по-другому? Какой трекер задач используется? Получается, ты игоря у себя локально билдишь для проверки? Как тестируется производительность бетмена нового не вы делали бгг?
другой хуй
Не, не надо. Говори лучше, как есть, изъебываться лучше только для спасения от последствий собственного обосрамса
Надо будет чувакам в Microsoft сказать, что они не правы.
>>430873
Я имел в виду код. Т.е. как именно приложение реализует функционал. Уровень абстракции другой. Если тестер видит код, то ему может показаться, что некоторые кейсы не имеет смысла реализовывать.
>>431466
Чини детектор, Маня.
>>432062
Да, разумеется стоит.
>>432776
Меньше всего мне хочется тратить на тебя своё время.
>>435433
Попросят уточнить, что и как ты делал. Если ответишь, значит знания есть, а это самое важное.
>Надо будет чувакам в Microsoft сказать, что они не правы.
И конечно, продукты микрософта отличаются необычайно высокой надежностью, благодаря чему широко распространены в системах управления в авиации, ядерной и космической тенике.
>Я имел в виду код. Т.е. как именно приложение реализует функционал. Уровень абстракции другой. Если тестер видит код, то ему может показаться, что некоторые кейсы не имеет смысла реализовывать.
Если у тестера один раз воспроизвелся непонятный баг, то без отладчика и доступа к коду он отдает его, программисты тыкают пару раз, пишут "не воспроизводится" и закрывают нафиг. А если он снимает корку после глюка, находит криво установленную переменную, раскапывает код и видит, что там потенциальный рейс кондишен, который в тесте воспроизвелся один раз потому что флапнула сеть и пишет все это в задачу, уже гораздо меньше шансов, что такой репорт просто так закроют. Да и как воспроизвести проблему уже понятно.
Все правильно задетектили - профан-дегенерат и есть.
Вот поэтому ты и мало зарабатываешь, что очень узколобый.
Мне не нужен QA, который "раскалывает код". На собеседовании даже есть конкретные вопросы - что ты будешь делать, если найдешь ошибку. Твой ответ - кратчайший путь к двери. Более короткий путь - это попытаться исправить баг своими силами. Такой "тестер" не нужен никому.
Тестер должен создать тикет, приложить данные о системе, если речь идет о UI, то видео сессии и всё. Переходим к другому кейсу. Таким образом за день мы можем пройти не 10 кейсов, а многие сотни. И только с таким подходом мы можем автоматизировать тестирование.
Тестер может предположить в чем может быть проблема, но вся исходящая от него информация должна быть на английском, а не на языках программирования.
Ещё один плюс отсутствия доступа к коду - возможность расширения числа тестеров. Я, например, не могу нанять тестера в России, если я дам ему доступ к коду.
Ремарку про Microsoft я не буду комментировать - разговор с идиотом это пустая трата времени.
Съеби нахуй из треда и забудь дорогу, заебал своей унылой профанской толстотой.
Лол дебик, смотреть в коде это не вайтбокс нихуя, это такое вскрытие черного ящика на пошишечки. Я хуй знает че у микрософта да и не хочется, канер вон рикамендует дебажить тестерам, если есть время.
Аджайло-подобное нечто, как-то пытался выяснить точную методологию, но забил хуй ибо смысла не имеет.
Джиру юзаем. Локально билжу, да. Производительность тестируют специально отведенные для этого люди, мы разве что статистику предоставляем.
А по поводу бетмена - были сливы инфы от тестировщиков на проекте, говорилось что о уебанском перформансе было известно за полгода до релиза, всем было похуй просто ввиду нехватки ресурсов или еще чего.
И что же тогда вайтбокс, если не возможность смотреть в код и тз?
А вскрытие ЧЯ на полшишечки - это дизассемблер и/или снифф чужого бинаря, который хуй знает как написан, чем собран и что он вообще делает.
Ввиду неприоритетности пека-версии. Никого не интересует платформа для пиратов-нищебродов.
Вот из-за такого свинского отношения игры и не покупают, когда же вы, дауны, это поймете.
Ну кончоледауны покупают, до того как консоль ломанут, а особо упоротые и после.
Вайтбокс в вакууме определяется как процедура проверки кода в текстовом виде, не сбилженной программы. Хорошо, блекбокс с подсказками. Кто-то даже пишет "серый ящик"
>>440066
Скорее, обосрамс эффективных менеджеров
>Мне не нужен QA, который "раскалывает код". На собеседовании даже есть конкретные вопросы - что ты будешь делать, если найдешь ошибку. Твой ответ - кратчайший путь к двери.
Умерь пыл, маня, мы не на собеседовании. А нанимать ты кого-либо можешь только в своих влажных мечтах
>Таким образом за день мы можем пройти не 10 кейсов, а многие сотни.
Максимум идиотизм нанимать толпу макак, чтобы они вручную прокликивали сотни кейсов на каждый билд. Экстенсивное использование ручного труда путь ОТ автоматизации, а не к ней. Человек нужен там, где автоматизация пока лажает, например - в написании новых автотестов, исправлении в них косяков или воспроизведении сложных багов.
Конечно, есть случаи, вроде тестирования сложного GUI, где компы пока сильно отстают от людей, но если где-то необходимы макаки - это не повод заявлять, что других кейсов не бывает.
А в америке негров вешают где-то тестировщики пишут юнит-тесты. И где теперь твой бог?
>>440227
>Вайтбокс в вакууме определяется как процедура проверки кода в текстовом виде, не сбилженной программы.
Ну это уже какая-то формальная верификация получается. Я при привык к трактовке, что вайтбокс тестирование - это не просто со знанием внутреннего устройства, а построенное на этом знании - те же юнит-тесты. Т.к. на высоком уровне покрыть все возможные состояния обычно нельзя, функциональное тестирование это не отменяет.
Ну и я ратую за грейбокс, да. Иногда надо влезть в потроха системы и лучше если тестировщик это умеет. dive_into_python.jpg, короче
Где? Имхо если юнит-тесты пишет не автор кода - это говноедство. Жопу им подтирает тоже специально обученный человек?
На вопрос: почему вы решили стать QA?
Что если ответить честно, мол "Я пришел сюда, потому что тут можно заработать относительно неплохие деньги и мне в целом нравится ИТ сфера".
Думаю в 95% случаев и работодатель и соискатель знают зачем люди идут QA.
Как работодатели обычно относятся к такому честному ответу?
Я бы подумал, что кандидат умный и честный человек, но я пока не очень опытный собеседователь.
Я сказал, что вообще хотел админом идти, но на старом месте немного занимался QA и вроде норм, а в компании, куда шел не было админских вакансий начального/среднего уровня в это время. Взяли, работаю уже 2 года.
Думаю, что в разговоре с эйчаром на такие темы стоит быть осторожным (попадаются ебанутые и в норм компаниях), а вот непосредственному начальнику и коллегам лучше не пиздеть.
Твой ответ вроде норм, но из него не понятно, почему именно QA.
Забыл дописать:
Имею ввиду в QA идут потому что порог вхождения относительно остальных профессий в ИТ меньше (не считая техподдержку).
Что, если сказать: "Я хочу стать QA, потому что тут невысокий порог вхождения, относительно неплохие деньги и мне в целом нравится ИТ сфера"?
Как к такому относятся наниматели?
>Я хочу стать QA, потому что тут невысокий порог вхождения
Хуйню сморозишь. Это ты типа такой говоришь "я тупой и не смог в программирование" или "ну мне нужны изи бабки, а тут я вижу что любую макаку берут".
Быть честным конечно хорошо, но не стоит такое морозить на собеседовании.
Согласен. Лучше просто говорить, что нравиться тестировать. Тестировщик – охуенная работа же.
Нижний Новгород
Мне говорили про Меру, но что-то я сомневаюсь, что они возьмут на стажировку нестудента, Интел вот точно не берёт.
Про меркую зарплату я в курсе, 14-15к бы хватило, но точно не совсем за еду.
Тем более я не хочу чисто ручником, я немного ебаться на жаве и питоне в селениуме могу.
Да, хреново быть тобой. Регионы не лучшее место, если ты хочешь в этом направлении развиваться. В наших DC-N автотестеры штучный товар, надо их мало и учить обычно некому. Если есть возможность, хватайся за любое место, через год можно идти в нормальное место на нормальные деньги.
Я уже понял. В ДСах, видимо, устроиться тестировщиком даже без опыта за неделю-две реально, по крайней мере такое ощущение у меня уже сложилось.
Ладно, поныкаюсь ещё по компаниям, если не найду ничего сносного, то пойду работать куда-нибудь на завод.
На начальные должности везде невысокий порог вхождения, самый низкий - саппортов/младших админов, а если начальники не долбоебы - рост по скилам там будет очень быстрый.
Если ты уже работал тестировщиком и тебе норм - другое дело. А если НИОЧЕНЬ - лучше не надо - сам заебешься и коллег заебешь.
В ДС-2 вакансий много даже без опыта, висят месяцами, а HR ищут непонятно кого. Первую работу лично мне было сложно найти. Вернее, было сложно попасть на очное собеседование, там уже легче. Искал 5 месяцев, за это время прошёл только 3 очных собеседования.
Как правило, вакансия QA без опыта предполагает хотя бы прохождение стажировки. Либо выполнение тестового, которое ещё получить надо.
>Отослал в пару мест, в одном на джуна, на другом типа опыт был нужен, не ответили.
Куда отправлял?
150 в месяц, средняя по дс
>>407787-кун
Таки вкатился на 40к, такая же функционал макака, только чутка могут заставить и тесты писать А я и не против.
Таки въябывание за 15к было полезным довольно, даже уходить не хотелось как то, да и после инфы что я ищу работу, пошли разговоры о моем повышении, но решил уйти, ибо синица в руках лучше чем хуй в жопе
Пока искал произошел довольно забавный случай:
Короче сделал ТЗ в одну геймдев контору, пригласили, ночью поддрочил теорию тестирования, немножко по кодингу/автоматизации. Ну мало ли спросят, хоть покажу что не хуй простой, а хоть чутка умею. Так вот, рилейтед вопросов про тестирование было хуй да нихуя, сначала побазарил с ейчаром, потом подошел тех. лид. и вместо рилейтед вопросов давай спрашивать хуйню HR-стайл.
Итог очевиден, мы вам позвоним. Ну я думаю, терять особо нечего, хули, видать чего лишнего спизданул и им не понравился сразу.
Не на что особо не надеясь написал им мол:"Что вас смутило на собеседовании". Ну не ответят-хуй с ним, ответят - значит буду знать чего лучше не пиздеть в следующий раз.
Ладно бы проигнорили, но ответ - ебать.
Недостаточно крепкие знания по теории тестирования
Блядь, чтоб такое утдверждать надо было наверное меня про эту теорию поспрашивать.
Ну как это называть то, блядь?
Особо не горит, щас устроился, на норм зп для меня, с годными плюшками для роста, буду дрочить автоматизацию, продвигаться дальше.
Но блядь, вот кого они хотели то? Пиздец просто.
И вообще есть тут господа тестировщики из геймдева, поясните стоило вообще того? Как в геймдеве дела у тестеров не знаю, я в целом со всякой интеграцией всякой разной херни работаю.
У геймдева специфическая атмосфера, довольно свободная, но вместе с этим идёт полный пиздец с процессом разработки. Мне нравится, но зарплаты у тестеров ниже чем в софте, например.
> И вообще есть тут господа тестировщики из геймдева, поясните стоило вообще того? Как в геймдеве дела у тестеров не знаю, я в целом со всякой интеграцией всякой разной херни работаю.
За именно геймдев >>455660 всё верно сказал.
Могу ещё за компании, которые сами не разрабатывают, а локализуют, пояснить немного.
Так вот, большинство разработчиков ложат хуй на доки и присылают билды тупо с патч-нотами для игроков. То есть по сути ебучий чёрный ящик без нихуя. Можно конечно разрабам писать по каждой непонятной хуите, но наши узкоплёночные пидарасы всё время отвечали односложно "баг/небаг" и всё.
При этом, казалось бы, что там тестировать, всё давно протестировано на других локализациях. Но нет блядь, эти узкоглазые пидорасы умудряются ещё и билды кривые делать. Например в одном они проебали текстуру для огромной горы в одной из ключевых локаций, полно было опечаток в квестах/скиллах, пару раз они вообще забывали обновить файлы локализаций и прочее говно.
Работал, но не нагрузочником, в целом, сказал верно. Платят - хуй да нихуя. Ну если ты с 0 идешь. Если опыт уже есть - могут предложить нормально(не много, но конкурентоспособно, так сказать по условиям рынка).
Сам въебывал у них за еду 4 месяца, теперь получаю 3.5 мои перфомансовские зарплаты. Что не радовать не может. В тестировании был хуй простой. Много чего понабрался. Начальство довольно адекватное(но говорят это к кому попадешь), с деньгами не наябывали, народ там трется разумный, попасть к ним легко. Ничего особо плохого сказать про перф не могу. Кроме величины их зарплат.
Если готов натурально за еду въебывать опыта ради - your welcome.
2. В чем особенности тестирования web на Android, iOS?
2.1. Как вы тестируете под мобильные платформы - только на свежих версиях или на всех? Работаете с Genymotion, Bluestacks? Есть ли подобный эмулятор для iOS?
3. Что понимаете под performance testing?
4. Приведите простой пример smoke тестов.
5. Какая система bug-tracking наиболее удобна?
6. Поясните за CMS Wordpress и какие его знания нужны тестировщику?
7. Работаете ли с GIT и Jenkins?
Я как-то был в одной конторе из четырех букв на собеседовании. Был ебаный цирк в стиле
СКОЛЬКО ДОЩЕЧЕК МОЖНО УМЕСТИТЬ НА ШАХМАТНОЙ ДОСКЕ СУКА?! СКОЛЬКО ДОЩЕЧЕК СКОТИНА БЛЯДЬ?!
@
МЫ ВАМ ПЕРЕЗВОНИМ
Сажа приклеилась.
Эх, браток, по сетям в принципе ничего не надо, но не помешает. Мобильные - как в компании принято, так и тестировать будешь. Из конкретных тулов стоит учить специально только гит, на всякие смс, сравнения багтрекинг и прочее не теряй времени, если точно не планируешь работать с этим.
Писал такие на сишарпе. На js тока видел. Ну, потренируйся там, посмотри тестовые фраемворки, я слышал о jasmine, напиши простой тест. Потом, собственно, придумай сами тесты в given when then, типа логин успешный, логин проваленный, функции там на страницах если есть, сортировки всякие и тому подобное. Не знаю, как с ооп в js, если можешь, лучше для каждой страницы завести файлик с методами доступа к элементам, чтобы редактировать локаторы из одного места.
Профитов, думаю, никаких особенно.
Да, и если тебе нужны тесты в реальном браузере, смотри webdriver
6 месяцев это дохера, я за день изучил базовую и накатал пару "тестовых тестов" для нашей приложухи. Писал на шарпе, камней особых не было, разве что стоит серьёзно определиться с синтаксисом и стилем описания сценариев, этот ебучий хуман-френдли на самом деле только вредит, когда пытаешься вспомнить как ты там писал и формулировал конкретный шаг. Контекстная подсветка конечно есть, но всё же раздражает. Начни с создания фреймворка для базовых шагов твоей софтины вроде логина\поиска\т.д. Потом по ним накидай сценариев и поехало.
veeam* /slowfix
Ай, сучка, молодец, за день изучил, а чего не за час, наглая выебистая псина?
хуле ты выебываешься. Он прав, 6 месяцев - это дохуя. А если ты макака
разработчик, то давно уже должен уметь в автотесты
Пасть схлопни, ньюфаг обоссанный.
1. Обычно не требуется от тестировщиков, но хорошо было бы знать, как устанавливается и как рвется tcp соединение, в идеале - умение полностью воспроизвести всю диаграмму состояний tcp сокета и рассказать про все переходы, но задрачивать если у тебя нет необходимости по работе вряд ли стоит. Еще может пригодиться знание как проивходит TLS хендшейк, но опять-таки зубрить все наизусть смысла не вижу.
Развираться со всякой маршрутизаций и т.п. обычному тестировщику вряд ли придется.
Про PtP я очень мало что слышал, думаю, в среднем это крайне непопулярная штука.
2. Android/iOS мало занимался, основной болью были девайсы, особенно андроиды со 100500 разных глючных прошивок, перекатился в чистые веб и не жалею.
3. Выше немного рассказано про нагрузочное, но performance, конечно, шире. Толком этим не занимался, только на уровне поисков внезапных тормозов при загрузке страниц, благо в браузерах инструменты неплохие и туториалов базового уровня хватает.
4. Открыть сайт, перейти на основные разделы. Если не открывается или верстку распидорасило - нахуй с пляжа. Очевидно же - смоук - чтобы быстро проверить минимальную работоспособность.
6. Подозреваю, что у тех, кто пользуется вордпрессом нет денег на QA.
7. И с тем и с тем. Дженкинс та еще параша, но приспособиться можно. Пользы от нормально настроенного CI сервера много, какой-нибудь и них точно стоит освоить. Аналогично с гитом - нужно уметь пользоваться VCS, гит - один из самых популярных.
джуниором гей-шлюхой
>А если ты макака
разработчик, то давно уже должен уметь в автотесты
Ага, нахуярите говнища, а потом копайся в вашей легаси хуйне.
Мимо
Вообще в плане браузерных тестов, автоматизации черного ящика тестирования, скорее, лютый порожняк накидают прогромисты с подходом к тестам как к продукту, который должен быть зеленым любой ценой. Там может быть пяток рваных непоследовательных слоев, включение по апи, когда не надо, использование объектов самого приложения вместо взаимодействия с интерфейсом, и тому подобное. Тестировщик так не будет писать, он не знает, как выебываться, и не хочет без необходимости
Ясно, тесты у этого кадра = юнит тесты, о других он не слышал.
То, что другой чувак сказал. Page object еще нужно посмотреть, это модель-рекомендация для кода тестов.
>>465465
Стажировки, я от вуза шел правда
Тут универсального пути нет, ищи сам любые стажировки да
Если ты на курсе 3+, раньше не нужно
только я на 4+ . Да, немногомного проебался. Решил, что вкатиться в тестирование вполне себе план, да и питон более-менее знаю он вроде котируется тут.
Ну хуй знает насчет питона, в автотестах в основном слышу про руби, сишарп и яву
ну на джаве у меня есть проектдико маленький, на андроид, чуть круче хэлоуворлда, а вот про руби/шарп в тесках не слышал. Разве что видел примеры селениума на шарпе
В любом случае, посмотрел вакансии без опыта, и в основном вижу SQL + теория тестирования. может и в глаза долблюсь, но что-то мне подсказывает что все далеко не так просто
>>467291
Вообще, я сейчас пошел на HH и откликнулся на несколько рандомных вакансий, посмотрю что из этого выйдет. Заебало без работы сидеть хотя и без неё дел дохуя
> жизнь
> пятидневка
Хотя, если ты не местный, судьба вообще трагическая, выживаешь как можешь и по-другому никак
да, если не возьмут - подамся в официанты или в ашан. ну я не только на тестировщика пытаюсь, конечно
надо ещё попасть туда
ну ещё
> Почему вы выбрали профессия_нейм
хз как отвечать на такие вопросы
Ответь честно - много платят и у тебя руки из жопы, так что это единственный возможный вариант.
хуй-с-нулевым-опытом-хочу-работу
Реально, в районе 10-15, не более
Просто проверяешь каждую заявленную функцию и противоположное ей условие, типа файл .майпрог появляется на сервере, файл .майпрогхуег не появляется, время там поставить на ебанутое (ожидаемый результат сам придумай, например, сервер должен хавать от первого до 9999 года), с размером файла понятно, можешь еще пару кейсов написать мол несколько файлов создали одновременно, файлы создали на клиенте а инторнета не было, когда включили, отправились все по очереди, инторнет отключили при передаче, включили файл отправился
Спасибо, бро. Придал уверенности, просто делал уже кучу тестовых заданий и везде слали нахуй, руки опускаются.
Сегодня займусь и отпишусь по результату.
По сравнению с кассиром в ашане, разумеется.
>сколько
Столько, сколько обеспечат достаточное покрытие
>при необходимости можно сделать уточняющий вопрос
Хотя тебе уже ничего не поможет, раз вопрос начат со "сколько", почему бы грузчиком не пойти работать? Там вполне себе дают конкретные ответы, сколько мешков за день таскать, думать не требуется.
Мммм, щас бы не конкретизировать задание и работать, а пускаться в неопределённость и затягивание сроков, радуя своего начальника, кааайф.
"Я не могу в программирование, но оно мне нравится, поэтому решил заняться чем-то приближенным."
лол, ты так отвечал и тебя взяли ? Просто где-то читал, что это хуевый ответ
Алсо, это же единственный честный ответ. Что они ждут, эти ебанутые собеседователи?
>единственный честный ответ.
так их никто и не ждет, лол. Все знаю зачем идут в тестирование. кроме случаев, когда мама заставила в 25 лет найти себе работу, но это, слава богу, не мой случай
это как вопрос "что вы знаете о компании ?", при чем его задают даже эникейщикам/уборщицам/небу/аллаху
кстати, разрабом чего ? Я так-то могу в программирование на каком-нибудь питоне, просто тут сложнее работу найти и стажеров не берут, даже джунов оче редко.
Взяли пхп-жс-говнокодером, но это 2 места работы назад, сейчас уже другим занимаюсь.
О, никак профан-дегенерат заглянул снова!
1) На сколько стрессовая у вас работа?
2) Часто ли капают на мозг начальство?
3) Бывает ли так, что вы занимаетесь на работе посторонними вещами (соцсети и пр)? И как часто?
Я довольно много знал о инструментах и подходах команды, в которую иду, потому что они как раз перед моим приходом активизировали технопиар и я почитал их статьи, так что здесь ты промахнулся.
Ну и вообще, те кто идет в крупные/известные компании обычно про них что-то знают, когда такое ООО Рога-и-Копыта спрашивают, да, пиздец.
1) По мне не слишком стрессовая, но это сильно зависит от тех, с кем работаешь. Бывают менеджеры, у которых стиль работы в постоянных авралах. Или разрабы-социопаты, которые чуть ли не матом в тикетах шлют. Но я с такими почти не пересекаюсь, к счастью.
Главный источник стрессов у меня - это собственные проебы :(
2) Вообще не капает, мировой мужик, базарим как друзья регулярно.
3) Соцсети, новости - скроллю немного каждый день, но стараюсь не увлекаться. Всякие около-айти вещи - типа статьи на околопрофессиональные темы, он-лайн курсы - иногда бывает, когда ничего не горит и задачи делать влом.
Чем конкретно я занят никто не палит, но результат спрашивают. Так что если бы я мог все автоматизировать на год вперед - можно было бы двачевать каптчу пока не надоест.
>здесь ты промахнулся
я не отрицал же, что стоит подготовиться и почитать о компании перед собесом, однако, зачем знать какому-нибудь настройщику принтеров что компания выпускает особо крепкие винтики для корпоративных серверов, я не совсем понимаю.
"Тебе 23?! Топай на кладбище, дедуля, тебе уже на том свете прогулы ставят!"
В компании, где я работаю (палить не буду) относятся нормально. К слову, 22 года - вполне стандартный возраст для студента, который только-только закончил вышку и ищет работу.
Недавно компания в которой я работаю набирала новых сотрудников(Junior QA). Набрали студенток из местного тех.вуза примерно 93-94 года рождения.
>1) На сколько стрессовая у вас работа?
Волнуюсь в основном из-за собственных косяков. Например, если проебал результаты 3-х часового труда и надо всё переделывать.
>2) Часто ли капают на мозг начальство?
Начальство не напрягает. Живительные пиздюли получаю только за дело. Например, если ты спишешь 3 часа в багтрекере на простейшую 15 минутную задачку, то у тебя спросят "Что это такое?".
>3) Бывает ли так, что вы занимаетесь на работе посторонними вещами (соцсети и пр)? И как часто?
В компании где я работаю время фиксируется в багах/тасках в багтрекере. т.к. я не могу списывать часы на хуйню, времени на соц.сети почти нет(разве что пока "оно компилируется").
Как HR относятся к тем, кто пытается устроиться на Junior QA, которым 25+ лет?
Я через третьи руки от кодера слышал, что у них там ебанизм полный. Но кодеры ваще склонны ныть, да и это блядь через третьи руки же. Но СберТех место тёплое так-то.
да я сам хочу, тем более не кодером же, а тестером. Вот пытаюсь подготовиться.
ладно, схожу к ним. Не вижу причин не попробовать.
1. Сначала был околонулевой, потом я с дурости начал проявлять инициативу и сейчас по любому уточнению\фидбеку заказчику дергают меня, естественно, з.п. за это не выросла. Одно дело буднично спросить у хикк-погромистов чего они там очередного наговнокодили в фиксе, другое - срочно бегать и дёргать всех, чтобы пофиксили критикал, что да, нужно бросать текущую задачу и ФИКСИТЬ БЛЯДЬ ПРОДАКШН БАЗА УПАЛА МИЛЛИАРДНЫЙ ОБОРОТ УЕЗЖАЕТ АЛЛО. ПМ радостно насвистывает и хвалит, какой я молодец.
2) Вообще крайне редко иногда говенное настроение бывает у всех и могут минут 5 порассказывать, что я неправильно что-то делаю, что делалось уже сотню раз и ими же по их же схеме, которой я следую. Но это всё в предельно корректной форме, просто с подтекстом "я доебываюсь". Первые раз 5 напрягало, потом просто поддакивать стал и вообще не напрягает. Да и жизнь у них наладилась что ли, раза 2 за последний год такое было. И да, я отличаю придирки по делу и придирки "я решил доебаться".
3) В принципе есть таск и таймтрекинг, но никто не мешает проебланить дополнительный часок к 2-часовой задаче, хотя я это особо не абузю, только в дни лютой прокрастинации.
Для тебя единственный, у меня была абсолютно адекватная причина и истинная, по сути сильвербуллет, взяли почти сразу после того, как я мотив свой высказал, задав для приличия пару вопросов по тестированию. И нет, мамин погромист, в тестировщики идут не те, кто не смог в говнокод, это обычное заблуждение зашореного быдла пробившегося в погромисты, таких ПМы быстро на место ставят, либо выкидывают из нормальных контор.
п.1 - это просто нормальный тестировщик на небольшом проекте. 8/5 втуплять в трекер и переводить из Resolved в Passed - ну это пиздец же.
поведуй же причину. Я серьезно спрашиваю, не вижу ничего плохого в профессии, но иду в основном потому стажировку проще найти чем на кодера. Знаю чувака который пару лет как тестировщик и сам говорит, что пошел только из-за того в код не может.
>алгоритмы и структуры данных
С этим тебе в /pr. В ручном выполнении тестовых сценариев и тест дизайне они не используются.
>Я слабо представляю что такое алгоритмы и структуры данных
Это нормально. Можно свободно даже кодером работать. Как я , например.
Зачем тебе английский? Ты на пендоса собрался работать? Если нет – то с закрыванием тасок в Джире уж как-нибудь справишься.
Нужно уметь читать литературу/документацию. Если компания международная, возможно понадобится умение вести деловую переписку.
Да я хуй знает, просто во всех вакансиях прям английский на хорошем уровне или все.
Есть ли смысл идти на курсы? Я ищу щас чтоб после курсов с трудоустройством помогли или типа того, сижув дс рб и тут либо с опытом от года нужны тестировщики, либо без опыта но с профильной вышкой, желательно на отработку.
Немного умею верстать, там стилус, бутстрап и прочая хуйня, хз, может пригодится в тестировании, может нет.
Понятно, что тестирование это комплексный процесс, но есть же определенные порядок тестирования, которого вы придерживаетесь?
Например надо протестировать какой-нибудь сайт или десктопное приложение.
С чего вы начинаете?
Полагаю, сначала идет планирование и написание тест-кейсов.
Потом само тестирование.
Так вот: что вы тестируете сначала, а что потом?
В общем опишите пожалуйста максимально подробно, в каком порядке вы тестируете.
P.S. Тематические книги читаю, просто хочу услышать практиков этого дела.
Тест-кейсы, если надо было, всегда писал после тестирования. По ходу дела обязательно всплывет что-нибудь неожиданное, и все полетит на помойку. В лучшем случае чек-листы.
Про то как тестировать... Допустим, у нас типа интернет-магазин.
- Читаешь тз/постановку задачи, если раньше этого не делал, пытаешься найти несостыковки и белые пятна в логике.
- Прогоняешь по основному пути выполнения, смотришь основные сценарии, представляешь себя пользователем. Типа залогинился, купил товар, то-сё.
- Быстро просмотриваешь все формы/страницы, что все корректно собралось, никакие стили не слетели, 500 не сыплет (если мы про сайт).
- Проверяешь, что реализовано всё, что написано в ТЗ (если оно есть).
- Разбиваешь на изолированные части: фронтенд-бекенд, отдельные микросервисы, какая-то независимая логика). Например, сайт смотрит в сервис, который отдает ему набор товаров. Соответственно, формирование этого набора - одна часть, а отображение на сайте - другая.
- Каждую часть разбиваешь на бизнес-фичи (например, корзина товара. Или процедура покупки товара в целом). Ну и тестишь каждую в отдельности, уже пытаясь найти баги
- Смотришь в целом на взаимодействие отдельных кусков, все ли варианты проработаны. Удобно рисовать что-то вроде направленного графа, либо таблицы бизнес логики, короче если теорию топчешь, должен знать.
А вообще, никто джуниору не даст задание вида "протестируй сайт", даже в виде лулза на собеседовании. Ясное дело, что ничего хорошего он не родит, так что первое время всё равно будешь проверять охуительные задачи вида "поменять цвет ссылки".
>во всех вакансиях прям английский на хорошем уровне или все
Везде требуют хороший английский, чтобы отсеить сомневающихся или совсем днище, а так у тебя на собеседовании могут спросить что-нибудь на английском и если там нормально сможешь отвечать, то все хорошо. А дальше будет видно, ну и в принципе подтянешь, если захочешь.
>сижув дс рб
В гродненском епаме половина тестировщиков вообще выше А2 не имеет.
В пятницу уволился из конторы под названием Акронис, что в DC.
Начинал там джуном без опыта 4 года назад. Устраивался на з/п 27к.
Уволился уже с з/п 85к. обычным тестером мразь ручник Сейчас ушел в контору на должность сеньера на зп 130 и с перспективой после испыталова стать лидом и набирать свою команду.
Могу поотвечать на вопросы.
В банках, там норм платят. В филиалах типа яндекса вроде тоже норм.
Товарищ работал в VEEM, при том что неплохой автоматер получал что-то около 45.
Необязательно. Если не ручником идти, можно в штат разработчиков попроситься в ту же фирму и без потери в зарплате. Если проявлять инициативу и учиться, то всё получится, я уверен.
спасибо Анон, сегодня пойду на нагрузочное пробоваться. Не думаю что это сильно от ручника отличается, но все равно спасибо, успокоил.
Нагрузчиком тоже норм, должен по TCP/IP и SQL подтянуться. Если возьмут, кодируй личные проекты в свободное время, через год просись в разработчики.
>никто джуниору не даст задание вида "протестируй сайт"
В Яндексе тест-задание "протестируйте банковскую карту".
У меня было задание протестировать банкомат, при том что я собеседовался на ручника и опыта никакого не имел. Пиздец, одно из самых напряжных собеседований, что я помню. Напротив меня сидели 4 типа и каждый по очереди задавал вопросы. Тупил, потел, охуевал. В конце ещё сказал жава-программисту, что мне не нравится жава, лол.
Меня туда, конечно, не взяли, но через пару дней мне предложили должность веб-макаки, куда я успешно и ушёл.
Где правда?
слух ходит, что там дохуя течет. Многие сраху планируют перекоты. Даже у меня есть знакомый, который сейчас 50к зарабатывает, а с премий так вообще +30(и больше) и тоже говорит, что как возможность появится съебет с тестирования, хотя сильно не жалуется.
Лол, собеседовался туда на java-автотестера, сказал что ruby конечно же гораздо круче джавы. Взяли.
Процентов 20-30
Сириусли? 1.5 года назад было то собеседование. Офис где-то на первомайской у них, название фирмы не помню.
А, я думал ты про тындекс говорил.
сам толком не знает, но говорит, что просто не хочет в тестирование идти больше
позвали, вот и поехал. тещу приложухи под винфон
>>483719
за инет плачу 30 евро в месяц
за телефон — 20
так-то дороговато, в столовке обед - от 5 евро.
но жить можно, тепло, море, апельсины
Так её ж ПЕРЕБИРАТЬ надо, у меня бабушка в девяностых регулярно этим занималась.
Расскажи, как стать тестировщиком. Шутка. Хотя нет, не шутка. Что ты знал, когда устраивался на первую работу? До этого в ИТ работал? Вышку имел? Что входило в обязанности на первых порах?
Да ничего толком и не знал, работал эникеем то там то там. Потом товарищ, который кодером работал, говорит - иди в тестеры, типа у нас на работе их много нихуя не делают, работать проще чем админом и т.п.
Ну я и пошел к нему. В резюме, припиздел конечно прилично но взяли. Контора была БанкСофт Систем, писали софт для банков.
Вкратце, у тебя 2 компа, на одном клиент, на другом сервер, ну и ты тестишь платежки, как посывается бики хуики инн.
Тоска смертная, ну и коллектив каких-то олигофренов, комната на 10 человек, все молчат, молча, как по команде, идут на обед. И также ровно в 6 валят домой.
В общем через месяц меня оттуда выпиздели, сказали типа курить часто ходишь лол и все время с кем-то общаешься, надо самому разбираться. Ну я и рад даже был.
Побухал месяц и попиздил в акронис.
На собеседовании доже припиздел, дали тест какой-то и ушли, я быстренько все загуглил и норм.
ТАм был упор на жесткие диски, ад, сети и т.п.
А с этим у меня более менее норм.
Ну еще плюсом, думаю, было то, что люди меня собеседовавшие уже увольнялись через несколько дней, и думаю что им похуй было кого взять. Ну я еще пришел с бодуна и под баклосаном лол.
Кстати с ними до сих пор нормально общаемся, они в дойчебанке работают и заебись там получают.
Ну вот так и втянулся, поначалу тяжело было, дохуя нового все на английском, какая-то мерзкая баба, которая стучала на меня, и доебывась по любой хуйне. Потом ее перевели и мне норм стало. Ну потом и втянулся. Как-то так.
Вышки не было, понаехал в дц после армии в 20 лет из зажопинска. Среднее техническое было.
На первых порах руками разворачивал конфиги, и монотонно проходил кейсы руками. Баги заводил.
Все руками в основном. Потом тест-дезигн, питон, дженкинс, селениум, веб приложения понеслась.
А вышку заочно в том году оформил уже.
Инженер по испытания ракетно-космической техники.
Но меня ещё не взяли тестером, так что в статистику не стоит включать.
Менеджер, лол бакалавр, "Менеджмент организации", топ ВУЗ ДС
Работаю 2 года, мне норм, вокруг большинство людей с около-технической вышкой, конечно.
> Тоска смертная
> коллектив каких-то олигофренов
> все молчат
Социобыдло как есть. Пиздос.
>>484181
Закончил такую специальность и даже не прогромист? Найс.
Технари везде.
Недавно к нам тестировщиком устроился парень с образованием что-то типа психолога.
Юрист с уголовной специализацией, но я залётный кодерок, а не тестер.
Завтра к нам собеседоваться придет на синьера.
Толстый нацик? Может вы Просвирнина собеседовать будете?
В вузике айти было в очень прикладном ключе, из классики только фортран на первом курсе, когда основы программирования давали.
А так использовали всякие приблуды для численных методов и обработки результатов экспериментов типа матлаба с языком искаропки. Да и вообще вся программа обучения не позволяла серьёзно углубиться в какую-то айтишную тему: тут немножко субд, тут ассемблер, тут сети, тут распознавание образов в интеллектуальных системах.
Я как бы вроде много чего знаю, но на самом деле нихуя. И это печально, я боюсь что-то серьёзное писать в резюме, потому что сяду в лужу, если знающий человек будет интервьюировать.
Да в вузе никто по программе не углубляется, но серьезная специальность это индикатор умения разбираться в лютейшей хуйне, в том числе прогррмировании по желанию
Так-то да, это есть.
У нас, например, так:
1. После постановки CR по релизу делаем WBS и оценку трудозатрат
2. Начинаем писать тест-дизайн (детализация на этом этапе как правило не финальная).
3. Оформляем матрицу коннективностей и заказываем по необходимости нужные хосты и связи.
4. Пилим моки и автотесты для тех областей где это нужно.
5. Проводим инспекцию документации
6. После завершения предыдущих пунктов начинаем тестирование, количество и содержание прогонов четко определено и обосновано.
7. После завершения тестирования пишеться паспорт качества, сборка передается на приемо-сдаточные испытания со всей сопутствующей документацией
8. Если на проде находятся дефекты - по ним делается анализ.
9. К этому моменту тест-дизайн обычно полностью завершен, кейсы актуализированы, информация в базе знаний содержит все необходимое.
10. Приступаем к работе по новому релизу.
Это общие шаги для нашего отдела QA, я тут не разделяю например НТ и ФТ или автоматизацию.
Никак нет, за прошлый месяц получил 126к, правда в эту сумму входит премия но они у нас постоянные.
37лвл например
Ну давай докажи мне что это не так. Вот самому не стыдно, когда спрашивают кем ты работаешь?
Пока думаю стоит ли вкатываться в QA через курсы неткрекера?
Да говно это, а не профессия. Это для баб. Иди лучше нормальным кодером, если не даун.
Сомнительно там с фрилансом. Тебе же надо выдавать предрелизные сборки, они могут представлять определённую ценность, тебе такое никто не отправит. Но можно устроится удаленно на фултайм.
>>489877
Тестировщики – это единственные кроме ревьюеров, кто показывает кодерочмошникам, кто и что они на самом деле.
Утешай себя автоматизатормартышка. Нормальным кодером мозгов стать не хватило.
у меня в городе неткрекер есть, они организовывают халявные курсы. Прошел и на QA, и на java. Вот думаю куда пойти окончательно
Иди кодить, ты че баба или даун? Нахуй тебе тестирование? Что может быть интересного в работе, покликать на галочке на форме? Чему фирмы с интернатами для "особенных" детей контракты не заключают, не понимаю.
Мне, например, 28 и мне чет как-то трудно учится программированию, все вроде просто, но быстро забывается, может с тестированием палехче будет.
Понимаешь, то, что именно покликать, должен кто-то придумать, и угадай, кто это делает. А если это не форма, а какой-нибудь сборный отчет с тремя видами вывода? Так что не надо толстить )). Хотя, конечно, это не кодирование, да. Но кодером я был бы средним от силы, а тестер уже старший при всей некомпетентности, лал
Если это сборный отчет, то тестировщица идет к пэму, строит глазки, тот объясняет ей как должно работать, она записывает и идёт кликать.
Лолд, если бы, она ж еще ищет, как оно не должно работать. Это продумать сценарии, классы эквивалентости, границы, если есть, короче, нужно построить мысленную модель тестируемой части програмки. Меня прикалывает твой акцент на феминизации, кстати
Тем не менее, этот поехавший в чем-то прав - в тестировании должны быть симпатичные тянки.
Чтобы глаз радовался и своей няшностью налаживали коммуникации с кодерами.
А в программировании это лишнее, там надо клац-клац-клац. Да и хороших тянок-погромистов я что-то по своему опыту не припоминаю. Максимум верстаки да фронтендерши.
Придется любоваться моей небритой рожей, что поделать.
>C тестирование даже ребёнок справится.
Даже напишет сотню сценариев для селениума, под каждое окно saas-программы?
я думал я сдохну блять
Какого хуя у нас QA нет
кодер мимо-проходил
>Да и хороших тянок-погромистов я что-то по своему опыту не припоминаю.
AlenaCPP смотрит на тебя как на говно.
>хороших тянок-погромистов я что-то по своему опыту не припоминаю
У нас есть. Пишут на пайтоне получше некоторых мужиков и при этом не то что симпотные, а красивые.
Да
Феминизация это когда девушки идут в мужские профессии, а тестирование это изначально область которую завели специально чтоб брать девушек в фирму. Там где нормальные кодеры и тестеры не нужны.
Напишет. Чего там сложного? Дождись появления такого то локатора, тыкни в него, если надпись появилась, иди дальше. Что сложного?
блялол
change request
Да ну, не нужны в банках или в медицинских приложениях тестеры? Тестеры не нужны на массовом рынке, когда нормальные кодеры быстро делают что-то вроде хуиттора и срубают много бабла
Много кодеров заняты в банковском секторе или медицине? Да и опять же, там скорее всего тестеры это по сути кодеры которые пишут юнит тесты, то есть те же кодеры.
Целые команды.
Алсо такая архитектура и расслоение, что юнит-тесты покрывают все - это хорошо, но манямирок
Расскажи про использование .NET(C#, PowerShell) в акронисе. Можно ли с одним дотнетом вкатиться в компанию на позицию автоматизатора/разработчика?
Ну конечно же!
Слыште а как продебажить джаваскрипт на странице, типа появляется индикатор загрузки, быстро исчезает, а я хочу остановить мир, когда энтот индикатор на экране. Как найти тот самый скрипт и поставит там точку останова?
Он хуже.
Нашел сам в фаирбаге, в html панели контекстная опция "останавливаться при изменении атрибута"
Ответь на один вопрос, какого ты пола? Девушка? Тогда иди тестером. Если нет. Иди сразу на анал и тика.
А причем здесь пол? Не девушка.
Тестером можно понять как работает айти, цикл производства, методологию и т.д., а потом прокачаться до аналитика. Просто я совсем зеленый, только заканчиваю свой вуз.
А какая специфика профессии анал.итика?
При том что это женская профессия. Мужиков там кодеры угнетают. Иди стажером аналитиком, нахуй гланды через жопу удалять?
Почему тестирование женская работа? Там же есть troubleshooting и иногда надо думать головой.
Маня, как ты заебал своими профанскими фантазиями из треда в треда, опять в жопу выебали за то, что ты проебал 4 раза подряд один и тот же баг, что тебе подробно описали?
>>493798
Не слушай этого кретиноида из конторы-однодневки, в лучшем случае, не имеющего к профессии хоть какого-то реального отношения. Мужчин овердохуя, как и требований к знаниям на уровне мидла-программера, со стеком из 3-4 языков.
>Не слушай этого кретиноида из конторы-однодневки, в лучшем случае, не имеющего к профессии хоть какого-то реального отношения. Мужчин овердохуя, как и требований к знаниям на уровне мидла-программера, со стеком из 3-4 языков.
Если знаешь 3-4 языка, зачем идти тестировщицей, когда можно устроиться кодером и получать в два раза выше?
Угу, вот только что за мужик будет там работать? Аж 83 вакансии на всю страну, с минимальной-норм. зарплатой.
Проигрываю, как можно кукарекать из Тольятти что-то про тестирование. Успокойся, у вас там тестировщиков нет, ни мужчин, ни женщин. Поработай в нормальной конторе, тогда и поговорим. Алсо скрин с количеством вакансий.
Так вот, что конкретно нужно выучить под эти требования?
Алсо, кто знаком с фирмой EPAM (особенно с минским филиалом), какие подводные камни?
Не пизди, у тебя явно фотошоп на скрине. Я из дс2, а тольятти на скрине, потому что предварительно помогал искать работу тётке, которая от туда. Кстати твое отношение к провинциям, тоже показывает твою внутреннюю агрессию, оно и понятно, в глубине души то ты знаешь, что твоя профессия женская, надо как то компенсировать))
Всё ясно, этот тролляка порвался, несите следующего.
Простите что вмешиваюсь. Но в тольятти есть епам и неткрекер, а там очень хорошие тестировщики, признанные во всём мире.
>Требования: базовые знания в сфере сетевых технологий, баз данных, а также знание основ программирования.
>Так вот, что конкретно нужно выучить под эти требования?
Ничего не надо учить, если понимаешь принципы работы веб-сервисов лол. По базам хватит знаний, что такое SQL и как в нем запросы писать. Про основы программирования можешь про ООП почитать, если на каком-нибудь питоне скрипт напишешь, то вообще охуенным будешь.
>кто знаком с фирмой EPAM (особенно с минским филиалом), какие подводные камни?
Работаю в гродненском филиале, лучшее место в белорашке для старта, всему научат, а потом перекатывайся куда хочешь.
А в том, что если изначально структуру тестов не продумаешь, то потом заебешься это поддерживать. Это ж пиздец когда у тебя с каждым изменением в приложении может какая-нибудь хуйня в тестах да наебнется. А если трудозатраты больше чем у ручников ты нахуй не нужен. А комьюнити у автоматизаторов уж всяко поменьше чем у кодеров, а проекты все разные и универсальных петтернов нет нихуя.
Хуйню-то наговнюкать это конечно чего сложного.
Спасибо, бро
Кстати, ты не знаешь, меня могут взять, если я гражданин Украины (но есть статус доп. защиты, т.е. разрешение на работу на меня оформлять не нужно) и гуманитарный вуз я закончил почти 7 лет назад (в этом году 29 лвл апну)?
Тот же кун
Не знаю, книги какие-нибудь.
По идее никаких проблем быть не должно с устройством. На образование и возраст по большому счету все равно, если ты хорошо себя заявишь на собеседовании/стажировке, могут быть какие-нибудь заебы у менеджера. К нам недавно устроился тестировщиком психолог по образованию 27 лвл.
ISO/IEC 25010:2011
Нужно полностью, а не частично как на сайте:
https://www.iso.org/obp/ui/#iso:std:iso-iec:25010:ed-1:v1:en
> потом перекатывайся куда хочешь.
То есть предполагается, что чел уйдет после стажировки, что-ли? Чего сам не ушел?
Предполагается, что после стажировки он останется работать, например, на год, чтобы нормально научиться писать всякую документацию и вообще опыт получать, потому что в других контора просто спросят за опыт работы и мы вам перезвоним.
>Чего сам не ушел?
Мне и тут пока норм.
Есть, но я так проводил, фейково. В прошлом тренде вроде был более или менее фундаментальный ананыч, много расписывал, но я не спросил его про тулы бля. Суть всегда одна, измеряй много, смотри на несколько показателей, смотри метрики сервера, но вот каким раком это делать в том же jmeter, я хуй знает
нагрузку в jmeter я сгенерировал, но не могу проанализировать результаты. Не совсем понятно, на какие метрики обратить внимание, как их преподнести и т.д.
Где там в прошлом треде было про нагрузочное? Я что-то не нашел. Вот вроде он на архиваче https://arhivach.org/thread/100295/ ткни в конкретные посты, плз
>>503388
>>505373
Что у тебя за сервис, как генерировал нагрузку (пытался воспроизвести реальные сценарии/синтетическими сценариями/просто фигачил запросами из логов без сценариев), какие требования (число запросов, времена ответа и т.п.)?
Какой ответ от тебя ждут? Вердикт катим/переписываем нахуй или надо разобраться с тем, что тормозит и почему?
Выше по треду немного расписано, начать можешь, например, с >>403188
сервис довольно простой- форма(на ней много js и чутка css), в которую человек вводит некоторые данные и сохраняет в базу. Сценарий записал реальный, требований нет(понимаю, что это не есть хорошо, но тим лид не может их сформулировать пока что, так что буду брать примерные цифры). Что от меня ждут - соотношение времени полной загрузки формы к количеству юзеров, максимально допустимое количество юзеров на сервере, узкие места(ботл неки) на сервере. По треду почитаю, спасибо
Ну, смотри: статику jmeter не особо осмысленно тестировать, в любом случае в сценарий мало смысла ее добавлять, потому что он не браузер и грузит все однопоточно. Единственное, для чего имеет смысл ее подергать - это проверить настройки веб-сервера, лучше делать это отдельно от тестирования собственно приложения.
Про юзеров - плохой вопрос, см. выше по треду про открытую/закрытую систему. У юзера есть такой параметр, как время ожидания - живой человек вряд ли будет непрерывно жать F5 на странице - предполагается, что он что-то читает/заполняет там и это требует времени (разного для разных юзеров). Если у тебя закрытая система (e.g. интранет страница куда ходят 10 человек), то можешь взять минимально реалистичное время ожидания (пару секунд, например, зависит от того, что пользователь делает на странице). Если открытая - лучше считать нагрузку в запросах в секунду (RPS).
Если нет требований по пропускной способности - то гоняй тесты до разладки - сможешь сказать сколько максимум можно выжать, а там пусть тимлид думает достаточно ли этого. По временам ответа требования наверняка есть, просто они могут не бять явно сформулированы, но ждать загрузки минуту точно никто не захочет, так что можешь просто спросить про максимально приемлемое время ответа и следить, чтобы 99.9 квантиль за него не выходил.
Про узкие места - займись мониторингом - как минимум смотри на все ресурсы системы, если приложение что-то интересное пишет в лог (например, время выполнения запросов в БД) - это тоже стоит анализировать.
Спасибо Анон
Статику я уже исключил. По поводу времени думал тоже, но пока не реализовал. Нормально будет после нужных запросов просто таймеры поставить?
По поводу разладки - я так и делал, просто точное число юзеров получить не удается - варьируется постоянно. Как я понимаю, точка насыщения/разладка наступает в тот момент, когда пропускная способность падает, а среднее время отклика растет?
И про узкие места - можно просто мониторить performance на сервере средствами винды?
>>507070
Мне советовали этот сервис
https://sense.blazemeter.com/features/
Сам пока только мельком ознакомился, но выглядит неплохо вроде
А что спрашивали на собеседовании? Куликова читал или только Савина? И как проверяли твой инглиш?
У нас для хранения и анализа результатов тестов внутренняя тулза используется.
Loadosophia, которую советует >>507185 ок, но, говорят, они сейчас сильно порезали лимиты для халявного использования.
Собственно, можно просто взять тулзу, которая умеет строить сразу какие-то осмысленные репорты. От того же блейзметра есть таурус (видел его издалека), у него хороший онлайн, а вот оффлайн репортов хороших, как я понял, из коробки нет http://gettaurus.org/docs/Reporting/
Можешь попробовать Yandex.tank (jmeter из него тоже можно запускать) вот с этим плагином https://github.com/yandex-load/yatank-online - он умеет сохранять html с интерактивными графиками после завершения теста. Еще можно настроить заливку в в графит или influxdb - говорят, работает, но я этим не пользовался.
Ну и всегда есть вариант взять сделать руками - взять, например, python (numpy, pandas, matplotlib) и вперед.
Порекламирую еще раз Андрея Похилько:
- основы: https://events.yandex.ru/lib/talks/1733/
- про jmeter: https://events.yandex.ru/lib/talks/1907/
По поводу таймеров - подобрать реальные задержки для пользователей будет очень сложно - для любых пользовательских действий следует ожидать конской дисперсии: кто-то прокликал весь сайт за 10 сек, а кто-то открыл форму и пошел пить чай, как ты их будешь усреднять? И даже если собрать честные сессии с задержками из логов - большая дисперсия будет тебе портить жизнь при анализе, потому что число выполняющихся запросов будет сильно варьироваться (если у тебя этих юзеров не десятки тысяч).
Поэтому, если нет серьезных причин тестировать с ограниченным числом пользователей (ака закрытая система), - фигачь нагрузку в RPS. В jmeter для этого есть http://jmeter-plugins.org/wiki/ThroughputShapingTimer/ Посчитать, сколько запросов нужно подавать можно просто по логам. Тут, конечно, могут быть свои тонкости. Например, для сценариев на старте теста у тебя может поехать соотношение типов запросов - стартующие треды делают первый запрос и отправляются в сон надолго. Но и без шейпера у тебя такие проблемы могут возникнуть.
Обрати внимание, что если у тебя будет мало тредов, то при тормозах сервера рейт запросов будет уменьшаться, т.к. пока тред не получил ответ/таймаут следущий запрос он не будет делать. Как узнать, сколько тредов достаточно? Самый надежный способ - считать исходя из таймаута: n_threads = rps/timeout_in_seconds, но больше ~2-3k тредов в jmeter создавать стремно - возникают проблемы с jvm - сборка мусора на таком числе уже может подтормаживать. Со сложными и/или кривыми тестпланами могут и раньше начаться проблемы. Поэтому можно ставить поменьше, но следить за средними временами - если у тебя по средним временам выходит, что все треды постоянно работают, значит ты начнешь отставать от расписания RPS.
Тест с малым числом юзеров может пригодиться для определения максимальной емкости системы, но это прокатывает только для относительно простых приложений. Надо подавать нагрузку постепенно наращивая число юзеров и следить за числом ответов. Ожидаемое поведение: со временем число ответов выйдет на плато и начнут понемногу расти времена ответов - система вышла на насыщение. Хорошие приложения после выхода на насыщение могут еще довольно долго разменивать скорость на число параллельных запросов, но чудес не бывает и само обслуживание параллельных клиентов жрет память/проц на переключение IOPS и т.д., так что с дальнейшим ростом можешь увидеть падение пропускной способности. Разладкой принято называть выход за пределы нормальных параметров - пошли ошибки или времена ответов превысили требуемые, тесте с наращиванием числа потоков это сложнее наблюдать, когда подаешь нагрузку в RPS разладка, обычно, видна гораздо яснее - если закончился, например, процессор, то новые запросы быстро забъют все и либо ошибки приложения пойдут, либо таймауты.
Если у тебя при подаче нагрузки без задержек постоянным числом пользователей сильно варьируются число ответов и тайминги - посмотри на запросы и на состояние машин. Если запросы по своей природе сильно отличаются по сложности - тут либо терпеть и делать более длинные тесты, либо делать синтетику/нормализацию потока. Если один и тот же запрос сильно варьируется по времени выполнения - посмотри, что может мешать. Может быть у тебя стенд или лоад-генератор в это время еще чем-то нагружен, может сетевые проблемы и т.п.
Про винду ничего не подскажу, я с ней очень давно не имел дела. Но можно прикинуть, что должен уметь подходящий инструмент:
- снимать все нужные метрики с достаточной точностью (глянуть на кумулятивные счетчики в начале и в конце теста лучше, чем ничего, но недостаточно)
- сохранять результаты в удобном для обработке виде (экспорт в csv или другой удобный для парсинга формат. Лучше строить графики в экселе, чем вообще без них жить. Графики в виде картинок не очень вариант, т.к. получить из них обратно числа слишком сложно, а что-нибудь посчитать может быть нужно)
- незначительное влияние на систему при работе
Не думаю, что виндовые инструменты умеют метрики приложения, но уверен, что мониторинг железа/ОС (проц, память, дисковое I/O, сетевое I/O, число сокетов в разных состояниях и т.п.) там должен быть. Наверняка в базе тоже есть свои инструменты, но в зависимости от удобство может сильно отличаться. Тут главное с чего-нибудь начать, а дальше придумывать гипотезы, что является узким местом и делать эксперименты. В процессе лучше поймешь, какие метрики нужны в твоем случае. Ну да, и подумай на тем, чтобы хранить результаты тестов и мониторинг вместе и систематизировано.
Бонус из рубрики "советы бывалых", может кому пригодится:
Если хочется подавать нагрузку в rps, свободно варьируя соотношение можно применить секретную технику "лапша из if-ов" и подготовить данные правильным образом.
Суть: оборачиваешь каждый сэмплер в if (юзай jexl/jexl2, дефолтное говно работает на js в реализации rhino и тормозит уже на 100 rps), который проверяет переменную, допустим ${type}, а к тредгруппе у тебя добавлен CSV reader, который читает файл и данными, которые нужны семплерам и одним из полей как раз идет этот type. Когда хочешь поменять соотношение - просто делаешь новый csv с исходными данными и подкладываешь его, сам тест переделывать не надо => профит.
Проблема тут с запросами, которые зависят от данных друг друга (например, сначала создаешь заказ, потом его редактируешь по id), то нужно либо подготовить все данные заранее, либо хитро жонглировать ими в тестплане, чтобы в нужный момент ты все эти id и т.п. знал.
Порекламирую еще раз Андрея Похилько:
- основы: https://events.yandex.ru/lib/talks/1733/
- про jmeter: https://events.yandex.ru/lib/talks/1907/
По поводу таймеров - подобрать реальные задержки для пользователей будет очень сложно - для любых пользовательских действий следует ожидать конской дисперсии: кто-то прокликал весь сайт за 10 сек, а кто-то открыл форму и пошел пить чай, как ты их будешь усреднять? И даже если собрать честные сессии с задержками из логов - большая дисперсия будет тебе портить жизнь при анализе, потому что число выполняющихся запросов будет сильно варьироваться (если у тебя этих юзеров не десятки тысяч).
Поэтому, если нет серьезных причин тестировать с ограниченным числом пользователей (ака закрытая система), - фигачь нагрузку в RPS. В jmeter для этого есть http://jmeter-plugins.org/wiki/ThroughputShapingTimer/ Посчитать, сколько запросов нужно подавать можно просто по логам. Тут, конечно, могут быть свои тонкости. Например, для сценариев на старте теста у тебя может поехать соотношение типов запросов - стартующие треды делают первый запрос и отправляются в сон надолго. Но и без шейпера у тебя такие проблемы могут возникнуть.
Обрати внимание, что если у тебя будет мало тредов, то при тормозах сервера рейт запросов будет уменьшаться, т.к. пока тред не получил ответ/таймаут следущий запрос он не будет делать. Как узнать, сколько тредов достаточно? Самый надежный способ - считать исходя из таймаута: n_threads = rps/timeout_in_seconds, но больше ~2-3k тредов в jmeter создавать стремно - возникают проблемы с jvm - сборка мусора на таком числе уже может подтормаживать. Со сложными и/или кривыми тестпланами могут и раньше начаться проблемы. Поэтому можно ставить поменьше, но следить за средними временами - если у тебя по средним временам выходит, что все треды постоянно работают, значит ты начнешь отставать от расписания RPS.
Тест с малым числом юзеров может пригодиться для определения максимальной емкости системы, но это прокатывает только для относительно простых приложений. Надо подавать нагрузку постепенно наращивая число юзеров и следить за числом ответов. Ожидаемое поведение: со временем число ответов выйдет на плато и начнут понемногу расти времена ответов - система вышла на насыщение. Хорошие приложения после выхода на насыщение могут еще довольно долго разменивать скорость на число параллельных запросов, но чудес не бывает и само обслуживание параллельных клиентов жрет память/проц на переключение IOPS и т.д., так что с дальнейшим ростом можешь увидеть падение пропускной способности. Разладкой принято называть выход за пределы нормальных параметров - пошли ошибки или времена ответов превысили требуемые, тесте с наращиванием числа потоков это сложнее наблюдать, когда подаешь нагрузку в RPS разладка, обычно, видна гораздо яснее - если закончился, например, процессор, то новые запросы быстро забъют все и либо ошибки приложения пойдут, либо таймауты.
Если у тебя при подаче нагрузки без задержек постоянным числом пользователей сильно варьируются число ответов и тайминги - посмотри на запросы и на состояние машин. Если запросы по своей природе сильно отличаются по сложности - тут либо терпеть и делать более длинные тесты, либо делать синтетику/нормализацию потока. Если один и тот же запрос сильно варьируется по времени выполнения - посмотри, что может мешать. Может быть у тебя стенд или лоад-генератор в это время еще чем-то нагружен, может сетевые проблемы и т.п.
Про винду ничего не подскажу, я с ней очень давно не имел дела. Но можно прикинуть, что должен уметь подходящий инструмент:
- снимать все нужные метрики с достаточной точностью (глянуть на кумулятивные счетчики в начале и в конце теста лучше, чем ничего, но недостаточно)
- сохранять результаты в удобном для обработке виде (экспорт в csv или другой удобный для парсинга формат. Лучше строить графики в экселе, чем вообще без них жить. Графики в виде картинок не очень вариант, т.к. получить из них обратно числа слишком сложно, а что-нибудь посчитать может быть нужно)
- незначительное влияние на систему при работе
Не думаю, что виндовые инструменты умеют метрики приложения, но уверен, что мониторинг железа/ОС (проц, память, дисковое I/O, сетевое I/O, число сокетов в разных состояниях и т.п.) там должен быть. Наверняка в базе тоже есть свои инструменты, но в зависимости от удобство может сильно отличаться. Тут главное с чего-нибудь начать, а дальше придумывать гипотезы, что является узким местом и делать эксперименты. В процессе лучше поймешь, какие метрики нужны в твоем случае. Ну да, и подумай на тем, чтобы хранить результаты тестов и мониторинг вместе и систематизировано.
Бонус из рубрики "советы бывалых", может кому пригодится:
Если хочется подавать нагрузку в rps, свободно варьируя соотношение можно применить секретную технику "лапша из if-ов" и подготовить данные правильным образом.
Суть: оборачиваешь каждый сэмплер в if (юзай jexl/jexl2, дефолтное говно работает на js в реализации rhino и тормозит уже на 100 rps), который проверяет переменную, допустим ${type}, а к тредгруппе у тебя добавлен CSV reader, который читает файл и данными, которые нужны семплерам и одним из полей как раз идет этот type. Когда хочешь поменять соотношение - просто делаешь новый csv с исходными данными и подкладываешь его, сам тест переделывать не надо => профит.
Проблема тут с запросами, которые зависят от данных друг друга (например, сначала создаешь заказ, потом его редактируешь по id), то нужно либо подготовить все данные заранее, либо хитро жонглировать ими в тестплане, чтобы в нужный момент ты все эти id и т.п. знал.
Это копия, сохраненная 6 апреля 2016 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.