Оффлайн
Tihon74
Заблокирован
- Регистрация
- 25.06.17
- Сообщения
- 2.588
- Реакции
- 71
- Репутация
- 157
Насколько быстр смартфон, к которому вы прицениваетесь? Ориентироваться, как правило, приходится на абстрактные цифры синтетических бенчмарков. Но стоит ли вообще им верить, если известные бренды нет-нет да и попадаются на подстройке процессоров под бенчмарки? Есть один тест, который измеряет не количество малопонятных «попугаев», а реальную производительность аппарата в играх и других приложениях: FPS, загруженность процессора и памяти, расход батареи. Мы расскажем об этой программе, а в конце сделаем важный анонс.
Проблемы традиционных бенчмарков
Факт, индексы производительности бенчмарков влияют на продажи Android-устройств. Неудивительно, что время от времени отдельные участники рынка смартфонов пытаются обмануть популярные тесты, искусственно повышая частоты процессоров в этих приложениях. В начале этого года на жульничестве попались OnePlus и Meizu. Обычно компании отвергают обвинения в нечестности или просто отмалчиваются, но в этот раз OnePlus признала искусственный разгон процессора при запуске AnTuTu.
Справедливости ради, подобное мошенничество встречается нечасто. Главное, за что критикуют бенчмарки — это несоответствие результатов синтетических тестов тому, что мы получаем на практике, при реальном использовании гаджетов. Да, в бенчмарках рендерятся 3D-сцены, применяются эффекты к растровым изображениями, открываются тестовые веб-страницы, загружаются и редактируются PDF-документы, читаются записи из больших баз данных. Но в итоге вы всё равно получаете тех самых абстрактных «попугаев», которые ничего не скажут о том, насколько плавно будут идти «танчики» в сложных локациях и на максимальных настройках.
Недостатки традиционных бенчмарков проявляются ещё и в плохой воспроизводимости результатов. Для одинаковых смартфонов, протестированных в разных условиях, цифры будут отличаться. Для иллюстрации мы провели два замера производительности одного и того же смартфона с помощью AnTuTu, только в одном случае предварительно хорошенько заморозили бедолагу. Как видим, результаты отличаются на 5%.
Измерение производительности в нормальных условиях
Измерение производительности охлаждённого смартфонаБенчмарк, тестирующий реальные приложения
Однажды бывшие работники ARM и Mediatek решили сделать действительно объективный бенчмарк и основали стартап GameBench. Как видно из названия, главный полигон для этого тестового комплекса — игры. Но GameBench способен досконально изучить, как нагружают смартфон любые приложения: хоть 3D-шутеры, хоть мобильные браузеры, которые мы недавно протестировали.
В отличие от синтетических тестов, GameBench показывает FPS реальных приложений. Причём он выдаёт таймлайн, на котором видно, как изменялась частота кадров во времени. Хотите узнать, почему в определённый момент FPS просел? Выберите эту точку на графике и по скриншоту сможете увидеть, что здесь подгружался новый уровень игры или в браузере рендерилась особо тяжёлая страница.
Бенчмарк снимает и такие интересные данные, как частота работы отдельных ядер процессора и их активность — бесценно для оценки эффективности архитектуры в различных приложениях. Отдельные графики показывают загруженность GPU и потребление оперативной памяти. Таймлайн сетевой активности отображает входящий и исходящий от подопытного приложения трафик. Наконец, тест показывает насколько быстро то или иное приложение «съедает» заряд аккумулятора.
Результаты тестов доступны уже для полусотни моделей смартфонов. В этой таблице можно выбрать интересующее вас устройство и узнать, какую среднюю частоту кадров выдаёт в играх графическая подсистема и насколько велик разряд аккумулятора. Наглядная таблица позволяет сравнивать производительность смартфонов и выявлять интересные закономерности.
Для начала работы с бенчмарком необходимо пройти регистрацию. Дело в том, что Gamebench продаёт свой продукт компаниям, а энтузиастам предоставляет бесплатно (30 минут в месяц). Регистрационные данные позволяют отделить одних пользователей от других. Кроме того, перед началом измерений необходимо единоразовое подключение смартфона к ПК. Только таким образом можно получить доступ к Android на глубоком уровне без прав суперпользователя — root.
В блоге GameBench регулярно публикуются наиболее интересные факты, которые помог выявить бенчмарк. Клоны Candy Crush Saga, например, быстрее расходуют заряд аккумулятора, чем оригинал. А самая «безлаговой» и плавной игрой в жанре MOBA на смартфонах оказалась Vainglory.
А теперь обещанный анонс. Мы рады сообщить, что решили сотрудничать с GameBench и уже начали использовать бенчмарк при подготовке материалов 4PDA. С его помощью мы сможем получать интересные и неожиданные данные для статей, а обзоры смартфонов станут ещё более информативными и полезными.