В 2012 году разработчики проекта Chromium представили миру свой бенчмарк Octane, предназначенный для оценки скорости работы с javascript. И все эти годы любую оптимизацию в Хроме было принято подтверждать результатами теста Octane. Но производительность реальных сайтов отличается от того, что измеряет этот тест, поэтому пришло время уйти ему в историю.
За работу со javascript в Хроме отвечает движок V8, и чтобы как-то оценить его производительность, разработчики использовали бенчмарк Octane – солянку из самостоятельных скриптов, каждый из которых был максимально приближен к реальной жизни. Например, компонент Box2DWeb – это порт известного 2D-движка, который используется в онлайн-играх, а Pdf.js – скрипт для оценки скорости работы с PDF-документами. В общем, это не набор синтетических тестов, а вполне реальные задачи для браузера. И Google Chrome полагался на этот тест годами.
В начале прошлого года команда Chromium решила проанализировать работу браузера с некоторыми популярными сервисами и сайтами (Facebook, Twitter, Reddit, Wikipedia, ...) и выяснила, что обычно куда большее влияние оказывает как быстро браузер начинает выполнять скрипты, а не пиковая производительность при их исполнении. Используя эти данные, разработчики оптимизировали работу движка и ускорили запуск сайтов на 10-20% (сравнивали Chrome 49 и Chrome 56). Причем теперь они полагаются на тест Speedometer, а не Octane, потому что его результаты больше соответствуют проведенному анализу.
Кстати, для любителей теории заговора есть интересная версия. В конце прошлого года команда браузера Edge начала активно продвигать тот факт, что их продукт обходит Chrome в гугловском тесте Octane.