Samsung Galaxy S6は「最速のスマートフォン」、偽のベンチマークを使用しiPhone 6の現実世界のパフォーマンスを無視した場合

先週の金曜日、トムのガイドはサムスンの主力製品であるギャラクシーS6を「世界最速のスマートフォン」と称する記事を掲載し、同製品が「9つの実世界テストと総合ベンチマークのうち6つで1位」になったと書いた。残念なことに、その主張は厳選された数字に依存しており、現実世界を完全に無視していました。

サムスンのダメージコントロール

サムスンの最新フラッグシップ携帯電話「ギャラクシーS6」は、iPhone 6が昨年9月に発売されてから7か月後の4月に発表された。スマートフォンの各世代は前年に比べて計算能力が大幅に向上しているため（グラフィックス性能はさらに速く向上しています）、サムスンの最新のハイエンド携帯電話は、新しいという理由だけで iPhone 6 よりも大幅に高速になるはずです。しかし、そうではありません。

3 か月前、最初の Galaxy S6 ベンチマークが登場したとき、AppleInsider 報告されましたGFX ベンチでのグラフィックスパフォーマンススコアは Galaxy S5 よりも向上しましたが、それでも Apple の iPhone 6 には大きく及ばなかったそうです。

実際、ネイティブ解像度では、Galaxy S6 は移動する余分なピクセルが多すぎたため、2013 年の iPhone 5s よりもパフォーマンスが悪くさえありました。超高解像度の画面と非力な CPU および GPU を組み合わせるという Samsung の不適切なエンジニアリング選択により、机上では優れたスペックが得られましたが、実際のパフォーマンスは不十分でした。

Samsung の販売が 3 か月間低迷した後、サムラザフォードとアレックス H. クランツは共同で報告のためにトムのガイド表向きはそのデータを単に無視することで反論しました。この物語では、問題となる GFX ベンチのスコアについてはまったく言及されていません。

1 位のスコアを獲得するための「現実世界」のテストを作成する

代わりに、このサイトはタスク (PDF を開く、カメラアプリの起動、ビデオゲームのプレイ、ビデオのトランスコードなど) を実行し、スローモーションカメラで撮影してミリ秒の違いを見つける 4 つの「現実世界」テストを作成しました。

PDF の「ロード時間」テストには 1.6 GB のファイルが含まれていましたが、どのアプリが使用されたかは明らかにされていませんでした (単なるビューア、それともより強力なエディタ?)。いずれにせよ、Galaxy S6とiPhone 6の差は20ミリ秒でした。その違いに気づくには高速度カメラが必要です。

他の Android スマートフォンでは、遅延にすぐに気づくほど動作が遅かったです。たとえば、Google の Nexus 6 はファイルを開くのにほぼ 4 倍の時間がかかり、標準の Android が必ずしも高速であるわけではないことが浮き彫りになりました。

カメラの読み込み時間に関する 2 番目のテストでは、同様にさまざまなアプリを比較しましたが、iPhone 6 と LG および Samsung 製の 2 台の携帯電話の違いを観察するには、やはりスローモーションカメラが必要でした。それぞれが 10 ミリ秒の差以内にカメラアプリを起動しました。ここでも、Nexus 6 が iPhone 6 や LG や Samsung のハイエンド携帯電話の 2 倍以上遅いスコアで後退しました。

ビデオゲームのパフォーマンステストでは 3 分以内にプロファイリングされましたアスファルト8, iPhone 6はGalaxy S6と同等のフレームレートを実現しました。 Galaxy S6 は、ネイティブ解像度では速度が遅いにもかかわらず、ほとんどのゲームをネイティブ以外の低い解像度でプレイして追いつくことができます。しかし、Galaxy S6 は、より多くのコア、より多くの RAM、より高速なクロックのアプリケーションプロセッサにもかかわらず、より低い非ネイティブ解像度で実行しても速度の利点を主張できませんでした。

サムスンのより高価なGalaxy S6はゲームではiPhone 6に勝てない

4 番目のテストでは、アプリを使用して 1080p の映画を 480p にトランスコードしましたが、使用したベンチマークアプリが Android 用であったため、このタスクは iPhone 6 でも実行されませんでした。著者らは、「この現実世界のシナリオは CPU パフォーマンスを正確に描いている」と述べていますが、実際に使用した VidTrim アプリは、一般的な CPU パフォーマンスを反映するのではなく、特殊な ARMv7 NEON ハードウェアアクセラレーションに依存しています。

サムスンの「ファースト・プレイス」、より高価なハードウェアは現実世界での利点をもたらさない

彼らの「現実世界」のテストでは、トムズガイドサムスンのデバイスは価格が高く、「オクタコア」CPU (Apple のデュアルコア A8 と比較) を搭載し、より高速な DDR4 チップを使用して 3 倍のシステム RAM を搭載し、7 か月後に出荷されているにもかかわらず、サムスンの Galaxy S6 と iPhone 6 の間に識別可能な違いは見つかりませんでした。。Google の Android 5.0 は本当にリソースをひどく浪費しており、2GB の高速 DDR4 システムメモリと 8 コアの高速クロック CPU を追加しても、昨年の iPhone 6 と比べて目に見えるパフォーマンスの向上が見られないのでしょうか?

Google の Android 5.0 は本当にリソースをひどく浪費しており、2GB の高速 DDR4 システムメモリと 8 コアの高速クロック CPU を追加しても、昨年の iPhone 6 と比べて目に見えるパフォーマンスの向上が見られないのでしょうか?

Android 5.0 Lollipop は、Android の Dalvik を置き換えることにより、ART の「事前」コンパイル (「Android デバイスのパフォーマンス向上を目的とした Google の 2 年間継続中の秘密プロジェクト」と説明されている) を介して、アプリのパフォーマンスを大幅に高速化する予定でした。「ジャストインタイム」仮想マシン。しかし、1年に及ぶ新しいハードウェアのアップグレードとAndroidの新バージョンは、サムスンがアップルが昨年発売した携帯電話を打ち破るには何の役にも立たなかった。

さらに悪いことに、ネイティブ解像度 (低解像度のビデオゲームを開始する場合を除いて、デバイスが通常実行される解像度) では、Samsung の技術的選択により、Galaxy S6 のパフォーマンスが著しく劣ることになります。 GFX ベンチは、サムスンの「Exynos 7」を搭載した Galaxy S6 が、同じネイティブ解像度テストで 15 fps (iPhone 6 Plus のフレームレートのわずか 78 パーセント) まで低下したことを示しています。

サムスンを不正に「1位」にするための人為的なテスト

ネイティブ解像度と 1080p 解像度の両方での生の GPU パフォーマンスを詳細に示す GFX ベンチの数値は無視しますが、トムズガイド独自の GPU ベンチマークもいくつか含まれています。 Android ファンサイトの典型として、著者は FutureMark 3D Mark Ice Storm Unlimited を選択しました。 GFX Bench と同様に、GPU のレンダリングテストが含まれています。

しかし、Android ファンが 3D Mark Ice Storm Unlimited を好む本当の理由は、現実をまったく考慮せずに Android を勝者のように見せてくれるからです。これは、GPU テストに加えて、Android 用に最適化されたソフトウェアライブラリを使用する物理テストが組み込まれているためですが、このソフトウェアライブラリは iOS では使用されておらず、iOS 用にも最適化されておらず、一貫して誤った不合格を提供するために遅い iPhone スコアを返します。

これは次の図ですぐにわかります。トムズガイドこの記事では、実際のビデオゲームのプレイバックでは iPhone 6 が最速の Android デバイスに並ぶか、またはそれに勝ったと述べています (クロックレートが速く、より多くの RAM と追加のコアを搭載しているにもかかわらず) が、どういうわけかランキングの最下位に沈んでいます3D Mark Ice Storm Unlimited では、実際のゲームパフォーマンスが最悪で、同じ記事内の他のすべての「現実世界」テストでも不合格となった Nexus 6 よりも下でした。

3D Mark Ice Storm Unlimited は現実世界のゲームパフォーマンスと矛盾します

サイトの編集者はそれに気づくべきではなかったのだろうか？

FutureMark 3D Mark Ice Storm Unlimited のテスト結果がレビューや「銃撃戦」に掲載されているのを見れば、それが iPhone を悪く見せ、実際のテストで不合格となった Android デバイス (Nexus 6 など) をそれよりも良く見せるための段階的な取り組みであることがわかります。実際にそうです。 Android ファンが好む偽の番号をうまく表示します。

満足のいくスコアを見つけるためのベンチマーク

記事に含まれるもう 1 つの人工ベンチマークは Geekbench 3 です。これは、モバイルデバイスとデスクトップ Mac および PC で実行されるバージョンの両方で、私たちも頻繁に使用したテストです。モバイルデバイスの場合、Geekbench には 2 つの主要なスコアが含まれています。1 つはシングルコアのパフォーマンスに関するスコア、もう 1 つは連携して動作する利用可能なすべてのコアのパフォーマンスをテストするマルチコアスコアです。

シングルコアスコアは、基本的な日常的なタスクにおいて CPU がどれほど強力であるかを示します。これは、スマートフォンユーザー (またはアプリを操作するオペレーティングシステム) がすべてのデバイスコアを効果的に連携して完璧に動作させることができるケースは比較的少ないためです。ベンチマークアプリはそうします。

2 つのベンチマークスコアは、車両が市街地および高速道路の速度でどのような馬力を発揮するのか、テストトラックでどのような馬力を発揮するのかを測定することに似ており、実際の運転条件ではめったに遭遇しない理論上のパフォーマンスを測定することになります。

Apple は、単一コア操作で適切に動作し、両方のコアが動作できる場合にはさらにパフォーマンスが向上するように iPhone を最適化しています。エネルギーの消耗のため、システムはほとんどの場合、バッテリ寿命を維持するために未使用のコアをオフにしようとします。 Apple の A8 には比較的大きなコアが 2 つあります。これは、パフォーマンスと効率のバランスが優れているため、同社の ARM CPU は最初の iPod 以来この設計に忠実に従っています。

Samsung は ARM による 8 コアの「big.LITTLE」設計を使用しています。これらのコアのうち 4 つは汎用タスクを共有することを目的としたマッスルコアであり、他の 4 つは低消費電力で惰性的に使用するために設計された軽量コアです。つまり、8 コアすべてを同時に使用することは、短期間で人為的なベンチマークを達成することを除けば、ほとんど意味がありません。

ただし、8 コア設計では、より多くのより小さなコアにより多くの表面積が割り当てられるため、ほとんどの場合、より多くのチップを使用できるというトレードオフが発生します。ほとんどのタスクは一度に 1 つのコアしか使用できないため、Apple の 2 つの大きな A8 コアは CPU チップ領域の半分をシングルコアタスクに割り当てることができることを意味します。サムスンは、4 コアの 1 セットをアイドル状態のままにするだけでなく、残りの使用中のチップ表面積を 4 分の 1 にして、スマートフォンユーザーが実際に現実世界で行うタスクのほとんどに、より小型の単一エンジンを提供します。

したがって、「8 コア」というと印象的に聞こえるかもしれませんが、実際には、デュアルコアチップの 4 倍 (または 2 倍) の作業を実行できるという意味ではありません。実際、Geekbench 3 によると、シングルコア動作では、Apple の iPhone 6 に搭載されている A8 は、Samsung の Galaxy S6 に搭載されている Exynos 7 よりも 40% 高速です。Apple は、iPhone ユーザーが実際のアプリを実行している実際の状況でほとんどの場合最速の応答が得られるようにパフォーマンスを最適化しています。一方、Samsung は、現実の使用ではめったに遭遇しない条件下でベンチマークスコアを最適化しています。

トムズガイドそれについては何も説明しておらず、単一のコアスコアさえ引用していませんでした。代わりに、マルチコアという 1 つの数値に焦点を当てました。 Geekbench 3 の記録によると、Galaxy S6 はマルチコアスコアで iPhone 6 より 36% 高速です。つまり、日常的な動作では iPhone 6 が 40% 速く、この種のフルチルトベンチマークの実行では Samsung の Galaxy S6 が 36% 高速です。

両方のコアを使用すると、A8 チップは Geekbench スコアパフォーマンスを 79.4 パーセント向上させることができますが (両方のコアをビジー状態に保つことでスコアが 2 倍になるわけではありません)、Exynos 7 のすべてのコアをオンにすると 240 パーセント向上します。これは8倍どころか4倍にも近い増加ではないが、どちらの場合もAppleがパフォーマンスを最適化しているのは明らかで、iPhoneユーザーが実際のアプリを実行している実際の状況でほとんどの場合最速の応答が得られるようにしている一方、Samsungは最適化を行っている。実際の使用ではめったに遭遇しない条件下でのベンチマークスコア。

サムスンには、次のことに取り組んできた長い歴史があります。ベンチマークを不正行為する特定の数字だけを見て、その数字が実際に何を意味するのかを深く考えない人々に好印象を与えるために、さまざまな方法を使います。しかし、Exynos「オクタコア」チップの開発により、サムスンは実際の使用ではなくスコアに最適化された製品全体を作成しました。

Geekbench よりも大幅に高い Geekbench スコア

トムズガイドサムスンが（一連の「現実世界」テストで昨年のiPhoneをさらに上回ることができなかった後）ベンチマークで「競争を打ち負かした」と宣言するために、選択的に1つの数字を選んだだけでなく、ギャラクシーS6のスコアは大幅に高かったGeekbench が他のユーザーから記録したものよりも優れています。

このサイトではマルチコアスコアが 5,283 であると報告されていますが、Geekbench ブラウザによると、その携帯電話 (Samsung Exynos 7420 Galaxy S6、1500 MHz、8 コア) の実際のスコアは 3925 です。これは、同じ携帯電話で同じベンチマークを実行した場合のスコアに大きな違いがあります。また、他のベンダーから報告されたスコアの不一致とも完全に一致しません。

Toms Guide Galaxy S6 の Geekbench スコアは実際のユーザーが見ているものではありません

のトムズガイドたとえば、iPhone 6 の Geekbench スコアは、Geekbench ブラウザによって報告される平均スコアから 38 ポイントです。スコアトムズガイドGalaxy S6 に関して公表された数値は平均より 1,358 ポイント高く、実際のユーザーが報告した数値より 3 分の 1 以上高くなっています。通常、同じハードウェアで実行されるスコア間にはそれほど大きな差がないため、これはフラグを立てるはずです。

エンジニアリングとベンチマークの最適化

ただし、同じハードウェアであっても、デバイスが何らかの方法で最適化されている場合、ベンチマークで大きな違いが示されることがあります。たとえば、サムスンは過去に、次の方法で同じデバイスから追加の「パフォーマンスポイント」を搾取しました。バッテリー寿命と熱保護装置をオフにするデバイスがベンチマークアプリを実行したとき。実際に人々が常にその「ベンチマークモード」でデバイスを使用すると、携帯電話は過熱して急速に機能しなくなるでしょう。

逆に、Appleの新しい省電力モードiOS 9 では、プロセッサーの動作速度をスケールダウンすることでバッテリー寿命を延ばすことができます。ハードウェアアクセラレーションコーデック (Android のフルディスク暗号化、iOS のように常時オンになっている場合) などのその他の最適化。メモリのパフォーマンスを 50 ～ 80% 削減します) または Apple の金属(オーバーヘッドが少なくなり、より効率的に GPU にタスクを実行することで CPU パフォーマンスが向上します) ベンチマークスコアにも影響を与える可能性があります。

Galaxy S6 の異常で人工的なスコアを祝いながら、トムズガイドデバイスがバッテリーを消耗するまでにそのベンチマークを達成できる時間に関するデータは公表していません。このサイトには、システムとメモリに関する個別の FutureMark スコアも含まれていましたが、どちらも、ライターが実際のテストで観察した実際のパフォーマンスと矛盾する大幅に異なるスコアを提供しました。 4 番目のテストでは WiFi スループットのベンチマークが行われましたが、テストの方法論についてはあまり言及されていませんでした。

奇妙な要約として、このサイトは、Basemark OS IIメモリ固有のテストでは、より遅いDDR3メモリを使用し、「スピーディ」な新UFS。テストには何か意味があるのでしょうか、それとも、サムスンが宣伝している技術が実際に現実世界で何かに貢献しているという先入観を飾るために使用される素敵なチャートを作成するためだけのものなのでしょうか?

さらに、トムズガイドベンチマークがリンゴとオレンジをテストしていることに気付きませんでした。 iPhone 6 はデフォルトでフルディスク暗号化を提供しますが、Samsung の Galaxy S6 (およびその他の Android スマートフォン)暗号化をオフにして出荷しますAndroid での FDE はメモリパフォーマンスに大幅な負担をかけるためです。コアのセキュリティ機能をオフにしてベンチマークを実行すると、優れたベンチマークが得られますが、実際には意味のある意味で Galaxy S6 が「高速」になるわけではありません。ただ安全性が低くなります。

このレポートは、Samsung S6が「最速のスマートフォン」であることを証明するのではなく、たとえ著者らがからかうことができたとしても、Appleの最後のスマートフォンよりも年間サイクルの半分早い豪華な仕様と新技術では本当のパフォーマンス向上を実現できないことを実際に実証しただけだ。現実と矛盾するベンチマークの数字を出しました。

さらに、このサイトは本物のベンチマークを無視して偽のベンチマークを支持しただけでなく、おそらく技術的に精通したウェブによって調整された単純な「ファイルを開く」テストでは観察できない一連の利点によってiPhone 6が最適化されているという現実を完全に無視しました。サイト。これには、Apple のアプリプラットフォームが 64 ビットに完全に移行され (App Store の承認が必要)、グラフィックアプリとゲームに 64 ビットのサポートが組み込まれているという事実が含まれます。金属。

Metal の利点を Android と比較するのは困難です。その理由の 1 つは、ほとんどの GPU テストでは CPU と GPU の両方のアクティビティを同時に測定しないためです (たとえば、GFX Bench は、CPU に依存するユーザー操作を行わずに段階的な 3D シーンをレンダリングすることで GPU のパフォーマンスに重点を置いています) ）、そしてその理由の一部は、Android で利用できる現実世界のアプリやゲームがさらに少ないためです。これには、Apple が Metal のデモに使用したムービーおよび写真編集ツールが含まれます。

Apple の iOS プラットフォームが長い間、さまざまな専用アプリを惹きつけてきたという事実は、いずれにしても、他のプラットフォームにおける「より高速なハードウェア」の価値を損なうものです。 2012 年当時、4G LTE Android スマートフォンは 3G のみの iPhone よりも明らかに高速でしたが、それでも Apple の強力なエコシステムが最もプレミアムな購入者を惹きつけていました。現在、iPhone 間に技術的な欠陥はなく、Apple が CPU と GPU の設計をリードしています。

トムズガイドほとんどのテストで同点か上回ったLG G4よりも定価が100ドル高いにもかかわらず、サムスンのフラッグシップ機を「最速」として表彰することに恥ずかしさを感じなかった。むしろ、実際にはそうではなかったことが自社のデータで示されているにもかかわらず、同サイトはサムスンが「この分野を吹き飛ばした」と述べた。