AWSで提供されているサービス"Device Farm"と似たようなサービスがGoogleのFirebaseにて提供されているので、試しに使用してみました。

AWS - Device Farmとの比較

比較観点 Firebase
Test Lab
AWS
Device Farm
実施可能な試験 基本的に以下の自動試験系の試験しか実施できない
  • Roboテスト
  • Instrumentation(Espresso、Robotium、UIAutomator)テスト
  • ゲームループテスト
試験は実機または仮想端末で実施でき、仮想端末の方がコストパフォーマンスが高いが、制限がある。
自動試験(JUnit、Espresso、Robotium、UI Automatorなど)、端末を直接操作するRemote access試験など
価格 1日当たりの試験回数に制限があるが、無料で使用することも可能
参考サイト
定額または重量課金
参考サイト
特徴Roboテストによる試験が可能。
仮想端末による試験ができる。
CPU使用率・メモリ使用量・通信量などのパフォーマンスが記録される。
Remote access試験ができる。
iOSやWebの試験も実施可能。
TCPレベルのログを取得することができる。
使用可能な実機の種類
2017.06現在
(Android機のみの比較)
筐体の種類: 33種類(仮想端末除く)
バージョン違いも含めた全種類: 42種類
バージョン違いも含めた全種類: 42種類

現状比較した限り、価格以外はAWS - Device Farmの方が良さそうですが、Test Labも無料である限り有用であるので、クラウドテスティングを使用する前提であれば両方を併用するのが良いかと思いました。
例: iOSはAWS - Device Farmで実施、AndroidはTest Labで実施
例: Robo試験を回したいときのみ、Test Labで実施

Robo試験については、別途アップします。

コメントの投稿