浅谈兼容性测试

兼容性测试的概念

兼容性测试是一种软件测试方法，旨在确保所构建的系统、应用程序或网站能够与其他各种对象（如不同类型的网络浏览器、硬件平台、用户、操作系统等）兼容。这种测试帮助了解产品在特定环境中的表现。

为了更易于理解，我们可以将硬件、软件、平台等对象抽象为测试设备的概念。结合项目中兼容性测试的实际操作经验，可以总结出以下特征：

在项目交付中，被测对象通常对测试设备有较大的依赖。以测试一个WEB产品为例，通常需要考虑浏览器类型、浏览器版本、操作系统、屏幕尺寸、分辨率等因素。有时还需考虑硬件设备的参数和型号。任何细微的差异都可能导致测试结果偏离预期。

兼容性是其他类型测试的前提条件。在敏捷测试象限中，尽管兼容性测试没有明确列出，但在进行其他类型的测试之前，测试主体和测试设备必须保持“稳定”状态。我认为这种“稳定”的状态是其他测试的必要但不充分条件。

测试设备的增加意味着资源消耗的增加。在测试人员的熟练程度不变的情况下，每增加一个测试设备都会增加其工作量，更不用说开发成本和测试环境的采购、搭建成本。

没有任何产品会追求与所有可用设备兼容，通常每个项目都会根据产品定位、业务类型、用户群体等因素来限制测试设备的范围。这个过程通常在售前或项目启动阶段完成。

准备测试设备清单

在当前设备和平台碎片化的现实中，确定测试设备对于项目的兼容性测试至关重要。可以从以下几个方面筛选和确认兼容性测试设备清单：

市场定位指的是企业对目标消费者或市场的选择，而产品定位则是企业通过何种产品来满足这些目标消费者或市场需求的过程。从理论上讲，市场定位应先于产品定位。测试人员在设计兼容性测试设备时，需要考虑产品定位的背景，从而限制测试设备的类别。

通常，企业希望产品能够适应多种设备，从项目成本和风险管理的角度，会将项目拆分成较小的单元，分阶段完成产品开发。拆分会进一步限制测试设备的种类。例如，一家科技公司希望开发一个基于用户关系、专注于兴趣社区的即时分享和互动社交媒体平台。在iOS生态系统成熟，目标用户使用量大且体验更好的情况下，业务部门可能要求开发团队开发一个适用于主流iOS设备的APP。

交付目标需要考虑交付本身的各种条件和限制因素，可能涉及业务价值、技术复杂度、产品类型、用户类别、市场定位等维度。从这些关键维度可以提取两种搜集测试设备的方法：

2.1 主动搜集调研：根据地域、竞品分析、操作系统市场占有率、浏览器市场占有率等条件对测试设备进行调研。主要通过咨询公司获取相关的行业报告，或者通过大数据平台获取相关数据。

图一 2022年1月到2023年1月期间中国区手机和平板供应商的市场占有率（数据来源：https://www.php.cn/link/48ea3e6f887cf74cbff9dd2a13d81bd2）

埋点：对于已发布的产品，采用埋点技术获取用户使用设备等信息，作为兼容性测试的数据支撑。

图二 通过埋点技术统计的终端用户访问某特定网站设备使用情况示例图

2.2 被动搜集主流发布：获取移动设备厂商的设备发布动态，预测新设备对产品的影响，从而影响测试设备兼容性的决策。

产品反馈：对于已发布的产品，从线上用户反馈中获取兼容性问题。

在明确产品定位和交付目标后，开发团队会确定开发过程中的技术选型，不同的技术选型对运行设备也有要求。下图是基于聊天的智能团队协作工具Teams对设备的最低要求。对于低于该要求的硬件、软件的测试设备不再具有测试价值。

图三 Teams用户手册关于安装和使用对设备的最低要求（图片来源：https://www.php.cn/link/5f679cac1ebdeda165eb49cc3015fd9e）

在测试策略层面，不同的测试类型对测试设备的选型也有影响。对于WEB项目，更加侧重于界面布局、组件交互逻辑、屏幕自适应、元素字体、浏览器渲染时间（性能）等UI测试，因此需要考虑设备屏幕大小、分辨率、浏览器类型、浏览器版本、操作系统等因素；对于APP项目，更加侧重于下载、安装、卸载、功能、交互等功能测试，因此更多需要考虑操作系统、硬件参数等因素。

需要注意的是，测试目标和测试设备选型是强耦合的关系，测试目标旨在保障项目高质量交付，可以进行灵活变化。如果识别到某测试机型已经不具备测试价值，或者不同型号机型表现类似，应该与业务团队和开发团队进行沟通和调整。

图四 常见设备屏幕尺寸表

如上图所示，如果从屏幕尺寸大小、分辨率相同的角度出发，同一厂商的屏幕参数类似，选择一种机型就可满足测试条件。

在测试设备基本明确的前提下，需要考虑当前交付团队的测试资源。更多的测试设备意味着更多的测试资源消耗（有时测试策略也会在很大程度上影响测试资源的消耗，例如测试策略设计了迭代内回归，也会增加测试人员的工作量）。可以考虑区分测试设备的优先级，对一到两个设备进行主测，其余设备进行happypath测试。或者尝试协调更多的测试资源到当前项目。抑或是对类型重复、出错率较小的设备进行删减，并与客户和团队进行沟通。

组建测试设备资源池

在确定测试设备资源后，接下来测试人员会考虑如何获得可用的设备，一般有以下方法：

常用的Android模拟器包括android studio emulator、bluestack、genymotion、Nox App Player、MEmu App Player、koplayer。常用的iOS模拟器有xcode simulator。常用的虚拟机包括Parallels、VMware Fusion、VirtualBox、QEMU。一般来说，无需刻意对虚拟技术进行定义和区分，测试人员更关注这种技术带来的结果，即可以通过软件/工具创建一个符合测试设备软件/硬件的环境。市场上手机、平板的配置多种多样，此时虚拟设备通常无法替代真机，而常用于开发、测试环节的调试。但对于PC、Mac来说，系统因素通常是产品运行的关键，开发和测试通常倾向于使用虚拟机完成工作任务。

图五 VMware Fusion使用虚拟技术实现在macOS上使用Windows 11（图片来源：https://www.php.cn/link/b5529beeccc5db7600a4db30afbb8d22）

真机是真实搭载操作系统的硬件设备，可以是电脑、平板、手机。测试人员从终端用户的角度对真机进行测试，往往能发现真实场景下的兼容性问题。通过市场采购或设备平台租赁是常见的获取方法。真机常用于手机、平板等移动设备的测试。

云测试平台是基于云平台提供测试服务的新模式，面向企业及开发者，通过云端调配和使用测试工具、测试设备、测试工程师，以解决企业软件和系统的功能、兼容、性能、安全等全周期的测试需求。通过网络协议等手段可以在本地连接托管到机房的目标真机进行测试活动。云测试平台具有设备多、便捷、维护成本低、即用型等特点。通常，云测平台提供的是托管在机房的可移动手机、平板的真机。

图六 一些常见的云测试平台对比

执行兼容性测试方法

基于应用场景进行测试方法选型

人工测试即全手工测试，可能依赖第三方工具完成测试目标。手工测试工作量大，资源消耗严重，但能发现明显的兼容问题，适合测试设备少、测试功能点复杂的场景。

自动化测试通过selenium、appium、cypress等自动化测试框架，实现测试用例的自动化，完成特定场景下的兼容性验证。自动化测试较手动测试完成速度快，能节省人工成本，但由于自动化测试用例的颗粒度较大，目前仍无法完全替代手动测试。

手动测试和自动测试可以同时存在于同一个项目的交付周期中，灵活调整执行方法，在一定程度上可以释放测试资源，提高测试效率和节约成本。

图七 某项目背景下手动测试和自动测试结合的可持续测试流程

最后

兼容性测试不仅仅是以执行为主的测试类型，确定兼容性测试策略需要系统地对整个测试周期进行层级划分，基于数据或事实基础在层级之间设置筛选条件，并且建立层级之间持续反馈的渠道和方法。

图八 兼容性测试的分层思路

测试人员从测试策略的角度，不仅需要了解兼容性测试的对象从产品层到业务层的筛选方式，也需要从测试目标、测试资源、技术实现的角度筛选可测对象列表，在执行层面通过虚拟、云测平台、真机等方式组建起测试设备资源，利用手动、自动或结合的测试方式，灵活地进行兼容性测试的交付。兼容性测试涉及大量的设备、技术、执行方式的选型，完善兼容性测试是一个不断探索和实践的过程。以上是我对兼容性测试的一些思考，欢迎大家讨论。