Testin徐琨 | APP测试是找Bug，不是找茬
作为一名APP测试工程师，许多人一定经历过这样尴尬的场景，欣喜的跟项目组汇报发现的Bug时，被开发说“这不是BUG，你操作有误，就是这样设计的”，被产品说“不懂业务”，被项目经理说：“马上就要发版了，不要再关注这些无关紧要的问题”。上线后又被老板指责“为什么这么多问题，怎么在测试阶段没有发现”。
到底哪里出错了？Testin总裁徐琨曾指出，无论项目经理、产品经理、开发工程师或是测试工程师，做出好产品的目标是一致的，但为什么会有隔阂呢？哪些Bug才是大家最关注的？哪些Bug是不应该被提出来的？做到什么程度产品才能上线？一位做直播APP的CEO廉洁表示，在早期没有测试团队的时代，她的公司是通过运营人员、产品人员和用户来完成APP的质量测试，但实际上，缺乏系统有效的测试经验，测试的结果往往带来困扰，一方面，运营人员和用户提出了并不能称之为Bug的反馈，这种低质量的Bug严重干扰致命级Bug的修复工作，另一方面，由于缺乏专业性，真正致命的Bug往往在上线之前没有被发现。“这种模式，有时候不做测试反而比做了测试更好”。她表示。“如果我们组建测试团队或者采用第三方测试服务，我们需要这种机制能提供更多重要的高质量有效Bug，并且有成体系的测试机制，能够在项目整体的角度考虑APP的测试，帮助开发定位并修复问题，要具备强大的业务认知能力”。
徐琨认为，在APP的整个生命周期中，不同的阶段对Bug有效性的定义完全不同。在项目初期和发展期，APP刚刚研发完成或上线一些重要功能模块，存在很多质量问题，项目组会集中全部资源优先解决核心业务功能的完整性和正确性等严重影响用户使用的问题，对于APP易用性的、界面提示友好性的、极限操作时引发的与核心业务无关的Bug，是没有足够的精力和心情进行处理的。然而，到项目稳定期，仅一些小的版本迭代上线，之前被忽视的一些问题也会成为大家关注的焦点，因为这些问题极有可能会在他们真实的用户身上发生。
找到APP有效Bug的手段有很多种，基于产品设计文档进行功能用例编写，然后进行逐一验证，是最系统有效的方式。它可以精准的发现APP在核心业务上存在的缺陷。大多数有QA团队的公司，测试人员主要精力都用于执行用例。正如它具备显著的优点，它的不足也同样明显。这种测试方式受限于测试人员对业务的理解程度，与真实用户的使用场景存在一定的差异，导致测试范围存在盲区。很多企业，在上线前会动员产品、开发、市场等员工进行一轮自由测试，或者引入部分真实用户进行灰度测试，来弥补这方面的缺失，然而，这样获得的Bug的全面性和可定位修复性存在严重的问题，徐琨表示。
Testin云测一站式测试服务之Bug探索测试正是一种脱离用例，由大量专业测试者基于用户使用角度进行的探索测试模式，可以很好的覆盖内部测试无法触及的思维盲区，同时提供精准的测试环境、测试前提、复现步骤、缺陷复现率、操作视频、截图和日志等资料协助修复。Testin Bug探索测试服务是结合客户APP所处的质量阶段，使用最有效的测试方法找到客户当前最关注的问题。整个测试不需要测试用例，由1名具备5年以上所属行业测试经验的测试专家，根据客户APP所出的质量阶段定制测试计划，带领15名3年以上测试经验的测试工程师完成测试工作，廉洁说。几经周转，他们采用了Testin云测一站式测试服务之Bug探索服务。
在APP发展到初期，Testin会建议Bug探索测试更多的发现核心功能业务问题，例如，由程序引起的死机、闪退、死循环和数据死锁等问题，因错误操作导致的程序中断问题和功能实现不完善问题，与数据库链接错误、数据流转错误、数据计算错误和程序接口错误等问题，输入限制未放在前台控制、重点的删除操作未给出提示等界面明显问题，主流用户机型的兼容性问题等严重影响用户使用的Bug。
当APP发展到一定阶段后，Testin会建议客户除了核心功能业务问题的发现，还需要使用边界值、网络切换和极限操作等非常规性测试方式，对APP健壮性进行测试，同时找出显示格式不正确和输入不规范等界面一般性错误，更多小概率性Bug的发现和低配置机型情况下的兼容性问题的覆盖。
Testin Bug探索测试不是随机找茬，是根据APP所处质量阶段，发现更多隐藏缺陷，给出开发人员真正有用的Bug而不是一堆无关紧要的问题。
Testin是全球“一站式移动应用云测试服务”领导者，为移动应用、游戏、VR/AR、可穿戴、物联网、人工智能开发者提供必需的一站式应用测试服务和质量保证。Testin云测通过深度机器学习的人工智能自动化脚本完成移动应用在云部署真机上的功能、兼容性、回归、安全的自动化测试、真机调试、A/B测试及Bug缺陷管理，Testin众测通过遍布全球的共享测试专家对应用进行功能、用户体验、场景和可用性测试，Testin Pro自动化测试私有云集成兼容、真机调试、功能测试、性能拨测、应用及测试管理进行私有化部署。Testin目前已经持续服务超过80万开发者，为超过200万个应用进行了超过1.5亿次测试，累计3轮融资超过8000万美元，与ARM、Intel、Google、IBM、微软、阿里、腾讯、360、小米以及全球众多的移动互联网生态企业建立了良好的合作与沟通关系，先后被评为清科2014年、2015年中国最具投资价值企业50强，德勤2015年、2016年中国高科技高成长50强，Red Herring红鲱鱼2014年亚洲100强和2015年全球100强。
编辑： 彭志强