新遗迹一帮助找到。乔布斯发现了一个影响收入的主要爬行问题

客座作者托马斯·库珀，首席技术官和Find.Jobs他解释了自己是如何登录New Relic One来发现一个导致公司损失数十万美元收入的设计问题的。

如果您正在寻找工作，那么您的机会很好，您已经登陆了Find.Jobs，顶级领域和出版商拥有和运营的30,000个不同的职位委员会之一。

我们在每个州和地理运营，帮助150个国家的职位求职者 - 找到合适的职位。因为我们的业务模式依赖于将搜索结果和适当的域名绑住（例如加利福尼亚州.JOBS.)，这是至关重要的，我们设计我们的网站，所以谷歌的网络爬虫机器人可以快速处理网站，并彻底导航它们索引所有的内容。

在我们部署之前New Relic的一，谷歌网络爬虫不会在一个网站的首页以外的页面上找到工作。自从我们成立以来，我们并不知道会发生这样的事情——这可能让我们损失了数十万美元的收入。

保持30,000个域名的良好运行

我们是一个独特的空间，因为我们必须确保我们的网站对最终用户和爬网机Bots表现良好，这些用户和爬网机Bots达到我们的网站和索引他们的发现。问题是谷歌的爬网统计数据在我们运营的范围内对我们并不有帮助。

我们没有办法在IP地址之外讲述网站上的用户是否是机器人或人类，用户在网站上做什么，以及该网站如何做出反应。我们无法看到哪些页面机器人正在击中或机器人流量的时间。我们不得不猜测，因为我们无法以可理解的方式编目，分类或方面数据。

我们一直在使用其他监控产品进行记录和跟踪性能。亚博最新版直播在一个开发人员打开日志记录后，为Elasticsearch添加了新的查询类型，我们开始使用意外的大笔账单，每月$ 20,000和40,000美元之间进行日志数据。我们到达一个我们开始缩小我们正在记录的地方，这是一个危险的地方，可以通过记录较少作为数据驱动的组织来判断批量上市的危险场所。

在不破坏银行的情况下记录一切

就在这个时候，New Relic发布了它的日志功能。作为长期用户New Relic APM，我们对某种方式感兴趣，没有巨大和不可预测的成本。我们还在寻找一种方法来改善使用合成交通对我们的域的测试。New Relic的一是满足这些需求以及整个公司的用例的答案。

登录New Relic One后，我们立即获得了新的功能，这是我们以前没有的，现在我们不能没有。从日志记录的角度来看，解析记录并将数据放入字段以使其可查询和易表的能力非常重要。在查看日志时点击按钮并将其转换为仪表板上的图表是必不可少的，这可以节省大量的时间。New Relic One中的日志记录功能帮助我们尽可能主动地关注应用程序的运行状况。

发现爬行问题

使用New Relic One，我们创建了报告来查看谷歌bot流量，并了解谷歌对我们网站的影响，这在以前是不可能的。与记录新的遗物一个在美国，我们有能力分离攻击我们的机器人的每一种类型，并观察机器人在做什么。

我们立即看到Google Bots正在击中网站上的第一页，然后不会进入随后的作业页面。我们立即停止了所有其他发展，专注于解决问题 - 这使我们在修复后的第一个月内的收入增加了20％的收入。

保存基础设施成本

Google Web爬网机Bots不是唯一经常在我们网站上生成流量的唯一机器人。使用新的遗物，我们意识到许多其他机器人正在产生高量的流量，这影响了我们的云基础设施成本。这些都是提供有关网站健康信息的机器人，因此它是一个无法阻止它们的无意识，这使我们能够减少我们需要为所有其他要求提供30％的服务器的总数。

与公司其余部分共享数据

作为一家数据驱动型公司，我们依靠数据进行业务各个方面的决策。对我们来说，每一个数据都是重要的，这就是为什么New Relic对我们的业务有战略影响，甚至不只是帮助我们保持网站的健康和良好表现。

我们公司的每个人都用新旧的。营销团队用它来理解变化的影响。销售人员使用它来查看人们点击了哪些类型的工作，以及哪些类型的公司被点击了。他们在新文物一里开始了那项研究。

在我们调整业务模式以应对谷歌的变化、COVID-19的影响以及试图利用目前正在寻找工作的人的不良行为时，我们从New Relic One获得的数据将对跟踪和验证我们的成功至关重要。

好奇新遗物如何帮助您的团队？注册一个免费帐户。