缩放云公司每小时处理十亿数据请求,这是挑战的一部分,其中德里克·帕特勒新瑞治工程高级副总裁向公司提供了挑战。我们与Mikey讨论了新遗物越来越多的挑战和机遇。(第1部分本系列审查了Mikey的新遗物和工程管理重要性的旅程第3部分讨论新的遗物的下一代工程过程。)

新遗物:新的遗物缩放有多快?

Mikey Butler.Mikey:当您以每天的HTTP请求看它时,我们是世界上最繁忙的网站之一。

我们每小时处理超过10亿美元的要求。通过每一个请求,我们都有一点有效的数据,即我们必须接受和理解我们的客户,所以我们可以向他们提供该数据的价值。它的跨越和界限正在增长。

新遗物:这种规模如何改变事情?

Mikey:以较小的规模,公司可以通过购买非常先进的硬件,非常先进的软件系统来购买超出增长问题的方式。基本上只是添加Cookie-Cutter容量。

但是,在某种程度上,您必须以更精致的方法查看,其中数据在不同的性能功能下以不同的成本存储在不同的存储层中。

如果它是少量的数据或适度的数据,你有非常昂贵的存储的事实不会伤害你。But at the scale that we’re at now and where we hope to go, we have to be much more strategic about where we store data, how expensive it is, and think about if we need to trade off some of the speed of access for cost.

这是所有大玩家都必须做的事情。每个人现在都在处理不同存储层的概念,以及那些存储层的成本差异。例如,为什么您应该在一个非常昂贵的固态系统中常常看起来不太常见的数据?为什么不能在旋转媒体上?

存储成本优化的想法非常符合此处。在这些不同的存储层中找到分发查询的优雅方式的想法是新遗物的重要优先事项。

在过去,我们有一个具有一个存储层的简单方法,我们可以在整个事情上查询。现在我们将拥有不同的存储层,具有不同的特性,持有不同类型的数据。但是,您仍然可以查看所有这些不同类型的数据和不同类型的存储后端系统,整合跨越所有这些的答案,并将其作为集成,统一的整体呈现给用户。

新遗物:公司在做什么来弄清楚什么?

Mikey:好吧,如果我们犯错误,他们应该是我所说的是在独木舟的水线上方冲出独木舟的水线上方的洞。这是一个伎俩。

部分是我们从那里的最佳球员中学到。我们花时间与谷歌曲和Twitters和Facebook交谈,以便在缩放方面从路上进一步了解他们的学习。当然,我们的数据是不同的,因此我们必须实际执行一些解释和插值,以使其与我们的用例相关。但有课程要学习。

新遗物:我们如何将这些学习转化为最佳实践?

Mikey:我们倾向于在很大程度上通过软件解决存储层问题。我们在NRDB中拥有自己的高性能数据软件。但是,我们将现成的第三方存储产品集成为一些较低性能的层。objectspace.,例如,或卡桑德拉基于存储。能够在所有三个中进行查询,这是游戏的一部分。

它是现成的软件和现成的硬件。然后我们将值放在首位,我们可以使用它的集成。但是,我们可以通过开源逃脱的程度来满足我们的性能和正常运行时间,我们努力做到这一点。

新遗物:这个过程的下一步是什么?

Mikey:这是一个持续的挑战。你一天不会说,“接下来是什么?”因为规模不断发展。

背景图礼貌shutterstock.com.

fredric@newrelic.com'

Fredric Paul(又名Freditor)是新遗物负责人的编辑。他是一个屡获殊荣的作家,编辑和内容战略家,他们在Readwrite,Allbusiness.com,信息周刊,CNET,电子娱乐,PC世界和PC上担任高级编辑职位。他的写作出现在麻省理工学院技术评论,Omni,Conde Nast Traveler和Newswele等地方。查看帖子

对新遗物博客的写作有兴趣吗?亚搏体育登入网送我们一个球场!!